De fleste publicerede sammenligninger af AI-værktøjer til produktfotografering er ren markedsføring forklædt som en tabel. Datagrundlaget er hemmeligholdt, vurderingen er en smagssag, og det værktøj, der har betalt for artiklen, vinder altid.
Dette er en metode til at køre din egen test. Den kårer ingen vinder og viser ingen pointtavler – af en helt bestemt grund, som vi forklarer til sidst.
Hvordan benchmarker du værktøjer til AI-produktfotografering?
Formuler først spørgsmålet på skrift, og gør det specifikt for dit varekatalog. Fastlæg en stikprøve på mindst tredive rigtige produkter med ét referencefoto hver, giv hvert værktøj det samme input under identiske indstillinger, opløsning, antal forsøg og dato, bedøm resultaterne blindt ud fra geometri, tekstur, farve og markeringer med to uafhængige bedømmere, og offentliggør stikprøven, input, versioner, vurderingskriterier samt enhver fejl, så andre kan efterprøve resultatet.
Hvad er en benchmark for AI-produktfotografering?
En benchmark er en sammenligning af værktøjer på den samme låste stikprøve, under de samme betingelser, bedømt blindt ud fra faste kriterier og fremlagt, så den kan efterprøves. En sammenligning, der mangler bare ét af disse elementer — en hemmeligholdt stikprøve, forskellige inputs til de enkelte værktøjer, ikke-blindet bedømmelse, ingen liste over fejl — er blot en påstand med en tabel i midten, uanset hvem der udgiver den.
Beslut, hvad du vil sammenligne, før du kigger på et eneste værktøj
En benchmark uden en klart defineret problemstilling fører til en rangliste uden reel værdi. Formulér spørgsmålet først, og gør det specifikt for dit varekatalog:
Hvilket værktøj kan – på tværs af vores 30 bedst sælgende varenumre – levere primære produktbilleder, vi kan udgive direkte uden efterbehandling, og hvor fejler de enkelte værktøjer?
Det spørgsmål kan besvares objektivt. Det kan "hvilket værktøj er bedst" ikke.
Formulér spørgsmålet, lås, kontrollér, blind, offentliggør
Fem trin, der hver især repræsenterer et punkt, hvor publicerede sammenligninger ofte fejler i det stille: intet klart defineret spørgsmål, en stikprøve, der udvides efter de første resultater, input, der varierer fra værktøj til værktøj, bedømmere, der ved, hvilket værktøj der har skabt hvilket billede, og en rangering uden mulighed for efterprøvning.
Fastlæg stikprøven, og lås den
- Mindst 30 produkter, udvalgt fra dit faktiske varesortiment frem for håndplukket efter, hvad der er nemt at fotografere.
- Det samme referencefoto skal bruges i alle værktøjer. Hvis værktøjerne modtager forskellige input, tester du blot inputtet, ikke værktøjet.
- Giv de svære kategorier en realistisk vægtning — genskær, gennemsigtighed, fine mønstre, dyb sort og små tekstprint skal fylde i stikprøven svarende til deres andel i dit samlede katalog.
- Lås stikprøven fast, før du genererer noget som helst. Tilføjer du produkter, efter du har set de første resultater, forvandles en objektiv test til et partsindlæg.
Hold alle andre variabler konstante
Det er her, de fleste sammenligninger i al stilhed slår fejl.
- Samme prompt eller forudindstillede formål (preset intent) på tværs af værktøjerne, kun tilpasset i det omfang, det enkelte værktøjs brugerflade kræver det. Notér det præcise input, der gives til hvert værktøj.
- Samme outputopløsning, eller den højeste hvert værktøj understøtter, hvor forskellen registreres. Sammenligner du et værktøj i 4K med et i 1K, er det ikke en reel sammenligning.
- Samme antal forsøg pr. produkt — ét forsøg, medmindre andet er udtrykkeligt defineret. "Bedste ud af fem" mod "første forsøg" er en helt anden testform; den kan være fuldt ud legitim, men præmissen skal deklareres.
- Samme dato. AI-modeller ændrer sig løbende. Kører du en test over tre uger, risikerer du i praksis at teste tre forskellige versioner af samme værktøj.
Bedøm ud fra faste kriterier
Brug de fire dimensioner fra vores præcisionstest — geometri, tekstur, farvegengivelse og detaljer/print. Lad to personer bedømme dem uafhængigt af hinanden på en tretrinsskala.
Gør bedømmelsen blind. Fjern filnavne og metadata, bland billederne, og giv karakterer uden at vide, hvilket værktøj der har genereret hvilket billede. Dette enkelte trin ændrer testresultaterne mere end noget andet, og fraværet af blindtest er det sikreste tegn på, at en publiceret benchmark ikke er reel.
Registrér alle fejl og årsagen til dem. Listen over fejl og begrænsninger er langt mere værdifuld end en rangliste: Den viser dig præcis, hvilke dele af dit katalog der kan håndteres af AI, og hvor du fortsat har brug for en fotograf.
Fremlæg data, så andre kan efterprøve resultaterne
En benchmark, der ikke kan efterprøves, er blot en påstand. Ud over selve tallene bør du altid offentliggøre:
- listen over produkter og de originale referencefotos
- de præcise inputs og indstillinger for hvert værktøj
- værktøjernes versionsnumre og datoen for testen
- vurderingskriterierne og den anvendte skala
- hvem der har bedømt billederne, samt hvor bedømmerne var uenige
- de konkrete fejl og problematiske genereringer i fuldt omfang
Angiv omkostningsgrundlaget separat, hvis du vælger at inddrage pris, og gør det tydeligt, hvad der er inkluderet. Pris pr. billede, abonnementsniveauer og creditsystemer kan ikke sammenlignes 1:1, og en tabel, der samler dem i én enkelt kolonne, giver et misvisende billede.
Brug benchmarken som en indkøbstjekliste
En indkøbsbeslutning er en benchmark med en underskrift til sidst, og protokollen ovenfor indeholder allerede det meste af det, en køber har brug for. Det, indkøb tilføjer, er en kort liste med spørgsmål, som benchmarken ikke besvarer, stillet skriftligt til hver leverandør inden prøven køres, så svarene kan sammenlignes som dokumentation fremfor som salgssnak.
- Hvad der bevares, og hvad der genereres. Bed hvert værktøj om at oplyse, for den arbejdsgang du vil bruge, om produktets pixels bevares, eller om produktet gengives; benchmarkens nøjagtighedsrækker vil bekræfte svaret.
- Hvem ejer outputtet, på hvilke vilkår, og om input bruges til træning af noget.
- Hvor dataen ender: regioner, opbevaring, sletning på anmodning, underleverandører.
- Pris som en sammenlignelig enhed: per billede ved hver opløsning, hvad en afvist generering koster, hvad et abonnement inkluderer, og datoen på prissiden.
- Hvad der sker ved fejl: genforsøg, refundering, supportmuligheder, og om fejl er synlige for dig eller foregår i det skjulte.
- Batch, API og eksport: om det volumen, du har, kan køres uden opsyn, og hvordan billederne forlader værktøjet med navn og størrelse.
- Ændringskontrol: hvordan leverandøren informerer om modelændringer, da en benchmark måler et værktøj på en bestemt dato.
Bedøm prøven efter rubrikken og spørgsmålene efter svarene, vægt dem efter dit katalog, og gem arket med prøven og datoen. Næste indkøb starter fra det samme ark, på en ny dato, med den samme faste prøve.
Tjekliste til benchmark
| Trin | Regel | Hvad der ødelægger det |
|---|---|---|
| Spørgsmål | Formuleret før noget værktøj åbnes, specifikt for dit katalog | "Hvilket værktøj er bedst?" |
| Stikprøve | Mindst tredive produkter, reelt katalog, svære kategorier i rette proportioner, låst | At tilføje produkter efter at have set resultatet |
| Input | Samme referencefoto i alle værktøjer; præcise input registreres | Hvert værktøj får sit eget input |
| Betingelser | Samme hensigt, opløsning, antal forsøg og dato | Bedste ud af fem mod første resultat; en test spredt over flere uger |
| Bedømmelse | Fire dimensioner, tretrinsskala, to bedømmere, blindtest | Filnavne og metadata efterladt på outputtene |
| Rapport | Stikprøve, input, versioner, kriterier, uoverensstemmelser, enhver fejl | En rangliste uden listen over fejl |
| Pris | Angivet separat med oplysning om, hvad der er inkluderet | Pris pr. billede, abonnement og credits samlet i én kolonne |
Tredive varenumre, tre værktøjer, én dato
Et skobrand låser tredive bestsellere med vinkelrette referencebilleder, kører alle tre værktøjer samme formiddag med ét forsøg hver ved den højeste opløsning, som alle tre understøtter, fjerner filnavnene og blander resultaterne, og lader to personer bedømme dem. Rangeringen er tæt. Listen over fejl er det ikke: ét værktøj mister antallet af snørehuller på alle modeller med snørebånd, et andet udvisker lakfinishen. Brandet vælger ud fra listen over fejl og beholder en fotograf til snørestøvler.
Ofte stillede spørgsmål
Hvorfor har en benchmark brug for et skriftligt spørgsmål?
Fordi rangeringen uden et spørgsmål ikke betyder noget. »Hvilket værktøj producerer primære billeder på tværs af vores tredive bedst sælgende varenumre, som vi ville uploade uden efterbehandling, og hvor fejler de enkelte værktøjer?« kan besvares. »Hvilket værktøj er bedst?« kan ikke.
Hvorfor skal bedømmelsen blindes?
Fordi viden om, hvilket værktøj der har genereret et billede, ændrer måden, det bedømmes på, og dette enkelte trin påvirker resultaterne mere end noget andet. Fjern filnavne og metadata, bland outputtene, og bedøm derefter. En offentliggjort benchmark, der ikke er blindet, er det tydeligste tegn på, at det ikke er en rigtig benchmark.
Kan værktøjer sammenlignes ved forskellige opløsninger?
Kun hvis forskellen registreres. Sammenlign ved samme outputopløsning eller ved den højeste, hvert værktøj understøtter, hvor forskellen er angivet. Et værktøj i 4K over for et i 1K bliver ikke sammenlignet på lige vilkår.
Hvorfor skal fejltilfældene offentliggøres?
Fordi listen over fejl er mere værdifuld end selve rangeringen. Den fortæller dig, hvilke dele af dit katalog et givent værktøj kan håndtere, og hvilke der stadig kræver en fotograf, og det er det, der gør det muligt for andre at efterprøve resultatet.
Betyder en god benchmark-score, at billederne sælger bedre?
Nej. En benchmark måler nøjagtighed under dine betingelser, på dine produkter, på en specifik dato. Den fastslår ikke, at et værktøj generelt er bedre, at det vil fungere på samme måde efter den næste modelopdatering, eller at billeder med en god score konverterer bedre.
Hvad en benchmark ikke kan fortælle dig
Den måler præcision under dine specifikke rammer, på dine produkter og på en bestemt dato. Den beviser hverken, at et værktøj generelt er bedre end andre, at det vil levere samme resultat efter næste modelopdatering, eller at billeder med høje bedømmelser vil konvertere bedre. Brug resultatet som et beslutningsgrundlag for dit eget varekatalog, ikke som en endegyldig sandhed om markedet.
Hvem har skrevet denne guide?
Photta leverer AI-løsninger til produktfotografering, så vi er en aktiv part i den produktkategori, denne guide hjælper dig med at evaluere. Netop derfor kårer denne side ingen vinder, bringer ingen karakterer og placerer ikke Photta på en rangliste mod andre. En metodeguide, der konkluderer til fordel for afsenderen selv, har ingen reel værdi.
Hvis du følger denne metode, og Photta klarer sig dårligt på dele af dit varekatalog, er det et værdifuldt og brugbart resultat for dig — og vi vil hellere give dig et reelt overblik end et tal, vi selv har opfundet. Formålet er netop at kortlægge begrænsningerne.