Suurin osa tekoälypohjaisten tuotekuvaustyökalujen vertailuista on pelkkää markkinointia, johon on lätkäisty vertailutaulukko kylkeen. Testiotos pidetään pimennossa, pisteytys perustuu mutuun ja jutun tilannut työkalu voittaa poikkeuksetta.
Tässä on luotettava menetelmä oman vertailutestin tekemiseen. Emme nimeä voittajia emmekä jaa pisteitä – perustelemme tämän tarkemmin tekstin lopussa.
Miten tekoälypohjaisia tuotekuvaustyökaluja vertaillaan?
Kirjaa ensin kysymys muistiin ja määrittele se tarkasti oman tuotevalikoimasi mukaan. Lukitse vähintään 30 oikean tuotteen otos, jossa kustakin on yksi referenssikuva. Anna jokaiselle työkalulle sama syöte samoilla asetuksilla, resoluutiolla, yrityskerroilla ja samana päivänä. Pisteytä tulokset sokkona geometrian, tekstuurin, värin ja merkintöjen osalta kahden riippumattoman arvioijan voimin, ja julkaise otos, syötteet, versiot, kriteeristö sekä jokainen epäonnistuminen, jotta kuka tahansa voi tarkistaa lopputuloksen.
Mitä tekoälypohjaisen tuotekuvauksen vertailutesti tarkoittaa?
Vertailutesti (benchmark) tarkoittaa työkalujen vertailua samalla lukitulla otoksella ja samoissa olosuhteissa siten, että tulokset arvioidaan sokkona kiinteän kriteeristön pohjalta ja raportoidaan niin, että ne voidaan todentaa. Vertailu, josta puuttuu yksikin näistä tekijöistä – oli kyseessä julkaisematon otos, työkalukohtaiset syötteet, sokkouttamaton arviointi tai epäonnistumislistan puuttuminen – on pelkkä väite taulukon muodossa, julkaisi sen kuka tahansa.
Päätä mitä vertaat ennen kuin avaat yhtäkään työkalua
Vertailu ilman selkeää tutkimuskysymystä tuottaa täysin merkityksettömän paremmuusjärjestyksen. Kirjaa kysymys ylös heti alussa ja sido se suoraan omaan tuotekuvastoonsa:
Kun otamme 30 myydyintä SKU-nimikettämme, mikä työkalu tuottaa sellaisia pääkuvia, jotka julkaisisimme kaupassamme ilman jälkikäsittelyä, ja missä kohdissa kukin työkalu epäonnistuu?
Tähän voi vastata konkreettisesti. Kysymykseen "mikä työkalu on paras" sen sijaan ei voi.
Määritä kysymys, lukitse, vakioi, sokkouta, julkaise
Viisi vaihetta, joista jokainen on kohta, jossa julkaistut vertailut usein hiljaisesti epäonnistuvat: kysymystä ei ole määritelty, otosta kasvatetaan ensimmäisten tulosten jälkeen, syötteet vaihtelevat työkalujen välillä, arvioijat tietävät mikä työkalu loi minkäkin kuvan ja sijoitukset esitetään ilman mahdollisuutta tarkistaa tuloksia.
Määritä otos ja lukitse se
- Vähintään 30 tuotetta, jotka on poimittu oikeasta tuotekuvastostasi – ei sen perusteella, mikä näyttää valmiiksi hyvältä kuvissa.
- Käytä täsmälleen samaa referenssikuvaa jokaisessa työkalussa. Jos eri työkaluille annetaan erilaiset lähtökuvat, testissä mitataan vain syötteiden laatua.
- Painota vaativia kategorioita – heijastavia, läpinäkyviä, pikkutarkasti kuvioituja, syvänmustia tai pientä tekstiä sisältäviä tuotteita – samassa suhteessa kuin niitä esiintyy valikoimassasi.
- Lukitse otos ennen ensimmäistäkään generointia. Jos lisäät tuotteita nähtyäsi tuloksia, kyseessä ei ole enää vertailutesti vaan pelkkä mielipideväittely.
Pidä kaikki muut muuttujat vakioina
Tässä kohdassa useimmat vertailut menevät huomaamatta pieleen.
- Sama kehote (prompt) tai esiasetus kaikissa työkaluissa, sovellettuna vain sen verran kuin kunkin käyttöliittymä vaatii. Tallenna jokaiselle annettu tarkka syöte.
- Sama resoluutio lopputuloksissa tai kunkin työkalun korkein tuettu tarkkuus erot dokumentoiden. Jos yhtä työkalua testataan 4K-tarkkuudella ja toista 1K-tarkkuudella, vertailu ei ole reilu.
- Sama määrä yrityksiä tuotetta kohden – yksi yritys, ellet erikseen määrittele toisin. "Paras viidestä" vastaan "ensimmäinen tulos" on aivan eri testi; sekin on täysin perusteltu, kunhan se ilmoitetaan avoimesti.
- Sama ajankohta. Mallit päivittyvät jatkuvasti taustalla. Kolmen viikon aikana tehty testi vastaa kolmea eri työkalua.
Arvioi tulokset kiinteän kriteeristön pohjalta
Käytä tarkkuusprotokollamme neljää ulottuvuutta – geometria, tekstuuri, väri ja merkinnät/yksityiskohdat – jotka kaksi arvioijaa pisteyttää toisistaan riippumattomasti 3-portaisella asteikolla.
Sokkouta pisteytys. Poista tiedostonimet ja metatiedot, sekoita kuvat ja arvioi ne tietämättä, mikä työkalu on luonut minkäkin kuvan. Tämä yksittäinen vaihe vaikuttaa tuloksiin eniten, ja sen puuttuminen on selvin merkki siitä, ettei kyseessä ole aito vertailutesti.
Kirjaa jokainen virhe ja sen syy ylös. Virhelista on arvokkaampi kuin pistetaulukko: se kertoo, mistä osista kuvastoasi tekoäly suoriutuu ja missä tarvitaan yhä ammattivalokuvaajaa.
Raportoi tulokset niin, että ne voi todentaa
Vertailu, jota ei voida varmentaa, on pelkkä markkinointiväite. Julkaise lukujen ohella vähintään nämä tiedot:
- tuotelistaus ja käytetyt referenssikuvat
- tarkat syötteet ja asetukset työkalukohtaisesti
- työkalujen versiot ja testauspäivämäärä
- arviointikriteerit ja käytetty asteikko
- arvioijat ja kohdat, joissa näkemykset erosivat toisistaan
- epäonnistuneet tapaukset kokonaisuudessaan
Erittele kustannusrakenne erikseen, jos vertailet hintoja, ja kerro selvästi, mitä hintaan sisältyy. Kuvakohtainen hinnoittelu, kuukausitilaukset ja krediittijärjestelmät eivät ole suoraan vertailukelpoisia keskenään, eikä niiden ahtaminen samaan taulukkoon kerro todellisuudesta mitään.
Vertailuarvon käyttäminen hankintalistana
Hankintapäätös on vertailuarvo allekirjoituksella varustettuna, ja yllä oleva protokolla sisältää jo suurimman osan siitä, mitä ostaja tarvitsee. Hankintaan lisätään lyhyt lista kysymyksiä, joihin vertailuarvo ei vastaa, ja ne esitetään jokaiselle toimittajalle kirjallisesti ennen näytteen testaamista, jotta vastauksia voidaan verrata todisteina eikä myyntipuheina.
- Mikä säilyy ja mikä luodaan uudelleen. Kysy jokaiselta työkalulta, käytettävälle työnkululle, säilytetäänkö tuotteen pikselit vai renderöidäänkö tuote uudelleen; vertailuarvon tarkkuusrivit vahvistavat vastauksen.
- Kuka omistaa tuotokset, millä ehdoilla, ja käytetäänkö syötteitä mihinkään koulutukseen.
- Minne data menee: alueet, säilytysaika, poisto pyyntöjen perusteella, alihankkijat.
- Hinnoittelu vertailukelpoisena yksikkönä: kuvan hinta eri resoluutioissa, hylätyn generoinnin kustannus, mitä tilaus sisältää ja hinnaston päivämäärä.
- Mitä tapahtuu epäonnistumisen sattuessa: uudelleenyritys, hyvitys, tukikanavat ja näkyvätkö epäonnistumiset sinulle vai ovatko ne hiljaisia.
- Eräajo, API ja vienti: voiko käyttämäsi volyymin ajaa ilman valvontaa, ja miten kuvat nimetään ja kootaan työkalusta ulos.
- Muutosten hallinta: miten toimittaja ilmoittaa mallin muutoksista, koska vertailuarvo mittaa työkalua tiettynä päivänä.
Arvioi näyte arviointikriteerien mukaan ja kysymysten vastauksilla, painota ne oman katalogisi mukaan ja säilytä taulukko näytteen ja päivämäärän kanssa. Seuraava hankinta alkaa samalta taulukolta, uudella päivämäärällä, samoja jäädytettyjä näytteitä vastaan.
Vertailutestin tarkistuslista
| Vaihe | Sääntö | Mikä pilaa vertailun |
|---|---|---|
| Kysymys | Kirjoitettu ennen kuin yhtäkään työkalua avataan, räätälöity omaan tuotekuvastoon | ”Mikä työkalu on paras” |
| Otos | Vähintään kolmekymmentä tuotetta, oikea kuvasto, vaikeat kategoriat suhteessa edustettuina, lukittu | Tuotteiden lisääminen tulosten näkemisen jälkeen |
| Lähtöaineisto | Sama referenssikuva jokaiseen työkaluun; tarkat syötteet kirjattu ylös | Kullekin työkalulle annetaan eri syöte |
| Olosuhteet | Sama käyttötarkoitus, resoluutio, yrityskertojen määrä ja päivämäärä | Viidestä parhaan vertaaminen ensimmäiseen tulokseen; viikkojen varrelle hajautettu testiajo |
| Arviointi | Neljä ulottuvuutta, kolmiportainen asteikko, kaksi arvioijaa, sokkotesti | Tiedostonimet ja metatiedot jätetty tuloksiin |
| Raportti | Otos, syötteet, versiot, kriteeristö, erimielisyydet, jokainen epäonnistuminen | Sijoituslista ilman epäonnistumisten erittelyä |
| Kustannukset | Ilmoitettu erikseen ja määritelty, mitä hintaan sisältyy | Kuvakohtainen hinta, tilaus ja krediitit samassa sarakkeessa |
Kolmekymmentä tuotetta, kolme työkalua, yksi päivä
Jalkinebrändi lukitsee otokseensa kolmekymmentä suosituinta tuotetta suoraan edestä kuvattuine referenssikuvineen, ajaa kaikki kolme työkalua samana aamuna yhdellä yrityksellä korkeimmalla kaikkien tukemalla resoluutiolla, poistaa tiedostonimet ja sekoittaa tulokset sekä antaa kahden ihmisen pisteyttää ne. Lopputulosten järjestys on tiukka. Virhelista ei ole: yksi työkalu kadottaa kengännauhojen sirkkarenkaiden määrän jokaisessa nauhallisessa mallissa, toinen latistaa kiiltonahkaviimeistelyn. Brändi tekee ostopäätöksen virhelistan perusteella ja pitää valokuvaajan nauhallisia saappaita varten.
Usein kysytyt kysymykset
Miksi vertailutesti tarvitsee kirjallisen kysymyksen?
Koska ilman sitä järjestyksellä ei ole mitään merkitystä. ”Mikä työkalu tuottaa kolmenkymmenen myydyimmän SKU:mme joukossa pääkuvia, jotka julkaisisimme ilman jälkikäsittelyä, ja missä kukin niistä epäonnistuu?” on kysymys, johon voi vastata. ”Mikä työkalu on paras?” ei ole.
Miksi pisteytys pitää sokkouttaa?
Koska tieto kuvan luoneesta työkalusta muuttaa sen arviointia, ja tämä yksittäinen vaihe vaikuttaa tuloksiin enemmän kuin mikään muu. Poista tiedostonimet ja metatiedot, sekoita tulokset ja pisteytä vasta sitten. Julkaistu vertailutesti, jota ei ole sokkoutettu, on selvin merkki siitä, ettei kyseessä ole oikea vertailutesti.
Voiko työkaluja vertailla eri resoluutioilla?
Vain jos ero kirjataan ylös. Vertaile samalla resoluutiolla tai kunkin työkalun korkeimmalla tuetulla resoluutiolla siten, että ero ilmoitetaan selkeästi. 4K-työkalun vertaaminen 1K-työkaluun ei ole todellista vertailua.
Miksi epäonnistumiset pitää julkaista?
Koska epäonnistumisten lista on arvokkaampi kuin itse sijoituslista. Se kertoo, mistä osista tuotekuvastoasi mikäkin työkalu suoriutuu ja mitkä vaativat yhä valokuvaajaa, ja juuri sen avulla joku muu voi todentaa tuloksen.
Tarkoittaako hyvä vertailutestitulos sitä, että kuvat myyvät paremmin?
Ei. Vertailutesti mittaa tarkkuutta ja vastaavuutta sinun olosuhteissasi, sinun tuotteillasi ja yhtenä tiettynä päivämääränä. Se ei todista, että työkalu olisi yleisesti parempi, että se toimisi samalla tavalla seuraavan mallipäivityksen jälkeen tai että hyvät pisteet saaneet kuvat konvertoisivat paremmin.
Mitä vertailutesti ei voi kertoa
Testi mittaa kuvanmukaisuutta vain omissa olosuhteissasi, omilla tuotteillasi ja yhtenä tiettynä päivänä. Se ei todista, että jokin työkalu olisi yleisesti ottaen parempi, että se toimisi samalla tavalla seuraavan mallipäivityksen jälkeen tai että hyvät pisteet saaneet kuvat myisivät paremmin. Suhtaudu tuloksiin oman verkkokauppasi ostopäätöksen pohjana, älä yleispätevänä markkinatietona.
Muutama sana kirjoittajasta
Photta kehittää ja myy tekoälypohjaista tuotekuvauspalvelua, joten olemme itsekin toimija tällä vertailtavalla alalla. Juuri siksi tällä sivulla ei julisteta voittajia, jaeta pisteitä tai vertailla Phottaa muihin: menetelmä, joka julistaisi meidät parhaaksi, ei olisi luottamuksen arvoinen.
Jos teet tämän testin ja Photta suoriutuu heikosti jonkin tuotekategoriasi kohdalla, se on aidosti arvokas tieto – ja meille mieluisampi lopputulos kuin itse keksimämme markkinointiluvut. Virheiden löytäminen on koko testin perimmäinen tarkoitus.