Näin mittaat tekoälyn luomien tuotekuvien tarkkuutta

Kaikki tekoälytuotekuvaukseen liittyvät väitteet tiivistyvät lopulta yhteen kysymykseen: esittääkö luotu kuva yhä sitä tuotetta, jota oikeasti myyt? Kaikki puhuvat ”tarkkuudesta” tai ”oikeellisuudesta”, mutta juuri kukaan ei määrittele sitä tarkemmin. Siksi eri työkalujen vertailut päätyvät usein pelkiksi mielipidekysymyksiksi.

Tämä ohjeistus tarjoaa selkeän menetelmän asian mittaamiseen. Tässä ei julkaista valmiita testituloksia: tee testi omalla tuotevalikoimallasi ja omia referenssikuviasi vasten, jolloin saamasi tulos kuvaa suoraan omia tuotteitasi jonkun toisen tekemän otoksen sijaan.

Miten tekoälyn luomien tuotekuvien tarkkuutta mitataan?

Pisteytä luotu kuva vertaamalla sitä samaa tuotetta esittävään kiinteään referenssikuvaan neljällä eri osa-alueella: geometria, tekstuuri, väri ja merkinnät. Käytä kolmiportaista asteikkoa (uskollinen, muuttunut, virheellinen), kahta toisistaan riippumatonta arvioijaa ja kirjaa kirjallinen perustelu jokaiselle "virheellinen"-arvosanalle. Käytä noin kolmenkymmenen todellisesta tuotekuvastosta poimitun tuotteen otosta, luo kuvat yhdellä määrityksellä ja ilmoita keskiarvon sijaan arvosanojen jakautuma.

Mitä tekoälyllä luodun tuotekuvan tarkkuus tarkoittaa?

Tekoälyllä luodun tuotekuvan tarkkuus tarkoittaa sitä, kuinka tarkasti generoitu kuva esittää todellista myymääsi tuotetta: sen muotoa ja mittasuhteita, pintaa, väriä mallinnetussa valaistuksessa sekä sen logoja, painatuksia ja tikkauksia. Tarkkuutta mitataan aina vertaamalla kuvaa referenssivalokuvaan, ei koskaan kuvan oman visuaalisen houkuttelevuuden perusteella. Se muodostuu yhden arvosanan sijaan neljästä eri osa-alueesta, sillä työkalu voi olla uskollinen kolmella osa-alueella ja epäonnistua neljännellä.

Tarkkuus koostuu neljästä eri osa-alueesta

Ensimmäinen virhe on niputtaa kaikki yhdeksi arvosanaksi. Tekoälykuvan värit voivat olla täydelliset mutta mittasuhteet täysin pielessä, ja yksi ainoa yleisarvosana piilottaa tämän eron.

Geometria – muoto, mittasuhteet ja osien keskinäinen sijainti
Tekstuuri – pintamateriaalin yksityiskohdat: kankaan kude, puun syyt, harjattu metalli, matan ja kiiltävän vaihtelu
Väri – sävy, kylläisyys ja se, miten pinta reagoi luotuun valoon
Merkinnät – logot, painettu teksti, tikkaukset, sarjanumerolaatat ja leimat

Pisteytä nämä osa-alueet erikseen. On erittäin hyödyllistä tietää, jos työkalu loistaa kolmessa kohdassa mutta pettää yhdessä. Keskiarvo ei kerro mitään siitä, mikä osa-alue epäonnistui.

Vaaleanbeigenvärinen taiteltu neulepaita, pilkullinen keraaminen muki ja kilpikonnakuosiset aurinkolasit aseteltuna vaalealle paperille ikkunanvalossa. — Mittaamisen arvoinen otos kattaa useamman kuin yhden materiaalityypin.

Otos, pisteytys, toisto

Otos — kolmekymmentä tuotetta todellisesta kuvastosta, vaikeat tapaukset mukana samassa suhteessa, yksi viitekuva kustakin, syötteet tallennettuina.
Pisteytys — neljä osa-aluetta, kolmiportainen asteikko, kaksi arvioijaa, perustelu jokaiselle ”väärin”-tulokselle.
Toisto — sama otos ja asteikko jokaiselle työkalun versiolle, jotta vertailu ei kohdistu kahteen eri asiaan.

Kestävän ja perustellun otoksen rakentaminen

Otos ratkaisee lopputuloksen usein enemmän kuin varsinainen pisteytys.

Valitse 30 tuotetta, älä viittä. Jos otos on alle kolmekymmentä, yksikin poikkeava tuote vääristää kokonaistulosta. Valitse tuotteet kattavasti todellisesta katalogistasi sen sijaan, että poimisit vain helposti kuvattavat tuotteet – helppojen tuotteiden otos ei mittaa mitään olennaista.

Ota vaikeat tapaukset mukaan tarkoituksella. Jokaisessa valikoimassa on tuotteita, jotka tuottavat tekoälylle vaikeuksia: läpinäkyvät ja heijastavat pinnat, tiheät toistuvat kuviot, syvät mustat, pieni painettu teksti ja monimutkaiset ääriviivat. Jos nämä muodostavat 20 % valikoimastasi, niiden tulisi vastata 20 % otoksestasi.

Määritä jokaiselle tuotteelle yksi referenssikuva. Sama valaistus, sama kuvakulma, tarkka tarkennus ja täysi resoluutio. Tämä on absoluuttinen vertailukohta (ground truth). Kaikki pisteytetään suhteessa tähän, joten heikkolaatuinen referenssikuva heikentää koko testin luotettavuutta.

Kirjaa lähtötiedot ylös. Mikä referenssikuva syötettiin, mitä asetuksia käytettiin ja mitä versiota työkalusta kokeiltiin. Ilman näitä tietoja testiä ei voi toistaa, ja mittaus, jota ei voida toistaa, on pelkkää mutua.

Testausmenetelmä

Luo kuvat samoilla asetuksilla. Käytä samaa konfiguraatiota jokaiselle otoksen tuotteelle. Asetusten muuttaminen kesken testin tekee tuloksista vertailukelvottomia.
Aseta jokainen tekoälykuva referenssikuvansa rinnalle samassa koossa. Pikkukuvan vertaaminen täyden resoluution referenssikuvaan antaa tekoälykuvasta todellisuutta imartelevamman kuvan.
Pisteytä kaikki neljä osa-aluetta kiinteällä kolmiportaisella asteikolla: uskollinen – asiakas ei huomaisi eroa; muuttunut – eron huomaa selvästi, mutta tuote on yhä tunnistettavissa; virheellinen – tuotteen tilaava asiakas tuntisi itsensä aiheellisesti johdetuksi harhaan.
Kaksi arvioijaa toisistaan riippumatta. Jos näkemykset eroavat, kirjaa ylös molemmat sekä erimielisyyden syy. Erimielisyys on arvokasta dataa: se paljastaa usein kohdan, jossa työkalun suorituskyvyn rajat tulevat vastaan.
Raportoi jakauma, älä keskiarvoa. Tieto kuten ”24 uskollista, neljä muuttunutta, kaksi virheellistä merkinnöissä” antaa suoraa suuntaa toimenpiteille. Arvosana ”8,2 / 10” ei kerro mitään käyttökelpoista.

Pisteytyssäännöt, jotka pitävät tulokset totuudenmukaisina

Arvioi tuotetta, älä kuvaa. Upea kuva väärän sävyisestä tuotteesta on hylätty. Vaatimaton kuva, joka vastaa täysin todellista tuotetta, on hyväksytty.

”Virheellinen” vaatii perustelun. Kirjaa ylös, minkä asiakas huomaisi – esimerkiksi ”hihnan solki muuttui liukusäätimeksi” tai ”kuosin mittakaava on väärä”. Ilman kirjattua perustelua annetusta arvosanasta ei voi keskustella rakentavasti, mikä voi tuntua helpolta, mutta tekee datasta hyödytöntä.

Älä arvioi samaa tuotetta kahdesti saman istunnon aikana. Tuotteen tuttuus tekee arvioijasta huomaamatta sallivamman jokaisella tarkastelukerralla.

Säästä epäonnistuneet tapaukset. Ne ovat koko harjoituksen hyödyllisin anti – jopa arvokkaampia kuin itse pisteytys – sillä ne paljastavat, mitkä tuoteryhmät vaativat yhä perinteistä valokuvausta.

Kädet lepäävät puupöydällä pienen kuvapuoli alaspäin käännetyn valokuvapinon vieressä. — Pisteytys on helpompaa, kun vedokset pidetään kuvapuoli alaspäin omaan vuoroonsa asti.

Tarkkuuden pisteytyksen muistilista

Vaihe	Mitä määritellään etukäteen	Mikä mitätöi testikerran
Otos	Noin kolmekymmentä tuotetta todellisesta valikoimasta, vaikeita tapauksia oikeassa suhteessa	Vain helposti kuvattavien tuotteiden valitseminen
Vertailukohta	Yksi valokuva tuotetta kohden: sama valaistus, sama kuvakulma, tarkka, täydellä resoluutiolla	Epätarkka tai vinosta kulmasta otettu vertailukuva
Asetukset	Yhdet asetukset ja yksi työkalun versio koko testikerralle	Asetusten muuttaminen kesken testin
Vertailu	Luotu kuva ja vertailukuva samassa näyttökoossa	Pikkukuvan arviointi täyden resoluution vertailukuvaa vasten
Asteikko	Uskollinen / muuttunut / väärä, määritelty ennen pisteytyksen aloittamista	"Muuttuneen" määritelmän muuttaminen tulosten saavuttua
Pisteyttäjät	Kaksi toisistaan riippumatonta, erimielisyydet kirjattu perusteluineen	Yksi pisteyttäjä, tai saman tuotteen pisteyttäminen kahdesti samassa arviointikerrassa
Raportti	Jakauma kunkin osa-alueen osalta	Yksi ainoa keskiarvotulos

Yksi takki, neljä arvosanaa

Luotu kuva vahapuuvillatakista näyttää ensisilmäyksellä paremmalta kuin referenssikuva. Referenssiin verrattuna se on väriltään uskollinen ja geometriallaan uskollinen, mutta tekstuuriltaan muuttunut — vahapinta on muuttunut tasaiseksi kiilloksi — ja merkinnöiltään virheellinen, koska rinnassa oleva kirjailtu logo on muuttanut muotoaan. Kirjattu perustelu on "logo piirretty uudelleen". Yksi ainoa keskiarvoistettu arvosana olisi piilottanut tuotesivun kannalta ainoan olennaisen asian: kuvassa oleva tuote ei ole se, joka toimitetaan asiakkaalle.

Testin toistaminen

Menetelmä, jota ei voida toistaa, on vain kertaluonteinen mielipide. Jotta testi voidaan toistaa luotettavasti, sinulla on oltava dokumentoituna: tuotelista, referenssikuvat, työkalun versio ja asetukset, käytetty asteikko, arvioijat sekä päivämäärä. Toista testi aina, kun työkalu päivittää malliversiotaan tai kun lisäät valikoimaasi uuden tuotekategorian, jota alkuperäinen otos ei kattanut.

Kahden eri ajon vertailu on mielekästä vain, jos otos ja arviointiasteikko ovat täysin identtiset. Eri otos mittaa aina eri asiaa.

Usein kysytyt kysymykset

Kuinka monta tuotetta tarvitaan tekoälykuvien tarkkuuden mittaamiseen?

Noin kolmekymmentä, jotka on valittu läpi todellisen tuotekuvaston sen sijaan, että valittaisiin vain helposti valokuvattavia tuotteita. Tätä pienemmässä otoksessa yksittäinen poikkeava tuote vääristää lopputulosta. Ota mukaan vaikeat tapaukset — läpinäkyvät ja heijastavat pinnat, tiheät toistuvat kuviot, syvät mustat sävyt, pieni painettu teksti ja monimutkaiset siluetit — samassa suhteessa kuin niitä esiintyy kuvastossa.

Mitä asteikkoa tekoälytuotekuvien pisteytykseen tulisi käyttää?

Kolmiportaista asteikkoa, joka on määritelty ennen pisteytystä: luonnonmukainen (asiakas ei huomaisi eroa), muuttunut (selvästi erilainen, mutta tuote on yhä tunnistettavissa) ja virheellinen (tuotteen vastaanottava asiakas voisi perustellusti kokea tulleensa johdetuksi harhaan). Pisteytä geometria, tekstuuri, väri ja merkinnät erikseen ja kirjaa syy jokaiselle "virheellinen"-arviolle.

Miksi ei kannata käyttää yhtä ainoaa tarkkuuspistemäärää?

Koska se piilottaa sen, mikä osa-alue epäonnistui. Työkalu voi olla luonnonmukainen värin ja geometrian osalta mutta virheellinen merkinnöissä; keskiarvona tulos näyttää "hyvältä". Osa-aluekohtainen jakauma paljastaa, mitkä tuotteet vaativat oikean valokuvan.

Millainen vertailuvalokuvan on oltava?

Vertailukohta todellisuudesta (ground truth): sama valaistus ja kuvakulma jokaiselle tuotteelle, tarkka ja täydellä resoluutiolla. Kaikki pisteytetään suhteessa siihen, joten heikkolaatuinen vertailukuva rajoittaa koko testin laatua ja saa tulokset näyttämään yhteneväisiltä silloinkin, kun ne eivät sitä ole.

Voiko kahta eri tarkkuustestiä verrata keskenään?

Vain silloin, jos otos, vertailuvalokuvat, asteikko ja työkalun versio ovat täysin identtiset ja ne on dokumentoitu ylös. Eri otos mittaa eri asiaa; testi, jota ei voida toistaa, on vain yksittäistapaus.

Mitä tämä menetelmä ei kerro

Menetelmä mittaa ainoastaan sitä, kuinka uskollisesti kuva vastaa tuotetta. Se ei ota kantaa siihen, myykö kuva, hyväksyykö kauppapaikka sen tai pitääkö ostaja sitä houkuttelevana. Nämä ovat erillisiä kysymyksiä, jotka vaativat omat testinsä, eikä hyvä pistetulos tässä testissä vastaa niihin.

Tulokset ovat myös tasan niin hyviä kuin referenssikuvasi. Jos referenssikuva on epäterävä, huonosti valaistu tai otettu kulmasta, joka peittää oleelliset yksityiskohdat, testi näyttää virheellisesti kuvan vastaavan tuotetta.

Kolmelle neljästä osa-alueesta on omat syventävät oppaansa, sillä kukin niistä voi epäonnistua eri tavoilla: tuotteen geometria, tekstuurin säilyttäminen ja väritarkkuus. Jos haluat ajaa saman testin useammalle työkalulle vertailua varten, lue miten vertailla tekoälytuotekuvaustyökaluja.

Arvioitavien kuvien luomiseen tutustu oppaaseen tekoälytuotekuvaus.