Как измерить точность ИИ-изображений товаров

Любой разговор об ИИ-фотографии для e-commerce в итоге сводится к одному вопросу: изображен ли на генерации именно тот товар, который вы продаете? Все используют слово «точность», но почти никто не дает ему четкого определения, из-за чего сравнение сервисов обычно превращается в спор о вкусах.

Этот протокол создан для объективных измерений. В нем нет готовых рейтингов. Протестируйте по нему собственный каталог на основе ваших референсов — и полученные цифры покажут реальную картину для вашего ассортимента, а не абстрактные бенчмарки на чужих примерах.

Как измерить точность ИИ-изображений товаров?

Оценивайте сгенерированное изображение относительно фиксированной эталонной фотографии того же товара по четырем независимым параметрам: геометрии, текстуре, цвету и маркировке. Используйте трехбалльную шкалу (точно, изменено, неверно), двух независимых оценщиков и письменное обоснование для каждой оценки «неверно». Сформируйте выборку примерно из тридцати товаров из реального каталога, сгенерируйте их в единой конфигурации и приводите распределение оценок, а не среднее значение.

Что такое точность ИИ-изображений товаров?

Точность ИИ-изображений товаров — это степень соответствия сгенерированного изображения реальному товару, который вы продаете: его формы и пропорций, фактуры поверхности, цвета при заданном освещении, а также логотипов, принтов и швов. Она оценивается относительно эталонной фотографии, а не привлекательности самого изображения. Это не единая метрика, а четыре независимые оценки, поскольку инструмент может безупречно передать три параметра и полностью исказить четвертый.

Точность состоит из четырех независимых параметров

Главная ошибка — сводить все к единой оценке. Сгенерированное изображение может идеально передавать цвет, но полностью искажать пропорции. Одна общая цифра скроет этот дефект.

Геометрия — форма, пропорции и взаимное расположение деталей
Текстура — микрорельеф поверхности: плетение ткани, зернистость кожи, шлифованный металл, контраст матовых и глянцевых элементов
Цвет — оттенок, насыщенность и поведение покрытия при заданном освещении
Маркировка и мелкие детали — логотипы, текст, строчка швов, шильдики с серийными номерами и клейма

Оценивайте каждый параметр отдельно. Если инструмент справляется с тремя задачами и проваливает четвертую, это важный фактор при выборе. Средний балл не покажет, где именно возник сбой.

Сложенный вязаный джемпер овсяного оттенка, керамическая кружка в крапинку и черепаховые солнцезащитные очки лежат на светлой бумаге при естественном свете из окна. — Тестовая выборка должна охватывать несколько разных фактур.

Выборка, скоринг, повторение

Выборка — тридцать товаров из реального каталога, сложные случаи включены пропорционально, по одной эталонной фотографии на каждый товар, входные данные зафиксированы.
Скоринг — четыре параметра, трехбалльная шкала, два оценщика, обоснование для каждой ошибки.
Повторение — та же выборка и шкала для каждой новой версии инструмента, иначе вы будете сравнивать несравнимые вещи.

Формирование репрезентативной выборки

Качество выборки влияет на итоговый результат сильнее, чем сам процесс оценки.

Возьмите 30 товаров, а не пять. Если объектов меньше трех десятков, даже один нестандартный артикул сильно исказит общую статистику. Выбирайте позиции из реального каталога, а не только те, которые заведомо хорошо получаются на фото — тест на простых товарах не имеет практической ценности.

Обязательно включите сложные категории. В любом каталоге найдутся позиции, на которых генеративные модели спотыкаются: прозрачные и зеркальные поверхности, мелкие повторяющиеся узоры, глубокий черный цвет, мелкий печатный текст и объекты со сложным силуэтом. Если они составляют 20% вашего ассортимента, отдайте им 20% выборки.

Закрепите один эталонный снимок (референс) для каждого товара. Одинаковое освещение, тот же ракурс, точный фокус и максимальное разрешение. Это ваша абсолютная истина (ground truth). Все генерации будут сравниваться именно с ней, поэтому некачественный референс обесценит всю работу.

Фиксируйте исходные данные. Какой референс использовался, с какими настройками и на какой версии инструмента запускалась генерация. Без этого тест невозможно повторить, а невоспроизводимый результат теряет доказательную силу.

Протокол тестирования

Генерируйте в единой конфигурации. Одинаковые настройки для всех товаров выборки. Смена параметров посреди теста делает результаты несопоставимыми.
Сравнивайте полученное изображение с эталоном в одинаковом масштабе. Оценка превью-картинки на фоне полноразмерного референса визуально сглаживает дефекты генерации.
Оценивайте каждый из четырех параметров по фиксированной трехбалльной шкале: точно — покупатель не заметит разницы; изменено — отличия заметны, но товар остается узнаваемым; ошибка — получив такой товар, покупатель обоснованно решит, что его ввели в заблуждение.
Два независимых эксперта. При расхождении в оценках фиксируйте оба варианта и причину спора. Разногласия — ценный источник информации: они часто показывают пределы возможностей инструмента.
Опирайтесь на распределение, а не на средний балл. Формулировка «24 без искажений, 4 с изменениями, 2 с ошибками в маркировке» дает понятный план действий. Оценка «8.2 из 10» не дает ничего.

Правила скоринга для объективной оценки

Оценивайте товар, а не картинку. Красивый кадр с неверным оттенком — это брак. Невыразительное изображение, совпадающее с оригиналом, — это успех.

Каждая «ошибка» должна быть аргументирована. Зафиксируйте, на что именно обратит внимание клиент: «пряжка ремня превратилась в простую планку», «масштаб принта не совпадает». Оценка без комментария не позволяет провести работу над ошибками.

Не оценивайте один и тот же товар дважды в рамках одной сессии. Глаз замыливается, и с каждым новым просмотром проверяющий становится менее критичным.

Сохраняйте неудачные генерации. Это самый полезный результат всего тестирования — куда более важный, чем итоговый балл. Именно он показывает, для каких категорий каталога по-прежнему необходима традиционная фотосъемка.

Руки лежат на деревянном столе рядом с небольшой стопкой отпечатков фотографий лицевой стороной вниз. — Оценивать снимки проще, если держать их рубашкой вверх до нужного момента.

Чек-лист скоринга точности

Этап	Что зафиксировать заранее	Что аннулирует прогон
Выборка	Около тридцати товаров из реального каталога, сложные случаи в пропорциональном объеме	Выбор товаров, которые хорошо получаются на фото
Референс	Одна фотография на товар: одинаковое освещение, одинаковый ракурс, в фокусе, в полном разрешении	Нечеткий или снятый под углом референс
Конфигурация	Один набор настроек и одна версия инструмента на весь прогон	Изменение настроек в процессе прогона
Сравнение	Результат и референс отображаются в одном размере	Оценка миниатюры в сравнении с референсом в полном разрешении
Шкала	Faithful / altered / wrong, определенные до начала скоринга	Переопределение критерия «altered» после получения результатов
Оценщики	Двое независимых оценщиков, расхождения фиксируются с указанием причин	Один оценщик или повторная оценка одного и того же товара в рамках одной сессии
Отчет	Распределение по каждому параметру	Единый усредненный балл

Одна куртка, четыре оценки

Сгенерированное изображение куртки из вощеного хлопка выглядит даже привлекательнее оригинала. При сравнении с референсом результат таков: цвет — точный, геометрия — точная, текстура — измененная (вощеная поверхность превратилась в однородный глянец), маркировка — неверная (вышитый логотип на груди изменил форму). В пояснении указано: «логотип перерисован». Усредненная оценка скрыла бы главное обстоятельство, критичное для карточки товара: на изображении показан не тот продукт, который получит покупатель.

Воспроизводимость результатов

Методика, которую нельзя повторить, превращается в частное мнение. Чтобы перепроверить результаты позже, сохраните: список артикулов, эталонные фотографии, версию сервиса и параметры генерации, шкалу оценки, состав проверяющих и дату проведения. Повторяйте тест при выходе обновлений модели или при добавлении в каталог новых товарных групп, которых не было в исходной выборке.

Сравнивать результаты двух прогонов корректно только при идентичной выборке и одинаковой шкале. Другая выборка измеряет уже совсем другие параметры.

Часто задаваемые вопросы

Сколько товаров нужно для оценки точности ИИ-изображений?

Около тридцати, выбранных из реального каталога, а не только из тех позиций, которые хорошо получаются на фото. При меньшем количестве один нестандартный товар исказит результат. Включайте сложные случаи — прозрачные и отражающие поверхности, мелкие повторяющиеся узоры, глубокий черный цвет, мелкий печатный текст, сложные силуэты — в той же пропорции, в какой они представлены в каталоге.

Какую шкалу использовать для скоринга ИИ-изображений товаров?

Трехбалльную, с критериями, определенными до начала оценки: «точно» (покупатель не заметит разницы), «изменено» (заметно отличается, но товар узнаваем), «ошибочно» (получив такой товар, покупатель обоснованно посчитает себя введенным в заблуждение). Оценивайте геометрию, текстуру, цвет и маркировку отдельно и фиксируйте причину для каждой оценки «ошибочно».

Почему не стоит использовать единую общую оценку точности?

Потому что она скрывает, по какому именно параметру произошел сбой. Инструмент может быть точным по цвету и геометрии, но ошибаться в маркировке; в среднем результат будет выглядеть как «хорошо». Именно распределение по каждому параметру показывает, для каких товаров требуется реальная фотография.

Какой должна быть эталонная фотография?

Эталоном (ground truth): одинаковое освещение и ракурс для каждого товара, четкий фокус, максимальное разрешение. Все оценивается относительно нее, поэтому слабый эталон ограничивает качество всей процедуры и создает иллюзию совпадения там, где его нет.

Можно ли сравнивать результаты двух тестов точности?

Только если выборка, эталонные фотографии, шкала и версия инструмента полностью идентичны и зафиксированы письменно. Другая выборка измеряет другие показатели; тест, который нельзя воспроизвести, остается лишь частным случаем.

Что этот протокол не оценивает

Он проверяет только соответствие изображения реальному продукту. Протокол не дает ответа на вопросы, продает ли эта картинка, пройдет ли она модерацию на маркетплейсе и покажется ли привлекательной покупателю. Это совершенно другие метрики, требующие отдельных тестов, и высокий балл в этом протоколе не гарантирует коммерческого успеха.

Кроме того, точность оценки напрямую зависит от качества референса. Если исходное фото не в фокусе, плохо освещено или снято с ракурса, скрывающего ключевую деталь, методика покажет ложное совпадение.

Для трех из четырех параметров разработаны углубленные протоколы, поскольку ошибки в них принципиально различаются: геометрия товара, сохранение текстуры и точность цветопередачи. О том, как применить этот протокол для сравнительного анализа сразу нескольких сервисов, читайте в статье Сравнение и бенчмаркинг сервисов ИИ-фотографии для товаров.

Создать изображения для последующей оценки можно с помощью инструмента ИИ-фотография для товаров.