La mayoría de las comparativas de herramientas de fotografía de producto con IA no son más que marketing con una tabla en medio. La muestra nunca se hace pública, la puntuación es pura cuestión de gustos y siempre gana la herramienta que financia el artículo.
Esta es una metodología para que hagas tu propia evaluación. No proclama a ningún ganador ni publica puntuaciones, y al final explicamos el motivo.
¿Cómo hacer un benchmark de herramientas de fotografía de producto con IA?
Empieza por definir la pregunta y adáptala a tu catálogo específico. Congela una muestra de al menos treinta productos reales con una fotografía de referencia para cada uno, dale a cada herramienta la misma entrada bajo los mismos ajustes, resolución, número de intentos y fecha, evalúa los resultados a ciegas en cuanto a geometría, textura, color y marcas con dos evaluadores independientes, y publica la muestra, las entradas, las versiones, la rúbrica y cada fallo para que cualquiera pueda verificar el resultado.
¿Qué es un benchmark de fotografía de producto con IA?
Un benchmark es una comparación de herramientas sobre una misma muestra fija, bajo las mismas condiciones, evaluada a ciegas con una rúbrica fija y documentada para que se pueda auditar. Cualquier comparativa a la que le falte uno solo de estos elementos (una muestra no revelada, entradas adaptadas a cada herramienta, una evaluación que no sea a ciegas, la ausencia de una lista de fallos) no es más que una afirmación con una tabla en medio, sin importar quién la publique.
Define qué vas a comparar antes de mirar cualquier herramienta
Un benchmark sin una pregunta clara solo genera un ranking sin valor. Empieza por redactar esa pregunta y hazla específica para tu catálogo:
De nuestros treinta productos más vendidos, ¿qué herramienta genera imágenes principales listas para publicar sin retocar y en qué falla cada una?
Eso sí se puede responder. «¿Qué herramienta es la mejor?», no.
Pregunta, congela, controla, anonimiza y publica
Cinco pasos, y en cada uno de ellos las comparativas publicadas suelen fallar silenciosamente: la falta de una pregunta clara, una muestra que va cambiando tras los primeros resultados, entradas distintas para cada herramienta, evaluadores que saben qué herramienta generó cada imagen y un ranking que no se puede auditar.
Define la muestra y no la toques
- Treinta productos como mínimo, extraídos de tu catálogo real y no seleccionados por lo bien que salen en las fotos.
- La misma fotografía de referencia para todas las herramientas. Un benchmark donde cada herramienta recibe un input distinto solo mide los inputs.
- Pondera las categorías difíciles (superficies reflectantes, transparencias, patrones finos, negros profundos, texto impreso pequeño) en la misma proporción en que aparecen en tu catálogo.
- Fija la muestra antes de generar nada. Añadir productos sobre la marcha tras ver algunos resultados es la forma más rápida de sesgar la prueba.
Mantén constantes todas las demás variables
Aquí es donde la mayoría de las comparativas fallan silenciosamente.
- El mismo prompt o la misma intención de preset en todas las herramientas, adaptándolos únicamente a las exigencias de cada interfaz. Registra el input exacto introducido en cada una.
- La misma resolución de salida, o la máxima que admita cada una dejando constancia de la diferencia. Comparar una herramienta a 4K con otra a 1K no es una comparativa justa.
- El mismo número de intentos por producto: uno, salvo que especifiques lo contrario. Un «el mejor de cinco intentos» frente a un «primer resultado» es una prueba totalmente distinta; es válida, pero debe declararse.
- La misma fecha. Los modelos de IA evolucionan constantemente. Una prueba repartida a lo largo de tres semanas equivale a evaluar tres herramientas diferentes.
Evalúa con una rúbrica fija
Utiliza las cuatro dimensiones del protocolo de precisión (geometría, textura, color y detalles o inscripciones), puntuadas por separado en una escala de tres puntos y por dos evaluadores de forma independiente.
Haz una evaluación a ciegas. Elimina los nombres de archivo y los metadatos, mezcla los resultados y puntúa sin saber qué herramienta ha generado cada imagen. Este paso por sí solo cambia los resultados más que ningún otro, y su ausencia es la señal más clara de que un benchmark publicado no es de fiar.
Registra cada fallo con su motivo. El registro de fallos aporta mucho más valor que el ranking: te muestra con qué partes de tu catálogo puede trabajar cada herramienta y cuáles siguen necesitando un fotógrafo.
Documenta los resultados para que se puedan auditar
Un benchmark que no se puede auditar es solo una afirmación sin pruebas. Publica, junto a cualquier métrica:
- La lista de productos y las fotografías de referencia.
- Los inputs y ajustes exactos utilizados en cada herramienta.
- Las versiones de las herramientas y la fecha de la prueba.
- La rúbrica y la escala de evaluación.
- Quiénes evaluaron y en qué puntos hubo discrepancias.
- Todos los casos de error, con el máximo detalle.
Indica la base de costes por separado si decides comparar precios, y especifica qué incluye. El coste por imagen, las tarifas de suscripción y los sistemas de créditos no son directamente comparables; meterlos en una sola columna desvirtúa el análisis.
Usar el benchmark como lista de verificación para compras
Una decisión de compra es un benchmark con una firma al final, y el protocolo anterior ya incluye la mayoría de lo que un comprador necesita. Lo que añade el departamento de compras es una lista corta de preguntas que el benchmark no responde, que se envían por escrito a cada proveedor antes de realizar la prueba, para que las respuestas se comparen como evidencia y no como parte de una conversación de ventas.
- Qué se conserva y qué se genera. Pide a cada herramienta que indique, para el flujo de trabajo que vas a usar, si se mantienen los píxeles del producto o si se vuelve a renderizar; las filas de precisión del benchmark confirmarán la respuesta.
- Quién es el propietario de los resultados, bajo qué condiciones, y si los datos de entrada se usan para entrenar algo.
- A dónde van los datos: regiones, tiempo de retención, eliminación bajo solicitud, subprocesadores.
- Precios como unidad comparable: por imagen a cada resolución, cuánto cuesta una generación rechazada, qué incluye la suscripción y la fecha de la página de precios.
- Qué ocurre cuando falla: reintentos, reembolsos, vías de soporte y si las fallas son visibles para ti o pasan desapercibidas.
- Lote, API y exportación: si el volumen que tienes puede procesarse sin supervisión y cómo salen las imágenes de la herramienta, con nombre y tamaño.
- Control de cambios: cómo comunica el proveedor las modificaciones del modelo, ya que un benchmark mide una herramienta en una fecha concreta.
Evalúa la muestra con la rúbrica y las preguntas con las respuestas, ponderándolas según tu catálogo, y guarda la hoja con la muestra y la fecha. La siguiente compra parte de esa misma hoja, en una nueva fecha, con la misma muestra congelada.
Checklist para el benchmark
| Paso | Regla | Qué lo invalida |
|---|---|---|
| Pregunta | Redactada antes de abrir cualquier herramienta y específica para tu catálogo | «Qué herramienta es la mejor» |
| Muestra | Treinta productos como mínimo, de tu catálogo real, con categorías difíciles en proporción y fija | Añadir productos tras ver los resultados |
| Entradas | La misma fotografía de referencia en cada herramienta; registro exacto de las entradas | Usar una entrada distinta para cada herramienta |
| Condiciones | Misma intención, resolución, número de intentos y fecha | Comparar el mejor de cinco intentos con el primer resultado; hacer la prueba a lo largo de semanas |
| Evaluación | Cuatro dimensiones, escala de tres puntos, dos evaluadores y a ciegas | Dejar los nombres de archivo y los metadatos en las imágenes generadas |
| Informe | Muestra, entradas, versiones, rúbrica, discrepancias y cada uno de los fallos | Una clasificación sin la lista de fallos |
| Coste | Detallado por separado, especificando qué incluye | Mezclar en una sola columna el coste por imagen, suscripciones y créditos |
Treinta SKU, tres herramientas, una sola fecha
Una marca de calzado selecciona treinta de sus productos más vendidos con referencias frontales y congela la muestra. Una misma mañana, procesa las imágenes con las tres herramientas, haciendo un solo intento por cada una a la resolución máxima que admitan las tres. Luego elimina los nombres de los archivos, mezcla los resultados y encarga la evaluación a dos personas. Las puntuaciones finales están muy reñidas, pero la lista de errores no: una herramienta altera el número de ojales en todos los modelos con cordones; otra arruina por completo el acabado del charol. La marca toma su decisión de compra basándose en la lista de fallos y mantiene a un fotógrafo para las botas con cordones.
Preguntas frecuentes
¿Por qué un benchmark necesita una pregunta por escrito?
Porque sin ella la clasificación no significa nada. «De nuestros treinta SKU más vendidos, ¿qué herramienta produce imágenes principales que publicaríamos sin retocar y en qué falla cada una?» se puede responder. «¿Qué herramienta es la mejor?» no.
¿Por qué evaluar a ciegas?
Porque saber qué herramienta produjo una imagen cambia la forma en que se califica, y este único paso altera los resultados más que ningún otro. Elimina los nombres de archivo y los metadatos, mezcla los resultados y luego califica. Un benchmark publicado que no se haya evaluado a ciegas es la señal más clara de que no es un benchmark.
¿Se pueden comparar herramientas a diferentes resoluciones?
Solo si se registra la diferencia. Compara a la misma resolución de salida o a la máxima que admita cada una indicando la diferencia. Enfrentar una herramienta a 4K contra una a 1K no es una comparación.
¿Por qué publicar los casos de fallo?
Porque la lista de fallos es más valiosa que el ranking. Te indica qué partes de tu catálogo puede gestionar cualquier herramienta y cuáles siguen necesitando un fotógrafo, y es lo que permite que otra persona verifique el resultado.
¿Una buena puntuación en el benchmark significa que las imágenes venderán mejor?
No. Un benchmark mide la fidelidad en tus condiciones, con tus productos y en una fecha determinada. No determina que una herramienta sea mejor en general, que se vaya a comportar igual tras la próxima actualización del modelo o que las imágenes con buena puntuación conviertan mejor.
Lo que un benchmark no puede decirte
Mide la fidelidad bajo tus condiciones, con tus productos y en una fecha concreta. No demuestra que una herramienta sea superior en términos generales, que vaya a rendir igual tras la próxima actualización del modelo, ni que las imágenes con mejor puntuación vayan a vender más. Toma el resultado como una decisión de compra para tu catálogo, no como una verdad absoluta sobre el mercado.
Sobre la autoría de este artículo
Photta comercializa soluciones de fotografía de producto con IA, por lo que somos un proveedor dentro de la misma categoría que esta guía te enseña a evaluar. Precisamente por eso no señalamos a ningún ganador, no publicamos puntuaciones ni comparamos a Photta con nadie: una metodología diseñada para darnos la razón no tendría ninguna credibilidad.
Si aplicas este proceso y Photta no rinde bien con parte de tu catálogo, será una conclusión útil, y preferimos que obtengas ese dato real antes que una cifra decidida por nosotros. Lo importante es identificar los puntos de fallo.