Si sientes que el tiempo pasa volando y que el día no te da para nada, te invito a etiquetar imágenes para visión artificial.
Es casi entrañable cuando alguien nuevo se une a nuestro equipo. El primer día le asignamos lo que parece una tarea tranquila: dibujar rectángulos (bounding boxes) sobre rayas e imperfecciones en miles de fotos de piezas. Los dos primeros días van genial. Al tercero, viene a preguntarme si puede compaginarlo con algo un poco más estimulante. Y no le culpo.
Ese cuello de botella es justo el que ataca la detección de defectos zero-shot: inspeccionar con modelos de visión y lenguaje (VLM) que ya «saben» qué es una grieta o un sellado abierto, sin tener que enseñárselo antes con cientos de fotos de tu línea. En este artículo te cuento qué es, cómo funciona, cuándo encaja y, también, dónde no llega todavía.
El problema real: no es etiquetar, es que no hay fotos que etiquetar
Etiquetar cuesta tiempo, pero en planta hay un problema aún mayor: muchas veces no existen imágenes de defectos.
En una línea que funciona bien, los defectos son raros. Y si acabas de instalar una línea nueva o de lanzar un producto, te encuentras con una paradoja:
¿Cómo entrenas un modelo de deep learning si apenas tienes tres fotos de una pieza defectuosa?
¿Tiene sentido provocar fallos o romper material bueno solo para hacerle fotos?
Evidentemente, no. Y la alternativa clásica, esperar meses a que el sistema recoja defectos reales, significa meses inspeccionando a ciegas o con un modelo a medias.
¿Qué es el etiquetado de imágenes?
En la visión artificial basada en deep learning supervisado, para que una IA aprenda a reconocer una grieta, una persona tiene que marcar a mano, en cientos de fotos, dónde está cada defecto y de qué tipo es: «fisura», «mancha», «deformación». Más tipos de defecto y más variantes de producto significan muchas más fotos.
Detección de anomalías: una gran solución con límites
Para esquivar la falta de fotos de defectos, la industria dio un paso muy inteligente: la detección de anomalías. En lugar de enseñar a la IA cómo es una pieza mala, la entrenas solo con piezas buenas. El sistema aprende qué es «lo normal» y marca cualquier desviación.
Funciona muy bien con productos homogéneos. En nuestra experiencia con inspección por rayos X de productos envasados, el detector de anomalías era muy fiable para verificar sellados, niveles de llenado y cuerpos extraños en productos como yogures o salsas.
Pero se topó con un hueso duro de roer (literalmente): la codorniz en conserva.
Producto (rayos X) | Qué ve el detector como «anomalía» | Resultado |
|---|---|---|
Yogur o salsa (homogéneo) | Un error de sellado o un cuerpo extraño | Detección fiable |
Codorniz en conserva (estructura orgánica) | La posición natural de los huesos, distinta en cada bote | Falsos rechazos en cadena |
La densidad y la colocación de los huesos cambiaban en cada bote. Para la cámara no había dos iguales, y como el detector solo mide desviaciones sin entender lo que ve, interpretaba la anatomía de la codorniz como rarezas.
La lección fue clara: la detección de anomalías mide diferencias, pero no entiende el significado.
¿Qué es la detección de defectos zero-shot?
La detección de defectos zero-shot es la capacidad de un modelo de IA de identificar defectos en un producto sin haber sido entrenado con imágenes de ese producto ni de esos defectos. En vez de aprender de tus fotos, se apoya en lo que ya aprendió antes, con millones de pares de imagen y texto, y en una descripción en lenguaje natural de lo que tiene que buscar.
En la investigación se habla de detección de anomalías zero-shot, y los trabajos de referencia (como WinCLIP, presentado en CVPR 2023, o AnomalyCLIP, en ICLR 2024) se evalúan con bancos de pruebas públicos de piezas industriales como MVTec AD y VisA.
¿Qué es un VLM?
Un VLM (vision-language model, modelo de visión y lenguaje) es un modelo que procesa imágenes y texto a la vez y entiende la relación entre ambos. Algunos ejemplos conocidos son CLIP, Qwen-VL o los modelos multimodales tipo GPT-4o y Gemini. Como sabe qué significa «grieta», «hueso» o «tapón torcido», puede evaluar una imagen frente a una instrucción escrita.
¿Cómo funciona un VLM en control de calidad?
Simplificando mucho, el proceso es así:
Describes lo que es correcto y lo que no. Por ejemplo: «busca grietas en el borde y falta de sellado; ignora el polvo superficial y las variaciones naturales de tono».
El modelo compara la imagen con esas descripciones. Calcula cuánto se parece cada zona de la imagen a «pieza correcta» o a «pieza con grieta».
Devuelve una decisión y, si el modelo lo permite, la zona del defecto. Ese resultado se traduce en una señal OK/NOK para el rechazo.
Afinas con tu realidad. Con pocas imágenes reales (las primeras de producción) ajustas umbrales e instrucciones. Ahí es donde se pasa de una demo a un sistema fiable.
Aplicado a productos variables, la ventaja se nota. Cuando un VLM analiza una mancha en la cáscara de un huevo, no se limita a dar la alarma por una diferencia de color: evalúa la imagen frente a la pregunta. ¿Es una grieta real o una mancha de calcio? Lo explico con más detalle en la inspección automática de huevos con visión artificial.
Visión tradicional, deep learning, anomalías y zero-shot: ¿cuál elegir?
Los VLM no vienen a sustituir lo anterior, sino a completar la caja de herramientas. Cada enfoque tiene su sitio:
Enfoque | Datos que necesita | Producto orgánico o variable | Tiempo de puesta en marcha | Caso ideal |
|---|---|---|---|---|
Visión tradicional (reglas) | Reglas programadas a mano | Complicado | Semanas | Geometrías fijas y muy repetitivas |
Deep learning supervisado | Cientos de fotos de defectos etiquetadas | Aceptable si hay datos | Semanas o meses | Alto volumen con defectos conocidos y críticos |
Detección de anomalías | Decenas de fotos de piezas buenas | Limitado (falsos rechazos) | Días | Productos homogéneos o simétricos |
Zero-shot con VLM | Una descripción en texto y unas pocas imágenes reales para validar | Bueno: entiende el contexto | Horas | Lanzamientos, cambios de formato frecuentes, productos naturales |
Si quieres profundizar en las dos primeras filas, lo cuento en visión artificial tradicional frente a visión basada en IA.
Límites de la detección zero-shot (lo que no te suelen contar)
Si buscas «zero-shot defect detection», casi todo lo que encuentras son artículos académicos. Están muy bien, pero en planta hay que mirar también lo que no sale en el paper:
El rendimiento baja fuera del laboratorio. Los propios estudios muestran que los resultados en bancos de pruebas como MVTec AD no se trasladan tal cual a otros dominios. Con tus piezas, tu iluminación y tu línea, hay que validar siempre.
Defectos muy sutiles o muy específicos. Una microfisura de décimas de milímetro o un defecto que solo tu equipo de calidad sabe nombrar pueden necesitar un modelo entrenado.
Velocidad. Los VLM grandes son pesados. En líneas de muchas unidades por segundo, hace falta una arquitectura pensada para ello (modelos optimizados en el edge o combinar enfoques).
Las instrucciones también se diseñan. Una descripción ambigua da resultados ambiguos. Escribir buenas instrucciones es parte del trabajo.
La óptica sigue mandando. Si la cámara no ve bien el defecto, ningún modelo lo va a ver. Iluminación, lente y posición importan igual que siempre.
Por eso, para nosotros, el zero-shot no es «cero trabajo», sino empezar a inspeccionar mucho antes y mejorar con datos reales en lugar de esperar a tenerlos. Es lo que habría querido saber en mi primer proyecto, y lo cuento en 10 cosas que me hubiera gustado conocer en mi primer proyecto de IA en una fábrica.
De la investigación a la planta: inspección No-Code con Rely
La ciencia ya ha demostrado que la idea funciona. El reto industrial es convertirla en un sistema que hable con PLC, fotocélulas y expulsores, y que tu equipo pueda manejar sin programar.
En Rely combinamos los tres mundos: hay procesos en los que el deep learning o la detección de anomalías siguen siendo lo ideal, y otros en los que la flexibilidad de los VLM marca la diferencia. Todo desde un entorno No-Code:
Montas la cámara en tu línea.
Describes qué quieres buscar en lenguaje natural o partes de tu Golden Reference.
Validas con tus primeras piezas y empiezas a inspeccionar, con el sistema funcionando en horas y no en meses.
Cada decisión queda registrada con su imagen, así que además de separar piezas tienes evidencia para tu trazabilidad y para defenderte ante una reclamación. La mejor forma de comprobarlo es reservar una demo con tus propias piezas; si antes quieres verlo en un entorno visual, prueba el simulador 3D de Rely.
Preguntas frecuentes
¿Qué significa zero-shot en visión artificial?
Que el modelo reconoce algo que no ha visto en su entrenamiento específico. En control de calidad, que detecta defectos en tu producto sin haber sido entrenado con fotos de ese producto, apoyándose en lo que ya sabe y en una descripción en texto.
¿Se puede detectar defectos sin imágenes de entrenamiento?
Sí, para empezar. Un VLM puede inspeccionar desde el primer día con una buena descripción. Aun así, siempre conviene validar con piezas reales de tu línea y ajustar instrucciones y umbrales antes de usarlo para rechazar producto.
¿Qué diferencia hay entre detección de anomalías y detección zero-shot?
La detección de anomalías aprende de piezas buenas y marca todo lo que se aparte de ellas, aunque sea una variación natural. La detección zero-shot usa un modelo que entiende conceptos, así que puede distinguir entre una grieta y una mancha inocua, sin necesidad de entrenar con tu producto.
¿La detección zero-shot sustituye al deep learning?
No. Para defectos muy sutiles, muy específicos o en líneas muy rápidas, un modelo entrenado sigue siendo a menudo la mejor opción. Lo habitual es combinar: zero-shot para arrancar rápido y para productos variables, y modelos entrenados donde aportan más precisión.
¿Qué VLM se usan para inspección industrial?
En investigación, los más citados se basan en CLIP (como WinCLIP o AnomalyCLIP). También se usan modelos multimodales abiertos como Qwen-VL. En planta importa menos el nombre del modelo que cómo se integra con la cámara, la iluminación y el rechazo.
¿Tienes un producto nuevo, un formato que cambia cada semana o un producto natural que da falsos rechazos?
Pruébalo con tus propias piezas, sin preparar un dataset previo.
¿Prefieres probarlo antes por tu cuenta? Entra en la demo de Rely sin compromiso.