Alucinaciones AI - riesgo, causa y manejo en uso industrial

Alucinaciones AI - riesgo, causa y manejo en uso industrial

En los últimos años, la inteligencia artificial se ha abierto camino en casi todos los ámbitos de la industria. El espectro abarca desde los sistemas de inspección automatizados y el mantenimiento predictivo hasta las funciones GenAI integradas en el software empresarial. Junto a las oportunidades, sin embargo, está surgiendo un fenómeno que preocupa cada vez más a la industria: las alucinaciones de la IA.

Se trata de resultados que parecen plausibles a primera vista, pero que en realidad son falsos, inventados o engañosos [1]. En aplicaciones de consumo, como chatbots o traductores, puede tratarse de un fenómeno molesto pero inofensivo. Sin embargo, en contextos industriales en particular, como la fabricación de semiconductores, la producción, el control de calidad o la automatización, las alucinaciones pueden dar lugar a decisiones erróneas, costes o problemas de seguridad. Por ello, los expertos advierten contra la confianza acrítica en los sistemas de IA [2].

Causas y antecedentes técnicos

Las alucinaciones no son un fenómeno nuevo; llevan años acompañando al desarrollo de grandes modelos de lenguaje (LLM) y sistemas generativos. Los modelos de lenguaje generan sus respuestas basándose en probabilidades. Calculan la continuación más probable de una entrada sin tener una comprensión interna de la verdad. La falta o distorsión de los datos de entrenamiento hace que los modelos produzcan resultados de apariencia plausible pero incorrectos. Los estudios muestran un rango de tasas de alucinación entre el 3 % y el 91 %, dependiendo del modelo y del caso de uso [3]. En el caso de OpenAI, los valores fueron del 33 % para el modelo o3 y del 48 % para el modelo o4-mini. Google y DeepSeek también informaron de problemas similares [4]. Vectara, proveedor de análisis de alucinaciones, considera que el fenómeno es inherente al principio: "Siempre alucinarás, nunca desaparecerá".

Situación del mercado en el segmento de los grandes modelos lingüísticos ((LLM) - tasa media de crecimiento anual en % por región, 2025-2030

Las causas son múltiples. Un elemento central es la función de pérdida, que entrena a los modelos no para ser factualmente correctos, sino para minimizar las desviaciones estadísticas. Además, los modelos no tienen certeza interna. No saben "lo que saben", sino que responden a todas las preguntas con la misma confianza. Los mecanismos creativos que proporcionan respuestas variadas también aumentan la probabilidad de errores. Por último, la falta de datos de entrenamiento de alta calidad aumenta el riesgo. Muchos proveedores se basan cada vez más en datos sintéticos, lo que favorece el colapso de los modelos: La IA aprende de la IA hasta que los errores se autorrefuerzan y los resultados se vuelven inutilizables.

Las alucinaciones suelen ser inexplicables, para nosotros los humanos y también para la IA

Efectos reales en la práctica

En la producción de semiconductores, los sistemas basados en IA se utilizan, entre otras cosas, en la inspección de obleas. El resultado es un elevado número de falsas alarmas. Los dispositivos de inspección óptica marcan numerosos supuestos defectos que resultan no ser reales [5]. Estos defectos alucinados consumen recursos en la inspección y retrasan el análisis de fallos. Una contramedida es la combinación de microscopía electrónica avanzada con algoritmos de aprendizaje profundo para separar los defectos reales de las anomalías fantasma.

La IA también puede alucinar en el diseño de circuitos. En un reciente proyecto de investigación sobre desarrollo automatizado de chips de la Escuela de Ingeniería y Ciencias Aplicadas de la Universidad de Princeton y el Instituto Indio de Tecnología (IIT), la IA generó circuitos novedosos, pero en algunos casos inutilizables [6]. Por ejemplo, el modelo incorporaba elementos que no funcionaban en el circuito real. Los expertos señalan que esas "alucinaciones" defectuosas sólo podían ser reconocidas y corregidas por ingenieros humanos.

Estos ejemplos demuestran que, aunque la IA en la industria de semiconductores puede dar lugar a soluciones innovadoras, sin una validación cuidadosa también puede sugerir diseños sin sentido o físicamente imposibles, que en el peor de los casos darían lugar a costosos diseños fallidos. Un sistema de mantenimiento predictivo que notifica un defecto inexistente provoca tiempos de inactividad y costes innecesarios. En AOI 3D, una evaluación alucinada de las juntas de soldadura dejaría pasar puntos débiles ocultos o generaría reprocesados innecesarios. Los sistemas de termografía podrían inventar puntos calientes o pasar por alto un auténtico sobrecalentamiento. Incluso en los sistemas de transporte autónomos, un reconocimiento incorrecto de patrones puede provocar paradas innecesarias o decisiones erróneas peligrosas. Más graves aún son los casos en los que las interpretaciones erróneas provocan fallos pasados por alto, por ejemplo en sistemas energéticos o instalaciones de producción. Un sistema de cámaras asistido por IA puede, por ejemplo, marcar como defectuosas piezas producidas sin fallos aunque no haya ningún defecto [7].

Las consecuencias son una tasa de rechazo innecesaria y retrasos en la producción. Las piezas buenas se rechazan y las comprobaciones manuales o la nueva producción generan costes. Las causas típicas son el ajuste excesivo del modelo o las condiciones ambientales cambiantes (iluminación, polvo), que hacen que la IA "vea" patrones que en realidad son irrelevantes.

(l.) Die Abbildung der Schaltkreise des Chips im Labor des Studienleiters Kaushik Sengupta in Princeton zeigt (r.) ungewöhnliche Muster

(l.) Die Abbildung der Schaltkreise des Chips im Labor des Studienleiters Kaushik Sengupta in Princeton zeigt (r.) ungewöhnliche Muster

(l.) La imagen de los circuitos del chip en el laboratorio del líder del estudio, Kaushik Sengupta, en Princeton, muestra (r.) patrones inusuales.

Contramedidas

Aunque los fabricantes incorporan contramedidas en los dispositivos y el software, si los algoritmos de clasificación reconocen patrones incorrectos, existe el riesgo de que se cuelen componentes o de que se realicen retoques innecesarios. Lo mismo ocurre con las pruebas de pasta sinterizada en electrónica de potencia, donde los algoritmos precisos son cruciales para evaluar la calidad de la superficie. Los sistemas alucinantes podrían pasar por alto aquí agujeros o ranuras y poner en peligro la vida útil de los IGBT.

En la producción de automóviles, se observó que un sistema de inspección visual clasificó una puerta de coche impecable como abollada debido a una sombra [8]. La puerta se retiró de la cadena de montaje a pesar de estar intacta. Este es un caso clásico de cómo una alucinación de la IA (un "error fantasma") provocó rechazos innecesarios y trabajo extra.

Los riesgos no son sólo técnicos. Los chatbots de atención al cliente que ofrecen políticas de devolución incorrectas dañan la marca. En la gestión de la cadena de suministro, las previsiones incorrectas provocan exceso o falta de existencias. Incluso en investigación, los resultados alucinantes pueden alargar los plazos de desarrollo y aumentar los costes. Además de los daños inmediatos, como paradas de producción o incidentes de seguridad, la pérdida de confianza a largo plazo es uno de los mayores peligros. Los ingenieros y usuarios que experimentan repetidamente resultados falsos de IA empiezan a escudriñar los sistemas. Este escepticismo puede extenderse al nivel directivo y bloquear las iniciativas de innovación. Un solo error grave puede bastar para paralizar todo un proyecto. También influyen los riesgos para la reputación.

Estrategias para minimizar el riesgo

A pesar de los riesgos inherentes, hay formas de controlar las alucinaciones. Asociaciones profesionales como la ZVEI e institutos de investigación como el Fraunhofer IAIS trabajan en métodos para salvaguardar la IA. Este último ha creado el departamento "AI Assurance and Assessments", un centro de competencia que desarrolla procedimientos de evaluación de riesgos y pruebas para aplicaciones de IA, sobre todo en relación con la Ley de IA de la UE. Empresas como PwC recomiendan un marco de IA responsable con tres puntos centrales: Seleccionar soluciones adecuadas, formar a los empleados e implantar mecanismos para detectar errores.

Existen varios enfoques técnicos. La Retrieval Augmented Generation (RAG) vincula modelos a bases de conocimiento verificadas, por lo que las respuestas están respaldadas por hechos. El razonamiento automatizado utiliza métodos basados en la lógica para validar los resultados. Los sistemas multiagente pueden ofrecer resultados más estables coordinando varios modelos especializados. Las redes neuronales informadas físicamente (PINN) limitan el espacio de soluciones a respuestas físicamente plausibles y reducen así las interpretaciones erróneas en campos de aplicación dominados por leyes naturales como las térmicas o el comportamiento de los materiales. Al mismo tiempo, están cobrando importancia las herramientas de observabilidad que controlan los resultados en tiempo real, reconocen las desviaciones y evitan así los errores antes de que lleguen al usuario.

Desde el punto de vista organizativo, los requisitos básicos son unos procesos de calidad de datos estrictos, datos de formación específicos del sector y una supervisión continua. El control humano sigue siendo indispensable, especialmente en áreas críticas para la seguridad. Las mejores prácticas también incluyen el establecimiento de directrices claras para el uso de la IA, la realización de pruebas exhaustivas antes de su introducción, así como la transparencia y la formación de los empleados. PwC aconseja elaborar una lista de riesgos a la hora de seleccionar los casos de uso con el fin de incluir los daños potenciales de las alucinaciones en el proceso de priorización [8].

Tensión entre riesgo y potencial

El debate sobre las alucinaciones no es unidimensional. Aunque se consideran un riesgo en la industria, también pueden abrir oportunidades en otros contextos. En concreto, las industrias creativas utilizan el pensamiento "out-of-the-box" de los modelos para generar nuevas ideas. En investigación, las sugerencias inesperadas conducen a planteamientos para nuevas estructuras de proteínas o conceptos de sensores. La imprevisibilidad de las alucinaciones también puede representar un valor añadido en el diseño. El factor decisivo es si la aplicación requiere precisión o creatividad.

Diagramm eines binären Klassifikators, der eine Probenreihe in positive und negative Werte unterteilt


Diagrama de un clasificador binario que divide una serie de muestras en valores positivos y negativos

  • Falsos positivos:
    × en la zona verde

  • Falsos negativos:
    Ο en la zona roja

  • Exactitud (precisión):
    Proporción de Ο de todos los valores + Ο) en la zona verde

  • Verificación (recall)/sensibilidad:
    Proporción de Ο en la zona verde de todos los Ο en total

  • Especificidad:
    Proporción de
    × en la zona roja de todos los × en total

Perspectiva

Los expertos suponen que las alucinaciones no desaparecerán. Más bien cambiarán con los modelos y campos de aplicación. Con el aumento de la complejidad y la multimodalidad, pueden reducirse ciertos errores, al tiempo que surgen otros nuevos. El factor decisivo será cómo se enfrenten las empresas a este comportamiento inherente. En entornos muy sensibles, se requiere precisión sin concesiones. En campos menos críticos, las alucinaciones controladas pueden servir como herramienta creativa.

Para la industria, una cosa está clara: sin datos sólidos, mecanismos de control deterministas y una gobernanza clara, la IA no tiene cabida en los procesos críticos para la seguridad. Sin embargo, con la combinación adecuada de tecnología, organización y responsabilidad, el riesgo puede reducirse a un nivel aceptable y seguir explotándose el potencial de la tecnología.

Referencias

[1] www.iese.fraunhofer.de/blog/halluzinationen-generative-ki-llm (acceso: 22/09/2025).
[2] ethz.ch/en/news-and-events/eth-news/news/2024/06/ki-in-der-schweizer-tech-branche-realitaet-hinkt-hype-hinterher.html (acceso: 22/09/2025).
[3] Mikaël Chelli, Jules Descamps, Vincent Lavoué, Christophe Trojani, Michel Azar, Marcel Deckert, Jean-Luc Raynier, Gilles Clowez, Pascal Boileau, Caroline Ruetsch-Chelli, 'Hallucination Rates and Reference Accuracy of ChatGPT and Bard for Systematic Reviews: Comparative Analysis', J Med Internet Res, 22 de mayo de 2024, doi: 10.2196/53164 (recuperado: 22/09/2025).
[4] futurism.com/ai-industry-problem-smarter-hallucinating (Recuperado: 22 de septiembre de 2025).
[5] www.appliedmaterials.com/us/en/newsroom/perspectives/separating-the-signal-from-the-noise--combining-advanced-imaging.html (Recuperado: 22/09/2025).
[6] engineering.princeton.edu/news/2025/01/06/ai-slashes-cost-and-time-chip-design-not-all (Recuperado: 22/09/2025).
[7] www.unitxlabs.com/resources/false-positive-machine-vision-system-inspection-errors-impact (Recuperado: 22/09/2025).
[8] www.pwc.com/us/en/tech-effect/ai-analytics/ai-hallucinations.html (Recuperado: 22/09/2025).

  • Edición: Januar
  • Año: 2020
Image

Eugen G. Leuze Verlag GmbH & Co. KG
Karlstraße 4
88348 Bad Saulgau
GERMANY

Tel.: +49 7581 4801-0
Fax: +49 7581 4801-10
E-Mail: info@leuze-verlag.de

 

Suscríbase ahora a nuestro boletín informativo: