¿Qué significa que una IA sea una “caja negra”?

Como estudiante de ingeniería, me intriga cómo las inteligencias artificiales pueden ofrecer resultados tan precisos sin que comprendamos del todo cómo los generan, buscando sobre esto llegue a un concepto que no conocía y me parece interesante, se conoce como la "caja negra" en inteligencia artificial.

Un caso interesante ocurrió en Google, donde una IA comenzó a traducir del bengalí al inglés sin que nadie se lo hubiera enseñado directamente. Esta capacidad dejó sorprendidos a los propios ingenieros, que no sabían cómo había aprendido eso.
Esto demuestra que muchos modelos avanzados, como las redes neuronales profundas, ajustan millones de parámetros por sí solos durante el entrenamiento. Aunque esto los hace muy potentes, también hace que nadie sepa exactamente qué pasa dentro, sabemos qué entra y qué sale, pero no cómo se llegó a esa conclusión.

El problema aparece cuando esta falta de transparencia afecta a decisiones importantes, como por ejemplo, ¿Por qué un sistema recomienda un tratamiento médico? Si no podemos explicar la lógica detrás de la decisión, ¿cómo sabemos si es fiable?
Por eso hoy se investiga cada vez más en la llamada IA explicable, que busca que estos sistemas no solo sean eficaces, sino también comprensibles y responsables.

www.bbvaaifactory.com/es/bridging-the-ga...cury-explainability/

www.bbc.com/mundo/noticias-65331262