Las funciones de búsqueda impulsadas por IA de Google están generando una vez más resultados controvertidos, esta vez destacando un resumen de IA de Amazon del *Mein Kampf* de Adolf Hitler que describe el libro como “una verdadera obra de arte”. El problema surge del algoritmo de Google que resume un resumen de reseña generado por IA del libro, lo que lleva a una representación distorsionada y problemática del texto. Si bien *Mein Kampf* no está prohibido en los EE. UU., el incidente subraya los desafíos de que la IA interprete con precisión contenido matizado y el potencial de tergiversaciones perjudiciales, particularmente cuando se trata de material históricamente sensible. Esto sigue un patrón de respuestas inexactas y preocupantes de la función de Resumen de IA de Google desde su lanzamiento en mayo de 2024.
Los resultados de búsqueda de Google recientemente mostraron un fragmento destacado que resumía las reseñas de clientes de Amazon de *Mein Kampf* de Adolf Hitler, presentando el libro como teniendo aspectos “positivos”, incluyendo ser “una verdadera obra de arte” y “fácil de leer e interesante”. Este incidente destaca una falla significativa en la función de búsqueda impulsada por IA de Google y plantea preocupaciones sobre la confiabilidad de la información presentada a los usuarios. El fragmento fue generado por un algoritmo que intentaba resumir un resumen *generado por IA* de las reseñas de clientes de Amazon, creando una doble capa de abstracción y potencial para la mala interpretación. Específicamente, el resumen de la IA de Amazon señaló que los clientes encontraron el libro “fácil de leer e interesante” y apreciaron las “reflexiones y diatribas perspicaces e inteligentes”, al tiempo que reconocía que algunos lo encontraron “aburrido y sombrío”. Google luego destacó “fácil de leer e interesante” dentro de este resumen como un fragmento destacado, promoviendo efectivamente una percepción distorsionada de la recepción del libro.
El problema proviene de los sistemas automatizados de Google que seleccionan fragmentos destacados según su percepción de la capacidad de responder a las consultas de búsqueda y proporcionar información útil. En este caso, una búsqueda de “mein kampf reseñas positivas” provocó que el algoritmo priorizara el resumen de la IA de Amazon, a pesar de su falta de comprensión matizada del contexto y la naturaleza intrínsecamente dañina del libro. Alexios Mantzarlis, director de la iniciativa de seguridad, confianza y seguridad de Cornell Tech y anteriormente de Google, fue quien identificó primero el resultado problemático. Crucialmente, el fragmento no era una cita directa de las reseñas, sino una destilación *de* una destilación, lo que amplificaba cualquier mala interpretación presente en el resumen inicial de la IA. Inicialmente, Google no proporcionó un Panorama de IA para la búsqueda, pero el resumen de Amazon ocupaba el espacio típicamente reservado para uno, enfatizando aún más su prominencia.
Tras el contacto de los reporteros, Google posteriormente mostró un Panorama de IA que reconocía que el libro es “ampliamente condenado por su ideología racista y llena de odio”, pero también concedía que los análisis históricos “podrían señalar aspectos del libro que podrían considerarse ‘positivos’ desde una perspectiva puramente literaria o retórica”. Si bien es una mejora con respecto al fragmento inicial, esta respuesta demuestra la dificultad que la IA tiene para contextualizar temas altamente sensibles y moralmente conflictivos. El propio resumen de la IA de Amazon proporciona enlaces a reseñas que mencionan palabras clave específicas, revelando que un número significativo de revisores comentaron sobre la “legibilidad” y el “contenido suspenso” del libro, pero estos comentarios a menudo estaban relacionados con la calidad de la escritura más que con un respaldo de su ideología. La IA no logró distinguir entre reconocer el estilo literario del libro y elogiar su contenido.
El incidente subraya las limitaciones de la IA para interpretar el lenguaje humano matizado y comprender contextos históricos complejos. Las 2067 reseñas del ejemplar específico de *Mein Kampf* en cuestión, tomadas literalmente, a menudo eran positivas con respecto a aspectos logísticos como la calidad de la impresión y la velocidad de envío. Sin embargo, las reseñas son mucho más complejas que una simple evaluación positiva/negativa. Muchas reseñas de cinco estrellas, por ejemplo, declararon explícitamente que estaban leyendo el libro para comprender los orígenes de la tiranía o para aprender de los errores pasados. Un revisor escribió: “Este libro malvado presenta una visión oscura de cómo ir sobre la creación de tiranía en una sociedad democrática…”, lo que indica claramente una postura crítica en lugar de de apoyo. Otro revisor explicó que estaban leyendo el libro para “absorber lo que dice con sus propias palabras y… comprender lo que significa”, destacando la importancia de comprender el contexto histórico. La IA, sin embargo, no logró reconocer esta distinción crucial, presentando estas reseñas como evidencia de una recepción positiva.
La situación se complica por el hecho de que *Mein Kampf* nunca ha sido prohibido en los Estados Unidos, a diferencia de muchos otros libros que abordan temas sensibles. Amazon brevemente prohibió las listados del libro en 2020 antes de reinstalarlos, lo que destaca el debate continuo sobre su disponibilidad. Sin embargo, la incapacidad de la IA para distinguir entre reconocer la existencia del libro y respaldar su ideología es una falla crítica. El incidente también sirve como otro ejemplo de cómo la IA de Google a menudo “se dispara en el pie algorítmicamente”, con instancias anteriores que incluyen recomendar a las personas comer pegamento o consumir pequeñas rocas. Estas fallas repetidas plantean serias preocupaciones sobre la confiabilidad de la función de búsqueda de Google y su potencial para diseminar información errónea.
Más allá del problema inmediato de *Mein Kampf*, el incidente destaca un problema más amplio de la IA que consume contenido generado por IA como datos de entrenamiento, lo que lleva a un efecto de “contaminación y destrucción” en los propios modelos. Los estudios han demostrado que los modelos de IA confían cada vez más en el contenido generado por IA, lo que puede perpetuar sesgos e inexactitudes. En este caso, el resumen de la IA de Amazon, tan defectuoso que era, se convirtió en la base del fragmento destacado de Google, creando un ciclo de retroalimentación de desinformación. Este fenómeno de “comerse a sí mismo” plantea preocupaciones sobre la viabilidad a largo plazo de los modelos de IA y la necesidad de datos de entrenamiento más sólidos y medidas de control de calidad. La persistencia de estos problemas, a pesar de que Google agregó una opción para desactivar el Panorama de IA por completo, sugiere un problema más profundo con el enfoque de la empresa en la búsqueda impulsada por IA y su voluntad de priorizar la innovación sobre la precisión y la seguridad.
La IA de Google está mostrando un resumen de la IA de Amazon de *Mi lucha* que retrata inexactamente el libro como teniendo “reseñas positivas”, destacando su legibilidad mientras falla al comprender el contexto matizado de los comentarios de los usuarios. Este incidente, junto con fallos anteriores de la Vista general de la IA, demuestra una falla crítica en la función de búsqueda de Google: su incapacidad para discernir significado y contexto, lo que lleva a posibles tergiversaciones dañinas. El problema se agrava por el hecho de que los modelos de IA consumen contenido generado por IA, lo que contamina aún más sus propios datos. Este incidente subraya la urgente necesidad de un desarrollo responsable de la IA y una reevaluación crítica de cómo los algoritmos de búsqueda interpretan y presentan la información, especialmente en lo que respecta a textos históricos delicados. Considere investigar las implicaciones de los bucles de retroalimentación de la IA y los desafíos de la moderación de contenido en la era de la IA generativa.
Leave a Reply