Metz, Cade. «Chatbots May ‘Hallucinate’ More Often Than Many Realize». The New York Times, 6 de noviembre de 2023, sec. Technology. https://www.nytimes.com/2023/11/06/technology/chatbots-hallucination-rates.html.
Los chatbots pueden «alucinar» más de lo que muchos creen. Al resumir hechos, la tecnología ChatGPT se equivoca un 3% de las veces, según un estudio de una nueva empresa. El porcentaje de un sistema de Google era del 27%.
Cuando la startup de San Francisco OpenAI presentó su chatbot en línea ChatGPT a finales del año pasado, millones quedaron impresionados por la forma en que respondía preguntas, escribía poesía y hablaba sobre casi cualquier tema de manera humanizada. Sin embargo, la mayoría de las personas no se dieron cuenta de que este nuevo tipo de chatbot a menudo inventa información.
Cuando Google presentó un chatbot similar varias semanas después, soltó tonterías sobre el telescopio James Webb. Al día siguiente, el nuevo chatbot Bing de Microsoft ofreció todo tipo de información falsa sobre Gap, la vida nocturna mexicana y la cantante Billie Eilish. En marzo, ChatGPT citó media docena de casos judiciales falsos al redactar un informe legal de 10 páginas que un abogado presentó a un juez federal de Manhattan.
una nueva empresa llamada Vectara, fundada por ex empleados de Google, está tratando de determinar con qué frecuencia los chatbots se desvían de la verdad. La investigación de la empresa estima que, incluso en situaciones diseñadas para evitarlo, los chatbots inventan información al menos el 3 por ciento del tiempo, y en algunos casos hasta el 27 por ciento.
Los expertos llaman a este comportamiento de chatbot «alucinación». Puede que no sea un problema para las personas que experimentan con chatbots en sus computadoras personales, pero es un problema grave para cualquiera que utilice esta tecnología con documentos judiciales, información médica o datos empresariales sensibles.
Dado que estos chatbots pueden responder a casi cualquier solicitud de una cantidad ilimitada de maneras, no hay forma de determinar de manera definitiva cuánto alucinan. «Tendrías que revisar toda la información del mundo», dijo Simon Hughes, el investigador de Vectara que lideró el proyecto.
Los investigadores argumentan que cuando estos chatbots realizan otras tareas, más allá de la simple condensación de contenidos (resumen), las tasas de alucinación pueden ser aún más altas. El problema radica en que, incluso cuando se les da una tarea sencilla y verificable, estos chatbots tienden a inventar información.
FUENTE:
Metz, Cade. «Chatbots May ‘Hallucinate’ More Often Than Many Realize». The New York Times, 6 de noviembre de 2023, sec. Technology. https://www.nytimes.com/2023/11/06/technology/chatbots-hallucination-rates.html.
Los chatbots pueden «alucinar» más de lo que muchos creen. Al resumir hechos, la tecnología ChatGPT se equivoca un 3% de las veces, según un estudio de una nueva empresa. El porcentaje de un sistema de Google era del 27%.
Cuando la startup de San Francisco OpenAI presentó su chatbot en línea ChatGPT a finales del año pasado, millones quedaron impresionados por la forma en que respondía preguntas, escribía poesía y hablaba sobre casi cualquier tema de manera humanizada. Sin embargo, la mayoría de las personas no se dieron cuenta de que este nuevo tipo de chatbot a menudo inventa información.
Cuando Google presentó un chatbot similar varias semanas después, soltó tonterías sobre el telescopio James Webb. Al día siguiente, el nuevo chatbot Bing de Microsoft ofreció todo tipo de información falsa sobre Gap, la vida nocturna mexicana y la cantante Billie Eilish. En marzo, ChatGPT citó media docena de casos judiciales falsos al redactar un informe legal de 10 páginas que un abogado presentó a un juez federal de Manhattan.
una nueva empresa llamada Vectara, fundada por ex empleados de Google, está tratando de determinar con qué frecuencia los chatbots se desvían de la verdad. La investigación de la empresa estima que, incluso en situaciones diseñadas para evitarlo, los chatbots inventan información al menos el 3 por ciento del tiempo, y en algunos casos hasta el 27 por ciento.
Los expertos llaman a este comportamiento de chatbot «alucinación». Puede que no sea un problema para las personas que experimentan con chatbots en sus computadoras personales, pero es un problema grave para cualquiera que utilice esta tecnología con documentos judiciales, información médica o datos empresariales sensibles.
Dado que estos chatbots pueden responder a casi cualquier solicitud de una cantidad ilimitada de maneras, no hay forma de determinar de manera definitiva cuánto alucinan. «Tendrías que revisar toda la información del mundo», dijo Simon Hughes, el investigador de Vectara que lideró el proyecto.
Los investigadores argumentan que cuando estos chatbots realizan otras tareas, más allá de la simple condensación de contenidos (resumen), las tasas de alucinación pueden ser aún más altas. El problema radica en que, incluso cuando se les da una tarea sencilla y verificable, estos chatbots tienden a inventar información.