Los investigadores luchan contra las alucinaciones de la IA en matemáticas

Los investigadores de Berkeley aprovecharon el hecho de que ChatGPT, al igual que los humanos, es errático. Le pidieron a ChatGPT que respondiera el mismo problema matemático 10 veces seguidas. Me sorprendió que una máquina pudiera responder la misma pregunta de manera diferente. Pero eso es exactamente lo que hacen estos grandes modelos de lenguaje. Muchas veces el proceso es paso a paso y la respuesta es la misma. Pero las palabras exactas son diferentes. A veces los métodos son extraños y los resultados terriblemente erróneos. (Vea la ilustración a continuación para ver un ejemplo). Los investigadores agruparon respuestas similares. Cuando evaluaron la precisión de las respuestas más comunes entre las 10 soluciones, ChatGPT tuvo un desempeño sorprendentemente bueno. Para álgebra básica de secundaria. La tasa de error de la IA disminuyó del 25% a cero en Álgebra intermedia. La tasa de error se redujo del 47 % al 2 % para Álgebra universitaria, del 27 % al 2 %. ChatGPT respondió la misma pregunta de álgebra de 3 maneras diferentes, pero obtuvo la respuesta correcta 7 de 10 veces en este ejemplo. Bhandari “La ayuda generada por ChatGPT produjo un aprendizaje equivalente a la ayuda con las habilidades matemáticas escrita por un tutor humano”, PLOS ONE mayo de 2024 Sin embargo, cuando los científicos aplicaron este método, se llamó. La “autoconsistencia” aplicada a las estadísticas Tampoco funcionó. La tasa de error de ChatGPT cayó del 29% al 13%, pero todavía tenía más de una de cada 10 respuestas incorrectas. Creo que son demasiados errores para los estudiantes que estudian matemáticas. La pregunta clave es si estas soluciones ChatGPT ayudan a los estudiantes a aprender matemáticas mejor que los métodos de enseñanza tradicionales. Los investigadores reclutaron a 274 adultos en línea para resolver problemas matemáticos. y asignó aleatoriamente a un tercio de ellos para que vieran estas soluciones ChatGPT como «recomendaciones» si las querían. (Primero se eliminaron las respuestas incorrectas de ChatGPT). En una breve prueba posterior, estos adultos mejoraron en un 17%, en comparación con menos del 12% de ganancia de aprendizaje para los adultos que pudieron ver los grupos de pistas. Escrito por un tutor de matemáticas de pregrado. Aquellos que no recibieron instrucciones obtuvieron la misma puntuación en la prueba posterior que en la prueba previa. Los impresionantes resultados de aprendizaje de ChatGPT llevaron a los autores del estudio a hacer predicciones audaces que Un «poderoso sistema de enseñanza basado en computadora» «completamente independiente» es «inminente». En teoría, ChatGPT puede reconocer instantáneamente capítulos de libros o conferencias en video. Luego pase inmediatamente a enseñar esa lección a los estudiantes. Antes de abrazar ese optimismo Me gustaría ver cuántos estudiantes reales, no sólo adultos, fueron reclutados en línea. Sólo se utilizan estos sistemas de enseñanza automatizados. Incluso en este estudio donde a los adultos se les paga por resolver problemas de matemáticas 120 de los 400 participantes no completaron la tarea. Por lo tanto, sus resultados tuvieron que ser descartados. Para muchos niños, y especialmente estudiantes, que tienen dificultades en una materia en particular. Aprender desde una computadora no es nada interesante. Esta historia sobre las alucinaciones de la IA fue escrita por Jill Barshay y producida por The Hechinger Report, una organización de noticias independiente sin fines de lucro centrada en la desigualdad y la innovación en la educación. Regístrese para recibir Proof Points y otros boletines informativos de Hechinger.