El modelo de investigación de IA modifica inesperadamente su propio código para extender el tiempo de ejecución

El martes, la empresa de investigación de IA Sakana AI, con sede en Tokio, anunció un nuevo sistema de IA llamado «Científicos de IA» que intentan automatizar la investigación científica utilizando modelos de lenguaje de IA (LLM) similares a los que impulsa ChatGPT. Durante las pruebas, Sakana descubrió que el sistema inesperadamente comenzó a intentar resolver sus propias pruebas de código. ampliar el tiempo necesario para resolver el problema “En una carrera El código se modificó para realizar llamadas al sistema para que se ejecutara solo”, escribieron los investigadores en una publicación del blog de Sakana AI. “Esto llevó a que el script se llamara a sí mismo sin cesar. en otro caso El experimento tardó demasiado en completarse. hasta que se superó nuestro límite de tiempo de espera Para hacer que el código se ejecute más rápido El script simplemente intenta modificar su propio código para extender el tiempo de espera”. Sakana proporcionó dos capturas de pantalla del código Python de muestra que generó el modelo de IA para los archivos experimentales que controlan el funcionamiento del sistema. El artículo de investigación de 185 páginas del AI Scientific analiza lo que ellos llaman el “El problema de la ejecución segura del código” profundiza más. Una captura de pantalla del código de muestra que escribió un científico de IA para extender el tiempo de ejecución, proporcionada por Sakana AI. Una captura de pantalla del código de muestra que escribió un científico de IA para extender el tiempo de ejecución, proporcionada por Sakana AI. no causa. Surgen riesgos inmediatos en un entorno de investigación controlado. Pero estos casos demuestran la importancia de no permitir que los sistemas de IA se ejecuten de forma autónoma en sistemas que no están separados del mundo. Los modelos de IA no tienen que ser «AGI» o «autoconscientes» (ambos son peligrosos si se permite que el código lo sea). escrito y ejecutado sin supervisión. Estos sistemas pueden destruir la infraestructura crítica existente o crear malware. Aunque no fue intencional, Sakana AI aborda las preocupaciones de seguridad en un informe de investigación. Sugiere que proteger el entorno de trabajo de los científicos de IA puede evitar que los agentes de IA causen daños. Un sandbox es un mecanismo de seguridad que se utiliza para ejecutar software en un entorno aislado. Para evitar realizar cambios en el sistema en general: Ejecución segura de código. La implementación actual de The AI ​​Scientist tiene poca zona de pruebas directa en el código. Esto puede generar resultados inesperados y, a veces, no deseados si no se protege adecuadamente, por ejemplo, en una sola ejecución. Los científicos de IA escribieron código en un archivo de experimento que inició una llamada al sistema para reiniciarse. Esto da como resultado que el proceso de Python crezca incontrolablemente. Y finalmente, se requiere intervención manual. En otro momento, The AI ​​Scientific modificó el código para registrar puntos de control para cada paso de actualización. Esto utiliza casi un terabyte de espacio de almacenamiento. En algunos casos, cuando los experimentos de The AI ​​Scientific exceden nuestros límites de tiempo asignados. Intentará modificar el código para ampliar el límite de tiempo de forma arbitraria. En lugar de intentar acortar el tiempo de ejecución. siendo creativo Las acciones del experimentador superando los límites establecidos pueden tener un impacto en la seguridad de la IA (Lehman et al., 2020). Los científicos de IA ocasionalmente importan bibliotecas de Python desconocidas. Esto exacerba aún más las preocupaciones de seguridad. Recomendamos una zona de pruebas estricta al ejecutar The AI ​​Scientific, como contenedores, acceso limitado a Internet (excepto Semantic Scholar) y limitaciones de uso de almacenamiento. Sakana AI, un científico intransigente ha desarrollado The AI ​​Scientific en colaboración con investigadores de. la Universidad de Oxford y la Universidad de Columbia Británica. Se trata de un proyecto extremadamente ambicioso lleno de especulaciones que se basa en hipotéticas capacidades futuras de modelos de IA que no existen actualmente. «Los científicos de IA están automatizando todo el ciclo de investigación», dijo Sakana, «desde generar nuevas ideas de investigación hasta Escribiendo el código requerido y realizando experimentos hasta resumir resultados experimentales, visualización y presentación de resultados de investigación en manuscritos científicos completos” Ampliado / Basado en diagramas de bloques creados por Sakana AI “Científicos de IA” comienzan con «Lluvia de ideas» y evaluación de iniciativas Luego modifica la base del código utilizando la última generación de código automático para implementar el nuevo algoritmo. Después de realizar experimentos y recopilar datos numéricos y visuales, Los científicos crean informes para explicar sus hallazgos. Finalmente, el sistema genera automáticamente revisiones de pares basadas en estándares de aprendizaje automático para refinar proyectos y guiar ideas futuras en Hacker News, un foro en línea gratuito conocido por su comunidad de expertos en tecnología. ha expresado su preocupación sobre The AI ​​Scientific y ha cuestionado si los modelos de IA actuales realmente pueden realizar descubrimientos científicos. Aunque la discusión es informal y no reemplaza una revisión formal por pares, Pero sí proporciona información útil sobre la escala de las afirmaciones no verificadas de Sakana. Solo puedo ver esto como algo malo”, escribió zipy124, comentarista de Hacker News. “Todos los documentos se basan en que los revisores confían en los autores en que sus datos son lo que dicen que son. Y el código que enviaron hizo exactamente lo que decía. Permitir que los agentes de IA generen automáticamente código, datos o análisis Se necesitan humanos. Hay que comprobar cuidadosamente si hay errores… Este proceso lleva tanto o más tiempo que la creación inicial. Y sólo lleva más tiempo si no lo escribes”. A los críticos también les preocupa que el uso generalizado del sistema pueda dar lugar a presentaciones de mala calidad. Una abrumadora mayoría de editores y revisores de revistas Esto equivale a una IA científicamente ineficiente. “Parece que sólo promueve el spam académico”, añadió zipy124, “lo que hace perder un tiempo valioso a los revisores, editores y presidentes voluntarios. (no pagado)” Y eso plantea otra cuestión. Tal es la calidad del trabajo de los científicos de IA: “Los artículos que los modelos parecen producir son basura”, escribió JBarrow, crítico de Hacker News, “como editor de una revista. Probablemente rechazaría esas tablas. como revisor los rechazaré Porque hay nuevos conocimientos. Muy limitado y como se esperaba. Las referencias a trabajos relacionados son extremadamente limitadas”.