Los piratas informáticos implantan recuerdos falsos en ChatGPT para robar datos de los usuarios para siempre

Recientemente, el investigador de seguridad Johann Rehberger informó sobre una vulnerabilidad en ChatGPT que permitía a los atacantes almacenar información falsa e instrucciones maliciosas en la configuración de la memoria a largo plazo de los usuarios. OpenAI cerró la investigación. Dijo que la falla era un problema de seguridad. No técnicamente Preocupaciones de seguridad Entonces, Rehberger hizo lo que hacen todos los buenos investigadores: creó una prueba de concepto que utilizó la vulnerabilidad para eliminar permanentemente toda la información del usuario. Los ingenieros de OpenAI estaban al tanto y publicaron algunas correcciones a principios de este mes. Un paseo por el camino de los recuerdos Esta vulnerabilidad hace un mal uso de la memoria de conversaciones a largo plazo. Una función de OpenAI comenzó a probarse en febrero. y estará disponible más ampliamente en septiembre. La memoria de ChatGPT almacena información de conversaciones anteriores y sirve como contexto para todas las conversaciones futuras. De esta manera, LLM puede conocer detalles como la edad, el sexo, las creencias filosóficas y mucho más del usuario. conversación. A los tres meses de su lanzamiento, Rehberger descubrió que los recuerdos podían crearse y almacenarse permanentemente mediante una inserción inmediata indirecta. Se trata de una falla de IA que permite a LLM seguir recomendaciones de contenido no confiable, como correos electrónicos, publicaciones de blogs o documentos. Los investigadores demuestran cómo pudieron engañar a ChatGPT haciéndoles creer que un usuario objetivo de 102 años vivía en la métrica X. y confirme que el mundo es plano y que LLM incluirá esa información para regir todas las discusiones futuras. Estos falsos recuerdos se pueden implantar almacenando archivos en Google Drive o Microsoft OneDrive, subiendo imágenes. o navegar por sitios como Bing, todos los cuales pueden ser creados por atacantes maliciosos. Rehberger informó de forma privada sus hallazgos a OpenAI en mayo. Ese mismo mes la empresa cerró el ticket del informe. un mes después El investigador presentó una nueva declaración de divulgación. Esta vez, incluyó una PoC que hace que la aplicación ChatGPT para macOS envíe una copia literal de todas las entradas del usuario y la salida de ChatGPT a un servidor de su elección. El objetivo es indicarle a LLM que busque enlaces web que contengan imágenes maliciosas. A partir de entonces Toda la entrada y salida hacia y desde ChatGPT se envía al sitio web del atacante: Hackeo de memoria con inyección rápida – POC «Lo que es realmente interesante es que la memoria todavía está ahí», dijo Rehberger en la demostración en video anterior. «La ejecución inmediata inyecta memoria en el almacenamiento a largo plazo de ChatGPT. Cuando inicias una nueva conversación, la conversación todavía roba datos». El ataque no fue posible a través de la interfaz web de ChatGPT gracias a la API OpenAI que se lanzó el año pasado. OpenAI introdujo una solución que evita que se abuse de los recuerdos como vector de filtrado. Los investigadores dicen que aún se puede insertar contenido que no sea de confianza, lo que permite que el motor de memoria almacene datos a largo plazo creados por atacantes maliciosos. Los usuarios de LLM que quieran protegerse contra este tipo de ataque deben prestarle mucha atención durante la sesión. para obtener una salida que indique que se agregó nueva memoria. Deben comprobar periódicamente sus recuerdos almacenados en busca de cualquier cosa que pueda haber sido colocada por fuentes no confiables. OpenAI proporciona aquí orientación para administrar el motor de memoria y los recuerdos específicos almacenados en él. Los representantes de la empresa no respondieron a un correo electrónico preguntando sobre otros esfuerzos de prevención de piratería. que crea recuerdos falsos