La IA domina el lenguaje. ¿Debemos confiar en lo que dice?

“Creo que nos permite ser más reflexivos y considerados sobre los problemas de seguridad”, dijo Altman. “Parte de nuestra estrategia es: un cambio gradual en el mundo es mejor que un cambio repentino”. vamos a aprender cómo implementar estas poderosas tecnologías, comencemos cuando haya poco en juego”.

Mientras que el propio GPT-3 OpenAI, que se ejecuta en esos 285 000 núcleos de CPU en el clúster de supercomputadoras de Iowa, opera en el Distrito de la Misión de San Francisco, en una fábrica de equipaje renovada. En noviembre pasado conocí a Ilya Sutskever allí, tratando de explicarle a un profano cómo funciona realmente GPT-3.

“Aquí está la idea subyacente de GPT-3”, dijo Sutskever con atención, inclinándose hacia adelante en su silla. Tiene una forma intrigante de responder a las preguntas: algunos comienzos en falso: “Puedo darte una descripción que casi coincide con la que pediste”, puntuada por largas pausas contemplativas, como si estuviera tramando la respuesta completa para seguir adelante.

“La idea subyacente de GPT-3 es una forma de asociar una noción intuitiva de comprensión con algo que se puede medir y comprender mecánicamente”, concluyó, “y ese es el trabajo de predecir la siguiente palabra en el texto. ”Otras formas de inteligencia artificial tratan de codificar información sobre el mundo: las estrategias de ajedrez de los grandes maestros, los principios de la climatología. Pero la inteligencia de GPT-3, si inteligencia es la palabra correcta para ello, viene de abajo hacia arriba: a través del acto elemental de predecir la siguiente palabra. Para entrenar GPT-3, se le da al modelo un “indicador” (unas pocas oraciones o párrafos de texto de, por ejemplo, un artículo de periódico, una novela o un artículo científico) y luego se le pide que sugiera una lista de posibles palabras que podrían completar la serie, ordenados por probabilidad. En las primeras etapas del entrenamiento, las palabras sugeridas no tienen sentido. Pregúntele al algoritmo con una oración como “El escritor omitió la última palabra de la primera. † † y las conjeturas serán una especie de tontería: “satélite”, “cachorro”, “Seattle”, “por lo tanto”. Pero en algún lugar al final de la lista, quizás miles de palabras más abajo en la lista. aparece la palabra faltante correcta: “párrafo”. El software luego amplifica las conexiones neuronales aleatorias que generaron esa sugerencia en particular y debilita las conexiones que generaron conjeturas incorrectas. Y luego pasa al siguiente mensaje. Con el tiempo, con suficientes iteraciones, el software aprende.

En enero pasado, OpenAI agregó una función que permite a los usuarios dar instrucciones directas a GPT-3 como aviso, en lugar de simplemente pedir que se amplíe el texto de muestra. Por ejemplo, en el modo “instruir”, una vez le di a GPT-3 el mensaje: “Escriba un ensayo sobre el papel de la metaficción en el trabajo de Italo Calvino”. sigue:

El autor italiano Italo Calvino es considerado un maestro de la metaficción, un género de escritura en el que el autor rompe la cuarta pared para discutir el acto mismo de escribir. Para Calvino, la metaficción es una forma de explorar la naturaleza de la realidad y las formas en que las historias pueden moldear nuestra percepción del mundo. Sus novelas a menudo contienen estructuras lúdicas y laberínticas que juegan con los límites entre la realidad y la ficción. En Como un viajero en una noche de invierno, por ejemplo, el lector se ve constantemente interrumpido por debates de metanivel sobre la lectura y la naturaleza de la narración. † † †

Puede dar a GPT-3 exactamente el mismo mensaje una y otra vez, y cada vez producirá una respuesta única, algunas más convincentes que otras, pero casi todas ellas notablemente articuladas. Las instrucciones pueden adoptar muchas formas: “Dame una lista de todos los ingredientes de la salsa boloñesa” “Escribe un poema sobre un pueblo costero francés al estilo de John Ashbery” “Explica el Big Bang” en un lenguaje que entenderá un niño de 8 años .” Las primeras veces que ingresé mensajes GPT-3 de este tipo, sentí un verdadero escalofrío recorrer mi columna vertebral. Parecía casi imposible que una máquina pudiera generar un texto tan claro y receptivo, basado completamente en el entrenamiento básico de predecir la siguiente palabra.

Pero la IA tiene una larga historia de crear la ilusión de inteligencia o comprensión sin realmente entregar los productos. En un artículo muy discutido publicado el año pasado, la profesora de lingüística de la Universidad de Washington Emily M. Bender, el ex investigador de Google Timnit Gebru y un grupo de coautores afirmaron que los modelos de lenguaje grande eran simplemente “loros estocásticos”: es decir, el software usó la aleatorización para remezclar solo oraciones escritas por humanos. “Lo que ha cambiado no es un paso por encima del umbral de la ‘IA’”, me dijo Bender recientemente por correo electrónico. Anteriormente dijo que lo que ha cambiado es “el hardware, el software y las innovaciones económicas que permiten la acumulación y el procesamiento de grandes conjuntos de datos”, así como una cultura de ingeniería en la que “las personas que construyen y venden tales cosas pueden salirse con la suya construyéndolas”. sobre bases de datos no curados”.

Leave a Comment