Causa de GPT-3, así como un estudiante

Psicólogos de la Universidad de California, Los Ángeles (UCLA) han demostrado que los GPT-3 se desempeñan tan bien, a veces mejor, que la mayoría de los estudiantes en las pruebas estandarizadas de inteligencia y razonamiento. Estos hallazgos llevan a considerar si la IA imita el pensamiento humano o utiliza un nuevo tipo de proceso cognitivo.

Sin embargo, en la actualidad, debido a la falta de acceso a los mecanismos internos del GPT-3 propietario de OpenAI, los científicos no pueden decirlo.

Las personas tienen la capacidad de lidiar con temas y problemas completamente nuevos porque los relacionan con sus experiencias y conocimientos pasados, sacan conclusiones de ellos y las transfieren al problema actual. Este proceso se denomina pensamiento analógico y durante mucho tiempo se ha considerado una habilidad exclusivamente humana.

Un estudio reciente de UCLA mostró que el modelo de lenguaje de IA GPT-3 funciona bien con los estudiantes universitarios cuando se trata de resolver problemas que requieren pensar. Esto lo confirman las pruebas de inteligencia y las pruebas SAT estandarizadas, que son equivalentes a un examen de matriculación en Polonia.

«Nuestros resultados son asombrosos, pero es importante recordar que este sistema todavía tiene serias limitaciones», dijo el Dr. Taylor Webb, autor principal del estudio. Puede pensar de manera análoga, pero no puede hacer cosas que resultan fáciles para los humanos, como modificar herramientas para resolver problemas con el espacio físico. Cuando le dimos el tipo de tareas que incluso los niños pueden realizar sin problemas, propuso soluciones que no tenían sentido.

Webb y sus colegas encargaron a un modelo de IA que resolviera la prueba Raven Matrices, que requiere que una persona prediga la siguiente imagen en una compleja disposición de formas Para permitir que GPT-3 «vea» las formas, las imágenes se convirtieron a un formato de texto que el modelo fue capaz de procesar Este enfoque también asegura que la IA nunca se ha enfrentado a las preguntas que ha recibido antes.

Los investigadores también pidieron a 40 estudiantes universitarios que hicieran la misma prueba.

«Sorprendentemente, GPT-3 no solo se desempeñó tan bien como los humanos, sino que también cometió errores similares», dice el coautor del artículo, el Prof. Hongjing Lu.

GPT-3 resolvió el 80 por ciento correctamente. Problemas: muy por encima de la puntuación media obtenida por los humanos (que estaba justo por debajo del 60 %).

Luego, los investigadores le pidieron a la IA que respondiera preguntas seleccionadas de la prueba SAT. Cabe señalar que estas preguntas nunca se publicaron en línea, lo que significa que definitivamente no formaron parte de los datos de entrenamiento de GPT-3. Las tareas incluidas al elegir pares de palabras que indican el mismo fenómeno, por ejemplo para la palabra «amor» el par es «odio», y la solución para la palabra «rico» es «pobre».

La comparación de las puntuaciones del GPT-3 con las puntuaciones publicadas de los solicitantes universitarios reveló que a los primeros les fue mejor que a la mayoría.

En un experimento reciente, los investigadores encargaron a la IA y a los estudiantes que resolvieran similitudes basándose en historias. Tenías que leer parte del texto y luego seleccionar otra historia con la misma moraleja (mensaje). Esta vez, a la tecnología le fue peor que a los humanos. Sin embargo, los investigadores agregan que el nuevo paradigma del lenguaje GPT-4 ha superado estas limitaciones y funciona mucho mejor que GPT-3 en la misma prueba.

El estudio también reveló que el modelo de IA es completamente incapaz de resolver problemas que requieren una comprensión del espacio físico. Por ejemplo, si a GPT-3 se le dio una descripción de un conjunto de herramientas (un tubo de cartón, tijeras y cinta adhesiva) y se le asignó la tarea de describir cómo podrían usarse para transferir chicle de un recipiente a otro, sugería cosas extrañas e irracionales. soluciones

Los científicos quieren investigar si los modelos de IA realmente están comenzando a «pensar» como humanos, o si su lógica es algo completamente diferente que solo imita el pensamiento humano. «Tal vez GPT-3 pueda pensar como un humano», dicen. – Sin embargo, por otro lado, las personas no aprenden consumiendo todo Internet, por lo que el método de capacitación es necesariamente muy diferente. Nos encantaría saber cómo se hace realmente, como lo hacemos nosotros, o de una manera completamente nueva e inteligente, lo que sería genial».

Sin embargo, los psicólogos de UCLA tendrán que acceder al software y los datos utilizados para entrenar el modelo para determinar esto. “Será muy útil para nosotros y otros investigadores”, dicen.

Katarzyna Czykovic

goteo / barra /