ChatGPT sigue sorprendiendo: aprobó 5 exámenes de posgrado

El popular programa ChatGPT es lo suficientemente inteligente como para aprobar exigentes exámenes de posgrado, aunque no con calificaciones particularmente altas. ChatGPT, la nueva y popular herramienta de Inteligencia Artificial (IA), aprobó exámenes de derecho en cuatro cursos de posgrado en la Universidad de Minnesota y otro en la Escuela de Negocios de la Universidad de Pensilvania. Antes superó un examen de ingreso a Amazon para un puesto de programador.

ChatGPT es un “bot” gratuito y de acceso directo. Esta característica lo diferencia de otras IA, tal vez más capaces pero que solo son usadas por empresas. ChatGPT se lanzó a fines de noviembre y en solo 5 días superó el millón de abonados. Sus cualidades se centran en el lenguaje. Es muy apreciado por estudiantes, que lo usan para redactar informes y otros trabajos pedidos por colegios y universidades. Los docentes se preguntan ahora cómo detectar trabajos de sus estudiantes realizados por ChatGPT.

Para probar qué tan bien ChatGPT podía generar respuestas en exámenes de los cuatro cursos de posgrado, los profesores de la Facultad de Derecho de la Universidad de Minnesota calificaron las respuestas a ciegas. Después de completar 95 preguntas de opción múltiple (multiple choice) y 12 preguntas “de ensayo”, el bot se desempeñó en promedio al nivel de un estudiante C+, logrando una calificación baja pero aprobatoria en los cuatro cursos. En EEUU la escala de califiaciones usa el alfabeto: A, B, C, D y F. ‘A’ es la calificación mas alta, ‘F’ la mas baja y ‘C-’ el corte entre el “insuficiente” y el aprobado

A ChatGPT le fue mejor en un examen del curso de gestión empresarial de la Escuela de Negocios Wharton, de Pensilvania, donde obtuvo una calificación de B a B-. Christian Terwiesch, profesor de negocios de Wharton, dijo que ChatGPT hizo “un trabajo increíble” al responder preguntas de gestión de operaciones y análisis de procesos, pero tuvo problemas con indicaciones más avanzadas y cometió “errores sorprendentes” con matemáticas básicas. No es la primera vez que ChatGPT falla en matemáticas. Su fuerte es el idioma, es un “escritor” o “periodista” artificial. De modo que tal vez lo deberían examinar las facultades de Letras y otras disciplinas humanísticas, antes que las de Negocios. Antes de esta serie de exámenes, ChatGPT aprobó un examen de ingreso en Amazon para programadores. Esta información no fue admitida por Amazon, pero se filtró en el chat interno de la empresa, Slack.

Un número creciente de escuelas y docentes expresan su preocupación por el impacto inmediato de ChatGPT en los estudiantes y su capacidad para hacer trampa. Algunos profesores se están moviendo para replantear sus tareas en respuesta a ChatGPT, incluso cuando no está claro qué tan extendido es el uso de esta nueva herramienta entre los estudiantes y qué tan dañino podría ser realmente para el aprendizaje.

Desde que estuvo disponible a fines de noviembre, ChatGPT se ha usado para generar ensayos, historias y letras de canciones. Ha redactado resúmenes de trabajos de investigación que engañaron a algunos científicos. Algunos ejecutivos lo usan para escribir correos electrónicos o tareas de contabilidad.

ChatGPT está capacitado con grandes cantidades de datos en línea para generar respuestas a las solicitudes de los usuarios. Genera preocupaciones por las inexactitudes y su potencial para perpetuar sesgos y difundir información errónea. Jon Choi, uno de los profesores de derecho de la Universidad de Minnesota que tomó examen al “bot”, le dijo a CNN que el objetivo de las pruebas era explorar el potencial de ChatGPT para ayudar a los abogados en su práctica y ayudar a los estudiantes en los exámenes, ya sea que sus profesores lo permitan o no.

“ChatGPT tuvo problemas con los componentes más clásicos de los exámenes de la facultad de derecho, como detectar posibles problemas legales y realizar un análisis profundo aplicando reglas legales a los hechos de un caso”, dijo Choi. “Pero ChatGPT podría ser muy útil para producir un primer borrador que luego un estudiante podría refinar”. “Mi fuerte impresión es que los asistentes de IA se convertirán en herramientas estándar para los abogados en un futuro cercano, y las facultades de derecho deberían preparar a sus estudiantes para esa eventualidad”, agregó. “Por supuesto, si los profesores de derecho quieren continuar probando con el simple recuento de las normas y doctrinas legales, deberán implementar restricciones, como prohibir Internet durante los exámenes”.

Del mismo modo, Terwiesch de Wharton descubrió que el chatbot era “notablemente bueno” para modificar sus respuestas en respuesta a sugerencias humanas, como reelaborar las respuestas después de señalar un error, lo que indica el potencial para que las personas trabajen en conjunto con la IA. Sin embargo, a corto plazo se plantea la incómoda pregunta de si los estudiantes deben usar ChatGPT y cómo. Las escuelas públicas de la ciudad de Nueva York y Seattle, por ejemplo, prohibieron a los estudiantes y maestros usar ChatGPT.

Teniendo en cuenta que ChatGPT se desempeñó por encima del promedio en su examen, Terwiesch le dijo a CNN que está de acuerdo en que se deben implementar restricciones para los estudiantes mientras toman las pruebas. “Se necesitan prohibiciones”, dijo. “Después de todo, cuando le das un título a un médico, quieres que sepa medicina, no cómo usar un bot. Lo mismo se aplica a otras certificaciones de habilidades, incluidas las leyes y los negocios”.

Pero Terwiesch cree que, en última instancia, esta tecnología tendrá un lugar en el aula. “Si todo lo que tenemos es el mismo sistema educativo que antes, habremos desperdiciado una oportunidad increíble que viene con ChatGPT”, dijo.