El fabricante de ChatGPT lanza una herramienta de detección de IA

El fabricante de ChatGPT está tratando de frenar su reputación como una máquina de hacer trampa con una nueva herramienta que puede ayudar a los maestros a detectar si un estudiante o inteligencia artificial escribió esa tarea.

El nuevo clasificador de texto AI lanzado el martes por OpenAI sigue a una discusión de semanas en escuelas y universidades sobre los temores de que la capacidad de ChatGPT para escribir casi cualquier cosa podría alimentar la deshonestidad académica y dificultar el aprendizaje.

OpenAI advierte que su nueva herramienta , como otras ya disponibles, no es infalible. El método para detectar texto escrito por IA «es imperfecto y, en ocasiones, será incorrecto», dijo Jan Leike, jefe del equipo de alineación de OpenAI encargado de hacer que sus sistemas sean más seguros.

“Por eso, no se debe confiar únicamente en él al tomar decisiones”, dijo Leike.

Adolescentes y estudiantes universitarios se encontraban entre los millones de personas que comenzaron a experimentar con ChatGPT luego de su lanzamiento el 30 de noviembre como una aplicación gratuita en el sitio web de OpenAI. Y aunque muchos encontraron formas de usarlo de manera creativa e inofensiva, la facilidad con la que podía responder preguntas de exámenes para llevar a casa y ayudar con otras tareas provocó el pánico entre algunos educadores.

Cuando las escuelas abrieron para el nuevo año, la ciudad de Nueva York, Los Ángeles y otros grandes distritos escolares públicos comenzaron a bloquear su uso en las aulas y en los dispositivos escolares.

El distrito de las Escuelas Públicas de Seattle inicialmente bloqueó ChatGPT en todos los dispositivos escolares en diciembre, pero luego abrió el acceso a los educadores que quieren usarlo como herramienta de enseñanza, dijo Tim Robinson, el portavoz del distrito.

“No podemos darnos el lujo de ignorarlo”, dijo Robinson.

El distrito también está discutiendo la posibilidad de expandir el uso de ChatGPT en las aulas para permitir que los maestros lo usen para capacitar a los estudiantes para que sean mejores pensadores críticos y para permitir que los estudiantes usen la aplicación como un «tutor personal» o para ayudar a generar nuevas ideas cuando trabajan en una tarea. , dijo Robinson.

Los distritos escolares de todo el país dicen que están viendo que la conversación sobre ChatGPT evoluciona rápidamente.

“La reacción inicial fue ‘Dios mío, ¿cómo vamos a detener la ola de trampas que ocurrirán con ChatGPT?’”, dijo Devin Page, especialista en tecnología del Distrito de Escuelas Públicas del Condado de Calvert en Maryland. Ahora hay una creciente comprensión de que “este es el futuro” y bloquearlo no es la solución, dijo.

“Creo que seríamos ingenuos si no estuviéramos conscientes de los peligros que presenta esta herramienta, pero tampoco serviríamos a nuestros estudiantes si les prohibimos a ellos y a nosotros que la usen con todo su poder potencial”, dijo Page, quien piensa que los distritos como el suyo eventualmente desbloqueará ChatGPT, especialmente una vez que el servicio de detección de la compañía esté en funcionamiento.

OpenAI enfatizó las limitaciones de su herramienta de detección en una publicación de blog el martes, pero dijo que además de disuadir el plagio, podría ayudar a detectar campañas de desinformación automatizadas y otros usos indebidos de la IA para imitar a los humanos.

Cuanto más largo sea un pasaje de texto, mejor será la herramienta para detectar si una IA o un ser humano escribieron algo. Escriba cualquier texto (un ensayo de admisión a la universidad o un análisis literario del «Hombre invisible» de Ralph Ellison) y la herramienta lo etiquetará como «muy poco probable, poco probable, poco claro si es, posible o probable» IA -generado.

Pero al igual que el propio ChatGPT, que se entrenó en un gran tesoro de libros, periódicos y escritos en línea digitalizados, pero que a menudo escupe falsedades o tonterías con confianza, no es fácil interpretar cómo llegó a un resultado.

“No sabemos fundamentalmente a qué tipo de patrón presta atención, o cómo funciona internamente”, dijo Leike. «Realmente no hay mucho que podamos decir en este momento sobre cómo funciona realmente el clasificador».

Las instituciones de educación superior de todo el mundo también han comenzado a debatir el uso responsable de la tecnología de IA. Sciences Po, una de las universidades más prestigiosas de Francia, prohibió su uso la semana pasada y advirtió que cualquier persona que sea sorprendida usando ChatGPT y otras herramientas de inteligencia artificial para producir trabajos escritos u orales podría ser expulsada de Sciences Po y otras instituciones.

En respuesta a la reacción violenta, OpenAI dijo que ha estado trabajando durante varias semanas para elaborar nuevas pautas para ayudar a los educadores.

“Al igual que muchas otras tecnologías, puede ser que un distrito decida que es inapropiado para su uso en sus aulas”, dijo Lama Ahmad, investigadora de políticas de OpenAI. “Realmente no los empujamos de una forma u otra. Solo queremos darles la información que necesitan para poder tomar las decisiones correctas para ellos”.

Es un papel inusualmente público para la startup de San Francisco orientada a la investigación, ahora respaldada por miles de millones de dólares en inversiones de su socio Microsoft y que enfrenta un creciente interés del público y los gobiernos.

El ministro de economía digital de Francia, Jean-Noël Barrot, se reunió recientemente en California con ejecutivos de OpenAI, incluido el director ejecutivo Sam Altman, y una semana después le dijo a una audiencia en el Foro Económico Mundial en Davos, Suiza, que era optimista sobre la tecnología. Pero el ministro de gobierno, exprofesor del Instituto de Tecnología de Massachusetts y de la escuela de negocios francesa HEC en París, dijo que también hay cuestiones éticas difíciles que deberán abordarse.

“Entonces, si está en la facultad de derecho, hay lugar para la preocupación porque, obviamente, ChatGPT, entre otras herramientas, podrá entregar exámenes que son relativamente impresionantes”, dijo. «Si está en la facultad de economía, entonces está bien porque ChatGPT tendrá dificultades para encontrar o entregar algo que se espera cuando está en una facultad de economía de nivel de posgrado».

Dijo que será cada vez más importante que los usuarios comprendan los conceptos básicos de cómo funcionan estos sistemas para que sepan qué sesgos podrían existir.