S05E09 - ChatGPT, ¿amigo o enemigo?

Personal investigador del instituto VRAIN de la Universitat Politècnica de València (UPV) ha colaborado recientemente con OpenAI en la evaluación y mejora de GPT-4, el nuevo modelo de lenguaje basado en inteligencia artificial.

El equipo ha sido parte del «red team» de GPT-4, cuya misión fue encontrar fallos y vulnerabilidades en el sistema, así como evaluar sus capacidades y posibles riesgos asociados a su uso. La colaboración se realizó debido a la experiencia del grupo de investigación en la evaluación de la Inteligencia Artificial (IA) y sus anteriores trabajos con OpenAI.

El equipo estuvo compuesto por Yael Moros, Lexin Zhou, Wout Schellaert, Cèsar Ferri y José Hernández-Orallo. Y, en esta edición, hablamos con dos de ellos, en concreto, con Yael y César, de esta colaboración y del presente y futuro de ChatGPT y de la IA ¡Dale al play!

-------

5ª TEMPORADA

"Revisado por pares" es un programa en el que investigadores de la Universitat Politècnica de València (UPV) pasan por nuestros estudios para comentar, de dos en dos, la actualidad científica. Una agradable conversación para estar al día de los avances en el mundo de la investigación académica.

Con la colaboración de la Fundación Española para la Ciencia y la Tecnología (FECYT) del Ministerio de Ciencia e Innovación.

Personal investigador del Instituto Brain de la Universitat Politècnica de València ha colaborado recientemente con OpenAI en la evaluación y mejora de GPT-4, el nuevo modelo de lenguaje basado en inteligencia artificial. El equipo integrado en el Instituto Brain de la UPV ha sido parte del Red Team de GPT-4, cuya misión fue encontrar fallos y vulnerabilidades en el sistema, así como evaluar sus capacidades

y posibles riesgos asociados a su uso. La colaboración se realizó debido a la experiencia del grupo de investigación en la evaluación de la inteligencia artificial y sus anteriores trabajos con OpenAI. El equipo estuvo compuesto por Yael Moros, Lexin Zhou, Butch Shellach, César Ferry y José Hernández Zorallo. Hoy hablamos con dos de ellos, en concreto con Yael y César, de esta colaboración y del presente y futuro de ChatGPT y de la inteligencia artificial.

Empieza Revisado por Pares. Revisado por Pares, un programa presentado y dirigido por Luis Zurano en UPV Radio, radio.upv.es. De presente y futuro de la inteligencia artificial, del ChatGPT, del trabajo que puede llegar a hacer o que puede llegar a sustituir, bueno, de muchas cosas. Vamos a hablar en los próximos minutos, como os avanzamos en la intro del programa, los protagonistas son dos investigadores, una investigadora y un investigador, del Instituto

Valenciano de Investigación e Inteligencia Artificial, del Instituto Brain, de esta casa. César Ferry, muy buenas. Hola, buenos días. Yael Moros, muy buenas a los dos. Muchísimas gracias por compartir este ratito de radio para hablar de algo que como siempre nos atañe a todos nosotros. Pero antes de hablar de futuro, vamos a hablar de presente y un poquito de pasado. ¿Cuál fue vuestro trabajo adentrándose en esas entrañas de ChatGPT, César?

Pues, bueno, la colaboración surgió gracias a que organizamos un evento el pasado verano en una de las conferencias más importantes de inteligencia artificial en Viena y en este workshop participó una persona de OpenAI, entonces hicimos buena colaboración con ellos, buena conexión y nos invitaron, creo que fue en octubre o en septiembre, a formar parte de este equipo cuya función era tener acceso desde unos meses antes de su lanzamiento,

aunque en su día no sabíamos cuándo se iba a lanzar, y pudiéramos testear las funcionalidades y los riesgos de este nuevo modelo de lenguaje. ¿Yael, cómo fue esa experiencia? Pues fue bastante interesante porque nosotros tuvimos acceso a GPT-4 antes incluso que saliera ChatGPT, así que no esperábamos que fuera tan buena realmente, así que el probar esta herramienta, ver los riesgos, o sea, intentar encontrar riesgos y ver cómo podíamos romperla

en algún sentido estuvo muy interesante y aprendimos muchísimo. ¿Cómo se destea, Yael, César, una herramienta como esta? ¿Cómo se adentráis en esas entrañas para ver esas vulnerabilidades, potenciales, riesgos? Pues bueno, entiendo que tú y los oyentes tendrán algo de experiencia en el uso de este tipo de sistemas, al fin y al cabo tienes una interfaz donde puedes escribir y esperar la respuesta.

Nosotros lo que intentábamos ver es, intentábamos capturar respuestas erróneas, sesgos, y sobre todo respuestas que pudieran provocar algún tipo de peligro o algún tipo, no sé, de mala interpretación, entonces era un poco el objetivo que nos marcamos. Y también, al mismo tiempo, evaluar la capacidad de resolver problemas complejos, la inteligencia de cierta manera. Es una buena herramienta, es una herramienta peligrosa, como ya hemos dicho en otras ocasiones,

la analogía la podemos hacer con el cuchillo, que puede ser bueno o malo, Yael. A ver, es una herramienta útil, es muy útil si se usa bien, o sea, ahora mismo hay que tener en cuenta que no es perfecta y que el jefe te contesta como si lo supiera todo, pero realmente tiene fallos y nosotros tenemos que ser conscientes de ello, y si lo usamos bien, pues podemos hacer muchas cosas y seguro que en el futuro su uso será más extendido

y habrá muchas más funcionalidades, pero hay que saber eso. Vamos a intentar rascar un poquito, César y Yael, a vuestro juicio, cuáles son los grandes pros, vamos a empezar por los pros con César y después con las contras o seguiremos completando, pero las grandes ventajas de un modelo de lenguaje como GPT. A ver, las grandes ventajas, así a grosso modo, se hallan en todo lo que tiene que ver con la generación de texto avanzada, en cierta manera, por ejemplo, yo lo utilizo, me piden

una carta de recomendación, en inglés, claro, no tengo tanta experiencia, te hace una carta de recomendación perfecta, y en inglés, en francés, lo que quieras, generación de texto complejo, programación, hazme una función que me calcule el máximo de un vector en el lenguaje que quieras, te lo hace, a veces falla, pero digamos, como para empezar a programar, para intentar corregir, incluso para hacer planificación de viajes, me voy una semana

a París, me puedes recomendar. Hazme un entorno, sí. Claro, todo lo que tiene que ver resumen de texto, generación de texto, es fantástico, es un punto fuerte de largo, pero bueno, los contos ya te lo has contado ya, ¿eh? Pero decíais también, en ese trabajo que realizaste, y lo hemos hablado, incluso fuera de ese trabajo, y en el marco de la universidad, y también fuera de ella, que hay que utilizarla

con cautela, y hablabais de, apuntabais, para evitar una dependencia excesiva, eso es clave en cualquier herramienta, y en este caso, más, Yael. Sí, supongo, a ver, en lo que mencionaba César de resumen de un texto, pues eso, es muy útil. Sí que es verdad que, claro, los chavales de la ESO también tienen acceso, y a lo mejor deberían aprender por ellos mismos también un poco a resumir textos y tal, aunque luego

puedan usar esa herramienta, o sea, nosotros aprendemos a sumar, a dividir, con un montón de cifras, aunque luego no lo usemos diariamente, sí que nos ha ayudado a desarrollar nuestro pensamiento lógico, etcétera, y estaría bien que no dependiéramos de esa herramienta para hacerlo, aunque la podamos usar, y, de hecho, deberíamos usarla, ¿no? Cambia nuestra manera de trabajar y de aprender, o de aprender y trabajar, César.

Sí, va a cambiar, y este de hecho está ganando ya. Claro, y se puede, porque otro de los debates, si hay que ponerle límites a esa revolución, que es una gran revolución, César. El tema de los límites, soy un poco escéptico, porque al fin y al cabo es poner puertas al campo. OpenAI ha lanzado la familia GPT-3, GPT-4, que realmente ha revolucionado los sistemas de inteligencia artificial. Otras compañías grandes como Amazon, Meta, Google, se han quedado atrás, y no creo,

sobre todo pensando en Google, el negocio que le supone el buscador es una amenaza muy grande para el negocio de Google, por lo tanto, Google estará gastando actualmente miles de millones en ponerse al día, entonces, intentar o pretender que estas compañías van a detener o suspender la investigación por esta línea cuando OpenAI ha llegado tan lejos. Me ha llegado ya. Sí, y al fin y al cabo, no sé si sabes que en Italia se prohibió el uso, al fin y al

cabo, hay que tener en cuenta que OpenAI ha entrenado estos modelos con toda la información publicada que existe en Internet, con lo cual no hay acceso a nueva información, no te va a aparecer un dato sensible que no estaba antes en Internet, de hecho, uno de los problemas que tiene OpenGPT-4 es que está entrenado hasta el 2021, con lo cual no está muy actualizado, no le puedes preguntar quién es actualmente el presidente de los Estados Unidos porque

igual te va a decir Trump. Esa sería un contra en esa evaluación que estamos haciendo de lo que nos ofrece el chat GPT, pero si incidimos en la parte más negativa, permitidme, en los riesgos que puede haber detrás de un mal uso de esta herramienta, ¿dónde hemos de prestar mayor atención? Yo creo que en la desinformación, quizás, en tener muy claro que no todo lo que dices es cierto, es la realidad o no está actualizado, tenerlo en cuenta.

El problema es que como hace tantas tareas también, le puedes empezar a atribuir unas capacidades que no tiene, es decir, ¿qué puedo hacer para conquistar a este chico o a esta chica? Y te va a dar como no tienes, pero claro, al final no razona, no hay un mecanismo, no tiene sentido común, al fin y al cabo, es una herramienta que se dedica a recoger textos, a resumirlos y a generar, con lo cual funciona muy bien en la mayoría de los casos, pero

no... O sea, hay que conocerlo bien, sus capacidades y limitaciones. Sí, porque como hace cosas tan bien, crees que todo lo hace igual de bien y no es así. Por tanto, quizás has hablado de la desinformación, es uno de los grandes riesgos, quizás esa desinformación, ese escenario que estamos dibujando, se ha de compensar sí o sí con una mayor formación alrededor de ECHA-GPT y entiendo que esa formación no es una formación

en el entorno que nos movemos, en el universitario, sino que debe empezar porque, bueno, yo, caso particular, sobrinos de 14, 15 años lo están utilizando y para ellos es la panacea, cuando no es la panacea por lo que estamos. Hay que tener ese cuidado, ese cuidadito. César. Sí, sí, bueno, paso un poco con Internet en general, que lo que estábamos hablando antes es un ranking. La segunda mejor universidad de España, una universidad privada no muy conocida.

Claro, si lo ves en Internet, hay mucha gente que piensa que es verdad, pues es lo mismo, al final no todo lo que hay en Internet es cierto, no lo puedes asumir, incluso en medios de comunicación, hay que tener capacidad de, digamos, análisis, un sentido crítico y saber que al fin y al cabo esa herramienta te está resumiendo textos existentes en Internet que muchas veces son erróneos. Tenemos un filtro de esto es cierto, esto es falso, porque hay muchos temas controvertidos

que no hay una verdad absoluta. Si la inteligencia artificial sale mal, puede salir muy mal. Esto no es que lo diga yo, obviamente, lo decía hace unas horas Sam Altman, el CGPT, con fundador en el Capitolio. El resumen sí que es llamativo y sobre todo nos pone en alerta de lo que puede pasar, pero es muy tremendo, César, o no, o hay que, ojito, que si lo hacemos mal, eso tiene sus repercusiones. Ya él.

Dice, es esencial, leemos el extracto de la noticia que publicaba El País, es esencial regular la inteligencia artificial y que esas normas garanticen que el público acceda a los muchos beneficios de esta tecnología. Mi peor miedo es que esta tecnología salga mal, y si sale mal, puede salir muy mal. Claro. Esto va un poco en la dirección de una carta que se firmó hace poco relacionada con esto de si debíamos parar de entrenar estos modelos o no, porque al final estamos yendo hacia

adelante, pero no sabemos a dónde vamos. Estamos entrenando modelos, viendo que aumentan sus capacidades, pero hasta cuándo, cómo las están aumentando, no lo sabemos, y supongo que estas declaraciones van en esa dirección. Debemos pararlos, César. A mí más que, más por el miedo del peligro de inteligencia artificial, a mí lo que me asusta un poco es el impacto que puede tener en la sociedad herramientas como el chat GPT.

Hay profesiones como traducción, diseño gráfico, incluso periodismo, que van a sufrir mucho por esas herramientas, porque están realizando tareas que antes estaban realizando humanos. Docencia. Claro, tenemos que cambiar la docencia, ya no podemos poner sobre todo en eso, hazme un trabajo, porque te lo va a hacer. Sí que es cierto que en ese aspecto hemos avanzado muy rápido, en muy poco tiempo. La sociedad lo está asimilando poco a poco, pero quizás habría que decir, a ver qué

pasa, vamos a introducir estas herramientas tan potentes de una manera un poco más sosegada, controlada, porque realmente no esperábamos que los sistemas… Esta línea de investigación, porque tú lees lo que hacen y dices, no, si al final te resumen texto, pero después te resumen el texto también, incluso es capaz a veces de razonar a un nivel bastante bajo que no se esperaba. Por eso sí que es cierto que la comunidad científica de Inteligencia Artificial ha

quedado un tanto sorprendida de los resultados tan buenos. Hay ciertos problemas de Inteligencia Artificial, GPT-4 los ha pasado por la derecha, es un poco triste, pero hay campos de Inteligencia Artificial que directamente casi han desaparecido, han quedado obsoletas en cuestión de dos años, entonces es una revolución. Obviamente yo no creo que vayamos a morir el día de mañana ni que vayan a desaparecer

todos los trabajos, ¿no? No, pero sí que va a tener cierto impacto en ciertos sectores, como por ejemplo la educación. A mí lo que me da miedo, y lo veo, es que en la propia Facultad de Informática, y otras no PV, los alumnos saben más de esto que muchos profesores, entonces muchos profesores igual están poniendo tareas y los alumnos lo hacen con, y los profesores ni tan siquiera somos conscientes de que no lo han hecho ellos, y les vamos a poner muy buena nota porque

realmente está muy bien hecho. Yo hace poco les puse el examen de mi asignatura, bueno, lo hice un compañero a ChatGPT y sacó un 7, y te estoy hablando de una asignatura de tercero, o sea que tampoco es básica. Yo como alumna, todos mis compañeros usan ChatGPT prácticamente a diario, si no es para resumir un texto, yo qué sé, tienes que hacer una memoria y a lo mejor los resultados y el código los haces tú, pero dices la introducción y el contexto, ChatGPT, y es

algo que hace todo el mundo. Esto, perdón, sí César. Sí, no, que te iba a comentar que por ejemplo uno de los aspectos que ya está teniendo impacto son las revisiones de, digamos, de restaurantes, de productos, ¿no? Si se leía que Amazon desde hace, desde que se lanzó el ChatGPT, se ha disparado el número de revisiones hechas automáticamente, claro, los fabricantes, los vendedores están utilizando

estas herramientas o compañías para generar revisiones positivas o negativas. Dependiendo de. Entonces, claro, esa manera de trabajar de las revisiones ya no nos valen, tenemos que hacer algo, ¿eh? ¿Quién está haciendo esto? ¿Hay alguien ahí detrás? Decía también Altman, estamos hablando de la parte más complicada, vamos a la parte más positiva, la inteligencia artificial podrá ayudar a lograr nuevos descubrimientos

y abordar algunos de los mayores desafíos de la humanidad como el cambio climático y la cura del cáncer. De nuevo, volvemos a esa analogía, las herramientas si se utilizan bien pueden tener un gran potencial y en este caso si algo nos preocupa es cambio climático, si algo nos preocupa, son dos casos concretos, es la cura del cáncer. La inteligencia artificial sigue y puede seguir respondiendo a esos desafíos de la humanidad,

¿verdad? Bien utilizada. Es algo obvio. Sí, por supuesto. Ya ha contribuido y va a contribuir todo lo que tiene que ver con medicina, bioinformática, la cantidad de datos que tenemos que analizar es ingente, con lo cual si no utilizamos herramientas inteligentes artificiales es inviable. Y nos convertimos en cierto modo, aparte de este potencial, retomando alguna de las cuestiones que hemos tratado hasta ahora, nos convertimos en cierto modo en unos revisores o hemos de

potenciar la capacidad de pensamiento crítico de esto no me huele bien, esto no es verdad o esta traducción, decías antes César, que uno de los sectores o este titular que ha hecho ChagPT no me vale, vamos a ser más, la palabra no sé si es cura, sí, de contenidos que generadores de contenidos en ciertos sectores. Yo creo que sí, yo creo que nuestra labor va a ser más mejorar, revisar muchos textos

generados por estas herramientas, lo cual no deja de ser positivo porque vamos a incrementar el nivel, claro rasgarse ahora las vestiduras del nivel por ejemplo de las noticias de muchos medios digitales cuando lo estamos viendo desde hace años, yo no sé si lo hacía ChagPT y tú lo haces mejor que nadie, o sea que tampoco podemos ahora empezar a lamentarnos cuando ese problema estaba surgiendo hace tiempo, o sea yo creo que va a ser positivo

y va a elevar la calidad del texto de muchos sectores, como por ejemplo el periodismo. Y Alman, Yael, comentaba también que es necesario impulsar una organización internacional para establecer los estándares para la inteligencia artificial, ¿hasta qué punto creéis que necesitamos ese establecimiento, esa regulación de esos estándares? Eso es lo que estaba hablando César antes un poco, de que está yendo todo muy rápido

y no nos estamos adaptando quizás al nivel que eso está evolucionando, entonces quizás sí que sería interesante introduciéndolo lo que hablábamos poco a poco y regularlo un poco, no para limitar la herramienta o limitar su uso, sino que la gente se fuera acostumbrando más lentamente por decirlo de alguna forma. Y hemos leído un titular, estamos haciendo referencia a esa comparecencia en el Capitolio

de Alman, empezábamos con ese titular y vamos a ligarlo con otro, en este caso nos lo daba otro de los autores, otro de los componentes de El Reptil, compañero de César y de Yael en Brain, estamos hablando de José Hernández Zorallo, en una entrevista también publicada en El País, dos ideas, estamos jugando con la inteligencia artificial y cuando juegas te puedes quemar, eso está muy ligado a lo que decía Alman, si sale mal puede salir

muy mal. Y incidía también en otro aspecto César, no se pueden usar los baremos de los seres humanos para evaluar la inteligencia artificial, entramos de nuevo en ese binomio máquina hombre que tanto nos gusta y sobre todo a los medios, pero estas dos ideas resumen posiblemente el estado actual y hacia dónde debe ir la inteligencia artificial, César. Sí, efectivamente, José sabe un poquito de este tema, a ver, por ejemplo, recientemente

uno de los problemas que más ha abordado la inteligencia artificial, ajedrez, pues estamos ya en los años 90, ya las máquinas fueron capaces de superar a Garry Kasparov, desde aquel entonces se ha evolucionado mucho y estamos ya a años luz en ajedrez, entonces eso significa que las máquinas son mucho más inteligentes que los humanos, no, es un poco por donde va José, es complicado intentar utilizar la misma vara de medir

para dos sistemas que son muy diferentes, de hecho por ejemplo la inteligencia en ajedrez, los últimos sistemas sí que son muy interesantes porque se han desarrollado de manera que aprenden ellos mismos a jugar y entonces han aprendido desde cero, no, porque anteriormente digamos que estaban programados por humanos y les transmitíamos nuestros sesgos a la manera de jugar, los últimos sistemas aprenden desde cero y eso ha sido muy interesante porque

se han abierto nuevas maneras de jugar que no sabíamos los humanos. Desde cero sin sesgos. O sea, las últimas sistemas les damos las reglas y ellos empiezan a jugar contra ellos mismos y mejoran y bueno el sistema este de DeepMind fue capaz de ganar el campeonato mundial y esos aspectos son digamos que son muy interesantes y respecto a los riesgos, por ejemplo uno de los aspectos más peligrosos es todo el tema de armas con inteligencia

artificial, armas autónomas, que se intentó poner un veto pero no todos los países accedieron y claro, en este contexto que estamos sufriendo una guerra en Europa, poner por ejemplo cámaras a un dron y pues por desgracia no estamos tan lejos y de hecho creo que ha habido ya algún caso de ataques con drones e inteligencia artificial, entonces claro, sería muy interesante vetar o controlar el uso de inteligencia artificial en estos campos pero si no somos capaces de

parar una guerra. ¿Por qué hay que repensar los sistemas de evaluación de la inteligencia artificial? Vaya pregunta. Un poco lo que hablaba también César, que somos sistemas diferentes entonces no tenemos las mismas capacidades, la inteligencia artificial no es más inteligente que un humano, tiene otras capacidades y por eso hay que prestarle atención a la evaluación de la inteligencia artificial, que yo siempre que hablo con mis amigos o con otra gente les digo tal, yo estoy

en evaluación de inteligencia artificial, todo el mundo me pregunta ¿y eso qué es? en plan hay gente que se dedica a eso porque oímos mucho, no, yo en reconocimiento del habla o yo en imagen, no sé qué, y cuando les digo eso dicen ¿y qué haces? ¿y cómo va eso? ¿y qué es una benchmark? ¿para qué se utiliza? no la había oído nunca. Pues entonces esa evaluación depende, el futuro, de herramientas como esta y de futuro

quería preguntaros para ir cerrando ¿cómo creéis que será el chat GPT dentro de un año por ejemplo? ¿es aventurar mucho? Yo en texto entiendo que tendrá la misma línea de avance, o sea será más potente, con capacidades de razonar mejor, problemas más complejos, pero lo que estamos esperando es la capacidad de trabajar con imágenes, eso yo creo que también va a ser otra revolución, y de hecho se ha dicho que la versión 4 de GPT sí que es multimodal, sí que es capaz

de también trabajar al mismo tiempo con texto y con imágenes, lo que pasa es que aún no se ha liberado, por lo menos nosotros no hemos tenido acceso. La revolución continúa, por tanto, Yael. Sí, yo tengo mucha curiosidad también de por dónde van a tirar las demás empresas, porque estamos hablando todo el rato de GPT, pero luego DeepMind, Meta, algo van a hacer seguro porque esto es el presente y el futuro, y pues a ver qué pasa.

Se va a hacer una guerra, entre comillas, entre... No, a ver, es lo que te comentaba antes, Google genera... No puede estar parado, claro. Su buscador le está generando miles de millones al día y es una amenaza clarísima, entonces se tiene que poner las pilas, pero vamos, rápidamente, para mejorar su buscador. Concluimos puertas al campo de la inteligencia artificial, ¿no se pueden poner, César? Yo lo veo complicado, porque actualmente quien está, digamos, liderando este sector son

las grandes empresas, y al final, lo que te he dicho, ganan mucho dinero, se ven amenazados su negocio, con lo cual lo veo complicado, si no hay un acuerdo internacional a nivel de grandes gobiernos, va a ser imposible. ¿Yael? ¿Cerramos contigo? Mmm... No tengo mucho más que añadir a lo que dice, pero yo creo que no, tampoco, o sea, estaría bien que se... Eso, un acuerdo para introducirlo poco a poco, para controlar un poco la revolución, pero

no se puede cerrar las puertas del campo. Pues Yael Moros, César Ferri, muchísimas gracias por haber compartido con nosotros este Revisado por Pares, como decía, de algo que nos ocupa y nos preocupa a todos, desde los periodistas hasta los docentes, hasta los investigadores y hasta cualquiera de las personas que nos estén escuchando en estos momentos. Investigadores del Instituto Brain, César, Yael, muchísimas gracias.

De nuevo nos volvemos a escuchar en una nueva entrega de Revisado por Pares en dos semanas. Será, de nuevo, como siempre, gracias a la colaboración de la Fundación Española para la Ciencia y la Tecnología del Ministerio de Ciencia e Innovación. Hasta entonces, sed felices.