mixx.io #1254
No sabemos medir el cociente intelectual de los GPT
ChefGPT te propone recetas tóxicas / Xojo añade soporte para Android / Pánico para comprar GPUs / Firmas digitales en Google Docs
ChefGPT te propone recetas tóxicas / Xojo añade soporte para Android / Pánico para comprar GPUs / Firmas digitales en Google Docs
🤖 ¿Cómo sabemos qué sistema de IA es mejor? Es muy difícil diseñar un sistema que valide la calidad de los GPTs y Llamas del mundo. Las mediciones actuales de rendimiento y aciertos están anticuados, y el gran panel MMLU tenía graves fallos. — Si no sabemos bien medir su acierto... ¿cómo vamos a evaluar su impacto?
👉 No conocía este enfoque: aplicar el paradigma comparativo del "ELO" usado en competiciones deportivas.
🧑🍳 La IA de un supermercado recomienda recetas tóxicas a sus clientes. Permitía indicar una lista de ingredientes que tienes por casa, y con ellos te recomendaba un menú a preparar. Incluyendo refresco de lejía con cloro (gas mostaza), entre otros.
👉 El supermercado neozelandés ha limitado la lista de ingredientes, pero sigue siendo gracioso si le das casos absurdos como "vinagre, salsa picante y mostaza"
💵 CoreWeave pone sus GPU como aval ante sus nuevos inversores. Recibirá un crédito por un titánico valor de 2.300 millones, y si no los paga los inversores se llevarán sus grandes granjas de servidores, llenas de codiciadas Nvidia H100.
🎈 En China se lanzan a comprar millones de GPU ante una posible prohibición. Alibaba, ByteDance, Baidu, etc. multiplican sus compras de GPUs Nvidia A/H800, por si EE.UU. impide a Nvidia venderles ese tipo de procesadores en los próximos meses, como ya hizo con A/H100. — Este aluvión va a desnaturalizar la demanda.
🔥 Un sistema de reconocimiento visual alerta por primera vez de un incendio. Una de las más de 1.000 cámaras de vigilancia forestal de California detectaron de madrugada una columna de humo, y el sistema alertó automáticamente a los bomberos que lo apagaron en menos de una hora. — Podéis ver las cámaras en directo.
👉 Estos sistemas no son nuevos, pero aunque parezcan simples, son costosos de operar y suelen tirar falsos positivos.
📱 Xojo añade soporte para Android y "modern" Windows. En la versión 2023rc2 ha llegado la posibilidad de crear y compilar apps para Android, aunque está en beta, pero con soporte muy completo, incluyendo televisores. Los programas para Windows podrán usar las interfaces WinUI.
📜 WordPress 6.3 adopta más componentes visuales y abandona PHP 5. Con esta versión se necesitará PHP 7 (avance de 2004 a 2015), y los editores podrán crear plantillas de bloques denominadas patrones, para contenido que suele repetir estructurar. — El plugin de ActivityPub sigue sin llegar al core, no sé si tiene sentido.
📝 Google Docs añadirá firmas digitales. Tras meses de pruebas internas, ya se puede usar esta nueva herramienta que nos permite incluir nuestras firmas o solicitar firmas ajenas. De momento está limitado a una firma y solo para negocios.
🐀 Little Rat te permite vigilar las conexiones de tus extensiones de Chrome. Similar a herramientas de escritorio, hace un seguimiento constante de todas las llamadas ajenas al núcleo del navegador. Útil para vigilar extensiones sospechosas, o que usen ajustes diferentes. — Precisamente...
Un desarrollador descubre las grandes ofertas para espiar usuarios de su popular extensión para navegadores. Un proceso bastante común en el que empresas pagan para que una extensión incluya sus "analíticas", sin que los usuarios sean informados.
Rusia incrementa su desconexión de Internet con el resto del mundo. En mayo empezaron a romperse de forma masiva las conexiones VPN de muchos operadores, y ahora afecta también a Wireguard. De momento Shadowsocks o Otbfs4 funcionan.
----
🌐 ¿Quieres escuchar mixx.io sin anuncios? Apúntate en Patreon y descubre todas las ventajas ser colaborador.
- Camisetas
- Tazas
- Pegatinas
- Feed RSS exclusivo sin publicidad de todos los programas.
----
- Canal de Telegram https://t.me/mixx_io
- Grupo de Telegram: https://t.me/mixxiocomunidad
----
Y recuerda que puedes seguir mixx.io también en:
- Newsletter: https://newsletter.mixx.io
- Twitter: https://twitter.com/mixx_io
- Web: https://mixx.io
- Mastodon: https://cuonda.social/@mixxio
Para contactar conmigo, puedes:
- Email: alex@barredo.es
- Twitter: https://twitter.com/somospostpc
- Telegram: https://t.me/postpc
- Mastodon: https://mastodon.social/@barredo
Transcripción
Y precisamente, vamos a hablar de cómo se está midiendo el progreso de las diferentes creaciones o sistemas o desarrollos que van apareciendo mes tras mes, tanto los GPTs como los Llamas, los Vicuñas, BART, etc. Nos centramos en los de texto, porque ya sabéis que hay múltiples pruebas de rendimiento en las que se puede hacer o automatizar una especie de resultado sintético, es decir, que te dé un número que simplifique o que ilustre o que reduzca de forma comparativa su rendimiento.
El caso es que, según he estado leyendo a los expertos, la mayoría de estos test y de estos sistemas de rendimiento, pues no solo se están quedando anticuados, también están diseñados en escalas que tenían una progresión relativamente lineal desde principios de siglo, como por ejemplo los motores de aprendizaje automático para el ajedrez, etc. Pero lo que hemos visto en los últimos dos o tres años en estos generadores e interpretadores
de modelos de lenguaje de texto es una evolución brutal trimestre tras trimestre, con lo cual el software de medición tiene que adaptarse y no se está adaptando. De hecho, se encuentran numerosos fallos de implementación de estos sistemas, con lo cual al final depende de cómo configures estas pruebas sintéticas te va a dar un resultado u otro. Entonces, como digo en el boletín, si no sabemos medir bien las diferencias de aciertos,
las diferencias de rendimiento, las diferencias de respuestas correctas en sentido más genérico por ejemplo de chat GPT 3.5 vs el 4 de Google Bart frente a Yama, no podemos evaluar bien su impacto a nivel profesional, a nivel X o a nivel Y, no podemos medir si se reducen las alucinaciones, si los textos que desarrolla un modelo son más fiables o menos fiables, y esto es un grave problema. Os dejo muchos enlaces en las notas del episodio al respecto por si queréis adentraros de
este laberinto, pero un enfoque curioso que yo no conocía es aplicar precisamente el paradigma del ELO, este sistema comparativo que se utiliza en las competiciones deportivas para calcular en todo momento y de forma evolutiva pues lo bueno que es un equipo, o lo bueno que es un ciclista, o lo bueno que es un ajedrecista, depende de si tus resultados son mejores que el de un rival más fuerte pues acabas ganando más puntos y sin embargo también los puedes
perder y más o menos todo va buscando un sistema que se auto equilibra y eso me ha parecido guay porque evita esa progresión infinita en la que vamos a acabar hablando de millones y millones y gigatrillones de no sé qué puntos sintéticos como los benchmarks Antutu estos y nos permite tener una tabla evolutiva de todos los modelos incluso aunque vayan pasando los años. Y ahora nos vamos a hablar de inteligencia artificial en el caso de una de las curiosas
adaptaciones que se van encontrando para sistemas como ChartGPT porque un supermercado en Nueva Zelanda tuvieron una idea es decir vamos a contratar a ChartGPT para que dándole una lista de ingredientes nos devuelva una receta entonces crearon una interfaz con la que permitían a sus clientes decir oye qué tienes en la nevera pues tengo tomate tengo queso y tengo pan y entonces lo transformaban en un texto que le decía a ChartGPT tengo estos ingredientes
en la nevera que me puedo hacer no la idea es graciosa la idea también les digo es algo que se puede hacer con una tecnología muchísimo menos compleja pero los resultados como podéis imaginar los más avispados están siendo increíblemente graciosos y peligrosos porque la lista de diferentes ingredientes que podías poner pues eran elementos del supermercado y entonces todo explotó cuando alguien le dice a ver qué me puedo hacer para cenar
si tengo la nevera lejía cloro y agua entonces claro eso a ChartGPT le llega y le dice dime qué material puedo hacer mezclando estas cosas y ChartGPT con su entendimiento del lenguaje pues dice si mezclas esto y esto te va a dar un líquido pero claro como estaba diseñado para convertirlo como si fuera una receta divertida le puso como si fuera una especie de refresco y ya sabéis que cuando mezclas lejía con cloro pues lo que te sale
es gas mostaza y te mueres entonces esto se viralizó y la gente empezó a poner cualquier burrada en este sistema del supermercado esto al final acabó llegando a la prensa generalista y rápidamente lo entre comillas parchearon ya no te dejaba introducir cualquier elemento del supermercado si no sólo comidas pero aún así y aunque está en inglés podéis sacarle algunos resultados medianamente graciosos y creo que precisamente esta historia del
supermercado neozelandés y la dificultad para medir la tasa de acierto o la tasa de sentido crítico en las respuestas de estos modelos de inteligencia artificial pues una alimenta a la otra de hecho ahora mismo vamos a hablar de la parte del hardware del gran aluvión de toneladas y toneladas y toneladas de tarjetas gráficas que se están vendiendo para hacer este tipo de entrenamientos y para luego ejecutarlos y es que una de las empresas
pioneras de los grandes servidores de gpus que cualquier persona o cualquier empresa o universidad puede contratar para ese tipo de servicios que se llama core web está buscando muchísima financiación para poder comprar muchas más tarjetas gráficas entonces han conseguido una ronda de financiación increíblemente grande de dos mil trescientos millones de dólares que están financiados en forma de crédito y esto sería una gran noticia en
cualquier circunstancia porque este tipo de rondas pues francamente son muy muy muy poco comunes de esta escala pero lo más curioso es que han puesto como aval o como colateral las propias tarjetas gráficas de la empresa es decir que si en el futuro core web no puede pagar a los fondos de inversión a los grandes bancos que le han dejado ese dinero se van a llevar sus nvidia h100 sus nvidia a100 y todas estas granjas de servidores gráficos
porque a día de hoy como ha explotado tanto la demanda y envidia no da abasto a fabricarlas todas están subiendo de precio es decir es un poco ridículo pero es así y uno de los grandes motivos por esta subida de precio ya sabéis que viene desde la propia china y ahora tenemos unas cifras que parece que se han filtrado desde envidia porque sus clientes allí baidu bite dance los creadores de tiktok alibaba etcétera etcétera están multiplicando
de una forma astronómica las compras de las gpus que pueden comprarle hoy en día a envidia y adelantando millones y millones para hacer compras que quizás no necesiten en este momento porque temen precisamente que haya una segunda ronda de prohibiciones por parte de eeuu que ya no permite ni a envidia ni a otras empresas vender hardware a partir de una capacidad de rendimiento a empresas chinas y entonces sospechan que a lo mejor en unos meses tampoco
pueden comprar las de menor rendimiento y entonces están como digo en el boletín desnaturalizando la demanda es decir están comprando tarjetas gráficas que no necesitan simplemente a nivel de pánico entonces eso obliga a envidia a modificar sus recursos pero bueno vamos a hablar de cosas un poquito más de andar por casa un sistema de reconocimiento visual que podríais calificar si queréis como inteligencia artificial ya me da todo igual alertado por
primera vez de un incendio en concreto es el sistema forestal de california que tiene más de mil cámaras repartidas por todo el estado california a nivel de área yo creo que es más grande que españa seguramente es decir es un estado increíblemente extenso y como todo el mundo en verano pues tiene problemas de incendios forestales hace varios años empezaron a aplicar reconocimiento visual al contenido que iba llegando en directo de
todas estas cámaras y precisamente una de ellas dio supermer resultado fidedigno precisamente de noche de madrugada cuando detectó una humareda que pues los sistemas tradicionales los oteadores los medios más comunes no podían detectar pues porque era de noche y no se veían los humos y el sistema automáticamente avisó a los bomberos se coordinó el tema y en una hora ese incendio forestal se pudo apagar porque se detectó muy rápido este
tipo de sistemas ya digo no son nuevos de estos este de california creo que lleva funcionando un par de años hay múltiples establecidos por todo el mundo aunque parecen simples realmente ofrecen muchos falsos positivos a nivel de software tenemos dos actualizaciones que me parecen relevantes la primera es wordpress que llega a la versión 6.3 que adopta muchos más componentes visuales para su panel de administración para poder publicar contenido
de una forma muy dinámica y muy flexible y estos grandes bloques que llevan ya un par de años en wordpress ahora van a estar unificados dentro de lo que han denominado patrones es decir una especie de plantillas de bloques que se pueden ir reutilizando sin tener que ir construyéndolas una a una con cada artículo además que por cierto wordpress por fin deja atrás la versión 5 de php como soporte mínimo que era una versión de este lenguaje de programación
de 2004 y la versión mínima ahora mismo para poder ejecutar wordpress 6.3 es php 7 que es vieja es de 2015 8 añitos ya pero bueno otra actualización que me parece muy interesante soy yo el entorno de programación para herramientas y para programas y aplicaciones multiplataforma añadido por fin soporte para android hace un año o dos años añadieron para poder diseñar aplicaciones para iphone ipad etcétera y aunque el soporte está en beta para android
me parece súper completo y francamente es muy sencillo si nunca habéis programado cosas para escritorio y tenéis alguna idea de alguna aplicación inicial simple o alguna cosa que queráis hacer y que os gustaría que fuera multiplataforma y poder construir algo rápidamente y que quede bien y que funcione bien en windows en mac en linux etcétera y ahora también para iphone para android etcétera pues yo os recomendaría soy yo porque tiene una curva
de aprendizaje que yo creo que no calificaría ni de curva me parece una línea casi completamente plana muy sencillo de empezar con esto una actualización en este caso de un software que utilizamos en la nube es google docs que por fin añade firmas digitales llevan un montón de tiempo probándolo a nivel interno como alfa y ahora entra para algunos usuarios empresariales en beta es decir los que tengáis gmail de momento a nivel individual no lo vais a poder
utilizar pero era una de las grandes características o funciones de google docs que llevaba siendo esperada pues yo no sé si deciros 5 o 6 años o a lo mejor una década no sé cuándo salió google docs pero poder añadir tu firma digital a cada documento de una forma válida o incluso pedirle a otra persona que añada su propia firma digital dentro de un campo a la hora de generar un documento un pdf etcétera pues es muy útil tiene algunas limitaciones no
es tan potente como los sistemas por ejemplo de acrobat o creo que los incluso los de dropbox son mucho mejores no se pueden solicitar varias firmas y de momento creo que no es compatible es decir a nivel estándar no puedes crear un pdf con google docs que luego se pueda firmar con acrobat todo de momento se queda dentro de google docs pero poco a poco hablamos también de rusia que está incrementando las medidas de desconexión de internet con
el resto del mundo empezaron hace unos meses a bloquear muchísimos vpns a nivel de protocolo ahora parece que también están probando con éxito la tecnología para bloquear conexiones o protocolos wireguard y esto es algo que al gobierno ruso actual le va a costar un tiempo implementar a nivel técnico parece de hecho que son las pruebas en producción por decirlo así el tema shadowsocks o el otbfs4 este nuevo protocolo este nuevo sistema
no sé muy bien cómo definir lo que utilizan las versiones actuales de tor para ofuscar el tráfico siguen funcionando pero con la suficiente infraestructura en el futuro seguramente también lo puedan bloquear de la misma forma que por ejemplo china consigue bloquearlo hay más métodos ya sabéis que no hay nada infalible pero es una situación que hace un año antes de la guerra de ucrania muchas personas vamos es que ni los lo imaginábamos
que rusia iba a crear esta desconexión de internet tan severa rollo corea del norte algunas cositas más que quedan en las notas del episodio o en el boletín o en la página web o en nuestras redes sociales o donde queráis leerlo y si no queréis leerlo y seguís simplemente escuchándome todos los días pues bien que hacéis muchísimas gracias por estar conmigo un día más y nos vemos mañana con más noticias de tecnología.
