Probando Spatial Persona en Apple Vision Pro

Apple acaba de liberar una funcionalidad que ya anunció con la presentación de Apple Vision Pro en junio de 2023 en la WWDC, pero que no ha estado disponible para el público hasta ahora: Spatial Personas.

Las "personas espaciales" no son más que eliminar el marco de los avatares Apple Persona que usa Vision Pro, para darles una volumetría y presencia 3D incluyendo las manos y el movimiento en el espacio 3D.

De esta manera, además, se ha incorporado la presencialidad dentro de las experiencias compartidas, por lo que ahora podemos ver una película en compañía, pintar un lienzo de Freeform o jugar una partida de ajedrez entre otras muchas cosas.

Hemos probado de primera mano esta funcionalidad y os contamos cómo es y os enseñamos algunas capturas de cómo se ve.

Convierte en un Senior iOS Developer con el Swift Full Stack Bootcamp. Encuentra toda la información aquí: IV Swift Full Stack Bootcamp 2024.

Descubre nuestro canal de Twitch en: twitch.tv/applecoding.

Descubre nuestras ofertas para oyentes:

• Cursos en Udemy (con código de oferta)
• Apple Coding Academy
• Suscríbete a Apple Coding en nuestro Patreon.
• Canal de Telegram de Swift. Acceso al canal.

---------------

Consigue las camisetas oficiales de Apple Coding con los logos de Swift y Apple Coding así como todo tipo de merchadising como tazas o fundas.

• Tienda de merchandising de Apple Coding.

---------------

Tema musical: "For the Win" de "Two Steps from Hell", compuesto por Thomas Bergensen. Usado con permisos de fair use. Escúchalo en Apple Music o Spotify.

Wanda, la comunidad de podcast independientes en español. Hola y bienvenidos a un nuevo episodio de Apple Coding Daily. Hoy vamos a hablar de los espacial personas. Espacial persona es una funcionalidad que Apple desbloqueó el pasado martes, si no recuerdo mal, por sorpresa, de pronto, mandó un lo que sería una nota de prensa en donde anunciaba que esta funcionalidad se desbloqueaba automáticamente para todas las llamadas FaceTime realizadas con el dispositivo Apple Vision Pro. Entonces, ¿qué es lo que sucede?

Pues bien, esta funcionalidad es algo que nosotros ya conocíamos, una funcionalidad que cuando Apple presentó Apple Vision Pro en la WWDC del pasado año dos mil veintitrés, era una de las una de las muchas sesiones de desarrolladores donde se hablaba de cómo funciona esta funcionalidad, porque Espacial Personas, la forma de estas personas espaciales, va unido a las actividades compartidas, algo que, como ya saben, no podía realizarse con Apple Vision Pro. Básicamente, porque si yo quería ver una película, tenía que verla yo solo. Si yo quería compartir un key note, tenía que, o sea, lo compartía, pero no tenía la presencia de la otra persona dentro de ese ámbito, es algo parecido a como sucede con los iPad. Yo puedo compartir con mi iPad o con mi Mac un free form o puedo compartir un key note, varias personas vamos a estar trabajando a la vez, incluso puedo estar en llamada por FaceTime, pero una cosa es la ventana de FaceTime y otra es las interacciones con la aplicación. Lo que hace Apple Vision Pro es unir ambos conceptos a través de estos espacial personas, así que vamos a contar en qué consiste y cómo por fin han llegado, y voy a repetir esto mucho, la primera fase de las experiencias compartidas en Apple Vision Pro.

Obviamente, Apple no había desbloqueado esta funcionalidad Esta funcionalidad está unida a la funcionalidad que sí existía ya de Share Play. Yo, desde el momento en el que podía comprar unas Apple Vision Pro, podía conectarme con otras personas que tuvieran las mismas Apple Vision Pro y ver una película o ver un contenido o compartir algo a través de SharePlay dentro de una llamada de FaceTime. El funcionamiento para aquel que no lo conozca es que yo hago una llamada FaceTime con una persona y automáticamente en la parte de arriba de las ventanas me aparece una opción de compartir, una opción de iniciar una sesión de Share Play en aquellas de share play, sería como el juego compartido, ¿no? Sería la traducción literal de esta de esta expresión. Entonces, lo que tenemos que entender es que las aplicaciones que integren SharePlay van a permitir poder enviar un enlace de trabajo en tiempo real a través de la propia llamada de FaceTime, a través del de la propia aplicación de FaceTime, yo envío ese, digamos, esa invitación como host, ¿vale?

Yo tengo un free form, ¿vale? La aplicación de dibujo libre que tiene Apple. Pues esta aplicación, yo ahora mismo en iPad, en iPhone, en Mac, en Apple Vision Pro, cojo y dentro de una llamada con FaceTime con otra persona, invito a esa persona a unirse a mi pizarra. Si esa persona acepta esa invitación y también tiene el mismo programa, se une a mi pizarra y los dos podemos pintar en la misma. Obviamente, yo a él no lo veo cómo pinta, veo lo que pinta, pero no lo veo a él porque él está en otra ventana aparte en un FaceTime.

Así es como funciona hasta ahora, así es como funciona en todos los dispositivos de Apple. Ahora, con Vision Pro, se ha incorporado la capacidad de los espacial personas. ¿Qué es esto? Pues bien, en esencia, espacial personas es exactamente igual que lo que ya teníamos, pero con unas sutiles diferencias que llevan esta experiencia un paso más allá a nivel de integración. La primera de las diferencias es que un cuando yo tengo una llamada FaceTime con un Apple Persona, lo que tengo delante es, bueno, pues un recuadro, ¿no?

Donde aparece la otra persona. Entonces, yo veo ahí una un cuadrito y dentro de ese cuadrito veo a la persona igual que si fuera una llamada de FaceTime. Lo que pasa es que ese cuadrito tiene como una especie de volumetría, ¿no? Es como que la persona que hay dentro de ese cuadro tiene algo de volumetría porque, obviamente, es un avatar generado en tiempo real. No podemos olvidar que los avatares de Apple Vision Pro se generan con el propio dispositivo.

Yo, en un proceso que viene a durar aproximadamente un minuto, minuto y pico, me hago una captura de mi cara colocando el visor delante mía, ¿vale? El visor me apuntaría y yo haría la captura, que tengo que mover la cabeza a un lado, la cabeza al otro, la cabeza arriba, abajo, luego tengo que sonreír con y sin dientes, tengo que cerrar los ojos, tengo que subir las cejas, ¿vale? Para hacer así la expresión, ¿de acuerdo? Y con esas capturas hechas con las cámaras del propio visor y con un proceso que apenas dura treinta o cuarenta segundos de procesamiento, se genera este avatar. Pensar la tecnología que hay detrás de este hecho y que en apenas un minuto y pico, que puede durar dos minutos si somos muy torpes, hacer esta captura y que tengamos un avatar de esta nitidez y de esta calidad, que alguno dirá, es que pareces Kasper, es que no tiene la calidad, ¿qué tal?

Señores, que está generado en el dispositivo en apenas dos minutos. ¿Son perfectos los avatares de Apple Vision Pro? No, obviamente no, pero, oigan, para el tiempo que tarda en hacerse es una locura y la calidad que tiene, créame, cuando lo experimentas, llega un momento en el que realmente ves a la otra persona, porque el realismo que aporta, que sí, que de primeras dices, el primo de Casper, vale, se lo compro, Les prometo que en apenas un minuto ya hemos dejado de ver al primo de Casper y estamos viendo a la persona, ¿vale? Lo hemos normalizado, y esto, insisto, es el primer paso de muchos que tienen que dar en lo que lo único que va a hacer es mejorar. Por lo tanto, el primero de los elementos que tiene espacial persona es que elimina el recuadro donde aparece tu persona y, digamos, que la persona se ve como flotando en el aire, ¿vale?

¿Se queda flotando en el aire? Realmente no, y aquí hay una cosa que me parece especialmente brillante de la gente que lo ha diseñado, y es que se mueve en tu espacio, es decir, yo la primera vez que lo probé lo hice con nuestro amigo Alberto Carlier, ¿vale? Que tiene un canal de YouTube que, si no están suscritos a él, no sé qué hacen con su vida, porque realmente es un canal de una calidad excelente y que les dejo por aquí para que se suscriban, porque realmente si les gusta el mundo del VR, del XR, de la R, creo que es el mejor canal donde van a aprender un montón de cosas y donde Alberto explica las cosas de manera excelente. Entonces, probándolo con él, ¿de acuerdo? Cuando él activó su espacio al persona, porque tú cuando tú arrancas la llamada a FaceTime, tienes el recuadro normal, pero cuando pones las opciones contextuales, ves que encima del botón de colgar la llamada hay un nuevo botón de espacial persona, que cuando lo pulsas es cuando elimina ese recuadro.

Y de pronto, yo estando de pie, veo a Alberto y que está como más abajo mía, ¿vale? Entonces es como qué raro, ¿no? Está aquí fallando el tracking, esto no no tiene mucho sentido. No, no, es que estaba sentado en su casa. Entonces, en el momento en el que se pone de pie, automáticamente yo ya lo veo de pie, es decir, él cuando se mueve en su habitación se está moviendo en mi habitación, yo lo veo como se desplaza geométricamente y, de hecho, cuando yo le doy un pinche en un momento determinado mirándolo a él, tengo, porque veo en el suelo, una zona de control, que es la zona en la que él se va a mover, ¿de ¿de acuerdo?

Que es la zona que se ha determinado para esa para esa experiencia espacial, por lo que él siempre se va a mover dentro de ese espacio y yo puedo mover ese espacio dentro del mío propio para recolocarlo donde yo quiera. Pero, dentro de ese espacio, cuando él se mueva en su casa, yo lo voy a ver d, acercarse a mí, alejarse. Si él se acerca a mi avatar persona en su casa, yo voy a ver cómo se acerca a mí realmente en mi casa, ¿vale? Entonces, ese es el funcionamiento que tenemos a ese respecto, que es bastante espectacular. Así que esta primera diferencia es, no solo que eliminamos el recuadro, sino que además estamos incorporando la espacialidad tres D dentro de la experiencia en la que él se va moviendo en su espacio, obviamente él no ve mi casa ni yo veo la suya, yo lo veo a él suspendido, moviéndose lo que sería su cabeza y parte de su torso, ¿vale?

Según ha capturado el persona, de hecho, el si están viendo esto en YouTube, verán algunos trozos de vídeo donde aparece capturado y verán que Alberto lleva con una especie de sudadera, porque llevaba esa sudadera cuando se hizo el Apple Persona, ¿vale? Pero luego en su casa vestirá como le dé la gana, ¿vale? Como si está desnudo, yo no lo voy a ver en ningún momento, ¿de acuerdo? Entonces, ese es el kit de la cuestión, ¿ok? Esa sería la primera gran diferencia, ¿vale?

Luego aparte, obvio, que si se mueve en el espacio yo lo oigo con audio espacial, y si pasa por aquí lo oigo que está en este lado, y si pasa por detrás lo oigo detrás, etcétera, ¿vale? O sea que, obviamente, toda esa parte de sonido inmersivo existe. Ahora, la segunda diferencia, que puede parecer una tontería pero no lo es, es la incorporación de las manos, Porque en las llamadas face time, las manos, como estamos dentro de un recuadro, yo tenía que elevarlas un poco y, como no es natural porque el recuadro está cortado, parecía un poco como, aquellos que seáis un poco más mayores, como Emilio Aragón cuando hacía ese ese chiste en el que se hacía pasar por un enanito y ponía las zapatillas en las manos y parecía que era pequeñito, pues casi parece eso, ¿no? Parece que soy un mappet, ¿vale? Porque me pone las manos aquí, ¿vale?

En la llamada face time, las manos, si aparecen, aparecen a esta altura, ¿no? Entonces, es como si estuviera así, como si viera, hola, hijo mío, tal, queda muy antinatural. ¿Qué es lo que sucede ahora? Que con el espacial personal las manos están colocadas a la distancia real en la que están colocadas con respecto a nuestra cara, porque las cámaras las van capturando, por lo que mis manos se colocan en el espacio que les tocaría y me permiten expresarme. Ahora ya no es algo fantasmagórico que en ocasiones tapaba las propias cámaras y que no servía para expresarme en una llamada.

Ahora las manos permiten, pues, desde jugar a pulsos chinos, ¿vale? O hacer choca cinco, ¿vale? O cosas así, ¿vale? Es decir, las manos forman parte del propio avatar, algo que hasta ahora no se podía realizar. Entonces, esos dos pequeños cambios, ¿vale?

El quitar el cuadrado, el que se pueda mover dentro del espacio, que obviamente al quitar el cuadrado la volumetría de la cara que vemos es real por lo que yo puedo ver a la persona de lado, o puedo ver cómo se gira o puedo, o sea, tiene una tridimensionalidad absoluta, y luego aparte, como digo, el tema de las manos, hace que el realismo sea mucho mayor. Esa es la primera parte, ¿vale? Lo que sería el tema de espacial personas. Pero aparte de eso, también tenemos el tema de Share Play, porque ahora a la experiencia normal normal de Share Play, que ya he comentado cómo funciona, se le añade algo muy interesante, que es el hecho de la presencialidad. Ahora, yo, aparte de ver el free form y cómo están pintando ellos, es que los veo a ellos, los veo a ellos delante del free form, y los oigo mientras hablan en la posición en la que están en ese espacio virtual.

Y yo puedo, como hicimos la prueba, ver una película de Disney Plus, por ejemplo, porque aquí la la compartición de contenido tiene su pequeño truco, y es que los dos, tres, cuatro o hasta cinco personas que pueden estar dentro de estas experiencias, tienen que tener acceso al mismo contenido de manera independiente. Quiere decir que si yo quiero ver con ellos, no que sé, Gravity, por ejemplo, pues me pasan dos cosas. La primera es que no puedo ver Gravity dentro de los espacios inmersivos de las apps, es decir, si yo quiero ver Gravity en Apple TV y quiero verla con ellos en el cine virtual que tiene Apple TV, no puedo hacerlo porque los entornos inmersivos, salvo los que tiene el sistema, ¿vale? Los de la nieve, el bosque, tal, varios que tiene el propio sistema, que son los que salen por defecto cuando tocas la corona digital, ahí sí funcionan los avatares, pero en los entornos inmersivos de las propias apps, la Torre de los Vengadores en Disney Plus, o el cine inmersivo en la aplicación de IMAX o en la aplicación de Apple TV, esos todavía no funcionan. Entiendo que si funcionan en los inversivos normales, terminarán por funcionar también en los de las apps, pero por ahora no funcionan.

Si yo quiero ver una película con ellos, tengo que irme o bien verla en mi casa, ¿vale? Lo que es el sitio donde esté dentro de mi casa, o verlo directamente sobre un entorno de los que sí tiene el sistema que sí están soportados, colocamos ahí la pantalla y, repito, todos tenemos que tener acceso a ese contenido, por lo que ellos deberían tener en su biblioteca también comprada la película de Gravity, porque si no, a los que no la tengan comprada les va a decir, no, tú esta película no la tienes comprada, y le va a salir el enlace para ir a comprarla o alquilarla, ¿vale? Que también es posible. En el caso de Disney Plus, tanto Alberto como yo teníamos cuenta de Disney Plus, pues los dos podemos verlo. Si él no hubiera tenido cuenta de Disney Plus, no hubiera podido ver, es decir, insisto, todos los que están invitados a una Watch party, como lo queramos llamar, tienen que tener acceso al contenido, tienen que estar suscritos al servicio, cada uno de manera independiente, no se puede invitar a gente no suscrita a ver un contenido de suscripción, ¿vale?

Pero una vez vimos, pues, por ejemplo, en el caso de Avengers Engain, pues pusimos esta película. Entonces, yo, que era el host, controlaba la reproducción, ¿vale? Él también podía controlarla también, si no me equivoco, ¿vale? Y nos veíamos a los dos en el entorno. Entonces, yo estaba dentro de un entorno en el que yo lo veía a él, yo veía la pantalla enfrente mía y lo veía a él en el lado, y él, y esto es muy importante, veía la pantalla enfrente suya, no la veía de lado, la veía enfrente suya.

Es decir, para cada persona dentro de su entorno, el resto está puesto a los lados, ¿vale? Hasta cinco personas, tú estás en el centro, y las otras personas están aquí, aquí o aquí, o aquí, aquí o aquí. A no ser que tú te muevas dentro de tu espacio, lo normal es que te coloque justo enfrente, pero tu enfrente es distinto al enfrente del resto, por lo que aunque yo te vea a ti en el lado y tú tendrías que estar viendo la película de lado, tú la estás viendo también de frente igual que yo, ¿vale? Por lo tanto, en ese sentido se la verdad que está bastante bien pensado. Entonces, aquí lo que tenemos es esa opción, entonces yo tengo, pues en este caso, un entorno virtual donde estamos viendo una película y veo a la persona al lado y puedo hablar con ella y la oigo que está en ese lado y se mueve al otro lado y paramos la película y comentamos la jugada y le volvemos a dar, etcétera, ¿vale?

Por lo tanto, pues ya tenemos esas experiencias compartidas que muchos decían, haz que tú no sé qué, porque a mí me han llegado a debatir dentro de post en x o en LinkedIn, que yo me estaba flipando y que eso de las experiencias compartidas, que eso no iba tal, y claro, yo decía, digo, pero vamos a ver, señores, que esto Apple lo tiene en los vídeos del w w w, que no me estoy inventando nada, lo único que tiene que hacer es activarlo, pues hala, ya está activado, entonces, ¿habrá qué? O sea, este es el tema. Así que, bueno, eso es un poco la la experiencia. ¿Hasta dónde puede llegar? Pues podemos ver películas juntos, series, podemos pintar en un mismo en una misma pizarra de lo que sería free form, podemos trabajar en conjunto con un key note, podemos jugar a juegos.

Por ejemplo, el juego Games Room, que es un juego que ofrece ofrece ajedrez, ofrece jugar a las damas, si no me equivoco, también el hundir la flota, que es uno de los que yo más juego en ese sentido, ves, pues tableros de juego, ¿vale? También el solitario, etcétera, pues hay ciertos juegos, por ejemplo, el hundir la flota o si jugamos al ajedrez, pues yo puedo invitar a la otra persona a través de Share Play con una llamada de FaceTime, y voy a ver a la otra persona al otro lado del tablero jugando conmigo, al hundir la flota o a lo que sea, y puedo jugar a juegos de mesa directamente en espacial, viendo a la otra persona, lo que sería su cabeza y sus manos, y hablando con ella, porque la llamada de FaceTime se mete dentro de todo el sistema, ¿vale? Como SharePlay lleva muchos años y muchas aplicaciones lo tienen lo tienen activado, pues perfecto. Que no lo tiene, da igual, porque yo cuando hago una llamada de FaceTime en iPad o en el Mac o en el iPhone, puedo compartir mi pantalla, puedo compartir aplicaciones, puedo mostrarle lo que estoy viendo dentro de mi ordenador a la otra persona.

Pues aquí pasa igual, cualquier ventana de cualquier aplicación, yo puedo compartirla y mostrarla y compartir dicha ventana para que la otra persona la vea, y por lo tanto, podemos navegar por Internet y que todos y que la otra persona toque también la la lo que es la propia pantalla, etcétera, ¿vale? O sea, es decir, aunque la aplicación no tenga una implementación específica de Share Play, como sí lo tiene, por ejemplo, Free Form o como lo tiene, por ejemplo, el juego que hemos comentado de Games Room, basta con compartir la pantalla. No solo eso, es que el propio Safari tiene integrado un visor de ficheros tres D USDZ, formato abierto, formato USD, en formato ZIP. Entonces, yo puedo entrar en cualquier página, como por ejemplo, Beautiful Things x y z, que tiene un montón de modelos, como por ejemplo un muñeco de Iron Man o como por ejemplo un el el rover de Marte, y ponerlo dentro de una ventana espacial en Safari, que va a ser un modelo tres D, y cualquiera de los que estén en la llamada va a poder interactuar con el modelo tres D y va a poder moverlo, y lo más importante es que todo lo que hagamos, cualquiera de nosotros en la llamada, lo va a ver el resto reflejado en tiempo real.

Eso es lo más importante, que si yo toco el modelo del rover y lo giro, Alberto va a ver como lo giro, o Roberto, que estuvo con nosotros también, lo va a ver cómo lo giro, ¿vale? O quien esté en la llamada va a ver cómo yo lo giro, y luego él se va a acercar y lo va a girar también, y cuando lo gire yo voy a ver cómo él lo gira. Ese es el kit de la cuestión. Así que es una interacción total y repito, este es el primer paso, quedan muchos más por dar, más realismo, avatares con más calidad, de cuerpo completo, porque Apple tiene modelos de inteligencia artificial que permitirían hacerlo, etcétera. Así que este es solo el primer paso de la forma de interactuar dentro de este mundo de espacial computing entre distintos usuarios en distintos lugares, y créanme que la experiencia es increíble.

Y poco más. ¿Saben cuál es el problema de Apple Vision Pro? El problema es que por mucho que yo les diga, por mucho que yo les cuente, por mucho que me vean flipado, lo que ustedes van a ver es algo que, bueno, pues sí, está guay, es a lo mejor incluso es un poco creepy según el punto, ahora un poco menos. A ver, es que lo que ustedes están viendo es una captura en setecientos veinte p de un ojo. Ese es el problema, que lo que ve cada uno de mis ojos dentro de Vision Pro es una pantalla 4k micro LED con una calidad visual que no tiene ningún visor del mercado.

Y que lo que ustedes ven es una captura reducida en resolución a setecientos veinte p, que es a como emite AirPlay, o como mucho a mil ochenta, que es como graba internamente cuando yo le doy a grabar los vídeos. El problema es que lo que ustedes ven de Apple Vision Pro en YouTube o en cualquier medio en una pantalla no hace justicia a lo que es realmente esa experiencia. La experiencia no tiene absolutamente nada que ver con lo que ustedes han visto, o en este vídeo o en cualquier otro que les muestre imágenes capturadas directamente desde AppleVision Pro. Así que, si están en Estados Unidos, de verdad les invito, porque es gratuito, a que vayan a cualquier Apple Store y pidan una demo para ver realmente lo que es Apple Vision Pro. Porque sí, lo más probable es que ninguno de ustedes se las quiera comprar por lo que valen.

Es más, no se las compren, no se lo recomiendo. A día de hoy, es un producto que no está terminado y que está pensado solo para desarrolladores, pero el conocer la experiencia y lo que dentro de un par de años sí van a querer tener, y sí va a ser un producto que va a merecer la pena y a un precio mucho más barato, es lo es lo que es la diferencia. Así que ahora sí, poco más. Si les ha gustado el programa, por favor, suscríbanse si están en YouTube, sígannos, compártanlo, etcétera, etcétera. Siempre nos ayuda bastante y nos oímos pronto si dios quiere.

Hasta entonces, un saludo y good AppleCore. Puedes escuchar más episodios de Apple Coding en Wanda punto com, la comunidad de podcast independientes en español.