La interacción mano-a-objeto alcanza un nuevo nivel gracias a VirtualGrasp
Una de las principales dificultades que afrontan los desarrolladores de aplicaciones de realidad virtual (RV) es la interacción mano-a-objeto. Evidentemente, los cascos de RV funcionan muy bien para sumergirnos en mundos virtuales realistas. Incluso se han convertido en una necesidad para la formación profesional, en particular ante esta pandemia sin precedentes. Sin embargo, en ambos casos, al igual que en otros campos de aplicación de la RV, la interacción mano-a-objeto está lejos de parecer tan natural como lo es en el mundo real. Jakob Way, director general de la empresa de nueva creación de RV y robótica Gleechi, resume el estado actual de la situación: «Los participantes de formaciones en RV utilizan principalmente controladores manuales y deben ser capaces de sentir la interacción natural de la mano para desarrollar nuevas habilidades y tener confianza para aplicarlas en el mundo real. Entretanto, aunque los jugadores de juegos de RV pueden interactuar con objetos, crear manualmente y animar la interacción de las manos ha resultado imposible hasta ahora, debido al tiempo que se necesita para animar manualmente muchos tipos distintos de agarre para objetos diferentes». Esto último es clave para comprender las actuales limitaciones de la interacción mano-a-objeto. En la actualidad, para cada posible interacción, los desarrolladores deben definir la forma en que puede cogerse un objeto antes de animar manualmente estos agarres. Esto limita inherentemente la interacción: los objetos solo pueden utilizarse de formas predeterminadas y se requiere mucho tiempo para llegar a estos resultados mixtos.
Un creador de interacciones basado en algoritmos
En este contexto es en el que VirtualGrasp (Speeding up the virtual reality revolution with realistic & real-time animation of hand-to-object interaction) adquiere todo su sentido. Al combinar aprendizaje automático y algoritmos predictivos, Gleechi proporciona a los usuarios de RV total libertad de interacción. VirtualGrasp es especialmente adecuado para tres campos de aplicaciones distintas: formación, juegos y rehabilitación después de ictus. Para la formación, el equipo desarrolló una comprensión profunda sobre cómo se coge y se utiliza cada objeto, lo cual es esencial para proporcionar una experiencia de aprendizaje verdaderamente inmersiva. Para los juegos de RV, VirtualGrasp logra automatizar la creación de interacciones entre las manos y los objetos tridimensionales. Por último, para los pacientes de ictus, el sistema puede predecir formas de agarrar de pacientes y convertirlas en interacciones de RV. Way explica: «Los pacientes han podido realizar ejercicios de rehabilitación en un entorno de RV en el que ejecutaban tareas motivadoras como jugar o plantar flores. Sin embargo, debido a la movilidad limitada de las manos y los dedos de los pacientes, a menudo tienen dificultades para agarrar objetos con la precisión requerida. Al predecir estos agarres, esperamos acelerar el proceso de rehabilitación a través de la amplificación visual». Los resultados de las pruebas en estos tres campos han sido muy alentadores, pero los confinamientos de la COVID-19 han llevado a una mayor concentración de las aplicaciones comerciales en el campo de la formación. En este campo, VirtualGrasp ha demostrado mejorar la repercusión de la formación en RV y ha simplificado considerablemente la creación de aplicaciones de formación en RV. Tras observar un aumento del 50 % en la retención de conocimientos de los participantes en formaciones en RV, Gleechi aceleró el desarrollo de un conjunto de herramientas de autoservicio a fin de facilitar que empresas industriales creen sus propias formaciones en RV. Way comenta: «SAAB Aeronautics está probando activamente VirtualGrasp para una formación avanzada en RV en la que los participantes aprenden a utilizar equipos especializados durante el proceso de ensamblaje. La naturalidad de la interacción hace posible que SAAB Aeronautics imparta formación remota, a la vez que mantiene unos niveles excepcionalmente elevados de calidad». Del mismo modo, YrkesAkademin —un importante proveedor de formación para el mercado laboral— ha utilizado VirtualGrasp para proporcionar rápidamente habilidades esenciales a trabajadores sanitarios centrándose en el trabajo en entornos estériles. «La formación exige una manipulación cuidadosa de herramientas y equipos médicos complejos para la que es esencial seguir los procedimientos a fin de mantener un entorno estéril. Al ser capaces de interactuar de forma natural, se puede conseguir que los participantes desarrollen experiencia práctica cuando resulta problemático el acceso a entornos estériles del mundo real para fines de formación», señala Way. Gleechi ha obtenido 2,4 millones de euros de financiación para empezar a comercializar su «software» para formación en RV y el trabajo en investigación y desarrollo proseguirá gracias a un proyecto subvencionado adicional que tiene por objeto probar la misma tecnología de interacción en el campo de la robótica.
Palabras clave
VirtualGrasp, realidad virtual, RV, interacción mano-a-objeto, algoritmos, formación, Gleechi