Este proyecto busca solucionar el problema de los dispositivos AR que están siempre encendidos, usados en todas partes y requieren un mayor nivel de interacción.

Este nuevo sistema se apoya en los modelos avanzados de visión por computadora y aprendizaje automático de Ultraleap. Además de los sensores Metavision basados en eventos GenX320 de Prophesee.

Su consumo de energía es una fracción de lo que se usa en los modelos existentes. También permite que un dispositivo AR esté siempre activo para rastrear las interacciones manuales del usuario de forma nativa durante más tiempo.

Los nuevos modelos Ultraleap para sensores de eventos son igualmente más robustos para condiciones de luz adversas y tienen una menor latencia. Esto resulta en una «nueva era de capacidades de interacción en exteriores».

Cada una de estas funciones cuentan con mayor privacidad. Esto se debe a que los sensores de eventos no se basan en cuadros y solo capturan información del movimiento de los píxeles.

Los sensores GenX320 de Prophesee han sido los primeros en el mercado que ofrecieron capacidades «siempre activas». Gracias a eso han sido elegidos por Ultraleap para su primer sistema de visión de aprendizaje automático basado en eventos para el seguimiento manual en AR.

La combinación de estas dos tecnologías permitirá métodos de interacción «robustos e inmersivos» en un formato de gafas conveniente. Así lo asegura Ultraleap en su comunicado oficial y dice que esto es lo requerido «para la adopción en el mercado de la realidad aumentada».

Hablan Los Ejecutivos

Tom Carter, director ejecutivo de Ultraleap, dice que no hay producto en el mercado «que aproveche los sensores de eventos y el tracking manual para AR».

Explica que la interacción manual añade bastante valor a la realidad aumentada.

«No solo al proporcionar la forma más natural de interactuar, sino al ampliar las funcionalidades y hacer que el sistema de control sea más ergonómico».

Carter enlista algunas características críticas para alcanzar el factor de forma de gafas necesario para una adopción masiva:

• Bajo consumo de energía
• Alto rango dinámico
• Baja latencia
• Mayor privacidad

Por su parte, Luca Verre, director ejecutivo de Prophesee, dice que esta integración de funciones avanzadas de tracking manual «es un paso fundamental hacia experiencias más inmersivas e interactivas en AR».

«La visión basada en eventos tiene la capacidad comprobada de agregar más mejoras de rendimiento y usabilidad al estado actual de los sistemas AR», comenta.

Lo que hace esto. según Verre, es ampliar el potencial de mercado y las capacidades de esta aplicación.

Concluye diciendo que la asociación con Ultraleap mejorará la experiencia general del usuario. Y, de esta forma, abrirá «una nueva era de dispositivos AR/VR que combinan a la perfección los mundos virtual y físico».

La etapa inicial de este producto de visión basado en eventos de AR se podrá experimentar en el CES 2024, aunque solo con cita previa.

Se puede solicitar una reunión a través de Ultraleap en el siguiente enlace.

La entrada Prophesee y Ultraleap desarrollarán tracking manual en sensores de eventos para dispositivos AR se publicó primero en ARTEMAR GROUP - Tecnologías inmersivas.

El paquete consiste de un Leap Motion Controller 2, un kit de montaje personalizado y una licencia empresarial para el software de tracking manual Gemini.

El software está integrado en el software Varjo Base que acompaña a las gafas Varjo, así que no es necesario hacer ninguna configuración.

¿Qué significa esto? Pues que los usuarios de Varjo pueden acceder al tracking manual más rápido, preciso y robusto con un rendimiento superior. Y en áreas clave como inicialización, precisión de pose y manejo de oclusión para sus proyectos.

Esto a su vez habilita capacidades multidispositivo para gafas de las series XR-3 y XR-4, lo cual garantiza una experiencia superior de tracking manual.

Lo que hace el multidispositivo es permitir controlar un área de tracking aún más amplia y precisa mediante una sola computadora.

Y al usar mas de una cámara, las manos de un usuario pueden cubrirse desde múltiples direcciones. Esto garantiza que se capture la mano gemela digital más precisa y que no queden ocluidos los dedos.

Pongamos un ejemplo. Los Leap Motion Controller 2 se pueden colocar en posiciones físicas fijas alrededor de un entorno, así como en las gafas mientras se controlan de forma simultánea desde la misma computadora. Y las gafas brindan más detalles de las manos del usuario.

El vicepresidente senior de producto de Ultraleap, Miguel Rodrigues, dijo lo siguiente:

“Estamos orgullosos de que nuestra relación con Varjo continúe en la cuarta generación de sus principales cascos de realidad mixta».

Explica que las Varjo XR-4 y su tracking manual dan una «solución fantástica» para las aplicaciones y casos de uso más exigentes del mercado.

«Estamos emocionados de ver qué se creará con esta combinación”, concluye.

Por su parte, Patrick Wyatt, director de productos de Varjo, expresó:

“El tracking manual de Ultraleap se encuentra entre las características clave solicitadas por nuestros clientes empresariales avanzados, ya que proporciona una forma natural de interactuar con contenido virtual».

También comentó que están entusiasmados de continuar trabajando con el equipo de Ultraleap en su serie XR-4 para poder brindar el tracking manual más preciso. Y esto, explica Wyatt, como un paquete que complemente las experiencias de realidad mixta más inmersivas del mercado.

El paquete de tracking manual Ultraleap ya está disponible para su compra en Varjo.com. Es compatible con la ultima serie lanzada, las Varjo XR-4, y con las gafas anteriores, las Aero.

La entrada Tracking manual de Ultraleap está disponible en las nuevas gafas Varjo XR-4 se publicó primero en ARTEMAR GROUP - Tecnologías inmersivas.

El video fue publicado por un desarrollador de las Vision Pro y muestra de lo que es capaz el nuevo dispositivo de Apple.

Las Vision Pro de Apple usaran el tracking manual como el principal método de entrada. Las interacciones a nivel de sistema combinan el tracking manual con el tracking ocular para una modalidad de «mirar y tocar». Sin embargo, los desarrolladores también pueden crear aplicaciones que dejan a los usuarios interactuar de forma directa con las aplicaciones usando las manos.

El tracking de manos de las Vision Pro se divide en dos capacidades distintas:

• Tracking de manos
• Oclusión de manos

El tracking de manos es el modelo 3D estimado de la mano, sus articulaciones y la posición de las yemas de los dedos. Este modelo se usa para determinar cuándo se tocan, se agarran y se interactúa con los objetos.

La oclusión de manos se ocupa de cómo el sistema superpone la mano real en el contenido virtual. Las Vision Pro recortan la imagen de sus manos reales para mostrarlas en la escena. Esto en lugar de dibujar un modelo 3D de una mano virtual en la escena. De esta forma, se agrega otra capa de realismo al contenido virtual porque puedes ver tus propias y únicas manos.

En el video se puede ver que la oclusión manual es muy buena aunque no perfecta. Cuando está completamente rodeado de contenido virtual y se mueve de forma rápida, se puede ver algunos recortes alrededor de los bordes de la mano.

Por otro lado, la posición real del tracking de la mano va más por detrás de la oclusión de la mano, entre 100 y 200 milisegundos. No obstante, no se puede determinar la verdadera latencia del tracking de manos de las Vision Pro. Esto porque solo se tiene una vista del tracking de manos-oclusión para compararlas (que a su vez tendrán cierta latencia con respecto a las manos reales).

El video proviene de una conversación con un desarrollador de Unity. Él dice que sus primeros experimentos con Vision Pro mostraron una latencia de tracking manual muy alta. Esto, supuestamente, en comparación con las últimas capacidades de tracking manual de las Meta Quest.

Y otros desarrolladores de Unity también coinciden en que vieron una latencia similar en sus propios dispositivos Vision Pro.

No obstante, el video en cuestión es una integración de tracking manual dentro de una aplicación Unity. Esto significa que el rendimiento y la latencia del tracking manual pueden tener factores adicionales relacionados con Unity que no están presentes cuando se usan las herramientas de desarrollo Vision Pro propias de Apple.

Aun es posible que se vean mejoras adicionales a las Vision Pro. Después de todo estas gafas de Realidad Aumentada todavía no se lanzan y sus herramientas siguen en desarrollo.

La entrada Vídeo ofrece un vistazo al tracking manual y al rendimiento de oclusión de las Vision Pro se publicó primero en ARTEMAR GROUP - Tecnologías inmersivas.

Este dispositivo es la segunda generación de su cámara de Hand Tracking que permite usar las manos para interactuar con contenido digital 3D.

Las mejoras mas importantes que se han hecho con respecto a su predecesor son:

• Cámara de mayor resolución
• Un mayor FOV (campo de visión)
• 25% menos consumo de energía
• 30% menor tamaño que el Leap Motion original

Tiene compatibilidad con todas las plataformas y hardware complementario, lo que incluye auriculares de Realidad Virtual (VR), Realidad Mixta (MR) y Realidad Aumentada (AR). Igualmente es compatible con PC y pantallas holográficas.

Asociaciones

Para el lanzamiento de el nuevo Leap Motion Controller 2, Ultraleap ha contado con el testimonio de algunos socios estratégicos.

El director de PICO Enterprise North America, Amir Khorram, resaltó la relación entre Ultraleap y su empresa. Comenta que ha ayudado a crear «un poderoso ecosistema empresarial de Realidad Extendida (XR)».

El nuevo dispositivo permite sumergirse durante mas tiempo en experiencias VR con las gafas de realidad virtual de Pico. Esto incluye los modelos Pico Neo 3 Pro y Pro Eye, Pico 4 Enterprise y Pico G3 para empresas.

Ultraleap también contó con la participación de la empresa DigiLens. Ella fue la creadora de los anteojos inteligentes ARGO, diseñados para trabajadores de empresas e industria ligera.

Durante el AWE, los visitantes experimentaron la realidad aumentada móvil gracias a esta asociación. Los usuarios pudieron utilizar la aplicación 3DCAD, que les permitía interactuar con un modelo 3D de un motor eléctrico.

«El Hand Tracking es un componente vital para nuestros clientes», explica Brian Hamilton, vicepresidente de ventas y marketing de DigiLens. «Les permite interactuar sin problemas con el contenido digital, lo que permite una manipulación más rápida y precisa de los objetos virtuales».

«Esta tecnología abre nuevas posibilidades para la capacitación, la colaboración remota y la visualización de datos en tiempo real». Concluye que con esto esto se revoluciona la forma en que funcionan las industrias.

Nuevas Compatibilidades

Leap Motion Controller 2 también funciona como accesorio. Puede mejorar la experiencia en PC VR si se usa Android XR2 con los auriculares ThinkReality VRX de Lenovo.

Otra novedad es que gracias al nuevo Leap Motion, el Hand Tracking Gemini de Ultraleap será compatible con macOS, Android XR2 y Windows.

Tom Carter, director ejecutivo y cofundador de Ultraleap, comenta lo siguiente sobre esta nueva iteración de su dispositivo:

«Reafirma nuestro compromiso de brindar a nuestra comunidad global de desarrolladores y creadores la mejor tecnología Hand Tracking del mundo».

El Leap Motion Controller 2 esta disponible en distribuidores autorizados que se pueden buscar en la pagina oficial de Ultraleap. Su precio actual es de $139.

Para explorar el producto y saber en donde conseguirlo puede seguir el siguiente enlace.

La entrada Leap Motion Controller 2: Nuevo dispositivo de Ultraleap se publicó primero en ARTEMAR GROUP - Tecnologías inmersivas.

Características

• Amplio campo de visión (FOV). Admite pantallas horizontales de hasta 42″
• Mayor alcance. Permite la interacción con pantallas verticales de hasta 32″
• Inicialización más rápida. Las pantallas sin contacto son accesibles para todos y más intuitivas.
• Alta velocidad de fotogramas (90 FPS). Puede potenciar una gama completa de desarrollo y contenido creativo.
• Diseño cerrado. Le da protección de ingreso contra entornos desafiantes típicos de la industria.

Respuesta a la pandemia

Ultrtaleap lanzo su aplicación TouchFree en octubre del 2020 debido a la crisis del Covid-19. Realizaron una investigación que les informó que los consumidores del Reino Unido y los Estados Unidos esperaban interactuar a futuro con tecnologías sin contacto. Por ejemplo, interfaces de gestos. Y en el sector de restaurantes, los posibles comensales afirmaron que preferirían ordenar con gestos sin contacto en lugar de otras opciones.

Desde entonces, la solución TouchFree ha sido integrada por varias empresas (además de ganar premios internacionales). Una de estas empresas es Pepsi. Con la tecnología de Ultraleap convirtieron los quioscos de sus restaurantes de servicio rápido en touch less.

Próxima exhibición

Ultraleap mostrará su cámara 3Di, junto a su sistema TouchFree, en el gran show de la Federación Nacional de Minoristas (NRF) en Nueva York.

Durante este evento, los visitantes podrán acceder a lo siguiente:

• Una demostración de explorador de productos en un quiosco de doble cara equipado con dos cámaras 3Di.
• Quiosco de café con control de gestos. Para pedir artículos de un menú, sin necesidad de tocar una pantalla.
• Sistema de pago sin contacto. Para comprar productos en varios entornos de retail mediante un proceso de compra totalmente touch less.

La entrada 3Di: la cámara de ultima generación de Ultraleap se publicó primero en ARTEMAR GROUP - Tecnologías inmersivas.

El programa ha sido usado por alrededor de 20 mil auxiliares de vuelo para completar parte de su formación anual. Además de la Realidad Virtual, el programa usa tecnología de Hand Tracking (seguimiento de la mano) para completar el aprendizaje inmersivo.

Björn Eckermann. encargado de capacitación en seguridad y servicio de Lufthansa, asegura que sin Hand Tracking el programa no existiría. Ni tampoco hubiera obtenido la aprobación de la Autoridad de Aviación Alemana.

«El uso del Hand Tracking en lugar de los controladores fue una parte indispensable del desarrollo de un programa de capacitación en realidad virtual autorizado y eficaz para la tripulación de cabina”, comenta.

Integrando el tracking de manos

Lufthansa Aviation Training estaba desarrollando un programa de entrenamiento VR que pudiera sustituir parte de la capacitación presencial. En este caso, se centraron en la capacitación de actualización obligatoria para las búsquedas de seguridad. Es decir, búsquedas de artículos sospechosos o peligrosos después de cada vuelo.

Lufthansa informo a NMY Mixed Reality que el programa en VR solo podría funcionar usando Hand Tracking en lugar de los controladores regulares.

Son 4 motivos por lo que se insistió en esto:

• Regulación: La Autoridad de Aviación Alemana requería que los asistentes de vuelo pudieran interactuaran de forma natural.
• Practicidad: Para registrar un avión, los auxiliares de vuelo deben buscar debajo de los asientos. Esto hizo que los controladores fueran poco prácticos.
• Facilidad de uso: los controladores de realidad virtual toman mucho tiempo en explicar (el entrenamiento de realidad virtual solo dura 30 minutos). Es más sencillo usar las manos.
• Confianza y positividad: Los asistentes de vuelo varían en el rango de edad (18 a 70 años). No cuentan con experiencia en Realidad Virtual. Así que es importante que tengan una experiencia positiva que haga crecer su confianza. Esto se logra con el Hand Tracking.

UltraLeap

NMY usa las gafas de Realidad Virtual HTC Vive. Por eso eligió usar la tecnología Hand Tracking de Ultraleap. Es confiable y flexible; no está vinculada a ninguna marca de gafas VR en específico.

Los productos de Ultraleap que se usaron fueron un software básico de Hand Tracking y un plug in de Unity. Además, una cámara controladora de Leap Motion conectada al HTC Vive.

Interacción en el programa VR

Debido a la corta duración del entrenamiento, los usuarios no tenían tiempo de aprender gestos o interacciones complicadas. NYM se dio cuenta que eso en realidad no importaba.

Lo que están aprendiendo los asistentes de vuelo es el proceso correcto para registrar una aeronave. Como levantan los objetos no es relevante.

NYM hizo dos ajustes para mejorar la experiencia.

1. Creó un gran cuadro invisible que rodea cada objeto. «Cuadro delimitador» en términos técnicos
2. Redujo la complejidad de las interacciones. Solo se requiere un simple movimiento de agarre cuando la mano de un usuario intercepta esta caja.

Con esto los usuarios pueden levantar digamos un cojín poniendo su mano en el área general.

NYM también le da al usuario un dispositivo portátil virtual para la muñeca. Ese reloj virtual les dice cuanto tiempo queda en el ejercicio. Y cuando voltean la mano, aparece una lista de las tareas faltantes.

Que este programa haya sido aprobado por la Autoridad de Aviación Alemana es un gran logro en el entrenamiento inmersivo. No debe tomarse con ligereza, pues un programa de formación para la seguridad de las personas. Entrar al mundo virtual para salvar vidas reales.

La entrada Primer simulador de vuelo VR obtiene aprobación en Alemania se publicó primero en ARTEMAR GROUP - Tecnologías inmersivas.

La tecnología de seguimiento manual de Ultraleap ya se está utilizando en los auriculares de realidad virtual empresariales, como el XTAL de VRgineer y el Varjo VR-2 Pro, pero los consumidores aún tenían que confiar en el controlador Leap Motion.

Con la nueva colaboración entre las dos compañías, Pimax ahora podrá usar el nuevo módulo de seguimiento manual en toda su gama de productos.

El nuevo módulo se conecta sin problemas a la parte inferior de los auriculares Pimax. Por lo tanto, será compatible con toda la gama de Pimax, incluidos sus últimos auriculares 8K X y 8K Plus. También será compatible con los auriculares Pimax Artisan de nivel básico.

El nuevo módulo tiene la última tecnología de seguimiento manual de Ultraleap.

Sus especificaciones incluyen su cámara IR estereoscópica que crea una zona de interacción que tiene un alcance de hasta 100 cm (40 «) y que se extiende desde el dispositivo en un campo de visión (FOV) de 160 por 160 grados.

La solución será un plug and play sin interrupciones que funcione en combinación con la plataforma de software de seguimiento manual Ultraleap.

El nuevo módulo es la primera integración de accesorios oficial de Ultraleap para un auricular de realidad virtual para el consumidor.

Debería permitir que incluso más usuarios experimenten interacciones más interactivas junto con experiencias inmersivas de Realidad Virtual con sus juegos preferidos.

En un comunicado, el director de operaciones de Pimax, Kevin Henderson, declaró que la compañía está trabajando en los arreglos finales de producción y que esperan que estos módulos estén disponibles para la comunidad de Pimax en el segundo trimestre de 2020. Continuó,

El módulo de seguimiento manual Ultraleap cuesta $ 169.95 y está programado para su lanzamiento en los próximos meses. Los usuarios pueden registrarse para recibir notificaciones sobre la disponibilidad del módulo de seguimiento en el sitio web de Pimax.

A fines del año pasado, Pimax presentó su línea de auriculares VR de resolución 8K y estos se exhibieron este año durante el CES 2020.

Pimax ofrece una gama de auriculares de super alta resolución y gran campo de visión (170 grados) para el mercado de consumo, principalmente para aplicaciones de juegos.

Su última línea de auriculares VR, los auriculares Vision Series, son los primeros auriculares de realidad virtual 8K de resolución nativa y ofrecen a los usuarios un grado de inmersión líder en la industria.

Pimax ha estado desarrollando auriculares durante bastante tiempo con modelos como el Pimax 5K +, el XR (OLED) y los auriculares Pimax 8K.

Todos estos auriculares se pueden usar sin problemas con el accesorio de seguimiento de manos de Ultraleap.

Ultraleap ha desarrollado su módulo de seguimiento manual durante un período de 10 años a través de la Inteligencia Artificial.

La tecnología se puede utilizar en una sección de industrias que incluyen señalización digital, automotriz, electrónica de consumo, automatización industrial, así como en entretenimiento basado en la ubicación para ofrecer una interacción natural entre las personas y la tecnología.

La entrada Pimax y Ultraleap unen gafas VR con tracking de manos se publicó primero en ARTEMAR GROUP - Tecnologías inmersivas.