Leopard Imaging y Lumotive han presentado Sirius Max, una nueva plataforma de percepción 3D de estado sólido que combina captura de imágenes RGB, detección de profundidad mediante tiempo de vuelo indirecto y direccionamiento electrónico del haz en un único módulo de cámara GMSL2.
Anunciado el 24 de septiembre, Sirius Max, denominado oficialmente LI-AR0234-AF0130-TX10-GMSL2-140H, está orientado a aplicaciones de robótica, máquinas autónomas, automatización industrial, monitorización automotriz e inteligencia artificial en el edge. Leopard Imaging y Lumotive afirman que el sistema puede ampliar la detección de profundidad iToF más allá de 20 metros tanto en interiores como en exteriores, manteniendo una resolución de profundidad de aproximadamente 1 megapíxel.
La parte más interesante del diseño no es únicamente la cifra de alcance. Sirius Max cambia la forma en que se distribuye la potencia de iluminación disponible dentro de una escena. En lugar de iluminar de forma continua todo el campo de visión, puede dirigir la energía óptica hacia áreas seleccionadas y modificar esas regiones mediante software.
Sirius Max utiliza iToF con direccionamiento de haz
Las cámaras convencionales de tiempo de vuelo indirecto suelen utilizar una iluminación infrarroja relativamente amplia. El sensor mide el desfase entre la luz modulada emitida y la luz reflejada que regresa para estimar la distancia.
Esta arquitectura es compacta y puede generar mapas de profundidad densos, pero el alcance se vuelve más difícil de mantener a medida que aumenta la distancia. Solo una fracción de la energía óptica emitida vuelve al sensor, mientras que la luz solar, los reflejos y otras fuentes infrarrojas añaden ruido.
Sirius Max aborda esta limitación mediante la arquitectura de transmisión TX10 de Lumotive. En lugar de distribuir de forma uniforme la energía de iluminación disponible por toda la escena, el sistema puede dirigirla electrónicamente hacia zonas concretas.
Esto permite que el sistema de percepción concentre de manera efectiva su presupuesto de fotones allí donde realmente se necesita información de profundidad.
Por ejemplo, cuando un robot se aproxima a un objeto, el sensor podría dedicar más iluminación y tiempo de medición a ese objeto, en lugar de escanear repetidamente cada zona de la imagen con la misma prioridad.
El diseño de referencia TX10 de Lumotive se basa en su semiconductor óptico programable LM10 Light Control Metasurface, o LCM. La arquitectura de referencia admite control mediante software de la dirección del haz, la divergencia, el tiempo de permanencia y la secuencia de escaneo, sin necesidad de espejos giratorios ni conjuntos mecánicos de sensores.
El alcance de profundidad supera los 20 metros
Leopard Imaging y Lumotive afirman que Sirius Max amplía la percepción iToF más allá de 20 metros tanto en interiores como en exteriores.
Es una cifra relevante para iToF, ya que esta tecnología tradicionalmente ha ofrecido mejores resultados a distancias más cortas que muchas arquitecturas LiDAR de escaneo.
La iluminación direccional ayuda porque concentra la potencia óptica en una parte más pequeña de la escena. Esto puede mejorar la relación señal-ruido y reducir la cantidad de energía infrarroja ambiental irrelevante que llega a la cadena de procesamiento de profundidad.
Las empresas también señalan mejoras en rango dinámico, comportamiento multitrayectoria y ruido por saturación.
Sin embargo, el anuncio todavía no proporciona varios datos que acabarán determinando la importancia real de ese rendimiento de 20 metros. Leopard Imaging no ha publicado una curva completa de alcance frente a precisión, el nivel máximo de iluminación exterior, las hipótesis sobre reflectividad, la precisión de profundidad a máxima distancia ni la frecuencia de profundidad a fotograma completo en funcionamiento de largo alcance.
Estas especificaciones serán importantes a la hora de comparar Sirius Max con LiDAR convencional, cámaras estéreo y otros sistemas activos de profundidad.
AF0130 ofrece detección de profundidad de 1,2 MP
La adquisición de profundidad se basa en el sensor iToF inteligente AF0130 de onsemi.
El AF0130 es un sensor CMOS de profundidad apilado con iluminación posterior, formato 1/3,2 pulgadas y 1.280 x 960 píxeles activos, lo que proporciona aproximadamente 1,2 megapíxeles de resolución nativa de profundidad. Cada píxel mide 3,5 x 3,5 micrómetros y el dispositivo utiliza obturador global.
A diferencia del AF0131 relacionado, el AF0130 incorpora un ASIC de procesamiento de profundidad bajo la matriz de píxeles. Puede calcular internamente mapas de profundidad, confianza e intensidad, sin depender de un procesador externo para realizar toda la reconstrucción de profundidad.
El sensor admite frecuencias de modulación de hasta 200 MHz e incluye control dual de drivers láser y supervisión de seguridad ocular del láser.
Según las especificaciones públicas de onsemi, el AF0130 puede alcanzar 60 fps a su resolución completa de 1,2 MP en uno de sus modos de funcionamiento y hasta 110 fps a resolución VGA. Utiliza una interfaz MIPI de dos carriles capaz de alcanzar hasta 2 Gbps por carril. Onsemi especifica temperaturas de unión operativas de entre -30 °C y +85 °C.
Estas son capacidades a nivel de sensor. Leopard Imaging no ha indicado que Sirius Max exponga todos los modos del AF0130 ni su frecuencia máxima de fotogramas.
TX10 convierte el escaneo en una función definida por software
La arquitectura TX10 de Lumotive es lo que diferencia a Sirius Max de una cámara RGB-D convencional.
El diseño de referencia TX10 ofrece hasta 105 grados de direccionamiento de estado sólido desde un solo módulo, con una resolución angular media de aproximadamente 0,5 grados en ese rango. La divergencia del haz en el eje de direccionamiento puede programarse aproximadamente entre 2,5 y 10 grados dependiendo de la implementación.
Lumotive también especifica una divergencia predeterminada de 140 grados en el eje no direccionado, con configuraciones ópticas que potencialmente pueden cubrir aproximadamente entre 20 y 190 grados.
Una implementación de referencia típica del TX10 funciona alrededor de 910 nm y puede utilizar una potencia óptica máxima de hasta 35 W. Estas cifras describen la plataforma de referencia TX10 de Lumotive y no los parámetros máximos confirmados de funcionamiento de Sirius Max.
La ausencia de componentes mecánicos de escaneo también es importante. Las arquitecturas LiDAR tradicionales, ya sean giratorias o accionadas mecánicamente, incorporan rodamientos, motores o conjuntos ópticos móviles que pueden afectar al encapsulado, la resistencia a vibraciones y la fiabilidad a largo plazo.
El direccionamiento LCM no tiene inercia mecánica, por lo que los patrones de escaneo también pueden ser no secuenciales. El sistema no necesita necesariamente barrer de forma continua de un lado a otro del campo de visión.
Puede saltar directamente entre regiones seleccionadas mediante software.
RGB y profundidad comparten un enlace GMSL2
Sirius Max combina el subsistema de profundidad con captura RGB sincronizada y transmite vídeo RGB, información de profundidad y datos de control mediante una conexión GMSL2 a través de un único cable coaxial.
Esta arquitectura es especialmente relevante para plataformas de IA embebida utilizadas en máquinas autónomas, donde las cámaras pueden estar situadas a varios metros del sistema informático central.
En lugar de tratar la imagen en color y la medición de distancia como dispositivos independientes, Sirius Max está diseñado para producir información RGB y de profundidad sincronizada que puede fusionarse dentro de la pila de percepción.
La parte LI-AR0234 de la denominación del producto también apunta a la familia de sensores de imagen AR0234 de onsemi. El AR0234 es un sensor CMOS de 2,3 MP y formato 1/2,6 pulgadas con obturador global, capaz de alcanzar 120 fps a resolución completa, aunque Leopard Imaging no ha publicado una especificación RGB completa de Sirius Max que confirme cuáles de esas capacidades están disponibles en la plataforma final.
Un solo sensor puede priorizar múltiples tareas
Las regiones de interés definidas por software podrían resultar más importantes que la especificación de alcance máximo.
Un robot móvil rara vez necesita la misma calidad de profundidad en todas las zonas de la escena.
El sistema de percepción puede necesitar actualizaciones de profundidad de alta frecuencia directamente en la dirección de desplazamiento para evitar colisiones, mientras que los laterales pueden requerir una frecuencia de actualización menor. Un brazo robótico puede priorizar temporalmente el área alrededor de una pinza. Un vehículo o máquina autónoma podría asignar más recursos de detección a un peatón, palé u obstáculo identificado por su red de percepción RGB.
Sirius Max puede potencialmente cambiar su estrategia de iluminación y escaneo para adaptarse a esas tareas, en lugar de obligar al sistema de IA posterior a trabajar con un patrón fijo del sensor.
Leopard Imaging cita SLAM, detección de desniveles, prevención de colisiones, navegación, manipulación de objetos e inspección visual entre las aplicaciones que podría gestionar la plataforma.
Por qué Sirius Max es relevante
El aspecto más importante de Sirius Max es el intento de trasladar algunas decisiones de percepción desde el posprocesamiento hacia la propia óptica.
La mayoría de los sistemas de percepción basados en IA recopilan un flujo relativamente fijo de datos del sensor y deciden después qué píxeles, objetos o regiones merecen atención. Sirius Max añade otra capa: el software puede influir en la zona hacia la que el sensor dirige su iluminación activa antes de realizar la medición.
Esto puede ser especialmente útil en robots con restricciones de consumo energético.
En lugar de aumentar la potencia láser en todo un campo de visión amplio para ganar alcance, el sistema puede concentrar potencialmente la potencia óptica disponible en una región más pequeña. El mismo principio puede utilizarse para ajustar dinámicamente la cobertura del campo, la frecuencia de actualización y la distancia de detección.
Sigue existiendo una diferencia importante entre la descripción comercial del producto y una comparación completa de rendimiento con sistemas LiDAR ya establecidos. Sirius Max se describe como LiDAR 3D de estado sólido, pero su motor de profundidad está basado en iToF y no en la arquitectura de medición directa de tiempo de vuelo habitualmente asociada con LiDAR automotriz de escaneo y largo alcance.
La etiqueta importa menos que el rendimiento final. Lo que determinará la posición de Sirius Max en el mercado será su precisión de profundidad más allá de 20 metros, su comportamiento bajo luz solar directa, su rendimiento con objetivos de baja reflectividad, la latencia, el consumo energético y el coste.
Ninguna de estas cifras clave para una comparación directa se ha divulgado todavía de forma completa.
Si Leopard Imaging consigue mantener una precisión de profundidad útil y buenas frecuencias de fotogramas en el alcance extendido anunciado, la combinación de mapas de profundidad densos de aproximadamente 1 MP, captura RGB e iluminación programable en un módulo compacto podría hacer que Sirius Max resultara especialmente atractivo para robots móviles autónomos y otras máquinas en las que los sistemas de percepción multisensor convencionales ocupan demasiado espacio, consumen demasiada energía o requieren una integración compleja.
Acerca de Leopard Imaging
Leopard Imaging fue fundada en 2008 y tiene su sede en Fremont, California. La empresa desarrolla sistemas de imagen embebida, percepción mediante IA e inteligencia espacial para robótica, automoción, automatización industrial, drones, salud y otras aplicaciones de visión artificial.
Según Leopard Imaging, sus operaciones de ingeniería y fabricación han dado soporte a clientes e instituciones en más de 50 países, incluidas empresas Fortune 500. La compañía ofrece diseño y fabricación de cámaras, desarrollo de controladores, ajuste de imagen, servicios OEM y ODM, y trabaja con plataformas informáticas de NVIDIA, Qualcomm, NXP, Intel, Ambarella y otros proveedores de semiconductores.
Leopard Imaging dispone de capacidades de fabricación en Estados Unidos y otros mercados y recientemente añadió una planta de producción en Penang, Malasia. Su presencia internacional incluye Estados Unidos, Europa, Asia, el Sudeste Asiático y Japón. La empresa cuenta con certificaciones como IATF 16949 para fabricación automotriz, AS9100D para el sector aeroespacial, ISO 9001:2015 e ISO 14001:2015.
