Leopard Imaging et Lumotive ont présenté Sirius Max, une nouvelle plateforme de perception 3D à semi-conducteurs qui combine l’imagerie RGB, la détection de profondeur par temps de vol indirect et le pilotage électronique du faisceau dans un seul module caméra GMSL2.
Annoncé le 24 septembre, Sirius Max, officiellement désigné LI-AR0234-AF0130-TX10-GMSL2-140H, vise les applications de robotique, de machines autonomes, d’automatisation industrielle, de surveillance automobile et d’intelligence artificielle en périphérie. Leopard Imaging et Lumotive indiquent que le système peut étendre la détection de profondeur iToF au-delà de 20 mètres, en intérieur comme en extérieur, tout en conservant une résolution de profondeur d’environ 1 mégapixel.
L’élément le plus intéressant de cette conception ne se limite pas à la portée annoncée. Sirius Max modifie la manière dont la puissance d’éclairage disponible est répartie dans une scène. Au lieu d’éclairer en permanence l’ensemble du champ de vision, le système peut diriger l’énergie optique vers des zones sélectionnées et modifier ces régions par logiciel.
Sirius Max utilise l’iToF avec pilotage du faisceau
Les caméras conventionnelles à temps de vol indirect utilisent généralement un éclairage infrarouge relativement large. Le capteur mesure le déphasage entre la lumière modulée émise et la lumière réfléchie afin d’estimer la distance.
Cette architecture est compacte et peut produire des cartes de profondeur denses, mais la portée devient plus difficile à maintenir à mesure que la distance augmente. Seule une fraction de l’énergie optique émise revient vers le capteur, tandis que la lumière du soleil, les réflexions et d’autres sources infrarouges ajoutent du bruit.
Sirius Max répond à cette limitation grâce à l’architecture d’émission TX10 de Lumotive. Au lieu de répartir uniformément l’énergie d’éclairage disponible sur toute la scène, le système peut la diriger électroniquement vers des zones spécifiques.
Cela permet au système de perception de concentrer efficacement son budget photonique là où les informations de profondeur sont réellement nécessaires.
Par exemple, lorsqu’un robot s’approche d’un objet, le capteur pourrait consacrer davantage d’éclairage et de temps de mesure à cet objet plutôt que de scanner en permanence chaque partie de l’image avec la même priorité.
La conception de référence TX10 de Lumotive repose sur son semi-conducteur optique programmable LM10 Light Control Metasurface, ou LCM. L’architecture de référence permet de contrôler par logiciel la direction du faisceau, sa divergence, le temps de maintien et la séquence de balayage, sans miroirs rotatifs ni ensembles mécaniques de capteurs.
La portée de profondeur dépasse 20 mètres
Leopard Imaging et Lumotive indiquent que Sirius Max étend la perception iToF au-delà de 20 mètres, en intérieur comme en extérieur.
Il s’agit d’une valeur importante pour l’iToF, car cette technologie a traditionnellement été plus performante à courte distance que de nombreuses architectures LiDAR à balayage.
L’éclairage directionnel aide en concentrant la puissance optique sur une portion plus réduite de la scène. Cela peut améliorer le rapport signal-bruit et réduire la quantité d’énergie infrarouge ambiante non pertinente qui atteint la chaîne de traitement de profondeur.
Les entreprises annoncent également des améliorations en matière de plage dynamique, de comportement multitrajet et de bruit de saturation.
Cependant, l’annonce ne fournit pas encore plusieurs données qui permettront de déterminer l’importance réelle des performances à 20 mètres dans des applications concrètes. Leopard Imaging n’a pas publié de courbe complète portée-précision, de niveau maximal d’éclairement extérieur, d’hypothèses de réflectivité, de précision de profondeur à portée maximale ni de fréquence d’acquisition pleine trame lors d’un fonctionnement à longue distance.
Ces spécifications seront importantes pour comparer Sirius Max aux LiDAR conventionnels, aux caméras stéréo et aux autres systèmes actifs de mesure de profondeur.
Le capteur AF0130 offre une profondeur de 1,2 MP
L’acquisition de profondeur repose sur le capteur iToF intelligent AF0130 d’onsemi.
L’AF0130 est un capteur de profondeur CMOS empilé à illumination arrière au format 1/3,2 pouce, doté de 1 280 x 960 pixels actifs, soit environ 1,2 mégapixel de résolution native pour la profondeur. Chaque pixel mesure 3,5 x 3,5 micromètres et le dispositif utilise un obturateur global.
Contrairement à l’AF0131 de la même famille, l’AF0130 intègre un ASIC de traitement de profondeur sous la matrice de pixels. Il peut calculer en interne les cartes de profondeur, de confiance et d’intensité, sans nécessiter qu’un processeur externe réalise l’intégralité de la reconstruction de profondeur.
Le capteur prend en charge des fréquences de modulation allant jusqu’à 200 MHz et intègre une double commande des pilotes laser ainsi qu’un système de surveillance de la sécurité oculaire du laser.
Selon les spécifications publiques d’onsemi, l’AF0130 peut atteindre 60 images par seconde à sa résolution complète de 1,2 MP dans l’un de ses modes de fonctionnement, et jusqu’à 110 images par seconde en résolution VGA. Il utilise une interface MIPI à deux voies capable d’atteindre jusqu’à 2 Gbit/s par voie. Onsemi indique une plage de température de jonction en fonctionnement allant de -30 °C à +85 °C.
Il s’agit de capacités propres au capteur. Leopard Imaging n’a pas indiqué que Sirius Max donne accès à tous les modes de l’AF0130 ni à sa fréquence d’images maximale.
Le TX10 rend le balayage programmable par logiciel
L’architecture TX10 de Lumotive est ce qui distingue Sirius Max d’une caméra RGB-D conventionnelle.
La conception de référence TX10 offre jusqu’à 105 degrés de pilotage à semi-conducteurs à partir d’un seul module, avec une résolution angulaire moyenne d’environ 0,5 degré sur cette plage. La divergence du faisceau sur l’axe de pilotage peut être programmée entre environ 2,5 et 10 degrés selon l’implémentation.
Lumotive indique également une divergence par défaut de 140 degrés sur l’axe non piloté, avec des configurations optiques pouvant potentiellement couvrir environ 20 à 190 degrés.
Une implémentation de référence typique du TX10 fonctionne autour de 910 nm et peut utiliser une puissance optique de crête allant jusqu’à 35 W. Ces chiffres décrivent la plateforme de référence TX10 de Lumotive et non les paramètres de fonctionnement maximaux confirmés de Sirius Max.
L’absence de composants mécaniques de balayage est également importante. Les architectures LiDAR traditionnelles, qu’elles soient rotatives ou actionnées mécaniquement, utilisent des roulements, des moteurs ou des ensembles optiques mobiles qui peuvent avoir un impact sur l’intégration, la résistance aux vibrations et la fiabilité à long terme.
Le pilotage LCM ne présente pas d’inertie mécanique, ce qui signifie que les séquences de balayage peuvent également être non séquentielles. Le système n’a pas nécessairement besoin de balayer en continu d’un côté à l’autre du champ de vision.
Il peut passer directement d’une région sélectionnée par logiciel à une autre.
RGB et profondeur partagent une seule liaison GMSL2
Sirius Max associe le sous-système de profondeur à une imagerie RGB synchronisée et transmet la vidéo RGB, les informations de profondeur et les données de contrôle via une connexion GMSL2 sur un seul câble coaxial.
Cette architecture est particulièrement pertinente pour les plateformes d’IA embarquées utilisées dans les machines autonomes, où les caméras peuvent être installées à plusieurs mètres du système informatique central.
Au lieu de traiter l’imagerie couleur et la mesure de distance comme deux dispositifs indépendants, Sirius Max est conçu pour produire des données RGB et de profondeur synchronisées pouvant être fusionnées par la chaîne de perception.
La partie LI-AR0234 de la désignation du produit renvoie également à la famille de capteurs d’image AR0234 d’onsemi. L’AR0234 est un capteur CMOS de 2,3 MP au format 1/2,6 pouce, doté d’un obturateur global et capable d’atteindre 120 images par seconde à pleine résolution. Leopard Imaging n’a toutefois pas publié de spécification RGB complète de Sirius Max confirmant lesquelles de ces capacités sont accessibles dans la plateforme finale.
Un seul capteur peut prioriser plusieurs tâches
Les régions d’intérêt définies par logiciel pourraient se révéler plus importantes que la seule spécification de portée maximale.
Un robot mobile a rarement besoin de la même qualité de profondeur dans toutes les zones de la scène.
Le système de perception peut nécessiter des mises à jour de profondeur à haute fréquence directement dans la direction du déplacement pour éviter les collisions, tandis que les zones latérales peuvent se contenter d’une fréquence de mise à jour plus faible. Un bras robotisé peut temporairement donner la priorité à la zone autour d’une pince. Un véhicule ou une machine autonome pourrait attribuer davantage de ressources de détection à un piéton, une palette ou un obstacle détecté par son réseau de perception RGB.
Sirius Max peut potentiellement modifier sa stratégie d’éclairage et de balayage en fonction de ces tâches, au lieu d’imposer au système d’IA en aval un schéma de capteur fixe.
Leopard Imaging cite notamment le SLAM, la détection de dénivelés, l’évitement de collisions, la navigation, la manipulation d’objets et l’inspection visuelle parmi les applications pouvant être prises en charge par la plateforme.
Pourquoi Sirius Max est important
L’aspect le plus significatif de Sirius Max réside dans sa tentative de déplacer certaines décisions de perception du post-traitement vers l’optique elle-même.
La plupart des chaînes de perception basées sur l’IA collectent un flux relativement fixe de données issues des capteurs, puis déterminent ensuite quels pixels, objets ou régions méritent davantage d’attention. Sirius Max ajoute un niveau supplémentaire : le logiciel peut influencer l’endroit vers lequel le capteur dirige son éclairage actif avant même que la mesure ne soit effectuée.
Cela peut être particulièrement utile pour les robots soumis à des contraintes de consommation énergétique.
Au lieu d’augmenter la puissance laser sur l’ensemble d’un large champ de vision afin d’accroître la portée, un système peut potentiellement concentrer la puissance optique disponible sur une région plus petite. Le même principe peut être utilisé pour ajuster dynamiquement la couverture du champ, la fréquence de mise à jour et la distance de détection.
Il reste toutefois une distinction importante entre la description du produit et une comparaison complète des performances avec des systèmes LiDAR établis. Sirius Max est présenté comme un LiDAR 3D à semi-conducteurs, mais son moteur de profondeur repose sur l’iToF plutôt que sur l’architecture de mesure directe du temps de vol généralement associée aux LiDAR automobiles à balayage et longue portée.
L’appellation importe moins que les performances obtenues. La position de Sirius Max sur le marché dépendra notamment de sa précision de profondeur au-delà de 20 mètres, de son comportement en plein soleil, de ses performances sur des cibles à faible réflectivité, de sa latence, de sa consommation énergétique et de son coût.
Aucune de ces données clés de comparaison n’a encore été communiquée de manière complète.
Si Leopard Imaging parvient toutefois à maintenir une précision de profondeur utile et des fréquences d’images élevées à la portée étendue annoncée, l’association de cartes de profondeur denses d’environ 1 MP, de l’imagerie RGB et d’un éclairage programmable dans un seul module compact pourrait rendre Sirius Max particulièrement intéressant pour les robots mobiles autonomes et d’autres machines pour lesquelles les systèmes de perception multisenseurs conventionnels occupent trop d’espace, consomment trop d’énergie ou nécessitent une intégration trop complexe.
À propos de Leopard Imaging
Leopard Imaging a été fondée en 2008 et son siège se trouve à Fremont, en Californie. L’entreprise développe des systèmes d’imagerie embarquée, de perception par intelligence artificielle et d’intelligence spatiale destinés à la robotique, à l’automobile, à l’automatisation industrielle, aux drones, au secteur de la santé et à d’autres applications de vision industrielle.
Selon Leopard Imaging, ses activités d’ingénierie et de fabrication ont accompagné des clients et des institutions dans plus de 50 pays, notamment des entreprises figurant au classement Fortune 500. La société propose des services de conception et de fabrication de caméras, de développement de pilotes, d’optimisation d’image, ainsi que des services OEM et ODM. Elle travaille avec des plateformes informatiques de NVIDIA, Qualcomm, NXP, Intel, Ambarella et d’autres fournisseurs de semi-conducteurs.
Leopard Imaging dispose de capacités de fabrication aux États-Unis et à l’international et a récemment ajouté un site de production à Penang, en Malaisie. Sa présence mondiale déclarée couvre les États-Unis, l’Europe, l’Asie, l’Asie du Sud-Est et le Japon. L’entreprise détient notamment les certifications IATF 16949 pour la fabrication automobile, AS9100D pour l’aérospatiale, ISO 9001:2015 et ISO 14001:2015.
