À l'intérieur de l'IA : XTEND

Ruby Liani est CTO et co-fondateur de XTEND. Son expérience UAS s'appuie sur le fait d'avoir été responsable de l'intégration logicielle et officier de l'intégration des systèmes de combat dans la marine israélienne, et cofondateur d'une ligue israélienne de courses de drones. Il est titulaire d'un diplôme en génie logiciel informatique.

"C'est une histoire qui ne peut se produire qu'en Israël", a déclaré Rubi Liani à propos de l'origine du mélange de technologie homme-machine de sa société XTEND.

En 2018, la guerre asymétrique façonnait à nouveau un conflit au Moyen-Orient. Les militants de Gaza envoyaient des flottilles de ballons incendiaires en Israël, infligeant des dommages physiques et psychologiques tout en ne coûtant pratiquement rien comparé aux missiles Iron Dome et autres contre-mesures défensives.

Liani, alors major, faisait partie de ceux que les Forces de défense israéliennes ont appelés à rencontrer les intelligents avec les intelligents. Pendant plus d'une décennie dans la marine israélienne en tant qu'ingénieur logiciel et officier d'intégration de systèmes, Liani avait cofondé, entre toutes choses, une ligue israélienne de courses de drones. Alors, Liani pensa, "J'ai des drones très rapides, je peux frapper les ballons très facilement avec mon expérience, avec la rotation des pales de l'hélice qui fait éclater les ballons."

Son "nouveau travail" comprenait de nombreux membres de la ligue israélienne. "Nous avons éliminé quelque chose comme 2 000 ballons. Trois mois de la chose la plus folle de ma vie, reliant mon passe-temps et mon devoir." Suite à sa passion, Liani quitte le service en juillet de la même année. "Un mois plus tard, nous avions une entreprise", a-t-il déclaré.

Avec une expérience de drone sur le terrain en main, son collègue ligueur de drones Aviv Shapira a intégré son expérience du divertissement pour soutenir ce que Liani a appelé "une machine de jeu XR [réalité étendue]". Le nom "XTEND" vient du désir d'un joueur "d'étendre les gens et de leur donner l'impression d'être ailleurs", a noté Liani. "Nous avons fait beaucoup d'itérations pour casser l'UX. En gros, comment contrôler un drone très, très rapide qui doit être précis."

Avance rapide jusqu'en 2023, et Liani fait partie des cofondateurs et CTO de XTEND (Shapira est PDG et cofondateur). En son cœur, XTEND est une entreprise de logiciels dédiée à maximiser le meilleur de l'IA et de la réalité virtuelle et à les connecter à des robots pour fournir des opérations de drones précises et omniprésentes. Crucial pour cela, a déclaré Liani, XOS (le système d'exploitation de XTEND) cherche à combiner le meilleur des connaissances de la machine et de l'homme tout au long du cycle de vol. Pour ce faire, il contrecarre la tendance à sortir les humains de la boucle en combinant un écran VR et un contrôleur de geste naturel pour interagir avec la machine sur une couche permettant l'IA qui peut détecter son environnement. Le résultat est un système de machine autonome guidé par l'homme, à la fois immersif et intuitif.

Liani pense que l'autonomie totale n'est pas encore une réalité, donc "la technologie XTEND permet aux humains de s'étendre dans l'action", a déclaré Liani. Plusieurs drones peuvent se précipiter jusqu'à 80 miles par heure pour inspecter un site tandis que les opérateurs restent au-delà des contre-mesures ennemies. Dans le même temps, les soldats, la police et d'autres opérateurs tactiques, à distance ou sur place, peuvent acquérir une connaissance de la situation en temps réel à l'aide de casques VR pour manœuvrer des drones à travers les fenêtres et les portes et dans des espaces restreints sans exposer les opérateurs, se sentant, a déclaré Liani, "comme s'ils étaient personnellement là". Aucun bâton conventionnel n'est requis, ce qui réduit le temps d'entraînement d'environ 90 %.

XTEND a obtenu plus de 20 contrats, dont une commande en 2021 du département américain de la Défense pour plusieurs machines intelligentes. En janvier dernier, le ministère israélien de la Défense a attribué à XTEND un contrat de 20 millions de dollars. "Nous sommes convaincus que ce nouveau programme fera un énorme bond en avant dans nos capacités opérationnelles", a déclaré une source de Tsahal, "mettant le meilleur de la technologie civile entre les mains de nos soldats".

Et XTEND vise une gamme de secteurs non militaires, réduisant les risques pour les projets pétroliers et gaziers, maritimes et d'infrastructure. "L'inspecteur n'a pas besoin d'être sur le site lui-même", a déclaré Liani.

Pour expliquer ce qui sous-tend ce succès, Liani nous a guidés à travers certains préceptes de fonctionnement de base.

UX de pointe pour les drones : Le matériel, le système d'exploitation et l'application sont la triade commune pour les systèmes allant des téléphones aux drones, a déclaré Liani. "Le système d'exploitation, en général, est le pont entre les humains et les machines."

Au-delà des exigences minimales et fonctionnant sur Android, XTEND est indépendant du matériel pour une adoption maximale. Avec des modifications, il peut prendre en charge ce que Liani appelle "les trois principaux ordinateurs robotiques - Raspberry Pi, NVIDIA Jetson et Qualcomm RB5" - pour se conformer à différents types de capacités de drones, y compris celles de tiers. "Si quelqu'un veut le Qualcomm et le second veut le NVIDIA Jetson, ils peuvent parler ensemble car ils exécutent le même système d'exploitation. Nous suivons les tendances matérielles du monde de la robotique, en nous assurant que nous les respectons."

Vol VR immersif : "Nous, en tant qu'humains, parlons de mission, pas de drone", a déclaré Liani. "Nous avons commencé à parler avec la robotique, du point de vue de, 'Je vous marque pour passer la porte, faites-le.' Je ne veux pas vous dire à quel point vous volez à droite et à gauche, de haut en bas - ce n'est pas comme ça que les humains parlent. Mon fils a 1 an, quand il veut aller à la cuisine, il montre simplement la cuisine.

Intégrée à XOS, une fonction "Mark & ​​Fly" du système d'exploitation prend en charge la fusion de l'efficacité de l'IA et des connaissances humaines. Liani a illustré cela avec une vidéo de démonstration montrant un petit quadricoptère entrant dans un bâtiment par une fenêtre pour dénicher un adversaire caché et hostile. Traitant de nombreuses données en temps réel, le drone commence à enquêter par lui-même, montrant des objets et des personnes d'intérêt. L'opérateur utilise alors sa discrétion pour ordonner au drone de l'explorer davantage.

"Nous avons pris une application d'IA et nous avons commencé à mettre des éléments AR pour détecter des objets, par exemple, la fenêtre", a déclaré Liani. "Lorsque vous avez une application qui s'exécute sur le système, la boîte englobante relie ce que le réseau neuronal voit et comment vous pouvez l'afficher. C'est le résultat de la détection de la fenêtre. Voler à travers une fenêtre est une mission complexe avec des bâtons. Avec notre système, marquez simplement la fenêtre et passez en mode Guide et survolez-la simplement. C'est très, très précis."

Gestes naturels de la main : XOS peut rapidement passer au contrôle humain au fur et à mesure que les situations se déroulent. "L'expérience", a déclaré Liani, "est que les gars opèrent avec des casques VR et qu'ils consomment cette vidéo 3D. C'est très, très immersif."

L'opérateur peut fournir une direction en déplaçant ses mains, voire sa tête, dans la direction souhaitée. "Notre système est contrôlé par des gestes de la main, la même idée qu'une télécommande Wii", a déclaré Liani. "C'est comme un pointeur laser ; là où vous pointez, c'est la direction que le drone suivra. Vous décomposez la mission en tâches : "Passez devant la fenêtre et volez jusqu'au bout du couloir, ramassez cette chose et déposez ces choses." Avec les applications tierces, vous bénéficiez d'un coup de pouce, car si vous exécutez des applications d'IA capables de détecter la fenêtre, le sol et l'objet, il devient facile de créer des tâches. »

Association Homme-Machine : "Nous permettons à l'humain d'être très loin avec différentes techniques de contrôle du robot", a déclaré Liani. Trois éléments permettent à XOS de renforcer cela.

"Plus vous allez loin, plus vous rencontrez de problèmes : latence, problèmes de communication, ruptures", a déclaré Liani. "Avec Mark & ​​Fly, un opérateur pointe simplement où il veut aller et transforme des éléments 2D en 3D. Cela ajoute de la profondeur et donne au drone beaucoup plus de sophistication, même avec de la latence et des ruptures. Il vous attendra jusqu'à ce que vous retrouviez la communication, vous pouvez donc toujours opérer.

De loin ou de près, le deuxième élément d'association consiste à fusionner les applications d'IA et les connaissances humaines. Liani a diffusé une autre vidéo d'un drone volant dans le laboratoire de l'entreprise : l'IA a détecté l'ouverture, Mark & ​​Fly marquant en continu et "Task & Fly" effectuant des missions pendant que l'humain volait dans l'environnement intérieur. Le mode Guide est ce qui s'affiche à l'écran pour les informations et les actions de l'opérateur.

Pour la troisième étape de sa triade, Liani est passé au fonctionnement interactif à distance. "Prenons l'humain à 100 kilomètres de là. Je veux que le drone fasse ce couloir et vole droit et vers la gauche. Avec la latence, vous pouvez voir la vidéo trois secondes après que le drone a fait ce qu'il a fait. Task & Fly permet de placer des points 3D dans l'espace avec une vidéo 3D pour effectuer des tâches comme approcher, suivre, scanner. , et le drone le fera jusqu'à ce que vous repreniez le contrôle. Un moyen très simple de contrôler à distance, dans l'espace 3D.

Le personnel peut être proche et éloigné. "Quelqu'un doit mettre le drone là-bas, mais le gars sur place peut confier le contrôle au centre de commandement. Il n'a pas le temps d'opérer autour des terroristes - il a des problèmes beaucoup plus importants à gérer. Nous donnons la possibilité de déplacer le contrôle aux personnes assises aux commandes et au contrôle, avec la climatisation et tout est calme. Vous voyez le point de pointage et de marquage, vous pouvez sélectionner où il veut aller, vous pouvez voir l'estimation de l'emplacement du drone et l'orientation.

"Vous pouvez contrôler de n'importe où dans le monde un drone en direct qui vole dans l'espace 3D, sans GPS, dans n'importe quel environnement, interagir avec l'environnement, détecter les ouvertures. Mais nous voulions également nous assurer que le gars qui place le drone dans le périmètre proche puisse prendre le contrôle si nécessaire pour s'assurer que la mission n'échouera pas."

Les opérateurs sur site et à distance peuvent profiter du casque VR. "Je peux être n'importe où dans le monde, mais ma machine est mon avatar", a déclaré Liani.

Toutes les images sont une gracieuseté de XTEND.