iPhone LIDAR semble exagéré. Cependant, c’est l’avenir de la réalité virtuelle • The Register

Colonne Au cours des six derniers mois, j’ai regardé l’arrière de mon iPhone 13 Pro en me demandant ce qui a incité Apple à intégrer une caméra de détection et de télémétrie de la lumière (LIDAR) dans son smartphone phare.

Ce n’est pas comme si vous aviez besoin d’une caméra de profondeur à temps de vol, suffisamment sensible pour cartographier le temps de réflexion de photons individuels, pour créer un superbe portrait. C’est comme écraser une mouche avec un lance-flammes – amusant, mais exagérément ridicule. Il y a plus qu’assez de caméras à l’arrière de mon téléphone pour cartographier la profondeur d’une scène – c’est ainsi que Google le fait sur ses téléphones Pixel. Alors, quelle est l’intention d’Apple ici ? Pourquoi se donner tout ce mal ?

La réponse se trouve au-delà de l’iPhone et indique la suite.

Aux débuts de la réalité virtuelle, il y a trente ans, la plus grande barrière à l’entrée était la puissance de calcul nécessaire pour restituer des graphiques tridimensionnels en temps réel. En 1992, les systèmes capables de faire de la 3D en temps réel ressemblaient à des superordinateurs et coûtaient des centaines de milliers de dollars.

Ensuite, deux ingénieurs logiciels britanniques – l’un chez Canon Research, l’autre chez la startup RenderMorphics, tous deux construits avec le célèbre BBC Micro et ses capacités graphiques extraordinaires – ont créé des bibliothèques compactes et performantes pour le rendu 3D en temps réel. dans le logiciel. Lorsque la première publicité Renderware de Canon a atteint le groupe d’utilisation sci.virtual-worlds a rencontré l’incrédulité et le dédain. Quelqu’un a même plaisanté en disant qu’un chercheur de Canon devait être accidentellement resté connecté pendant le week-end afin que quelqu’un puisse publier un message manifestement plaisant.

Mais Renderware était réel. Avec Rendermorphics RealityLab (que des centaines de millions de personnes utilisent aujourd’hui sous son autre nom : Direct3D), il a transformé l’ensemble du paysage graphique 3D en temps réel. Personne d’autre n’avait besoin d’une station de travail Silicon Graphics d’un demi-million de dollars pour la réalité virtuelle – un coup dur dont l’entreprise ne s’est jamais remise. Réfléchissant à l’effondrement inattendu de SGI, l’un de mes collègues – qui prévoyait l’avenir à venir – a fait un rapide compliment : “Le rendu arrive”, a-t-il dit, “habituez-vous-y”.

Cependant, la réalité virtuelle a mis vingt ans pour atteindre le saut quantique vers la 3D en temps réel, car la réalité virtuelle ne consiste pas seulement à dessiner de jolies images à trente images par seconde. Engage profondément le corps – le suivi de la tête et des mains est un pari sur table pour tout système VR. Le suivi du corps il y a trente ans nécessitait des capteurs coûteux et compliqués se déplaçant dans un champ magnétique. (Pour cette raison, l’installation de systèmes de suivi VR dans un bâtiment avec de nombreux composants métalliques – comme un centre de congrès à poutres d’acier – a toujours été un cauchemar.)

Une solution évidente pour le suivi consistait à pointer une caméra sur une personne et à utiliser des techniques de vision par ordinateur pour calculer l’orientation et la position de diverses parties du corps. Bien que cela semble simple, les ordinateurs des années 1990 étaient environ cent fois trop lents pour effectuer cette tâche. Heureusement, au milieu des années 2010, la loi de Moore nous a donné des ordinateurs mille fois plus rapides – plus qu’assez de puissance pour suivre un corps, avec suffisamment de reste pour exécuter une simulation VR décente.

C’est pourquoi je me suis retrouvé dans la suite de démonstration privée d’Intel au Consumer Electronics Show 2017 à Las Vegas, en utilisant ce qui était en fait un PC attaché à mon front. Ce système VR avait une paire de caméras orientées vers l’extérieur qui digéraient un flux continu de données vidéo, l’utilisant pour suivre la position et l’orientation de ma tête lorsque je me déplaçais dans un monde virtuel et la suite de démonstration. Bien qu’il ne soit pas encore parfait, l’appareil a prouvé qu’un PC avait plus qu’assez de puissance pour permettre un suivi indépendant et sans source. Je suis sorti de cette démo convaincu d’avoir vu le prochain grand bond en avant dans la réalité virtuelle, que j’ai résumé en deux mots : “Le suivi se produit.”

Une demi-décennie plus tard, avec plusieurs milliards de dollars d’entreprises travaillant dur sur les lunettes de réalité augmentée, nous sommes prêts à franchir la prochaine barrière. Oui, nous pouvons rendre n’importe quel objet en temps réel, et oui, nous pouvons suivre nos têtes, nos mains et nos corps. Mais qu’en est-il du monde ? Il doit être vu, interprété et compris pour être intégré de manière significative dans la réalité augmentée. Sinon, l’augmenté et le réel s’interpénètreront d’une manière qui rappelle un mauvais accident de transport dans Star Trek.

Pour que l’ordinateur puisse voir le monde, il doit être capable de capturer le monde. Cela a toujours été difficile et coûteux. Cela nécessite des capacités de superordinateur et de capteur qui coûtent des dizaines de milliers de dollars… Attendez une minute. Cela semble étrangement familier, n’est-ce pas ?

Jusqu’à il y a à peine deux ans, les systèmes LIDAR coûtaient des centaines, voire des milliers de dollars. Ensuite, Apple a ajouté une caméra LIDAR à l’arrière de l’iPad Pro et de l’iPhone 12 Pro. Soudain, une technologie qui était autrefois rare et chère est devenue bon marché et presque banale. Le coût des composants LIDAR a soudainement chuté de deux ordres de grandeur – passant de centaines de dollars par unité à quelques dollars chacun.

Apple avait besoin de le faire car les nombreuses rumeurs de lunettes AR de l’entreprise seraient nécessairement équipées de plusieurs caméras LIDAR, alimentant son SoC de classe M1 avec un flux continu de données de profondeur afin que l’environnement de réalité mixte géré par l’appareil soit cartographié proprement et en douceur. monde réel. En ce qui concerne Apple, LIDAR sur mon iPhone n’a rien d’autre à faire que d’augmenter les coûts des composants pour sa prochaine génération de périphériques matériels.

Capturer le monde réel est essentiel à la réalité augmentée. Nous ne pouvons pas agrandir le monde réel tant que nous ne l’avons pas cartographié. Cela a toujours été difficile et coûteux. Aujourd’hui, je peux regarder le dos de mon iPhone et l’entendre murmurer des mots que j’attendais depuis longtemps : “La capture se produit”. ®

Leave a Comment