Op Google I/O 2021 kondigt Google enkele opmerkelijke updates aan voor het ARCore-platform om ontwikkelaars te helpen realistischere AR-ervaringen te bouwen.
Op Google I/O 2021 kondigt Google enkele belangrijke upgrades aan voor ARCore, het augmented reality-platform van het bedrijf dat wereldwijd meer dan 850 miljoen Android-smartphones aanstuurt. In tegenstelling tot Project Tango, waarvoor gespecialiseerde hardware nodig was, vertrouwt ARCore op de bestaande hardware van je telefoon sensoren om gegevens te verzamelen over diepte, bewegingsregistratie en lichtschatting om ontwikkelaars te helpen interactieve AR te bouwen ervaringen.
Sinds de lancering heeft Google de functies en mogelijkheden van ARCore gestaag verbeterd de grenzen van wat ontwikkelaars van AR-apps kunnen bereiken met de bestaande hardware van Android smartphones. Vorig jaar Google heeft de ARCore Depth API uitgebracht om ontwikkelaars in staat te stellen een dieptekaart te genereren met slechts één RGB-camera en meer realistische AR-ervaringen te creëren. Vandaag voegt het bedrijf twee nieuwe tools toe aan het arsenaal van ARCore: Raw Depth API en Recording and Playback API.
ARCore Raw Depth-API
De nieuwe Raw Depth API bouwt voort op de Diepte-API om meer gedetailleerde weergaven van omringende objecten te bieden door ruwe dieptekaarten met bijbehorende betrouwbaarheidsbeelden te genereren. Terwijl de Depth API zich richtte op het genereren van afgevlakte dieptekaarten met diepteschattingen voor alle pixels, was de Raw De Depth API heeft tot doel realistischere dieptekaarten vast te leggen met betrouwbare beelden die een diepte per pixel bieden schatting.
Een ander verbeterpunt is de hit-test, waarbij nu dieptekaarten worden gebruikt in plaats van vlakken om meer hit-testresultaten te verkrijgen, zelfs op niet-vlakke vloeren met een lage structuur. De LifeAR-app van TeamViewer heeft de diepte-hit-test gebruikt om AR-mogelijkheden in videogesprekken te integreren.
Deze nieuwe verbeteringen vereisen geen gespecialiseerde hardware zoals time-of-flight (ToF)-sensoren en kunnen dus worden geïmplementeerd op een grote meerderheid van ARCore-gecertificeerde apparaten. De Raw Depth API en de depth hit-test zijn vanaf vandaag beschikbaar voor ontwikkelaars.
ARCore-API voor opnemen en afspelen
Naast de nieuwe Raw Depth API introduceert Google ook een nieuwe opname- en afspeel-API in ARCore die app-ontwikkelaars meer flexibiliteit geeft bij het testen van verschillende AR-ervaringen. Bij het bouwen van nieuwe AR-ervaringen moeten ontwikkelaars vaak continu testen in specifieke omgevingen en plaatsen. Met de nieuwe Recording and Playback API kunnen ontwikkelaars nu videobeelden opnemen met AR-metadata zoals diepte- en IMU-bewegingssensorgegevens en gebruik deze om dezelfde omgeving opnieuw te creëren testen. Het idee hier is om de beelden één keer op te nemen en deze als sjabloon te gebruiken om andere AR-effecten en ervaringen uit te testen, in plaats van elke keer nieuwe beelden te maken. Ride-hailing-app Didi-Rider gebruikte de API om AR-aangedreven routebeschrijvingen in zijn app te bouwen en te testen en kon 25% besparen op R&D en de ontwikkelingscyclus met zes maanden versnellen.
Voor eindgebruikers maakt de Recording and Playback API ook nieuwe AR-ervaringen mogelijk, zoals AR na opname. Hierdoor kunnen gebruikers een eerder opgenomen video naar AR-apps sturen, waardoor ze niet meer fysiek op de locatie aanwezig hoeven te zijn en een live camerasessie moeten doen. Met andere woorden: gebruikers kunnen één keer beeldmateriaal opnemen en later AR-effecten toevoegen. De ARCore Recording and Playback API is vanaf vandaag beschikbaar voor ontwikkelaars, en je kunt er meer over lezen op deze pagina.