På Google I/O 2021 annoncerer Google nogle bemærkelsesværdige opdateringer til ARCore-platformen for at hjælpe udviklere med at opbygge mere realistiske AR-oplevelser.
På Google I/O 2021 annoncerer Google nogle vigtige opgraderinger til ARCore, virksomhedens augmented reality-platform, der driver mere end 850 millioner Android-smartphones verden over. I modsætning til Project Tango, som krævede specialiseret hardware, er ARCore afhængig af din telefons eksisterende hardware og sensorer til at indsamle data om dybde, bevægelsessporing og lysestimering for at hjælpe udviklere med at bygge interaktiv AR erfaringer.
Siden lanceringen har Google støt forbedret funktionssættet og mulighederne i ARCore, skubbede grænserne for, hvad udviklere af AR-apps kan opnå med den eksisterende hardware i Android smartphones. Sidste år, Google frigivet ARCore Depth API for at give udviklere mulighed for at generere et dybdekort ved hjælp af kun et enkelt RGB-kamera og skabe mere realistiske AR-oplevelser. I dag tilføjer virksomheden to nye værktøjer til ARCores arsenal: Raw Depth API og Recording and Playback API.
ARCore Raw Depth API
Den nye Raw Depth API bygger på Dybde API at give mere detaljerede repræsentationer af omgivende objekter ved at generere rå dybdekort med tilsvarende konfidensbilleder. Mens Depth API fokuserede på at generere udjævnede dybdekort med dybdeestimater for alle pixels, Depth API har til formål at fange mere realistiske dybdekort med tillidsbilleder, der giver en per-pixel dybde skøn.
Et andet forbedringsområde er hit-testen, som nu bruger dybdekort i stedet for fly til at give flere hit-testresultater selv på ikke-plane og lavteksturgulve. TeamViewers LifeAR-app har brugt dybdehittesten til at integrere AR-funktioner i videoopkald.
Disse nye forbedringer kræver ikke specialiseret hardware som time-of-flight (ToF) sensorer og kan derfor implementeres på et stort flertal af ARCore-certificerede enheder. Raw Depth API og dybde hit-testen er tilgængelige for udviklere fra i dag.
ARCore Recording and Playback API
Udover den nye Raw Depth API lancerer Google også en ny Recording and Playback API i ARCore, der giver app-udviklere større fleksibilitet til at teste forskellige AR-oplevelser. Når man bygger nye AR-oplevelser, skal udviklere ofte løbende teste i specifikke miljøer og steder. Med den nye Recording and Playback API kan udviklere nu optage videooptagelser med AR-metadata såsom dybde- og IMU-bevægelsessensordata, og brug dem til at genskabe det samme miljø for yderligere afprøvning. Ideen her er at optage optagelserne én gang og bruge det som en skabelon til at teste andre AR-effekter og oplevelser i stedet for at skyde friske optagelser hver gang. Ride-hailing-appen Didi-Rider brugte API'et til at bygge og teste AR-drevne retninger i sin app og var i stand til at spare 25 % på R&D og accelererede sin udviklingscyklus med seks måneder.
For slutbrugere muliggør Recording and Playback API også nye AR-oplevelser såsom post-capture AR. Dette giver brugerne mulighed for at feed en tidligere optaget video til AR-apps, hvilket fjerner behovet for at være fysisk der på stedet og foretage en live kamerasession. Med andre ord kan brugere optage optagelser én gang og tilføje AR-effekter senere. ARCore Recording and Playback API er tilgængelig for udviklere fra i dag, og du kan læse mere om det på denne side.