Vad förbättrad AI kan betyda för nästa Tensor-chip

På senare tid har AI varit kärnan i många funktioner som är integrerade i användarupplevelsen, med många företag som vill utnyttja kraften i AI i alla nya funktioner under utveckling. Från bättre taligenkänning till fixa suddiga bilder och allt däremellan, många av de funktioner vi tar för givna nuförtiden byggdes kring AI. Inget av dessa företag tenderar dock utan tvekan att luta sig mer mot AI: s skicklighet än Google. Även om många kommer att peka på Googles interna Tensor SoCs som den första indikatorn på Googles ökande beroende av AI, i verkligheten går det långt tillbaka innan starten av Tensor SoCs. Och med Google som tillkännager sina avsikter att luta sig mycket mot AI på årets Google I/O, att integrationen bara blir viktigare.

Ambient Computing: Googles slutmål

Redan 2019 bröt Googles SVP för enheter och tjänster, Rick Osterloh, ut termen "ambient computing" för allmänheten på Tillverkad av Google '19-evenemang

. Till publikens stora förvirring definierade Osterloh ambient computing som konceptet att ha slutanvändaren i centrum av systemet, inte deras telefoner eller andra enheter de äger. "Hjälp finns var som helst du vill ha den, och den är flytande," sa han. "Tekniken försvinner bara i bakgrunden när du inte behöver den."

I huvudsak är Googles mål att utveckla ett system som enkelt och sömlöst hanterar användarens frågor så effektivt som möjligt med minimalt intrång. Se det som Iron Mans Jarvis, förutom att det vänder sig till normala användare istället för en miljardärs superhjälte. På samma sätt kommer en röstassistent – ​​Google Assistant, i vårt fall – att stå i centrum för denna ambitiösa vision. Vid det här laget skulle många bli förlåtna för att tolka Googles så kallade ambient computing som att de satte in Google Assistant i varje enhet och kallar det en dag.

Redan innan debuten av sin Tensor SoC, investerades Google kraftigt i AI för att förbättra användarupplevelsen.

Snabbspola framåt till Google I/O 2022, och ambient computing var återigen, med Osterloh som upprepade att "I en värld med flera enheter vill människor inte spendera sitt liv med att krångla med teknik.” När keynoten fortsatte, betonade han hur Googles ansträngningar med sina Pixel-enheter är byggda med omgivande datoranvändning i åtanke. En hörnsten i Googles vision om ambient computing är naturligtvis Tensor SoC. Även om den kanske inte har de högsta hästkrafterna, är dess största styrka dess TPU, som är Googles integrerad maskininlärningsmotor som utnyttjar Googles expertis när det kommer till AI förbättringar.

I grund och botten är en TPU en hårdvara som är speciellt utformad för att hantera massiva matrisoperationer, som vanligtvis används för neurala nätverksarbetsbelastningar som ska utföras med mycket snabbare hastigheter. Dessa neurala nätverksarbetsbelastningar representerar i grunden kärnan i AI-baserade applikationer. Vanligtvis bearbetas de av antingen CPU: n eller GPU: n på andra styrkretsar. Även om dessa processer kommer att hanteras utan större problem på någon av dem, kan ingen av dem hantera dessa uppgifter så snabbt som en TPU kan.

Anledningen till att en TPU är snabbare är främst att både CPU: n och GPU: n i varierande utsträckning förlitar sig på att komma åt minnet medan de bearbetar sådana uppgifter. Jämfört med beräkningshastigheten är minnesåtkomsten betydligt långsammare (detta kallas von Neumann flaskhals), vilket kan hindra genomströmningen av CPU och GPU när du utför dessa matriser operationer. Det måste dock noteras att GPU: n är betydligt snabbare än CPU i detta avseende. Tack vare hur en TPU är designad krävs inte minnesåtkomst under bearbetningen av dessa matrisoperationer, vilket resulterar i mycket högre genomströmning än någon av dem. Den enda nackdelen är att TPU: n endast är lämplig för detta ändamål, vilket innebär att den inte kan ersätta vare sig CPU: n eller GPU: n vad gäller deras respektive uppgifter.

Med tanke på betydelsen av Tensor SoC var det inte så mycket av en överraskning att se Googles Pixel 6a - Googles mellanregistertelefon det året – behålla samma Tensor SoC som sitt flaggskeppssyskon, även om det var på bekostnad av något så viktigt som en högre uppdateringsfrekvens skärm. Om något visar detta hur avgörande Tensor SoC är för Googles slutliga mål. Även om det kanske lät tidigare som en eftertanke eller ett alltför ambitiöst projekt, låter det nu mer trovärdig än någonsin, särskilt med generativa AI och NLP-motorer som tar världen förbi storm.

Google Bard: AI vid rodret

Trots att det är självklart känt för sin banbrytande AI-forskning, var det inte Google som startade den senaste vågen av AI-drivna applikationer. Med AI-baserade chatbots som ChatGPT ökande popularitet var Google skyldig att släppa sin egen version. I den mest föga imponerande mode, Google presenterade äntligen Bard, sin egen version av generativ AI.

Liksom ChatGPT är Bard en annan AI-driven chatbot som använder en språkmodell för att svara på slutanvändarens frågor på ett naturligt, konversationssätt. Där den skiljer sig från sin utmanare är modellen den är tränad på, vilket är mer drastiskt än de flesta kanske tror.

Istället för OpenAI: s GPT använder Bard Googles hemodlade språkmodell, nämligen LaMDA, som har utvecklats bakom stängda dörrar. Före Bard fick vi bara en glimt tillbaka i Google I/O 2021. Stora saker förväntades naturligtvis av det tillkännagivandet, och det är svårt att hävda att Google inte levererade vad de lovade. Problemet är att Google är det inte ensam i detta utrymme. För första gången på många år är Google inte den första arkitekten bakom en viss innovation.

OpenAI fick verkligen bollen i rullning med ChatGPT. Förutom att ha släppts till allmänheten först, har ChatGPT redan genomgått några betydande uppgraderingar på denna relativt korta tid, inklusive introduktionen av OpenAI: s senaste GPT-4-språkmodell. Ännu mer oroande var hur Microsoft blåste nytt liv i Bing genom att införliva denna teknik. Om Google inte oroade tillräckligt av att blöta rampljuset av AI-teknik, kommer det säkert att ha dem på tårna om man hotar sin dominerande ställning på sökmotormarknaden. Detta var uppenbart från det ögonblick som Google hastigt tog omslagen av Bard, vilket ibland kämpade för att svara på några grundläggande frågor som att namnge årets månader eller skämtsamt antyda att tjänsten redan har stängts ner.

Det måste dock noteras att Bard fortfarande är i sin linda, och växtvärk var tvungen att hända, särskilt med tanke på de stora löftena om en sådan teknik. Också anmärkningsvärt är att att korsa gränsen först inte nödvändigtvis motsvarar garanterad framgång. Det är inte som att det gick smidigt för OpenAI heller, med ChatGPT som ibland gick av stapeln. Faktum är att Google fortfarande har ett gyllene tillfälle att inte bara komma ikapp OpenAIs chatbot utan till och med återställa sig själv som den att slå. På årets Google I/O, företaget tillkännagav massor av nya funktioner och förbättringar medan talade om hur det var att vara "ansvarig".

Hur kan Bard integreras i Googles enheter?

Bard kan dra nytta av många aspekter av Pixel och bredare Google Android-upplevelse. För det första skulle Bard också trivas med de unika funktionerna hos Tensor SoC inuti sina Pixel-enheter.

Det är inte första gången vi har sett Google engagera sig för AI-baserade funktioner. Redan innan debuten av sin Tensor SoC, investerades Google kraftigt i AI för att förbättra användarupplevelsen. En av höjdpunkterna med Pixel-enheter, Now Playing, gjorde sitt debut redan 2018. En annan hörnsten i Pixel-upplevelsen, Googles briljanta HDR+-behandling, bröt in på scenen långt innan Google övervägde idén att utveckla sin egen SoC. Självklart, Google integrerade senare sitt eget Pixel Visual Core-chip för att hjälpa till med dess sofistikerade HDR+-efterbehandling. Det var dock Googles efterbehandlingsalgoritmer som vände huvudet på många teknikentusiaster, så mycket att några av Android-utvecklarna har bara intresserat sig för att portera Googles Gcam-app till andra enheter, förbättrar fotokvaliteten avsevärt. Även Magic Eraser, en funktion som släpptes mycket senare, var snart till alla Pixel-enheter och Google One-medlemmar.

Tensor var inte grunden för dessa funktioner, men det är svårt att hävda att dessa funktioner inte drar nytta av de unika förmågorna hos Tensors dedikerade TPU-enhet. Förutom att öka prestandan för befintliga funktioner kan detta öppna upp möjligheten för Google att lägga till ännu mer AI-intensiva funktioner, och en av dessa funktioner kan mycket väl vara ingen mindre än Bard AI. Det har faktiskt rapporterats att Bard AI kan komma till Pixel-enheter som en exklusiv funktion innan de eventuellt rullas ut till alla Android-telefoner.

Kanske testar Google fortfarande vattnet via en fristående implementering av Bard på Android innan det slutligen integreras i något som Google Assistant. På så sätt kan Google ta med det bästa av två världar – Google Assistants raffinerade upplevelse och Bards kapacitet som en generativ AI-motor.

Generellt sett är Google Assistant ett utmärkt område för att integrera Bard. Till att börja med, eftersom de flesta Android-telefoner redan har Google Assistant förinstallerad, kommer ett sådant drag snabbt att öka Bards adoption. Google Assistant kommer också att bli betydligt smartare och mer användbar, tack vare Bards förmåga att ta fram mer sofistikerade svar. Med Bard kopplad till Google Assistant kan detta också underlätta integrationen med alla andra smarta enheter som stöder Google Assistant. På så sätt blir inte bara dina telefoner smartare, utan alla dina smarta enheter. Märkligt nog nämnde Google inte ens Assistant vid I/O en gång.

Men om Google skulle knyta ihop Bard och Google Assistant kan detta bara öka Bards prestanda genom att utnyttja Tensors potential. Om Google kunde träna sin TPU för att använda LaMDA (eller PALM 2), på sina enheter kan detta vara en stor spelförändring. Detta kommer inte bara att tippa skalan till förmån för sina Pixel-enheter, utan det kan också inducera en stor förändring i fokus när man utformar den kommande SoCs, som ytterligare späder ut den ständigt växande betoningen på rå CPU- och GPU-prestanda samtidigt som man lyfter fram betydelsen av att ha en kapabel, dedikerad TPU.

Med tanke på hur hård konkurrensen är, finns det praktiskt taget inget utrymme för Google att vara för försiktig för att ge det ett försök.

Naturligtvis kommer att knyta ihop Bard med Google Assistant presentera sina egna utmaningar som Google måste arbeta med. Till exempel kommer Google säkert att behöva arbeta med att minska risken för desinformation till praktiskt taget noll. Om Google inte gör det kan Google riskera att undergräva Google Assistants tillförlitlighet, utan tvekan dess största styrka i det virtuella assistentutrymmet. Det är rimligt att säga att insatserna är otroligt höga. Med tanke på hur Google ligger före alla i detta avseende skulle det dock vara en alltför bra möjlighet att slösa bort att inte förbinda sig till den planen.

Du kan se att Google redan har en stor grund att arbeta på. Google Assistant levereras med nästan alla Android-telefoner och stöds av många smarta enheter på marknaden. Google har nu ett helt eget Tensor-chipset byggt av design för att fokusera på AI-baserade applikationer. Det här är två nyckelområden där Google redan har besegrat Microsoft. Med tanke på hur hård konkurrensen är, finns det praktiskt taget inget utrymme för Google att vara för försiktig för att ge det ett försök.

Microsoft har fördelen för nu...

Det här har varit första gången vi har sett Google släpa efter. För ett företag som alltid har stoltserat med banbrytande AI-forskning känns det konstigt att se Google komma ikapp i just denna aspekt. Och av alla sina utmanare är det Microsoft som har ledningen, tack vare dess integration av OpenAI: s senaste GPT-4-språkmodell som återupplivade Bing i processen. Ändå finns det fortfarande den känslan av oundviklighet att Google snart kommer att ta tillbaka ledningen, även om det för närvarande finns ett stort gap mellan de båda företagen. Om något, Google har ännu inte dra sitt ess ur ärmen, medan Microsoft redan hoppade av sin pistol.

Det blir dock inte en rak linje till mål. Google kommer att behöva rensa några hörn först om det beslutar sig för att integrera Bard i sina Pixel-enheter. Även om Google Assistant-rutten kan låta som en enkel vinst, erbjuder den fortfarande sina egna utmaningar som Google måste navigera. Med det sagt, med Google som ännu inte lämnat startlinjen, är det verkligen Microsofts lopp att förlora. Det kan se ut så nu, men det kommer förmodligen inte att vara så länge.

När man tittar på Google I/O verkar det som att Google, även om det har panik, inte är redo att kasta in handduken ännu.