Träna en gång, spring var som helst, nästan: Qualcomms strävan att få AI till sin telefon, PC-chips

Qualcomm vet att om de vill att utvecklare ska bygga och optimera AI-applikationer över hela sin portfölj av kisel, måste Snapdragon-jätten göra upplevelsen enklare och, idealiskt, bättre än vad dess konkurrenter har kokat ihop i mjukvarustackavdelningen.

Det var därför den fabellösa chipdesignern på onsdagen introducerade vad den kallar Qualcomm AI Stack, som bland annat syftar till att låta utvecklare ta AI-modeller de har utvecklat för en enhetstyp, låt oss säga smartphones, och enkelt anpassa dem för en annan, som datorer. Denna stack är endast för enheter som drivs av Qualcomms system-on-chips, oavsett om de är i bärbara datorer, mobiltelefoner, bilunderhållning eller något annat.

Medan Qualcomm är mest känt för sina mobila Arm-baserade Snapdragon-chips som driver många Android-telefoner, hoppas chiphuset kunna växa till andra marknader, såsom persondatorer, Internet of Things och bilindustrin. Denna expansion innebär att Qualcomm konkurrerar med sådana som Apple, Intel, Nvidia, AMD, och andra, på ett mycket större slagfält.

Med tanke på att alla dessa spelare är överens om att AI är en viktig framtida arbetsbelastning för allt från bilar och IoT-enheter till datorer och smartphones, hoppas Qualcomm kunna sticka ut med en enhetlig mjukvarustack, som samlar alla företagets befintliga verktyg, ramverk, körtider och andra olika typer av mjukvara för att utveckla AI-applikationer på dess familjer av processorer.

I en briefing med journalister sa Qualcomm-chefen Ziad Asghar att konsolideringen av företagets AI-programvaruinsatser faller i linje med hur det har tagit sin kärnteknologi och anpassat den till olika marknader med anpassning.

"Så en investering blir en verklig positiv fördel för oss, för nu kan investeringen vi gör inom ett område faktiskt spridas väldigt starkt till alla olika områden", säger Asghar, som är vice vd för produktledning på Qualcomm Technologies.

Öppnar verktygslådan

Med Qualcomm AI Stack hoppas företaget nu kunna ge utvecklare och enhetstillverkare på mjukvarusidan denna fördel med att använda en uppsättning tekniker för flera marknadsområden.

Genom att skära ner på mängden arbete som krävs för att anpassa AI-applikationer från en typ av Qualcomm-chip till en annan, lovar biz att spara företag pengar på dyra tekniska resurser.

"Vi ger vår OEM-bas förmågan att kunna göra det i stor utsträckning utan att faktiskt behöva spendera mycket mer i termer av [engångsteknik]", sa Asghar.

Det som skiljer Qualcomm AI Stack från konkurrerande mjukvarustackar, enligt Asghar, är Qualcomm AI Model Efficiency Toolkit. En av dess viktigaste funktioner är förmågan att komprimera en kraftkrävande AI-modell tränad i molnet från 32-bitars flyttalsprecision till 8-bitars heltalsformat så att den kan fungera bra på enheter med låg effekt.

"När du gör det kan du ta med dig enorma fördelar när det gäller strömförbrukning, upp till fyra gånger förbättring av strömförbrukningen i många fall i scenarier som detta," sa han.

Qualcomm satsar också på sitt Neural Architecture Search-verktyg, som låter utvecklare optimera AI-modeller med hjälp av olika begränsningar, såsom större noggrannhet, lägre latens eller lägre effekt. Detta kommer att tillåta utvecklare att, sa Asghar, "få mycket mer noggrannhet eller en modell som kan ge dig lägre latens eller en modell som kan göra samma uppgift med lägre effekt."

Även om mycket av den underliggande mjukvaran i Qualcomm AI Stack inte är ny, kallade Asghar sammanslagningen av elementen ett "språng framåt" för utvecklare och enhetstillverkare och sa att det kommer att fungera som grunden för domänspecifika mjukvaruutvecklingssatser i framtiden. marknaderna tar form.

"Vad vi föreställer oss är att nu med denna mycket solida grund, som är förenad över alla olika affärsområden, kan vi börja skriva fler av dessa domänspecifika SDK:er när en ny vertikal dyker upp där vi ser en agglomeration av våra kunder," han sa. ®