Einmal trainieren, überall laufen, fast: Qualcomms Bestreben, KI auf sein Telefon zu bringen, PC-Chips

Qualcomm weiß, dass der Snapdragon-Riese, wenn er möchte, dass Entwickler KI-Anwendungen für sein gesamtes Silizium-Portfolio erstellen und optimieren, die Erfahrung einfacher und im Idealfall besser machen muss als das, was seine Konkurrenten in der Software-Stack-Abteilung ausgeheckt haben.

Deshalb stellte der Fabless-Chipdesigner am Mittwoch vor, was er den nennt Qualcomm AI-Stack, das unter anderem darauf abzielt, es Entwicklern zu ermöglichen, KI-Modelle, die sie für einen Gerätetyp, sagen wir Smartphones, entwickelt haben, einfach für einen anderen anzupassen, wie PCs. Dieser Stapel ist nur für Geräte gedacht, die von Qualcomms System-on-Chips angetrieben werden, sei es in Laptops, Mobiltelefonen, Autounterhaltung oder etwas anderem.

Während Qualcomm vor allem für seine mobilen Arm-basierten Snapdragon-Chips bekannt ist, die viele Android-Telefone antreiben, hofft das Chiphaus, in andere Märkte wie PCs, das Internet der Dinge und die Automobilindustrie zu wachsen. Diese Erweiterung bedeutet, dass Qualcomm mit solchen konkurriert Apple, Intel, Nvidia, AMD, und andere, auf einem viel größeren Schlachtfeld.

Da sich alle diese Akteure darin einig sind, dass KI eine wichtige zukünftige Arbeitslast für alles ist, von Autos und IoT-Geräten bis hin zu PCs und Smartphones, hofft Qualcomm, sich mit einem einheitlichen Software-Stack abzuheben, der alle bestehenden Tools, Frameworks, Laufzeiten und andere des Unternehmens zusammenführt Arten von Software zur Entwicklung von KI-Anwendungen auf seinen Prozessorfamilien.

In einem Briefing mit Journalisten sagte Qualcomm-Manager Ziad Asghar, die Konsolidierung der KI-Softwarebemühungen des Unternehmens entspreche der Art und Weise, wie das Unternehmen seine Kernchip-Technologie übernommen und durch Anpassung an verschiedene Märkte angepasst habe.

„So wird eine Investition zu einem echten Vorteil für uns, denn jetzt kann sich die Investition, die wir in einen Bereich tätigen, tatsächlich sehr stark auf alle anderen Bereiche ausbreiten“, sagte Asghar, Vizepräsident des Produktmanagements bei Qualcomm Technologies.

Toolkit öffnen

Mit Qualcomm AI Stack hofft das Unternehmen nun, diesen Vorteil der Verwendung einer Reihe von Technologien für mehrere Marktbereiche für Entwickler und Gerätehersteller auf der Softwareseite verfügbar zu machen.

Durch die Reduzierung des Arbeitsaufwands, der für die Anpassung von KI-Anwendungen von einem Qualcomm-Chiptyp an einen anderen erforderlich ist, verspricht das Unternehmen, Unternehmen Geld für teure Engineering-Ressourcen zu sparen.

„Wir geben unserer OEM-Basis die Möglichkeit, dies in großem Umfang zu tun, ohne tatsächlich viel mehr in Bezug auf [einmaliges Engineering] ausgeben zu müssen“, sagte Asghar.

Was Qualcomm AI Stack von konkurrierenden Software-Stacks unterscheidet, ist laut Asghar das Qualcomm AI Model Efficiency Toolkit. Eines der wichtigsten Merkmale ist die Fähigkeit, ein leistungshungriges KI-Modell, das in der Cloud trainiert wurde, von 32-Bit-Gleitkommapräzision auf das 8-Bit-Ganzzahlformat zu komprimieren, damit es auf Geräten mit geringem Stromverbrauch gut ausgeführt werden kann.

„Dadurch können Sie enorme Vorteile in Bezug auf den Stromverbrauch erzielen, in vielen Fällen in Szenarien wie diesem eine bis zu vierfache Verbesserung des Stromverbrauchs“, sagte er.

Qualcomm setzt auch auf sein Neural Architecture Search-Tool, mit dem Entwickler KI-Modelle anhand verschiedener Einschränkungen optimieren können, z. B. höhere Genauigkeit, geringere Latenz oder geringerer Stromverbrauch. Dies wird es Entwicklern ermöglichen, sagte Asghar, „viel mehr Genauigkeit oder ein Modell zu erhalten, das Ihnen eine geringere Latenzzeit bietet, oder ein Modell, das in der Lage ist, die gleiche Aufgabe bei geringerer Leistung zu erledigen.“

Während ein Großteil der zugrunde liegenden Software im Qualcomm AI Stack nicht neu ist, nannte Asghar die Vereinheitlichung der Elemente einen „Sprung nach vorne“ für Entwickler und Gerätehersteller und sagte, dass sie in Zukunft als Grundlage für domänenspezifische Softwareentwicklungskits dienen wird Märkte nehmen Gestalt an.

„Wir stellen uns vor, dass wir jetzt mit dieser sehr soliden Grundlage, die über alle verschiedenen Geschäftsbereiche hinweg einheitlich ist, damit beginnen können, mehr dieser domänenspezifischen SDKs zu schreiben, wenn eine neue Branche entsteht, in der wir eine Agglomeration unserer Kunden sehen.“ er sagte. ®