Copilot neden şimdilik yalnızca AI bilgisayarlarda yerel olarak çalışacak?

Copilot neden şimdilik yalnızca AI bilgisayarlarda yerel olarak çalışacak?

Zaman Damgası: 31 Mart 2024 7:33
Copilot neden şimdilik yalnızca AI PC'lerde yerel olarak çalışacak? PlatoBlockchain Veri Zekası. Dikey Arama. Ai.

Yorum Yap Microsoft'un AI PC'yi neyin oluşturduğu ve neyin oluşturmadığına ilişkin tanımı şekilleniyor. Windows'un en son sürümü, özel bir Copilot anahtarı ve saniyede en az 40 trilyon işlem gerçekleştirebilen bir NPU ile, yakında Microsoft Copilot'u makinenizde yerel olarak çalıştırabileceksiniz.

Redmond adlı gereksinimleri Çip devinin Windows'taki AI modeli, AI PC kategorisinin en güçlü destekçilerinden biri olan Intel tarafından resmileştirildi. yapay zeka zirvesi bu hafta Taipei'de.

Büyük bir dil modelini (LLM) yerel olarak çalıştırmanın bazı temel faydaları vardır. Teorik olarak sorguların uzak bir veri merkezine ve uzak bir veri merkezinden gönderilmesi gerekmediğinden ve ayrıca daha fazla gizliliğe sahip olduğundan, son kullanıcılar daha düşük gecikme süresine ve dolayısıyla daha iyi yanıt sürelerine sahip olmalıdır. Bu arada Microsoft için, yapay zeka iş yükünün daha fazlasını müşteri cihazlarına kaydırmak, bir sonraki OpenAI modelinin eğitilmesine yardımcı olmak veya bunu bir bulut API'si olarak sunmak gibi diğer görevler için kendi kaynaklarını serbest bırakıyor.

Microsoft, Copilot LLM'yi tamamen insanların Windows AI bilgisayarlarındaki NPU'lar veya sinirsel işlem birimleri üzerinde çalıştırmayı umuyor. görünüşe göre yorumlar zirvede Intel yöneticileri tarafından yapıldı. X86 devinin, silikonunun Redmond'un işlerini evde veya ofiste çalıştırabilecek kadar güçlü olduğuna herkesi ikna etmek için bu çizgiyi zorladığını hayal edebiliyoruz.

Yardımcı Pilot'u Azure'un göbeğinden ayırma fikri bazıları için çekici olsa da, herkes bu fikrin hayranı gibi görünmüyor Clippy'nin vücut bulmuş hali ve öngörülebilir gelecekte en azından bir miktar işlemin bulutta yapılması neredeyse kesin.

Intel yöneticileri de aynısını söyledi: Daha hızlı donanım, Copilot'un daha fazla "öğesinin" yerel olarak çalışmasına olanak tanıyacak. Başka bir deyişle, işlevlerin en azından bir kısmı için hala bir ağ bağlantısına bağımlı olacaksınız ve gerisini AI PC kendisi halledecek.

Bunun nedeni pek de sürpriz olmamalı. Bu AI bilgisayarların kaynakları sınırlı ve Copilot'u destekleyen model (OpenAI'nin GPT-4'ü) çok büyük. Microsoft'un kullandığı sürümün tam olarak ne kadar büyük olduğunu bilmiyoruz ancak tahminleri GPT-4 modelinin tamamını yaklaşık 1.7 trilyon parametreye yerleştirdik. Niceleme veya modeli INT4'te çalıştırırken bile yaklaşık 900 GB belleğe ihtiyacınız olacaktır.

Nasıl işe yarayacağını düşünüyoruz

GPT-4, uzmanların karışımı modeli olarak adlandırılan bir modeldir. Özetle bu, aslında sorguların yönlendirildiği bir dizi daha küçük, özel, önceden eğitilmiş modelden bir araya getirildiği anlamına gelir. Metin oluşturma, özetleme, kod oluşturma vb. için optimize edilmiş birden fazla modele sahip olunarak, bir görevi tamamlamak için tüm modelin çalıştırılmasına gerek kalmadığından çıkarım performansı iyileştirilebilir.

Intel'in, Copilot özelliklerinin yerel olarak çalıştırılmasını tanımlamak için "öğeler" terimini kullanması, bu uzmanlardan bazılarının, dizüstü bilgisayar donanımında çalışabilen daha küçük, daha çevik modellerle değiştirilebileceğini gösteriyor. Daha önce de incelediğimiz gibi, mevcut kişisel donanım, Mistral veya Meta gibi daha küçük yapay zeka modellerini çalıştırabilecek kapasitededir.

Tesadüfen Microsoft yakın zamanda pompalanan Fransız mini model oluşturucusu Mistral AI'ya 15 milyon Euro (16.3 milyon $) aktarıldı ve çalışmalarını Azure müşterilerinin kullanımına sunmayı planlıyor. Yalnızca 7 milyar parametre boyutuyla Mistral-7B kesinlikle bir AI PC'nin belleğine rahatça sığacak kadar küçüktür ve 4 bit niceleme kullanıldığında yaklaşık 4 GB bellek gerektirir.

Ve bu genel amaçlı bir model için. Muhtemelen, yalnızca Visual Studio Code gibi bir uygulama başlatıldığında ve etkin bir Github Copilot aboneliği algılandığında belleğe yüklenen, kaynak kodu oluşturma için ayarlanmış daha küçük modellerle de idare edebilirsiniz. Unutmayın, Copilot bir sohbet robotundan daha fazlasıdır; Microsoft'un işletim sistemi ve yazılım kitaplığına eklenen bir yapay zeka özellikleri paketidir.

Redmond, AI PC spesifikasyonunun ne kadar bellek gerektirdiğini söylemedi ancak deneyimlerimize göre yerel yüksek lisans16GB hızlı DDR5 yeterli olacaktır.

Microsoft'un izlediği yol ne olursa olsun, yerel ve uzak modellerin birleşimi bazı ilginç davranışlara yol açabilir. Bu yerel modellerin hangi koşullar altında devreye gireceğini henüz bilmiyoruz, ancak Microsoft'un Windows Cihazları kurumsal vekili Pavan Davuluri, karışımın dinamik olabileceğini öne sürdü.

AMD'nin Gelişmiş Yapay Zeka etkinliği sırasında sahnede şunları söyledi: "Her iki dünyada da en iyi bilişimi sağlamak için bulut ve istemci arasındaki geçişleri yükleyebilmek istiyoruz." olay aralıkta. "Yerel bilgi işlemin avantajlarını, gelişmiş gizlilik, yanıt verme ve gecikme süresi gibi şeyleri bulutun gücüyle, yüksek performanslı modeller, büyük veri kümeleri, çapraz platform çıkarımıyla bir araya getiriyor."

Bu nedenle Microsoft'un yerel yapay zekayı nasıl kullanabileceğine dair birkaç senaryo görebiliriz. Bunlardan ilki, Microsoft sunucularından iş yükünü boşaltmak ve yanıt sürelerini iyileştirmektir. Donanım geliştikçe, daha fazla Copilot özelliği buluttan kullanıcı cihazlarına aktarılabilir.

İkincisi, ağ kesintileri durumunda geri çekilmek olacaktır. AI PC'nizin ağla bağlantısı kesildiğinde tamamen durmak yerine daha da aptallaştığını hayal edebilirsiniz.

Donanım kısıtlamaları

Şebekeden bağımsız manifestolar hazırlayan bölünmüş beyinli yapay zeka bilgisayarları konusunda fazla heyecanlanmadan önce, şu anda donanım gereksinimlerini karşılayan herhangi bir makine bulunmadığını ve bunun nedeninin Copilot anahtarının olmaması olmadığını belirtmek isteriz.

Sorun, NPU'ların x86 silikonunda hala nispeten yeni olması ve mevcut olanın yeterince güçlü olmamasıdır. AMD, 2023'ün başlarında mobil işlemcilerine NPU ekleyen ilk şirketler arasında yer aldı. Ryzen 7040 seri cips.

Bu kadro, Aralık ayında House of Zen'in İlerleyen Yapay Zeka etkinliği sırasında bir saat artışı yaşadı. AMD, lansmanıyla NPU'larını da masaüstüne taşıdı 8000G APU'lar bu yıl Ocak ayında CES'te.

Intel, özel yapay zeka hızlandırıcı bloklarını lansmanıyla birlikte kullanıma sundu meteor gölü mikroişlemci parçaları Aralık ayı sonlarında. Bu Core Ultra yongaları, Intel'in Movidius görüntü işleme biriminden (VPU) türetilmiş bir NPU'ya sahiptir. demoed geçen yılki İnovasyon etkinliği sırasında çeşitli iş yüklerini çalıştırdı.

Ne yazık ki çipler saniyede yalnızca 10 ila 16 trilyon (tipik olarak INT4) işlem gerçekleştirebilmektedir; bu, Microsoft'un 40 TOPS spesifikasyonunun çok altındadır. Bu, piyasadaki yapay zeka bilgisayarları olarak adlandırılan bilgisayarların çoğunun, aradaki farkı kapatmak için GPU'ya güvenmeden gereksinimleri karşılayamayacağı anlamına geliyor.

Hem Intel hem de AMD, sırasıyla Lunar Lake ve Strix Point silikonuyla gelen daha yetenekli çiplere sahip. Ancak yakın vadede Qualcomm pazarı köşeye sıkıştıracak gibi görünüyor.

Qualcomm'un Snapdragon X Elite işlemcisini taşıyan dizüstü bilgisayarlar mobil işlemciler 2024 ortalarında çıkacak ve 45 TOPS kapasiteli bir NPU'ya sahip olacak. Qualcomm, 4.6 teraFLOPS FP32 performansına sahip bir Adreno GPU ile birleştiğinde, parçanın tamamen cihazda 13 milyara kadar parametreye kadar AI modellerini çalıştırabileceğini ve 30 milyar parametreli daha küçük LLM'leri çalıştırırken saniyede 7 token üretebileceğini söylüyor.

Daha yüksek performanslı NPU'lara ve daha büyük bellek depolarına sahip bilgisayarlar geldikçe ve küçük modeller daha yetenekli hale geldikçe, Microsoft'un, donanım bunu kaldırabildiğinde, yerel cihazlara daha fazla işlevsellik yüklemeye başlayacağından şüpheleniyoruz. ®

Zaman Damgası:

Den fazla Kayıt