Nvidia: Gelecekte yazılım sadece yüksek lisans eğitimlerinin bir koleksiyonudur

Kod yazmaya yardımcı olmak için büyük dil modellerini (LLM'ler) kullanmayı bir kenara bırakın, Nvidia CEO'su Jensen Huang, gelecekte kurumsal yazılımın yalnızca görevi tamamlamak için bir araya getirilmiş bir sohbet robotları koleksiyonu olacağına inanıyor.

GTC sırasında sahnede "Bunu sıfırdan yazmanız veya bir sürü Python kodu veya buna benzer bir şey yazmanız pek mümkün değil" dedi. temel düşünce Pazartesi. "Yapay zekadan oluşan bir ekip kurmanız çok muhtemel."

Jensen, bu yapay zeka ekibinin, bir talebi parçalamak ve diğer çeşitli modellere devretmek için tasarlanmış bir model içerebileceğini açıklıyor. Bu modellerden bazıları SAP veya Service Now gibi iş hizmetlerini anlamak üzere eğitilmiş olabilir, diğerleri ise bir vektör veritabanında depolanan veriler üzerinde sayısal analiz gerçekleştirebilir. Bu veriler daha sonra bir araya getirilerek başka bir model aracılığıyla son kullanıcıya sunulabilir.

"Her gün veya bilirsiniz, günün her saatinde bir inşaat planıyla, bir tahminle, bir müşteri uyarısıyla, bir hata veri tabanıyla ya da buna benzer bir şeyle ilgili bir rapor alabiliriz" diye açıkladı.

Tüm bu modelleri bir araya getirmek için Nvidia, Docker'ın kitabından bir sayfa çıkarıyor ve yapay zeka için bir konteyner çalışma zamanı oluşturuyor.

Nvidia Inference Microservices veya kısaca NIM olarak adlandırılan bunlar, ister açık kaynak ister özel olsun, her iki modeli ve onu çalıştırmak için gerekli tüm bağımlılıkları içeren konteyner görüntüleridir. Bu konteynerleştirilmiş modeller daha sonra Nvidia ile hızlandırılmış Kubernetes düğümleri de dahil olmak üzere herhangi bir sayıda çalışma zamanına dağıtılabilir.

“DGX Cloud adlı altyapımız üzerinde konuşlandırabileceğiniz gibi, prem olarak da dağıtabilirsiniz ya da dilediğiniz yere dağıtabilirsiniz. Bir kez geliştirdikten sonra onu istediğiniz yere götürebilirsiniz," dedi Jensen.

Elbette, önce Nvidia'nın AI Enterprise paketine abone olmanız gerekecek; bu, bulutta GPU başına 4,500 ABD Doları/yıl veya GPU başına 1 ABD Doları/saat ile pek de ucuz değil. Bu fiyatlandırma stratejisi, L40'larda veya LXNUMX'larda çalıştırmanıza bakılmaksızın aynı maliyete sahip olduğundan, genel olarak daha yoğun ve yüksek performanslı sistemleri teşvik ediyor gibi görünmektedir. B100s.

GPU hızlandırmalı iş yüklerini kapsayıcı hale getirme fikri tanıdık geliyorsa da bu, Nvidia için pek de yeni bir fikir değil. CUDA hızlandırması yapıldı destekli Docker, Podman, Containerd veya CRI-O dahil olmak üzere çok çeşitli konteyner çalışma zamanlarında yıllardır kullanılıyor ve Nvidia'nın Container Runtime'ı herhangi bir yere gidecek gibi görünmüyor.

NIM'in arkasındaki değer teklifi, Nvidia'nın bu modellerin paketlenmesini ve optimizasyonunu üstleneceği ve böylece modellerden en iyi performansı elde etmek için gerekli olan CUDA, Triton Inference Server veya TensorRT LLM'nin doğru sürümüne sahip olacağı yönünde görünüyor.

Tartışma şu: Nvidia, belirli model türlerinin çıkarım performansını önemli ölçüde artıran bir güncelleme yayınlarsa, bu işlevsellikten yararlanmak için en son NIM görüntüsünün indirilmesi yeterli olacaktır.

Donanıma özel model optimizasyonlarına ek olarak Nvidia, konteynerlerin API çağrıları aracılığıyla birbirleriyle sohbet edebilmeleri için tutarlı iletişim sağlama üzerinde de çalışıyor.

Anladığımız kadarıyla, bugün piyasadaki çeşitli yapay zeka modelleri tarafından kullanılan API çağrıları her zaman tutarlı değildir, bu da bazı modelleri bir araya getirmenin daha kolay olmasına, bazılarının ise ek çalışma gerektirmesine neden olabilir.

Kurumsal bilginin genel amaçlı modellere aktarılması

Yapay zeka sohbet robotu kullanan herkes, genel bilgi sorularında genellikle oldukça iyi olsalar da, belirsiz veya teknik isteklerde her zaman en güvenilir olmadıklarını bilir.

Jensen açılış konuşmasında bu gerçeğin altını çizdi. Nvidia'da kullanılan dahili bir program hakkında soru sorulduğunda, Meta'nın Llama 2 70B büyük dil modeli, şaşırtıcı olmayan bir şekilde ilgisiz bir terimin tanımını sağladı.

İşletmelerin kendi modellerini eğitmesini sağlamak yerine (ki bu çok fazla GPU satacak ancak adreslenebilir pazarı önemli ölçüde sınırlayacaktır) Nvidia, NIM'lerini müşteri verileri ve süreçlerine göre ince ayar yapacak araçlar geliştirdi.

"Verileri düzenlemenize, verileri hazırlamanıza yardımcı olan, NeMo Microservices adında bir hizmetimiz var, böylece bu yapay zekayı kullanabilirsiniz. Ona ince ayar yaparsınız ve sonra onu korursunuz; daha sonra performansını diğer örneklere göre değerlendirebilirsiniz," diye açıkladı Huang.

Ayrıca, modelin özel olarak eğitilmediği bilgileri yüzeye çıkarmak için erişim artırılmış nesil (RAG) kullanma konseptine dayanan Nvidia'nın NeMo Retriever hizmetinden de bahsetti.

Buradaki fikir, belgelerin, süreçlerin ve diğer verilerin modele bağlı bir vektör veritabanına yüklenebilmesidir. Model, bir sorguya dayanarak bu veritabanında arama yapabilir, ilgili bilgileri alabilir ve özetleyebilir.

RAG'leri entegre etmek için NIM modelleri ve NeMo Retriever şu anda mevcuttur; NeMo Microservices ise erken erişim aşamasındadır. ®

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://go.theregister.com/feed/www.theregister.com/2024/03/19/nvidia_why_write_code_when/