Günümüzde müşterilerimizin çoğunluğu büyük dil modelleri (LLM'ler) konusunda heyecan duyuyor ve üretken yapay zekanın işlerini nasıl dönüştürebileceğini düşünüyor. Ancak bu tür çözüm ve modellerin işlerin olağan işleyişine getirilmesi kolay bir iş değil. Bu yazıda, temel model işlemlerine (FMOps) yol açan MLOps ilkelerini kullanarak üretken yapay zeka uygulamalarının nasıl operasyonel hale getirileceğini tartışıyoruz. Ayrıca, FMOps'un bir alt kümesi olan metinden metne uygulamalar ve LLM işlemlerinin (LLMOps) en yaygın üretken yapay zeka kullanım durumunu derinlemesine inceliyoruz. Aşağıdaki şekil tartıştığımız konuları göstermektedir.
Spesifik olarak, MLOps ilkelerini kısaca tanıtıyoruz ve süreçler, insanlar, model seçimi ve değerlendirmesi, veri gizliliği ve model dağıtımı ile ilgili olarak FMOps ve LLMOps ile karşılaştırıldığında ana farklara odaklanıyoruz. Bu, bunları kutudan çıktığı gibi kullanan, sıfırdan temel modeller oluşturan veya bunlara ince ayar yapan müşteriler için geçerlidir. Yaklaşımımız hem açık kaynaklı hem de tescilli modeller için eşit derecede geçerlidir.
ML operasyonelleştirme özeti
Gönderide tanımlandığı gibi Amazon SageMaker'a sahip işletmeler için MLOps temel yol haritası, ML ve operasyonlar (MLOps), makine öğrenimi (ML) çözümlerini verimli bir şekilde üretmek için insanların, süreçlerin ve teknolojinin birleşimidir. Bunu başarmak için, aşağıdaki şekilde gösterildiği gibi ekiplerin ve kişilerin bir kombinasyonunun işbirliği yapması gerekir.
Bu takımlar şu şekilde:
- Gelişmiş analiz ekibi (veri gölü ve veri ağı) – Veri mühendisleri, birden fazla kaynaktan veri hazırlamak ve almaktan, verileri düzenlemek ve kataloglamak için ETL (çıkarma, dönüştürme ve yükleme) işlem hatları oluşturmaktan ve makine öğrenimi kullanım senaryoları için gerekli geçmiş verileri hazırlamaktan sorumludur. Bu veri sahipleri, birden fazla iş biriminin veya ekibin verilerine erişmesini sağlamaya odaklanmıştır.
- Veri bilimi ekibi – Veri bilimcilerin, dizüstü bilgisayarlarda çalışan, önceden tanımlanmış temel performans göstergelerine (KPI'lar) dayalı en iyi modeli oluşturmaya odaklanması gerekiyor. Araştırma aşamasının tamamlanmasının ardından veri bilimcilerinin, CI/CD işlem hatlarını kullanarak modelleri oluşturmak (ML işlem hatları) ve üretime dağıtmak için otomasyonlar oluşturmak üzere ML mühendisleriyle işbirliği yapması gerekir.
- İş ekibi – Bir ürün sahibi, model performansını değerlendirmek için kullanılacak iş senaryosunu, gereksinimleri ve KPI'ları tanımlamaktan sorumludur. ML tüketicileri, kararları yönlendirmek için çıkarım sonuçlarını (tahminler) kullanan diğer iş paydaşlarıdır.
- Platform ekibi – Mimarlar işletmenin genel bulut mimarisinden ve tüm farklı hizmetlerin birbirine nasıl bağlandığından sorumludur. Güvenlik KOBİ'ler, iş güvenliği politikaları ve ihtiyaçlarına göre mimariyi gözden geçirir. MLOps mühendisleri, veri bilimcilerin ve ML mühendislerinin ML kullanım örneklerini üretmeleri için güvenli bir ortam sağlamaktan sorumludur. Spesifik olarak, iş ve güvenlik gereksinimlerine dayalı olarak CI/CD işlem hatlarını, kullanıcı ve hizmet rollerini ve kapsayıcı oluşturmayı, model tüketimini, test etmeyi ve dağıtım metodolojisini standartlaştırmaktan sorumludurlar.
- Risk ve uyumluluk ekibi – Daha kısıtlayıcı ortamlar için denetçiler verileri, kodu ve model yapıtlarını değerlendirmekten ve işletmenin veri gizliliği gibi düzenlemelere uygun olduğundan emin olmaktan sorumludur.
İşletmenin ölçeklendirmesine ve MLOps olgunluğuna bağlı olarak birden fazla kişinin aynı kişi tarafından kapsanabileceğini unutmayın.
Bu kişilerin, aşağıdaki şekilde gösterildiği gibi, farklı süreçleri gerçekleştirmek için özel ortamlara ihtiyaçları vardır.
Ortamlar aşağıdaki gibidir:
- Platform yönetimi – Platform yönetim ortamı, platform ekibinin AWS hesapları oluşturmak ve doğru kullanıcılarla verileri bağlamak için erişime sahip olduğu yerdir
- Veri – Genellikle veri gölü veya veri ağı olarak bilinen veri katmanı, veri mühendislerinin veya sahiplerinin ve iş paydaşlarının verileri hazırlamak, etkileşimde bulunmak ve verilerle görselleştirmek için kullandıkları ortamdır
- deneme – Veri bilimcileri, kavram kanıtlarının iş sorunlarını çözebileceğini kanıtlamak amacıyla yeni kitaplıkları ve makine öğrenimi tekniklerini test etmek için bir korumalı alan veya deneme ortamı kullanıyor
- Model oluşturma, model testi, model dağıtımı – Model oluşturma, test etme ve devreye alma ortamı, veri bilimcileri ve makine öğrenimi mühendislerinin araştırmayı otomatikleştirmek ve üretime taşımak için işbirliği yaptığı MLOps katmanıdır
- Makine öğrenimi yönetimi – Bulmacanın son parçası, tüm model ve kod yapılarının ilgili kişiler tarafından saklandığı, incelendiği ve denetlendiği makine öğrenimi yönetişim ortamıdır.
Aşağıdaki diyagram daha önce tartışılan referans mimarisini göstermektedir. Amazon SageMaker'a sahip işletmeler için MLOps temel yol haritası.
Her iş biriminin, merkezi veya merkezi olmayan bir veri gölünden veya veriden veri alan ML kullanım senaryolarını üretmek için her bir iş biriminin kendi geliştirme (otomatik model eğitimi ve oluşturma), üretim öncesi (otomatik test) ve üretim (model dağıtımı ve sunma) hesapları vardır. sırasıyla ağ. Üretilen tüm modeller ve kod otomasyonu, model kaydının özelliği kullanılarak merkezi bir takım hesabında depolanır. Tüm bu hesapların altyapı kodu, platform ekibinin her yeni ekibin MLOps platformuna katılımı için soyutlayabileceği, şablon haline getirebileceği, bakımını yapabileceği ve yeniden kullanabileceği paylaşılan bir hizmet hesabında (gelişmiş analitik yönetişim hesabı) sürümlendirilir.
Üretken yapay zeka tanımları ve MLOps'tan farklılıklar
Klasik makine öğreniminde, kişilerin, süreçlerin ve teknolojinin önceki birleşimi, makine öğrenimi kullanım örneklerinizi ürünleştirmenize yardımcı olabilir. Ancak üretken yapay zekada kullanım durumlarının doğası, ya bu yeteneklerin genişletilmesini ya da yeni yeteneklerin kullanılmasını gerektirir. Bu yeni kavramlardan biri de temel modelidir (FM). Aşağıdaki şekilde gösterildiği gibi çok çeşitli diğer yapay zeka modellerini oluşturmak için kullanılabildikleri için bu şekilde adlandırılıyorlar.
FM, terabaytlarca veriye dayalı olarak eğitilmiştir ve üç ana üretken yapay zeka kullanım durumu kategorisine dayalı olarak bir sonraki en iyi yanıtı tahmin edebilmek için yüz milyarlarca parametreye sahiptir:
- Metinden metne – FM'ler (LLM'ler) etiketlenmemiş verilere (serbest metin gibi) dayalı olarak eğitilmiştir ve bir sonraki en iyi kelimeyi veya kelime dizisini (paragraflar veya uzun makaleler) tahmin edebilmektedir. Ana kullanım örnekleri, insan benzeri sohbet robotları, özetleme veya programlama kodu gibi diğer içerik oluşturmayla ilgilidir.
- Metinden resme – Çiftler gibi etiketlenmiş veriler , en iyi piksel kombinasyonunu tahmin edebilen FM'leri eğitmek için kullanıldı. Örnek kullanım durumları, giysi tasarımı oluşturma veya hayali kişiselleştirilmiş görsellerdir.
- Metinden sese veya videoya – FM eğitimi için hem etiketli hem de etiketsiz veriler kullanılabilir. Üretken yapay zekanın ana kullanım örneklerinden biri müzik kompozisyonudur.
Bu üretken yapay zeka kullanım örneklerini üretmek için MLOps alanını ödünç almamız ve aşağıdakileri içerecek şekilde genişletmemiz gerekiyor:
- FM işlemleri (FMOps) – Bu, her türlü kullanım senaryosu türü de dahil olmak üzere üretken yapay zeka çözümleri üretebilir
- Yüksek Lisans işlemleri (LLMOps) – Bu, metinden metne dönüştürme gibi LLM tabanlı çözümler üretmeye odaklanan FMOps'un bir alt kümesidir
Aşağıdaki şekil bu kullanım durumlarının örtüşmesini göstermektedir.
Klasik ML ve MLOps ile karşılaştırıldığında FMOps ve LLMOps, aşağıdaki bölümlerde ele aldığımız dört ana kategoriye göre erteleme yapar: insanlar ve süreç, FM seçimi ve uyarlanması, FM'nin değerlendirilmesi ve izlenmesi, veri gizliliği ve model dağıtımı ve teknoloji ihtiyaçları. İzlemeyi ayrı bir yazıda ele alacağız.
Üretken yapay zeka kullanıcı türüne göre operasyonelleştirme yolculuğu
Süreçlerin tanımını basitleştirmek için ana üretken yapay zeka kullanıcı türlerini aşağıdaki şekilde gösterildiği gibi kategorilere ayırmamız gerekiyor.
Kullanıcı türleri aşağıdaki gibidir:
- sağlayıcılar – FM'leri sıfırdan oluşturan ve bunları diğer kullanıcılara (ince ayarlayıcı ve tüketici) ürün olarak sunan kullanıcılar. Derin uçtan uca makine öğrenimi ve doğal dil işleme (NLP) uzmanlığına, veri bilimi becerilerine ve devasa veri etiketleyici ve editör ekiplerine sahiptirler.
- İnce ayarlayıcılar – Sağlayıcıların FM'lerini özel gereksinimlere uyacak şekilde yeniden eğiten (ince ayar yapan) kullanıcılar. Modelin tüketiciler tarafından kullanılmak üzere bir hizmet olarak dağıtımını düzenlerler. Bu kullanıcıların uçtan uca güçlü makine öğrenimi ve veri bilimi uzmanlığına ve model dağıtımı ve çıkarımı bilgisine ihtiyacı var. Ayarlama için hızlı mühendislik de dahil olmak üzere güçlü alan bilgisi de gereklidir.
- Tüketiciler – İstenilen eylemleri tamamlamak için sağlayıcılardan veya ince ayarlayıcılardan gelen üretken yapay zeka hizmetleriyle metin istemi veya görsel bir arayüz aracılığıyla etkileşime giren kullanıcılar. Makine öğrenimi uzmanlığı gerekmez ancak çoğunlukla hizmet yeteneklerini anlayan uygulama geliştiricileri veya son kullanıcılar gerekir. Daha iyi sonuçlar için yalnızca hızlı mühendislik gereklidir.
Tanım ve gerekli makine öğrenimi uzmanlığı uyarınca, MLOps çoğunlukla sağlayıcılar ve ince ayarlayıcılar için gereklidir; tüketiciler ise üretken yapay zeka uygulamaları oluşturmak için DevOps ve AppDev gibi uygulama üretim ilkelerini kullanabilir. Ayrıca, kullanıcı türleri arasında, sağlayıcıların belirli bir sektöre (finansal sektör gibi) dayalı kullanım senaryolarını desteklemek için ince ayarlayıcılar olabileceği veya tüketicilerin daha doğru sonuçlar elde etmek için ince ayarlayıcılar haline gelebileceği kullanıcı türleri arasında bir hareket gözlemledik. Ancak kullanıcı türüne göre ana süreçleri inceleyelim.
Tüketicilerin yolculuğu
Aşağıdaki şekil tüketici yolculuğunu göstermektedir.
Daha önce de belirtildiği gibi, tüketicilerin bir FM seçmesi, test etmesi ve kullanması, belirli girdiler sağlayarak onunla etkileşime girmesi gerekir. istemleri. Bilgisayar programlama ve yapay zeka bağlamında istemler, bir yanıt oluşturmak için bir modele veya sisteme verilen girdiyi ifade eder. Bu, sistemin işlemek ve bir çıktı oluşturmak için kullandığı bir metin, komut veya soru biçiminde olabilir. FM tarafından oluşturulan çıktı daha sonra son kullanıcılar tarafından kullanılabilir; onlar da modelin gelecekteki tepkilerini geliştirmek için bu çıktıları derecelendirebilmelidir.
Bu temel süreçlerin ötesinde, tüketicilerin, ince ayarlayıcıların sunduğu işlevsellikten yararlanarak bir modele ince ayar yapma isteğini ifade ettiklerini fark ettik. Örneğin görseller üreten bir web sitesini ele alalım. Burada, son kullanıcılar özel hesaplar oluşturabilir, kişisel fotoğraflar yükleyebilir ve ardından bu görüntülerle ilgili içerik oluşturabilir (örneğin, son kullanıcıyı kılıç kullanan veya egzotik bir konumda bulunan bir motosikletin üzerinde tasvir eden bir görüntü oluşturmak). Bu senaryoda, tüketici tarafından tasarlanan üretken yapay zeka uygulamasının, bu işlevselliği son kullanıcılara sunmak için API'ler aracılığıyla ince ayar yapan arka uçla etkileşime girmesi gerekir.
Ancak bu konuya girmeden önce aşağıdaki şekilde gösterildiği gibi model seçimi, test etme, kullanım, girdi ve çıktı etkileşimi ve derecelendirme yolculuğuna odaklanalım.
*15K kullanılabilir FM referansı
1. Adım. En iyi FM yeteneklerini anlayın
Kullanım senaryosuna, mevcut verilere, düzenlemelere vb. bağlı olarak temel modellerini seçerken dikkate alınması gereken birçok boyut vardır. Kapsamlı olmasa da iyi bir kontrol listesi aşağıdakiler olabilir:
- Tescilli veya açık kaynaklı FM – Tescilli modeller genellikle finansal bir maliyete sahiptir, ancak genellikle daha iyi performans sunarlar (oluşturulan metin veya görüntünün kalitesi açısından), genellikle en iyi performansı ve güvenilirliği sağlayan model sağlayıcılardan oluşan özel ekipler tarafından geliştirilir ve korunur. Öte yandan, ücretsiz olmanın yanı sıra erişilebilir ve esnek olmanın ek faydalarını sunan açık kaynak modellerinin de benimsendiğini görüyoruz (örneğin, her açık kaynak modelinde ince ayarlar yapılabilir). Tescilli bir modele örnek olarak Anthropic'in Claude modeli verilebilir ve yüksek performanslı açık kaynaklı modele örnek olarak Temmuz 40 itibarıyla Falcon-2023B verilebilir.
- Ticari lisans – FM'ye karar verirken lisanslama hususları çok önemlidir. Bazı modellerin açık kaynak olduğunu ancak lisans kısıtlamaları veya koşulları nedeniyle ticari amaçlarla kullanılamayacağını unutmamak önemlidir. Farklılıklar çok ince olabilir: Yeni çıkan xgen-7b-8k-tabanı örneğin model açık kaynaktır ve ticari olarak kullanılabilir (Apache-2.0 lisansı), oysa modelin talimatlara göre ayarlanmış versiyonu xgen-7b-8k-inst yalnızca araştırma amacıyla yayımlanmıştır. Ticari bir uygulama için bir FM seçerken, lisans sözleşmesini doğrulamak, sınırlamalarını anlamak ve projenin amaçlanan kullanımına uygun olduğundan emin olmak önemlidir.
- parametreler – Sinir ağındaki ağırlıklardan ve sapmalardan oluşan parametre sayısı bir diğer önemli faktördür. Daha fazla parametre genellikle daha karmaşık ve potansiyel olarak güçlü bir model anlamına gelir çünkü verilerdeki daha karmaşık modelleri ve korelasyonları yakalayabilir. Bununla birlikte, daha fazla hesaplama kaynağı gerektirmesi ve dolayısıyla çalıştırmanın daha maliyetli olması da bir dezavantajdır. Ek olarak, özellikle açık kaynak alanında (7 ila 40 milyar arasında değişen modeller), özellikle ince ayar yapıldığında iyi performans gösteren daha küçük modellere doğru bir eğilim görüyoruz.
- hız – Bir modelin hızı boyutundan etkilenir. Daha büyük modeller, artan hesaplama karmaşıklığı nedeniyle verileri daha yavaş işleme eğilimindedir (daha yüksek gecikme). Bu nedenle, özellikle gerçek zamanlı veya gerçek zamanlıya yakın yanıtlar gerektiren sohbet botları gibi uygulamalarda, yüksek tahmin gücüne sahip bir modele olan ihtiyacı (genellikle daha büyük modeller) hıza yönelik pratik gereksinimlerle dengelemek çok önemlidir.
- Bağlam penceresi boyutu (belirteç sayısı) – İstem başına girilebilen veya çıkabilen maksimum jeton sayısıyla tanımlanan bağlam penceresi, modelin bir seferde ne kadar bağlamı dikkate alabileceğini belirlemede çok önemlidir (bir jeton, İngilizce için kabaca 0.75 kelimeye karşılık gelir). Daha büyük bağlam pencerelerine sahip modeller, daha uzun metin dizilerini anlayabilir ve oluşturabilir; bu, daha uzun konuşmalar veya belgeler içeren görevlerde yararlı olabilir.
- Eğitim veri seti – FM'nin ne tür veriler üzerinde eğitildiğini anlamak da önemlidir. Bazı modeller internet verileri, kodlama komut dosyaları, talimatlar veya insan geri bildirimleri gibi çeşitli metin veri kümeleri üzerinde eğitilebilir. Diğerleri ayrıca metin ve resim verilerinin kombinasyonları gibi çok modlu veri kümeleri üzerinde de eğitilebilir. Bu, modelin farklı görevlere uygunluğunu etkileyebilir. Ayrıca, bir modelin eğitildiği kaynaklara bağlı olarak bir kuruluşun telif hakkıyla ilgili endişeleri olabilir; bu nedenle, eğitim veri kümesini yakından incelemek zorunludur.
- Kalite – FM'nin kalitesi, türüne (tescilli ve açık kaynak), boyutuna ve eğitimine bağlı olarak değişiklik gösterebilir. Kalite bağlama bağlıdır; yani bir uygulama için yüksek kaliteli olarak değerlendirilen şey başka bir uygulama için olmayabilir. Örneğin, internet verileriyle eğitilmiş bir model, konuşma metni oluşturmak için yüksek kaliteli olarak değerlendirilebilir, ancak teknik veya özel görevler için bu daha düşük olabilir.
- İnce ayarlanabilir – Model ağırlıklarını veya katmanlarını ayarlayarak bir FM'e ince ayar yapma yeteneği çok önemli bir faktör olabilir. İnce ayar, modelin uygulamanın özel bağlamına daha iyi uyum sağlamasına olanak tanıyarak eldeki belirli görevdeki performansı artırır. Ancak ince ayar, ek hesaplama kaynakları ve teknik uzmanlık gerektirir ve tüm modeller bu özelliği desteklemez. Açık kaynaklı modeller (genel olarak) her zaman ince ayar yapılabilir çünkü model eserleri indirilmeye açıktır ve kullanıcılar bunları istedikleri zaman genişletip kullanabilirler. Tescilli modeller bazen ince ayar seçeneği sunabilir.
- Mevcut müşteri becerileri – FM seçimi aynı zamanda müşterinin veya geliştirme ekibinin becerilerinden ve aşinalığından da etkilenebilir. Bir kuruluşun ekibinde AI/ML uzmanı yoksa bir API hizmeti onlar için daha uygun olabilir. Ayrıca, bir ekibin belirli bir FM ile kapsamlı deneyimi varsa, yenisini öğrenmek ve ona uyum sağlamak için zaman ve kaynak yatırımı yapmak yerine onu kullanmaya devam etmek daha verimli olabilir.
Aşağıda, biri özel modeller ve diğeri açık kaynaklı modeller için olmak üzere iki kısa listenin örneği yer almaktadır. Mevcut seçeneklere hızlı bir genel bakış elde etmek için özel ihtiyaçlarınıza göre benzer tabloları derleyebilirsiniz. Bu modellerin performansının ve parametrelerinin hızla değiştiğini ve okuma sırasında güncelliğini yitirebileceğini, desteklenen dil gibi diğer özelliklerin ise belirli müşteriler için önemli olabileceğini unutmayın.
Aşağıda AWS'de (Temmuz 2023) kullanıma sunulan önemli özel FM'lerin bir örneği yer almaktadır.
Aşağıda AWS'de (Temmuz 2023) kullanıma sunulan dikkate değer açık kaynaklı FM örneği yer almaktadır.
10-20 potansiyel aday modele ilişkin bir genel bakış derledikten sonra, bu kısa listeyi daha da hassaslaştırmak gerekli hale gelir. Bu bölümde, bir sonraki tura aday olarak iki veya üç geçerli nihai model ortaya çıkaracak hızlı bir mekanizma öneriyoruz.
Aşağıdaki diyagram ilk kısa listeye alma sürecini göstermektedir.
Tipik olarak, yapay zeka modellerinin kullanıcı girdilerini anlamasına ve işlemesine olanak tanıyan yüksek kaliteli istemler oluşturma konusunda uzman olan bilgi istemi mühendisleri, bir model üzerinde aynı görevi (özetleme gibi) gerçekleştirmek için çeşitli yöntemlerle denemeler yapar. Bu istemlerin anında oluşturulmamasını, ancak sistematik olarak bir bilgi istemi kataloğundan çıkarılmasını öneriyoruz. Bu bilgi istemi kataloğu, bir sonraki bölümde tanıtacağımız, farklı geliştirme aşamalarındaki farklı bilgi istemi test kullanıcıları arasında tutarlılığı sağlamak amacıyla kopyaları önlemek, sürüm kontrolünü etkinleştirmek ve ekip içinde bilgi istemlerini paylaşmak için bilgi istemlerini depolamak için merkezi bir konumdur. Bu bilgi istemi kataloğu, bir özellik deposunun Git deposuna benzer. Potansiyel olarak hızlı mühendisle aynı kişi olabilecek üretken yapay zeka geliştiricisinin, daha sonra, geliştirmek istedikleri üretken yapay zeka uygulaması için uygun olup olmayacağını belirlemek için çıktıyı değerlendirmesi gerekir.
Adım 2. En iyi FM'yi test edin ve değerlendirin
Kısa liste yaklaşık üç FM'ye indirildikten sonra, FM'lerin yeteneklerini ve kullanım senaryosuna uygunluğunu daha fazla test etmek için bir değerlendirme adımı öneriyoruz. Değerlendirme verilerinin mevcudiyetine ve niteliğine bağlı olarak, aşağıdaki şekilde gösterildiği gibi farklı yöntemler öneriyoruz.
İlk olarak kullanılacak yöntem, test verilerini etiketleyip etiketlemediğinize bağlıdır.
Verileri etiketlediyseniz bunu, geleneksel ML modellerinde yaptığımız gibi bir model değerlendirmesi yapmak için kullanabilirsiniz (bazı örnekleri girin ve çıktıyı etiketlerle karşılaştırın). Test verilerinin ayrı etiketlere sahip olmasına (olumlu, olumsuz veya tarafsız duyarlılık analizi gibi) veya yapılandırılmamış metin (özetleme gibi) olmasına bağlı olarak, değerlendirme için farklı yöntemler öneriyoruz:
- Doğruluk metrikleri – Ayrık çıktıların olması durumunda (duyarlılık analizi gibi), hassasiyet, geri çağırma ve F1 puanı gibi standart doğruluk ölçümlerini kullanabiliriz
- Benzerlik metrikleri – Çıktı yapılandırılmamışsa (özet gibi), ROUGE ve kosinüs benzerliği gibi benzerlik metriklerini öneririz
Bazı kullanım örnekleri tek bir doğru cevaba sahip olmaya uygun değildir (örneğin, "5 yaşındaki kızım için kısa bir çocuk hikayesi oluşturun"). Bu gibi durumlarda, etiketli test verileriniz olmadığından modelleri değerlendirmek daha zor hale gelir. Otomatik değerlendirmeye karşı modelin insan tarafından incelenmesinin önemine bağlı olarak iki yaklaşım öneriyoruz:
- Döngüdeki İnsan (HIL) – Bu durumda, hızlı test uzmanlarından oluşan bir ekip, bir modelden gelen yanıtları inceleyecektir. Uygulamanın ne kadar kritik olduğuna bağlı olarak, hızlı test uzmanları model çıktılarının %100'ünü veya yalnızca bir örneği inceleyebilir.
- Yüksek Lisans destekli değerlendirme – Bu senaryoda, hızlı test uzmanlarının yerini, ideal olarak test edilenlerden daha güçlü (belki de daha yavaş ve daha maliyetli olsa da) bir LLM alır. LLM, model tarafından oluşturulan tüm yanıtları inceleyecek ve puanlayacaktır. Bu yöntem daha düşük kaliteyle sonuçlanabilir ancak modellerin performansı hakkında iyi bir başlangıç ölçümü sağlayabilecek daha ucuz ve daha hızlı bir değerlendirme seçeneğidir.
Örneğin, giriş sorgusunu, LLM yanıtını ve talimatları içeren bir LLM'ye yönelik aşağıdaki örnek istemi kullanabiliriz: "Yukarıda görüntülenen kullanıcı sorusuna yanıt olarak bir AI asistanının performansı hakkında geri bildiriminizi talep ediyoruz. . Lütfen asistanın yanıtının yararlılığını, alaka düzeyini, doğruluğunu ve ayrıntı düzeyini derecelendirin. Asistan, 1'den 10'a kadar bir genel puan alacaktır; burada daha yüksek puan, daha iyi genel performansı gösterir."
Bu istem değerlendirme için başka bir LLM'ye (EvalLLM) gönderilecektir. Aşağıda Falcon-40B modelinin yanıtının bir EvalLLM (bu durumda Claude) tarafından değerlendirildiği bir örnek yer almaktadır. “Ya Süveyş Kanalı hiç yapılmasaydı?” sorusunu kullanırız. Yanıt aşağıdaki gibidir:
Soru: Ya Süveyş Kanalı hiç inşa edilmeseydi?
şahin-40b-talimat
Süveyş Kanalı hiç inşa edilmeseydi, gemiler Akdeniz ile Kızıldeniz arasında geçiş yapmak için Afrika'yı dolaşmak zorunda kalacaktı. Bu, yolculuğa önemli ölçüde zaman ve mesafe katarak yolculuğu daha az verimli ve daha pahalı hale getirecektir. Ayrıca Süveyş Kanalı olmasaydı Orta Doğu ve Kuzey Afrika'daki pek çok ülkenin dünyanın geri kalanıyla bağlantısı çok daha az olurdu ve bu da ekonomik ve kültürel gelişmeyi engelleyecekti.
İnceleme (Puan: 9/10)
Asistanın yanıtı son derece alakalı, doğru ve ayrıntılıdır. Kullanıcının Süveyş Kanalı'nın var olmadığına dair varsayımsal sorusuna mükemmel bir yanıt sağlar. Asistan, deniz yolculuğu üzerindeki etkileri ile Orta Doğu ve Kuzey Afrika üzerindeki ekonomik ve kültürel etkiyi doğru bir şekilde belirtiyor. Ancak daha kapsamlı bir yanıt için jeopolitik sonuçları veya küresel ticaret kalıpları üzerindeki etkisini daha fazla detaylandırabilirdi.
Aşağıdaki şekil uçtan uca değerlendirme süreci örneğini göstermektedir.
Bu örneğe dayanarak, değerlendirmeyi gerçekleştirmek için, istem kataloğunda sakladığımız örnek istemleri ve özel uygulamalarımıza dayalı olarak etiketlenmiş veya etiketlenmemiş bir veri kümesi değerlendirmesini sağlamamız gerekir. Örneğin, etiketlenmiş bir değerlendirme veri kümesiyle, "Bana 2023'teki Birleşik Krallık Başbakanı'nın tam adını verin" gibi istemler (giriş ve sorgu) ve "Rishi Sunak" gibi çıktılar ve yanıtlar sağlayabiliriz. Etiketlenmemiş bir veri kümesiyle yalnızca "Bir perakende web sitesi için kaynak kodunu oluşturun" gibi soru veya talimatları sağlarız. Bilgi istemi kataloğu ve değerlendirme veri kümesinin birleşimine, değerlendirme istemi kataloğu. Bilgi istemi kataloğunu ve değerlendirme istemi kataloğunu farklılaştırmamızın nedeni, ikincisinin bilgi istemi kataloğunun içerdiği genel bilgi istemleri ve talimatlar (soru yanıtlama gibi) yerine belirli bir kullanım durumuna ayrılmış olmasıdır.
Bu değerlendirme istemi kataloğuyla bir sonraki adım, değerlendirme istemlerini en iyi FM'lere iletmektir. Sonuç, her FM'in istemlerini, çıktılarını ve etiketli çıktıyı bir puanla (varsa) içeren bir değerlendirme sonucu veri kümesidir. Etiketlenmemiş bir değerlendirme istemi kataloğu durumunda, bir HIL veya LLM'nin sonuçları gözden geçirmesi ve bir puan ve geri bildirim sağlaması (daha önce açıkladığımız gibi) için ek bir adım vardır. Nihai sonuç, tüm çıktıların puanlarını birleştiren (ortalama kesinliği veya insan derecelendirmesini hesaplayın) ve kullanıcıların modellerin kalitesini karşılaştırmasına olanak tanıyan toplu sonuçlar olacaktır.
Değerlendirme sonuçları toplandıktan sonra çeşitli boyutlara dayalı bir model seçilmesini öneriyoruz. Bunlar genellikle hassasiyet, hız ve maliyet gibi faktörlere bağlıdır. Aşağıdaki şekil bir örneği göstermektedir.
Her modelin güçlü yanları ve bu boyutlarda belirli ödünleşimleri olacaktır. Kullanım senaryosuna bağlı olarak bu boyutlara değişen öncelikler vermeliyiz. Önceki örnekte, en önemli faktör olarak maliyeti, ardından hassasiyeti ve ardından hızı önceliklendirmeyi seçtik. FM1 kadar yavaş ve verimli olmasa da yeterince etkili olmaya devam ediyor ve barındırması önemli ölçüde daha ucuz. Sonuç olarak, en iyi seçenek olarak FM2'yi seçebiliriz.
3. Adım. Üretken yapay zeka uygulamasının arka ucunu ve ön ucunu geliştirin
Bu noktada üretken yapay zeka geliştiricileri, hızlı mühendisler ve test uzmanlarının yardımıyla belirli uygulama için doğru FM'yi seçmiştir. Bir sonraki adım, üretken yapay zeka uygulamasını geliştirmeye başlamaktır. Aşağıdaki şekilde gösterildiği gibi, üretken yapay zeka uygulamasının gelişimini arka uç ve ön uç olmak üzere iki katmana ayırdık.
Arka uçta, üretken yapay zeka geliştiricileri, seçilen FM'yi çözümlere dahil ediyor ve son kullanıcı girişini uygun FM istemlerine dönüştürecek otomasyonu oluşturmak için bilgi istemi mühendisleriyle birlikte çalışıyor. Bilgi istemi test uzmanları, otomatik veya manuel (HIL veya LLM) testler için bilgi istemi kataloğuna gerekli girişleri oluşturur. Daha sonra üretken yapay zeka geliştiricileri, nihai çıktıyı sağlamak için hızlı zincirleme ve uygulama mekanizmasını oluşturur. Bu bağlamda istem zincirleme, daha dinamik ve bağlamsal olarak bilinçli LLM uygulamaları oluşturmaya yönelik bir tekniktir. Karmaşık bir görevi bir dizi daha küçük, daha yönetilebilir alt görevlere bölerek çalışır. Örneğin, bir yüksek lisans öğrencisine "Birleşik Krallık'ın başbakanı nerede doğdu ve orası Londra'dan ne kadar uzakta" sorusunu sorarsak, görev bireysel istemlere bölünebilir ve burada cevaba dayalı olarak bir bilgi istemi oluşturulabilir. "Birleşik Krallık'ın başbakanı kimdir", "Doğdukları yer neresidir" ve "Orası Londra'dan ne kadar uzakta?" Belirli bir girdi ve çıktı kalitesi sağlamak için üretken yapay zeka geliştiricilerinin, son kullanıcı girdilerini ve uygulama çıktılarını izleyecek ve filtreleyecek mekanizmayı da oluşturması gerekiyor. Örneğin, Yüksek Lisans uygulamasının zehirli istek ve yanıtlardan kaçınması gerekiyorsa, girdi ve çıktı için bir zehirlilik dedektörü uygulayabilir ve bunları filtreleyebilirler. Son olarak, değerlendirme istemi kataloğunun iyi ve kötü örneklerle zenginleştirilmesini destekleyecek bir derecelendirme mekanizması sağlamaları gerekmektedir. Bu mekanizmaların daha ayrıntılı bir temsili gelecek yazılarda sunulacaktır.
Üretken yapay zeka son kullanıcısına işlevsellik sağlamak için, arka uçla etkileşime giren bir ön uç web sitesinin geliştirilmesi gereklidir. Bu nedenle, DevOps ve AppDevs (buluttaki uygulama geliştiricileri) personelinin giriş/çıkış ve derecelendirme işlevselliğini uygulamak için en iyi geliştirme uygulamalarını takip etmesi gerekir.
Bu temel işlevselliğe ek olarak, ön uç ve arka ucun kişisel kullanıcı hesapları oluşturma, veri yükleme, ince ayarı kara kutu olarak başlatma ve temel FM yerine kişiselleştirilmiş modeli kullanma özelliklerini de içermesi gerekir. Üretken bir yapay zeka uygulamasının üretim süreci normal bir uygulamaya benzer. Aşağıdaki şekil örnek bir mimariyi göstermektedir.
Bu mimaride, üretken yapay zeka geliştiricileri, hızlı mühendisler ve DevOps veya AppDev'ler, uygulamayı özel kod depolarını kullanarak ve birleştirerek CI/CD yoluyla bir geliştirme ortamına (önceki şekilde üretken yapay zeka uygulama geliştirme) dağıtarak uygulamayı manuel olarak oluşturur ve test eder. geliştirici şubesi. Bu aşamada, üretken yapay zeka geliştiricileri, ince ayarlayıcıların FM sağlayıcıları tarafından sağlanan API'yi çağırarak ilgili FM'i kullanacaklardır. Ardından, uygulamayı kapsamlı bir şekilde test etmek için kodu test şubesine tanıtmaları gerekir; bu da CI/CD aracılığıyla üretim öncesi ortama (üretken AI Uygulama Ön Üretimi) dağıtımı tetikler. Bu ortamda, bilgi istemi testçilerinin çok sayıda bilgi istemi kombinasyonunu denemesi ve sonuçları gözden geçirmesi gerekir. Gelecekte test sürecini otomatikleştirmek için bilgi istemleri, çıktılar ve inceleme kombinasyonunun değerlendirme bilgi istemi kataloğuna taşınması gerekir. Bu kapsamlı testin ardından son adım, üretken AI uygulamasını ana dalla (üretken AI App Prod) birleştirerek CI/CD aracılığıyla üretime teşvik etmektir. Bilgi istemi kataloğu, değerlendirme verileri ve sonuçları, son kullanıcı verileri ve meta verileri ile ince ayarlı model meta verileri dahil tüm verilerin veri gölünde veya veri ağı katmanında saklanması gerektiğini unutmayın. CI/CD işlem hatları ve depolarının ayrı bir araç hesabında (MLOPs için açıklanana benzer) depolanması gerekir.
Sağlayıcıların yolculuğu
FM sağlayıcılarının FM'leri derin öğrenme modelleri gibi eğitmeleri gerekir. Onlar için uçtan uca MLOps yaşam döngüsü ve altyapısı gereklidir. Geçmişe yönelik veri hazırlama, model değerlendirme ve izleme aşamalarında eklemeler yapılması gerekir. Aşağıdaki şekil onların yolculuklarını göstermektedir.
Klasik makine öğreniminde, geçmiş veriler çoğunlukla ETL ardışık düzenleri yoluyla temel gerçeğin beslenmesiyle oluşturulur. Örneğin, bir müşteri kaybı tahmini kullanım durumunda, bir otomasyon, bir müşterinin yeni durumuna göre otomatik olarak aboneliği bırakmak/kaybetmemek için bir veritabanı tablosunu günceller. FM'ler söz konusu olduğunda milyarlarca etiketli veya etiketsiz veri noktasına ihtiyaç duyarlar. Metinden resme kullanım örneklerinde, veri etiketleyicilerden oluşan bir ekibin etiketlemesi gerekir manuel olarak eşleştirin. Bu, çok sayıda insan kaynağı gerektiren pahalı bir uygulamadır. Amazon SageMaker Temel Gerçek Artı bu aktiviteyi sizin için gerçekleştirecek bir etiketleyici ekibi sağlayabilir. Bazı kullanım durumlarında bu süreç, örneğin CLIP benzeri modeller kullanılarak kısmen otomatikleştirilebilir. Metinden metne gibi bir Yüksek Lisans durumunda, veriler etiketlenmez. Ancak bunların mevcut tarihsel etiketsiz verilerin formatına göre hazırlanması ve takip edilmesi gerekmektedir. Bu nedenle gerekli veri hazırlığının yapılabilmesi ve tutarlılığın sağlanması için veri editörlerine ihtiyaç duyulmaktadır.
Hazırlanan geçmiş verilerle bir sonraki adım modelin eğitimi ve üretime alınmasıdır. Tüketiciler için tanımladığımız değerlendirme tekniklerinin aynısının kullanılabileceğini unutmayın.
İnce ayar yapanların yolculuğu
İnce ayarlayıcılar mevcut FM'i kendi özel bağlamlarına uyarlamayı amaçlar. Örneğin, bir FM modeli genel amaçlı bir metni özetleyebilir ancak bir mali raporu doğru bir şekilde özetleyemez veya yaygın olmayan bir programlama dili için kaynak kodu oluşturamaz. Bu durumlarda, ince ayarlayıcıların verileri etiketlemesi, bir eğitim işi çalıştırarak modele ince ayar yapması, modeli dağıtması, tüketici süreçlerine göre test etmesi ve modeli izlemesi gerekir. Aşağıdaki diyagram bu süreci göstermektedir.
Şimdilik iki ince ayar mekanizması mevcut:
- İnce ayar – Bir eğitim işi, FM ve etiketli veriler kullanarak, derin öğrenme modeli katmanlarının ağırlıklarını ve önyargılarını yeniden hesaplar. Bu süreç hesaplama açısından yoğun olabilir ve temsili miktarda veri gerektirir ancak doğru sonuçlar üretebilir.
- Parametre açısından verimli ince ayar (PEFT) – Araştırmacılar, tüm ağırlıkları ve sapmaları yeniden hesaplamak yerine, derin öğrenme modellerine ek küçük katmanlar ekleyerek tatmin edici sonuçlar elde edebileceklerini gösterdiler (örneğin, LoRA). PEFT, derin ince ayar ve daha az giriş verisi içeren bir eğitim işine göre daha düşük hesaplama gücü gerektirir. Dezavantajı potansiyel olarak daha düşük doğruluktur.
Aşağıdaki diyagram bu mekanizmaları göstermektedir.
Artık iki ana ince ayar yöntemini tanımladığımıza göre, bir sonraki adım açık kaynaklı ve özel FM'yi nasıl dağıtabileceğimizi ve kullanabileceğimizi belirlemektir.
Açık kaynaklı FM'lerle, ince ayarlayıcılar model yapısını ve kaynak kodunu web'den indirebilir; örneğin Sarılma Yüz Modeli Hub. Bu size modele derinlemesine ince ayar yapma, onu yerel bir model kaydında saklama ve bir modele dağıtma esnekliği sağlar. Amazon Adaçayı Yapıcı uç nokta. Bu işlem internet bağlantısı gerektirir. Daha güvenli ortamları desteklemek için (örneğin finans sektöründeki müşteriler için) modeli şirket içinde indirebilir, gerekli tüm güvenlik kontrollerini gerçekleştirebilir ve bunları bir AWS hesabındaki yerel bir klasöre yükleyebilirsiniz. Daha sonra, ince ayarlayıcılar FM'i internet bağlantısı olmadan yerel paketten kullanırlar. Bu, veri gizliliğini sağlar ve veriler internet üzerinden yayılmaz. Aşağıdaki diyagram bu yöntemi göstermektedir.
Tescilli FM'lerde dağıtım süreci farklıdır çünkü ince ayarlayıcıların model yapısına veya kaynak koduna erişimi yoktur. Modeller, tescilli FM sağlayıcısı AWS hesaplarında ve model kayıtlarında saklanır. Böyle bir modeli SageMaker uç noktasına dağıtmak için ince ayarlayıcılar yalnızca doğrudan uç noktaya dağıtılacak model paketini talep edebilir. Bu süreç, müşteri verilerinin özel FM sağlayıcılarının hesaplarında kullanılmasını gerektirir; bu durum, ince ayar gerçekleştirmek için uzak bir hesapta kullanılan müşteriye duyarlı veriler ve birden fazla müşteri arasında paylaşılan bir model kaydında barındırılan modellerle ilgili soruları gündeme getirir. . Bu, özel FM sağlayıcılarının bu modellere hizmet vermesi gerektiğinde daha da zorlaşan çoklu kiracılık sorununa yol açmaktadır. İnce ayarlayıcılar kullanırsa Amazon Ana Kayası, bu zorluklar çözülüyor; veriler internet üzerinden dolaşmıyor ve FM sağlayıcılarının ince ayar yapanların verilerine erişimi yok. Binlerce müşterinin kişiselleştirilmiş görseller yükleyeceği web sitesinde daha önce verdiğimiz örnekte olduğu gibi, ince ayarlar yapanlar birden fazla müşteriden gelen modelleri sunmak isterse, aynı zorluklar açık kaynaklı modeller için de geçerlidir. Ancak bu senaryolar yalnızca ince ayarlayıcının dahil olması nedeniyle kontrol edilebilir sayılabilir. Aşağıdaki diyagram bu yöntemi göstermektedir.
Teknoloji açısından bakıldığında, ince ayarlayıcının desteklemesi gereken mimari MLOps'unkine benzer (aşağıdaki şekle bakın). İnce ayarın, geliştirme aşamasında makine öğrenimi ardışık düzenleri oluşturularak (ör. Amazon SageMaker Ardışık Düzenleri; ön işleme, ince ayar (eğitim işi) ve son işlemenin gerçekleştirilmesi; ve açık kaynaklı bir FM olması durumunda, ince ayarlı modellerin yerel bir model kaydına gönderilmesi (aksi takdirde, yeni model, tescilli FM sağlama ortamında saklanacaktır). Daha sonra ön üretimde tüketici senaryosu için tanımladığımız modeli test etmemiz gerekiyor. Son olarak model, prod'da sunulacak ve izlenecektir. Geçerli (ince ayarlı) FM'nin GPU örneği uç noktaları gerektirdiğini unutmayın. Her ince ayarlı modeli ayrı bir uç noktaya dağıtmamız gerekirse, yüzlerce model söz konusu olduğunda bu durum maliyeti artırabilir. Bu nedenle, çok modelli uç noktaları kullanmamız ve çoklu kiracılık sorununu çözmemiz gerekiyor.
İnce ayarlar yapanlar, iş amaçları doğrultusunda kullanmak üzere belirli bir bağlama dayalı olarak bir FM modelini uyarlarlar. Bu, çoğu zaman ince ayarlayıcıların aynı zamanda üretken yapay zeka uygulama geliştirme, veri gölü ve veri ağı ve MLOps dahil olmak üzere önceki bölümlerde açıkladığımız gibi tüm katmanları desteklemesi gereken tüketiciler olduğu anlamına gelir.
Aşağıdaki şekil, ince ayarlayıcıların üretken yapay zeka son kullanıcısına sağlamak için ihtiyaç duyduğu FM ince ayar yaşam döngüsünün tamamını göstermektedir.
Aşağıdaki şekil temel adımları göstermektedir.
Temel adımlar şunlardır:
- Son kullanıcı kişisel bir hesap oluşturur ve özel verileri yükler.
- Veriler veri gölünde depolanır ve FM'in beklediği formatı takip edecek şekilde önceden işlenir.
- Bu, modeli model kayıt defterine ekleyen ince ayarlı bir ML ardışık düzenini tetikler.
- Buradan ya model minimum testle üretime dağıtılır ya da model HIL ve manuel onay kapılarıyla kapsamlı testler gerçekleştirir.
- İnce ayarlı model son kullanıcıların hizmetine sunuldu.
Bu altyapı kurumsal olmayan müşteriler için karmaşık olduğundan AWS, bu tür mimariler oluşturma ve ince ayarlı FM'leri üretime yaklaştırma çabasını hafifletmek için Amazon Bedrock'u piyasaya sürdü.
FMOps ve LLMOps kişileri ve süreç farklılaştırıcıları
Önceki kullanıcı tipi yolculuklara (tüketici, üretici ve ince ayarlayıcı) dayanarak, aşağıdaki şekilde gösterildiği gibi, belirli becerilere sahip yeni kişilere ihtiyaç vardır.
Yeni karakterler şu şekilde:
- Veri etiketleyiciler ve düzenleyiciler – Bu kullanıcılar aşağıdaki gibi verileri etiketler: serbest metin gibi etiketlenmemiş verileri eşleştirin veya hazırlayın ve gelişmiş analiz ekibini ve veri gölü ortamlarını genişletin.
- İnce ayarlayıcılar – Bu kullanıcılar FM'ler hakkında derin bilgiye sahip ve bunları ayarlamayı biliyor, bu da klasik makine öğrenimine odaklanacak veri bilimi ekibini genişletiyor.
- Üretken yapay zeka geliştiricileri – FM'leri seçme, istemleri ve uygulamaları zincirleme ve giriş ve çıkışları filtreleme konusunda derin bilgiye sahiptirler. Yeni bir ekibe aitler: üretken yapay zeka uygulama ekibi.
- Hızlı mühendisler – Bu kullanıcılar, çözümü bağlama uyarlamak ve bilgi istemi kataloğunun ilk sürümünü test etmek ve oluşturmak için giriş ve çıkış bilgi istemlerini tasarlar. Ekipleri üretken yapay zeka uygulama ekibidir.
- Test kullanıcılarını uyar – Üretken yapay zeka çözümünü (arka uç ve ön uç) uygun ölçekte test ederler ve sonuçlarını hızlı katalog ve değerlendirme veri kümesini genişletmek için beslerler. Ekipleri üretken yapay zeka uygulama ekibidir.
- AppDev ve DevOps – Üretken yapay zeka uygulamasının ön ucunu (web sitesi gibi) geliştirirler. Ekipleri üretken yapay zeka uygulama ekibidir.
- Üretken yapay zeka son kullanıcıları – Bu kullanıcılar üretken yapay zeka uygulamalarını kara kutular olarak kullanıyor, verileri paylaşıyor ve çıktının kalitesini derecelendiriyor.
MLOps süreç haritasının üretken yapay zekayı dahil edecek genişletilmiş versiyonu aşağıdaki şekilde gösterilebilir.
Yeni bir uygulama katmanı, üretken yapay zeka geliştiricilerinin, hızlı mühendislerin ve test uzmanlarının ve AppDev'lerin üretken yapay zeka uygulamalarının arka uçlarını ve ön uçlarını oluşturduğu ortamdır. Üretken yapay zeka son kullanıcıları, üretken yapay zeka uygulamalarının ön ucuyla internet (web kullanıcı arayüzü gibi) aracılığıyla etkileşime girer. Öte yandan, veri etiketleyicilerin ve düzenleyicilerin, veri gölünün veya veri ağının arka ucuna erişmeden verileri ön işlemesi gerekir. Bu nedenle, verilerle güvenli bir şekilde etkileşim kurmak için düzenleyicili bir web kullanıcı arayüzü (web sitesi) gereklidir. SageMaker Ground Truth bu işlevselliği kutudan çıktığı gibi sağlar.
Sonuç
MLOps, ML modellerini verimli bir şekilde üretmemize yardımcı olabilir. Ancak üretken yapay zeka uygulamalarını operasyonel hale getirmek için FMOps ve LLMOps'a yol açan ek becerilere, süreçlere ve teknolojilere ihtiyacınız var. Bu yazıda FMOps ve LLMOps'un ana kavramlarını tanımladık ve insanlar, süreçler, teknoloji, FM modeli seçimi ve değerlendirme açısından MLOps yetenekleriyle karşılaştırıldığında temel farklılaştırıcı unsurları açıkladık. Ayrıca üretken bir yapay zeka geliştiricisinin düşünce sürecini ve üretken bir yapay zeka uygulamasının geliştirme yaşam döngüsünü gösterdik.
Gelecekte, tartıştığımız alan başına çözümler sunmaya odaklanacağız ve FM izlemenin (toksisite, önyargı ve halüsinasyon gibi) ve üçüncü taraf veya özel veri kaynağı mimari kalıplarının nasıl entegre edileceğine dair daha fazla ayrıntı sunacağız: Artırılmış Üretimi (RAG), FMOps/LLMOps'a alma.
Daha fazla bilgi edinmek için bkz. Amazon SageMaker'a sahip işletmeler için MLOps temel yol haritası ve uçtan uca çözümü deneyin Amazon SageMaker JumpStart önceden eğitilmiş modelleriyle MLOps uygulamalarını uygulama.
Herhangi bir yorumunuz veya sorunuz varsa, lütfen bunları yorumlar bölümüne bırakın.
Yazarlar Hakkında
Dr. Sokratis Kartakis Amazon Web Services'te Kıdemli Makine Öğrenimi ve Operasyon Uzmanı Çözüm Mimarıdır. Sokratis, kurumsal müşterilerin AWS hizmetlerinden yararlanarak ve MLOps temeli gibi işletim modellerini ve en iyi geliştirme uygulamalarından yararlanarak dönüşüm yol haritasını şekillendirerek Makine Öğrenimi (ML) çözümlerini sanayileştirmelerine olanak sağlamaya odaklanıyor. Enerji, perakende, sağlık, finans/bankacılık, motor sporları vb. alanlarda yenilikçi uçtan uca üretim düzeyinde makine öğrenimi ve Nesnelerin İnterneti (IoT) çözümlerini icat etmek, tasarlamak, yönetmek ve uygulamak için 15 yıldan fazla zaman harcadı. Sokratis boş zamanlarını ailesi ve arkadaşlarıyla geçirmeyi ya da motosiklet sürmeyi seviyor.
heiko hotz Doğal dil işleme, büyük dil modelleri ve üretken yapay zeka konularına özel olarak odaklanan Yapay Zeka ve Makine Öğrenimi Kıdemli Çözüm Mimarıdır. Bu görevden önce Amazon'un AB Müşteri Hizmetleri Veri Bilimi Başkanı olarak görev yapıyordu. Heiko, müşterilerimizin AWS'deki AI/ML yolculuklarında başarılı olmalarına yardımcı oluyor ve sigorta, finansal hizmetler, medya ve eğlence, sağlık hizmetleri, kamu hizmetleri ve üretim dahil olmak üzere birçok sektördeki kuruluşlarla çalıştı. Heiko boş zamanlarında mümkün olduğunca seyahat ediyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- ChartPrime. Ticaret Oyununuzu ChartPrime ile yükseltin. Buradan Erişin.
- Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/fmops-llmops-operationalize-generative-ai-and-differences-with-mlops/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 1
- 10
- 100
- 2023
- 23
- 7
- 75
- a
- kabiliyet
- Yapabilmek
- Hakkımızda
- yukarıdaki
- ÖZET
- erişim
- ulaşılabilir
- erişme
- Hesap
- Hesaplar
- doğruluk
- doğru
- tam olarak
- Başarmak
- eylemler
- etkinlik
- uyarlamak
- adaptasyon
- eklemek
- ekleme
- ilave
- Ek
- Ayrıca
- ilave
- Ekler
- yönetim
- Benimseme
- ileri
- Afrika
- Sonra
- Bireysel Üyelik Sözleşmesi
- AI
- AI ve Makine Öğrenimi
- AI asistanı
- AI modelleri
- AI hizmetleri
- AI kullanım durumları
- AI / ML
- amaç
- Hizalar
- Türkiye
- izin vermek
- veriyor
- boyunca
- zaten
- Ayrıca
- Rağmen
- her zaman
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon SageMaker Hızlı Başlangıç
- Amazon Web Servisleri
- arasında
- miktar
- an
- analiz
- analytics
- ve
- ve altyapı
- Başka
- cevap
- cevaplar
- herhangi
- api
- API'ler
- uygulamayı yükleyeceğiz
- Uygulama
- Uygulama Geliştirme
- uygulamaları
- Tamam
- yaklaşım
- yaklaşımlar
- uygun
- onay
- yaklaşık olarak
- mimarlar
- mimari
- mimari
- ARE
- etrafında
- AS
- Değerlendirme
- Asistan
- At
- denetlenmiş
- denetçiler
- augmented
- otomatikleştirmek
- Otomatik
- Otomatik
- otomatik olarak
- Otomasyon
- kullanılabilirliği
- mevcut
- ortalama
- önlemek
- AWS
- Backend
- Kötü
- Bakiye
- merkezli
- temel
- BE
- Çünkü
- müşterimiz
- olur
- olmuştur
- önce
- olmak
- kıyaslama
- faydaları
- İYİ
- Daha iyi
- arasında
- önyargı
- önyargıları
- Milyar
- milyarlarca
- Siyah
- doğmuş
- ödünç almak
- her ikisi de
- botlar
- kutu
- kutular
- şube
- Kırma
- kısaca
- Bringing
- Kırık
- inşa etmek
- bina
- yapılı
- iş
- fakat
- by
- hesaplamak
- çağrı
- denilen
- çağrı
- CAN
- aday
- adaylar
- yetenekleri
- kabiliyet
- ele geçirmek
- dava
- durumlarda
- katalog
- kategoriler
- merkezi
- merkezi
- belli
- meydan okuma
- zorluklar
- zor
- değişiklik
- chatbots
- daha ucuz
- Çekler
- seçim
- seçme
- klasik
- yakından
- yakın
- Giyim
- bulut
- kod
- kodlama
- işbirliği yapmak
- kombinasyon
- kombinasyonları
- birleştirmek
- nasıl
- yorumlar
- ticari
- ticari
- ortak
- karşılaştırmak
- karşılaştırıldığında
- tamamlamak
- tamamlama
- karmaşık
- karmaşıklık
- uyma
- uyumlu
- kompozisyon
- kapsamlı
- hesaplama gücü
- bilgisayar
- yoğunlaşmak
- kavram
- kavramlar
- Endişeler
- koşullar
- Davranış
- yürütülen
- bağlı
- bağ
- sonuç olarak
- Düşünmek
- hususlar
- kabul
- tüketmek
- tüketici
- Tüketiciler
- tüketim
- Konteyner
- içeren
- içerik
- içerik yaratımı
- bağlam
- devam etmek
- kontrol
- konuşkan
- konuşmaları
- telif hakkı
- uyan
- Ücret
- pahalı
- maliyetler
- olabilir
- ülkeler
- kapak
- kaplı
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- oluşturma
- kritik
- çok önemli
- kültürel
- akım
- görenek
- müşteri
- müşteri bilgisi
- Müşteri Hizmetleri
- Müşteriler
- veri
- Veri Gölü
- Veri noktaları
- Veri Hazırlama
- veri gizliliği
- veri bilimi
- veritabanı
- veri kümeleri
- Merkezi olmayan
- Karar verme
- kararlar
- adanmış
- derin
- derin dalış
- derin öğrenme
- tanımlı
- tanımlarken
- tanım
- tanımları
- teslim etmek
- altüst ederek aramak
- Talep
- bağlı
- bağlıdır
- resmeden
- dağıtmak
- konuşlandırılmış
- dağıtma
- açılma
- tanımlamak
- tarif edilen
- tanım
- Dizayn
- tasarlanmış
- tasarım
- arzu
- İstediğiniz
- detaylı
- ayrıntılar
- Belirlemek
- belirlenmesi
- dev
- geliştirmek
- gelişmiş
- Geliştirici
- geliştiriciler
- gelişen
- gelişme
- Geliştirme Takımı
- farklılıkları
- farklı
- farklılaştırmak
- boyutlar
- direkt olarak
- tartışmak
- tartışılan
- görüntülenen
- mesafe
- dalış
- çeşitli
- do
- evraklar
- Değil
- domain
- etki
- Dont
- aşağı
- indir
- sürücü
- gereken
- dinamik
- e
- her
- Daha erken
- Doğu
- kolay
- Ekonomik
- editör
- Etkili
- verimli
- verimli biçimde
- çaba
- ya
- özenli
- seçildi
- etkinleştirmek
- etkinleştirme
- son
- son uca
- Son nokta
- enerji
- mühendis
- Mühendislik
- Mühendisler
- İngilizce
- artırmak
- sağlamak
- olmasını sağlar
- kuruluş
- işletmelerin
- Entertainment
- çevre
- ortamları
- eşit olarak
- özellikle
- gerekli
- vb
- EU
- değerlendirmek
- değerlendirilir
- değerlendirme
- Hatta
- Her
- örnek
- örnekler
- mükemmel
- uyarılmış
- Egzersiz
- mevcut
- var
- Egzotik
- beklediğini
- pahalı
- deneyim
- deneme
- Uzmanlık
- uzmanlara göre
- sömürme
- uzatmak
- uzatma
- uzatma
- kapsamlı, geniş
- Kapsamlı Deneyim
- yaygın olarak
- çıkarmak
- f1
- Yüz
- faktör
- faktörler
- Aşinalık
- aile
- uzak
- Daha hızlı
- Özellikler(Hazırlık aşamasında)
- geribesleme
- besleme
- şekil
- filtre
- süzme
- son
- Nihayet
- mali
- finansal rapor
- Finans sektörü
- finansal hizmetler
- Ad
- uygun
- Esneklik
- esnek
- odak
- odaklanmış
- odaklanır
- odaklanma
- takip et
- takip
- takip etme
- şu
- İçin
- Tüketiciler İçin
- Airdrop Formu
- biçim
- vakıf
- dört
- Ücretsiz
- arkadaşlar
- itibaren
- ön
- Başlangıç aşaması
- Frontend
- tam
- işlevsellik
- temel
- daha fazla
- Ayrıca
- gelecek
- Gates,
- ölçü
- genel
- genel amaçlı
- genellikle
- oluşturmak
- oluşturulan
- üretir
- üreten
- nesil
- üretken
- üretken yapay zeka
- jeopolitik
- almak
- Git
- verilmiş
- verir
- Küresel
- küresel ticaret
- Tercih Etmenizin
- yönetim
- GPU
- Zemin
- vardı
- el
- Koşum
- Var
- sahip olan
- he
- baş
- Sağlık
- sağlık
- yardım et
- yardımcı olur
- okuyun
- Yüksek
- Yüksek kaliteli
- daha yüksek
- büyük ölçüde
- onun
- tarihsel
- ambar
- ev sahibi
- ev sahipliği yaptı
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTML
- HTTPS
- insan
- Yüzlerce
- i
- ideal olarak
- if
- göstermektedir
- görüntü
- görüntüleri
- hayali
- darbe
- uygulamak
- uygulanması
- etkileri
- önem
- önemli
- geliştirme
- in
- dahil
- içerir
- Dahil olmak üzere
- birleştirmek
- Artırmak
- artmış
- gösterir
- göstergeler
- bireysel
- Endüstri
- etkilemek
- etkilenmiş
- Altyapı
- ilk
- yenilikçi
- giriş
- girişler
- örnek
- yerine
- talimatlar
- sigorta
- entegre
- yönelik
- etkileşim
- etkileşim
- etkileşim
- etkileşime
- arayüzey
- Internet
- internet bağlantısı
- bir şeylerin interneti
- içine
- tanıtmak
- yatırım
- ilgili
- içeren
- IOT
- IT
- ONUN
- İş
- seyahat
- yolculuklar
- Temmuz
- sadece
- anahtar
- anahtar faktör
- Nezaket.
- Bilmek
- bilgi
- bilinen
- etiket
- Etiketler
- göl
- dil
- büyük
- büyük
- Soyad
- Gecikme
- tabaka
- katmanları
- önemli
- İlanlar
- ÖĞRENİN
- öğrenme
- Ayrılmak
- ödünç vermek
- az
- seviye
- kaldıraç
- kütüphaneler
- Lisans
- ruhsat verme
- yaşam döngüsü
- sevmek
- seviyor
- sınırlamaları
- LINK
- Yüksek Lisans
- yük
- yerel
- bulunan
- yer
- London
- Uzun
- uzun
- alt
- makine
- makine öğrenme
- yapılmış
- Ana
- korumak
- çoğunluk
- Yapımı
- idare edilebilir
- zorunlu
- Manuel
- el ile
- üretim
- çok
- harita
- masif
- olgunluk
- maksimum
- Mayıs..
- me
- anlam
- anlamına geliyor
- mekanizma
- mekanizmaları
- medya
- Akdeniz
- adı geçen
- birleştirme
- örgü
- Metadata
- yöntem
- metodoloji
- yöntemleri
- Metrikleri
- Orta
- Orta Doğu
- olabilir
- asgari
- ML
- MLO'lar
- model
- modelleri
- izlemek
- izlenen
- izleme
- Daha
- daha verimli
- çoğu
- çoğunlukla
- Motorsports
- hareket
- taşındı
- hareket
- çok
- çoklu
- Music
- şart
- my
- isim
- Doğal (Madenden)
- Doğal Dil İşleme
- Tabiat
- Gezin
- gerekli
- gerek
- gerekli
- ihtiyaçlar
- negatif
- ağ
- sinir ağı
- Nötr
- asla
- yeni
- yeni
- sonraki
- nlp
- yok hayır
- normal
- Kuzey
- dikkate değer
- numara
- gözlemek
- of
- teklif
- sunulan
- sık sık
- on
- Onboarding
- ONE
- olanlar
- bir tek
- açık
- açık kaynak
- işletme
- Operasyon
- optimum
- seçenek
- Opsiyonlar
- or
- kuruluşlar
- organizasyonlar
- Diğer
- Diğer
- aksi takdirde
- bizim
- dışarı
- Sonuç
- çıktı
- tekrar
- tüm
- genel bakış
- kendi
- sahip
- sahipleri
- paket
- çiftleri
- parametreler
- desen
- İnsanlar
- başına
- Yapmak
- performans
- icra
- belki
- kişi
- kişisel
- Kişiselleştirilmiş
- perspektif
- faz
- Fotoğraflar
- parça
- boru hattı
- yer
- platform
- Platon
- Plato Veri Zekası
- PlatoVeri
- Lütfen
- Nokta
- noktaları
- politikaları
- pozitif
- sahip olmak
- mümkün
- Çivi
- Mesajlar
- potansiyel
- potansiyel
- güç kelimesini seçerim
- güçlü
- Pratik
- uygulamalar
- Hassas
- tahmin
- tahmin
- Tahminler
- hazırlık
- Hazırlamak
- hazırlanmış
- hazırlanması
- sundu
- önceki
- Önceden
- asal
- Başbakan
- ilkeler
- Önceki
- Öncelik
- gizlilik
- özel
- Sorun
- süreç
- Süreçler
- işleme
- Üretilmiş
- üretici
- PLATFORM
- üretim
- Programlama
- proje
- desteklemek
- kanıt
- kavramın ispatı
- önermek
- özel
- Kanıtlamak
- sağlamak
- sağlanan
- sağlayan
- sağlayıcılar
- sağlar
- sağlama
- amaç
- amaçlı
- iter
- bulmaca
- kalite
- soru
- Sorular
- Hızlı
- yükseltmeler
- menzil
- değişen
- hızla
- oran
- daha doğrusu
- değerlendirme
- Okuma
- gerçek zaman
- neden
- teslim almak
- tavsiye etmek
- Kırmızı
- Indirimli
- arıtmak
- ilişkin
- kayıtları
- kayıt
- yönetmelik
- ilgili
- serbest
- ilgisi
- uygun
- güvenilirlik
- kalıntılar
- uzak
- yerine
- rapor
- Depo
- temsil
- temsilci
- talep
- isteklerinizi
- gereklidir
- Yer Alan Kurallar
- gerektirir
- araştırma
- Araştırmacılar
- Kaynaklar
- sırasıyla
- yanıt
- yanıtları
- sorumlu
- DİNLENME
- kısıtlamaları
- kısıtlayıcı
- sonuç
- Sonuçlar
- perakende
- yeniden
- yorum
- Yorumlar
- binicilik
- krallar gibi yaşamaya
- yol haritası
- Rol
- rolleri
- kabaca
- yuvarlak
- koşmak
- koşu
- sagemaker
- aynı
- kum havuzu
- ölçek
- ölçekleme
- senaryo
- senaryolar
- Bilim
- bilim adamları
- Gol
- çizik
- scriptler
- DENİZ
- Bölüm
- bölümler
- sektör
- güvenli
- Güvenli
- güvenlik
- Güvenlik politikaları
- görmek
- arayan
- seçilmiş
- seçme
- seçim
- gönderme
- kıdemli
- gönderdi
- duygu
- ayrı
- Dizi
- Dizi
- hizmet vermek
- hizmet
- Hizmetler
- servis
- set
- birkaç
- şekillendirme
- paylaş
- Paylaşılan
- gemiler
- kısa
- meli
- gösterilen
- Gösteriler
- yan
- önemli
- önemli ölçüde
- benzer
- basitleştirmek
- beden
- becerileri
- küçük
- daha küçük
- KOBİ'ler
- So
- çözüm
- Çözümler
- ÇÖZMEK
- biraz
- Kaynak
- kaynak kodu
- kaynaklar
- uzay
- özel
- uzman
- özel
- özel
- özellikle
- hız
- geçirmek
- harcanmış
- Aşama
- aşamaları
- paydaşlar
- standart
- standardizasyon
- başlama
- Durum
- adım
- Basamaklar
- mağaza
- saklı
- depolamak
- Öykü
- güçlü
- güçlü
- Daha sonra
- başarılı
- böyle
- önermek
- uygunluk
- uygun
- özetlemek
- ÖZET
- destek
- destekli
- sözde
- elbette
- SWIFT
- sistem
- tablo
- Bizi daha iyi tanımak için
- Görev
- görevleri
- takım
- takım
- Teknik
- teknikleri
- Teknolojileri
- Teknoloji
- şartlar
- test
- test edilmiş
- test
- Test yapmak
- göre
- o
- The
- Gelecek
- Kaynak
- UK
- Dünya
- ve bazı Asya
- Onları
- kendilerini
- sonra
- Orada.
- bu nedenle
- Bunlar
- onlar
- işler
- Düşünme
- üçüncü şahıslara ait
- Re-Tweet
- Bu
- gerçi?
- düşünce
- Binlerce
- üç
- zaman
- için
- birlikte
- simge
- Jeton
- üst
- Konular
- karşı
- Ticaret
- geleneksel
- Tren
- eğitilmiş
- Eğitim
- Dönüştürmek
- Dönüşüm
- seyahat
- seyahatleriniz
- eğilim
- tetikleyebilir
- gerçek
- Hakikat
- denemek
- iki
- tip
- türleri
- tipik
- ui
- Uk
- anlamak
- anlayış
- birim
- birimleri
- Güncellemeler
- Yükleme
- us
- kullanılabilir
- kullanım
- kullanım
- kullanım durumu
- Kullanılmış
- kullanıcı
- kullanıcılar
- kullanım
- kullanma
- kamu hizmetleri
- kullanılan
- çeşitli
- doğrulamak
- versiyon
- Karşı
- dikey
- üzerinden
- yaşayabilir
- görselleştirmek
- vs
- istemek
- oldu
- we
- ağ
- web hizmetleri
- Web sitesi
- İYİ
- Ne
- Nedir
- ne zaman
- oysa
- olup olmadığını
- hangi
- süre
- DSÖ
- geniş
- Geniş ürün yelpazesi
- irade
- pencere
- pencereler
- ile
- içinde
- olmadan
- Word
- sözler
- İş
- birlikte çalışmak
- işlenmiş
- çalışma
- çalışır
- Dünya
- olur
- yıl
- Yol ver
- Sen
- zefirnet