Bu yazı Q4 Inc.'den Stanislav Yeshchenko ile birlikte yazılmıştır.
İşletmeler Soru-Cevap sohbet robotları oluşturmada ana akım yaklaşım olarak Erişim Artırılmış Üretime (RAG) yöneliyor. Mevcut veri kümelerinin çeşitliliğinin doğasından kaynaklanan zorlukların ortaya çıktığını görmeye devam ediyoruz. Bu veri kümeleri genellikle sayısal ve metin verilerinin bir karışımıdır; bazen yapılandırılmış, yapılandırılmamış veya yarı yapılandırılmıştır.
Q4 A.Ş. AWS üzerinde oluşturulan birçok yapay zeka kullanım senaryosundan birinde bu zorluklardan bazılarını ele almaları gerekiyordu. Bu yazıda, 4. Çeyrekte uygulanan Soru-Cevap bot kullanım durumunu, sayısal ve yapılandırılmış veri kümelerinin sunduğu zorlukları ve 4. Çeyrekte SQL kullanmanın geçerli bir çözüm olabileceği sonucuna nasıl vardığını tartışıyoruz. Son olarak, 4. Çeyrek ekibinin nasıl kullandığına daha yakından bakıyoruz. Amazon Ana Kayası ve SQL oluşturma ile RAG tabanlı bir çözümü uygulamak için SQLDatabaseChain.
Kullanım örneğine genel bakış
Merkezi Toronto'da bulunan, New York ve Londra'da ofisleri bulunan Q4 Inc., ihraççıların, yatırımcıların ve satıcıların birbirleriyle verimli bir şekilde bağlantı kurma, iletişim kurma ve etkileşimde bulunma şeklini değiştiren lider bir sermaye piyasası erişim platformudur. Q4 Platformu, Yİ web sitesi ürünleri, sanal etkinlik çözümleri, katılım analitiği, yatırımcı ilişkileri Müşteri İlişkileri Yönetimi (CRM), hissedar ve pazar analizi, gözetim ve ESG araçları aracılığıyla sermaye piyasaları genelinde etkileşimi kolaylaştırır.
Günümüzün hızlı ve veri odaklı finansal ortamında, Yatırımcı İlişkileri Görevlileri (IRO'lar), bir şirket ile hissedarları, analistleri ve yatırımcıları arasındaki iletişimi güçlendirmede kritik bir rol oynamaktadır. IRO'lar günlük görevlerinin bir parçası olarak CRM, sahiplik kayıtları ve borsa verileri dahil olmak üzere çeşitli veri kümelerini analiz eder. Bu verilerin toplamı finansal raporlar oluşturmak, yatırımcı ilişkileri hedeflerini belirlemek ve mevcut ve potansiyel yatırımcılarla iletişimi yönetmek için kullanılır.
Verimli ve dinamik veri alımına yönelik artan talebi karşılamak için 4. Çeyrek, IRO'ların ihtiyaç duydukları gerekli bilgilere kullanıcı dostu bir formatta erişmeleri için sezgisel ve basit bir yöntem sağlayacak bir sohbet robotu Soru-Cevap aracı oluşturmayı hedefledi.
Nihai hedef, en yüksek düzeyde güvenlik ve veri gizliliğini korurken, halka açık verileri ve özel müşteriye özel 4. Çeyrek verilerini sorunsuz bir şekilde entegre edecek bir sohbet robotu yaratmaktı. Performans açısından amaç, son kullanıcılara olumlu bir deneyim sağlamak için saniyeler süren sorgu yanıt süresini korumaktı.
Finansal piyasalar, yüksek risklerin söz konusu olduğu, düzenlenmiş bir sektördür. Yanlış veya güncel olmayan bilgilerin sağlanması, diğer olası veri gizliliği risklerinin yanı sıra yatırımcıların ve hissedarların güvenini de etkileyebilir. Sektörü ve gereksinimleri anlayan Q4, herhangi bir çözümün pazara sunulmadan önce değerlendirilmesinde yol gösterici ilkeler olarak veri gizliliğini ve yanıt doğruluğunu belirler.
Kavramın kanıtlanması için 4. Çeyrek, finansal sahiplik veri kümesini kullanmaya karar verdi. Veri seti, sahip olunan varlıkların sayısını temsil eden zaman serisi veri noktalarından oluşur; yatırım kurumları, bireyler ve halka açık şirketler arasındaki işlem geçmişi; ve daha birçok unsur.
Q4, tartıştığımız tüm işlevsel ve işlevsel olmayan gereksinimleri karşılayabileceğinden emin olmak istediğinden, projenin ticari açıdan da uygun kalması gerekiyordu. Yaklaşıma, mimariye, teknoloji seçimine ve çözüme özgü unsurlara karar verme süreci boyunca buna saygı gösterildi.
Deneyler ve zorluklar
İnsan diliyle ilgili bir soruyu anlamak ve doğru yanıtlar üretmek için Q4'ün büyük dil modellerini (LLM'ler) kullanması gerektiği başından beri açıktı.
Ekip tarafından yürütülen deneylerden bazıları, belirlenen zorluklar ve öğrenilen derslerle birlikte aşağıda verilmiştir:
- Ön eğitim – 4. Çeyrek, kendi veri kümesini kullanarak bir Yüksek Lisans eğitiminin ön eğitiminin getirdiği karmaşıklığı ve zorlukları anladı. Bu yaklaşımın veri ön işleme, eğitim ve değerlendirme gibi pek çok önemsiz adımla kaynak yoğun olduğu kısa sürede ortaya çıktı. Gereken çabaya ek olarak, maliyet engelleyici olacaktır. Zaman serisi veri kümesinin doğasını göz önünde bulunduran Q4, yeni veriler geldikçe sürekli olarak artımlı ön eğitim gerçekleştirmesi gerektiğini de fark etti. Bu, veri bilimi, makine öğrenimi ve etki alanında uzmanlığa sahip, disiplinler arası özel bir ekip gerektirecekti. bilgi.
- İnce ayar – Birkaç etiketli örnek kullanılarak önceden eğitilmiş bir temel modelin (FM) ince ayarının yapılması. Bu yaklaşım başlangıçta bir miktar başarı gösterdi, ancak çoğu durumda model halüsinasyonu zorluydu. Model, incelikli bağlamsal ipuçlarını anlamakta zorlandı ve yanlış sonuçlar verdi.
- Anlamsal arama özelliğine sahip RAG – Anlamsal aramaya sahip geleneksel RAG, SQL oluşturmaya geçmeden önceki son adımdı. Ekip, bağlamı çıkarmak için arama, anlamsal arama ve yerleştirmeleri kullanmayı denedi. Yerleştirme deneyi sırasında, veri kümesi yerleştirmelere dönüştürüldü, bir vektör veritabanında saklandı ve ardından bağlamı çıkarmak için sorunun yerleştirmeleriyle eşleştirildi. Üç deneyden herhangi birinde geri alınan bağlam, daha sonra LLM'ye bir girdi olarak orijinal istemi güçlendirmek için kullanıldı. Bu yaklaşım, verilerin kelimeler, cümleler ve paragraflardan oluşan doğal dilden oluştuğu metin tabanlı içerik için iyi sonuç verdi. Çoğunlukla sayılar, finansal işlemler, hisse senedi fiyatları ve tarihlerden oluşan finansal verilerden oluşan 4. Çeyrek veri setinin doğası göz önüne alındığında, her üç durumda da sonuçlar optimalin altındaydı. Yerleştirmeler kullanılırken bile sayılardan oluşturulan yerleştirmeler benzerlik sıralamasında sorun yaşadı ve çoğu durumda yanlış bilgilerin alınmasına yol açtı.
4. Çeyreğin sonucu: İleriye giden yol SQL oluşturmaktır
Ekip, geleneksel RAG metodolojisini kullanırken karşılaşılan zorlukları göz önünde bulundurarak SQL oluşturmayı düşünmeye başladı. Buradaki fikir, ilk önce LLM'ye doğal dilde sunulan kullanıcı sorusundan bir SQL ifadesi oluşturmak için LLM'yi kullanmaktı. Oluşturulan sorgu daha sonra ilgili bağlamı getirmek için veritabanında çalıştırılır. Bağlam son olarak bir özetleme adımı için giriş istemini genişletmek için kullanılır.
4. Çeyrek'in hipotezi, özellikle sayısal veri kümesi için geri alma adımında daha yüksek hatırlama elde etmek amacıyla, öncelikle kullanıcı sorusundan SQL oluşturmaları gerektiğiydi. Bunun yalnızca doğruluğu artırmakla kalmayıp aynı zamanda belirli bir soru için bağlamı iş alanı içinde tuttuğuna inanılıyordu. Sorgu oluşturmak ve doğru SQL oluşturmak için 4. Çeyreğin, LLM'nin veri kümesi yapısından tam anlamıyla haberdar olmasını sağlaması gerekiyordu. Bu, istemin veritabanı şemasını, birkaç örnek veri satırını ve anlaşılması kolay olmayan alanlar için insan tarafından okunabilen alan açıklamalarını içermesi gerektiği anlamına geliyordu.
İlk testlere göre bu yöntem harika sonuçlar verdi. Gerekli tüm bilgilerle donatılmış Yüksek Lisans, doğru SQL'i oluşturabildi ve bu daha sonra doğru bağlamı almak için veritabanında çalıştırıldı. Bu fikri denedikten sonra 4. Çeyrek, SQL oluşturmanın kendi özel veri kümeleri için bağlam çıkarma zorluklarını aşmanın yolu olduğuna karar verdi.
Genel çözüm yaklaşımını tanımlayarak başlayalım, onu bileşenlerine ayıralım ve ardından parçaları bir araya getirelim.
Çözüme genel bakış
LLM'ler, çeşitli kaynaklardan gelen çok büyük miktarda veri kullanılarak önceden eğitilmiş milyarlarca parametreye sahip büyük modellerdir. Eğitim veri setlerinin genişliğinden dolayı, Yüksek Lisans'ların çeşitli alanlarda genel bilgiye sahip olması beklenmektedir. Yüksek Lisans'lar aynı zamanda bir modelden diğerine değişen muhakeme yetenekleriyle de bilinir. Bu genel davranış, alana özgü ek ön eğitim verileri kullanılarak bir temel modeli daha da optimize ederek veya etiketli veriler kullanılarak ince ayar yapılarak belirli bir alana veya sektöre göre optimize edilebilir. Doğru bağlam, meta veriler ve talimatlar göz önüne alındığında, iyi seçilmiş genel amaçlı bir Yüksek Lisans, doğru alana özgü bağlama erişimi olduğu sürece kaliteli SQL üretebilir.
4. Çeyreğin kullanım senaryosunda müşteri sorusunu SQL'e çevirmekle başlıyoruz. Bunu, kullanıcı sorusunu, veritabanı şemasını, bazı örnek veritabanı satırlarını ve ayrıntılı talimatları Yüksek Lisans'a SQL oluşturması için bir komut istemi olarak birleştirerek yapıyoruz. SQL'i aldıktan sonra gerekli görürsek doğrulama adımını çalıştırabiliriz. SQL'in kalitesinden memnun olduğumuzda, bir sonraki adım için ihtiyaç duyduğumuz ilgili bağlamı almak üzere sorguyu veritabanında çalıştırırız. Artık ilgili bağlama sahip olduğumuza göre, nihai bir özetlenmiş yanıt oluşturmak için kullanıcının orijinal sorusunu, alınan bağlamı ve bir dizi talimatı LLM'ye geri gönderebiliriz. Son adımın amacı Yüksek Lisans'ın sonuçları özetlemesini ve daha sonra kullanıcıya iletilebilecek bağlamsal ve doğru bir yanıt sunmasını sağlamaktır.
Sürecin her aşamasında kullanılan LLM seçimi doğruluğu, maliyeti ve performansı büyük ölçüde etkiler. Aynı kullanım senaryosunda (farklı görevler için birden fazla LLM gezisi) veya farklı kullanım senaryolarında LLM'ler arasında geçiş yapma esnekliğine olanak tanıyan bir platform veya teknoloji seçmek, çıktının kalitesini, gecikmeyi ve maliyeti optimize etmede faydalı olabilir . Bu yazının ilerleyen kısımlarında LLM seçimine değineceğiz.
Çözüm yapı taşları
Artık yaklaşımı yüksek düzeyde vurguladığımıza göre, çözüm yapı taşlarından başlayarak ayrıntılara dalalım.
Amazon Ana Kayası
Amazon Bedrock, AI21 Labs, Anthropic, Cohere, Meta, Stability AI ve Amazon gibi önde gelen şirketlerin yüksek performanslı FM'lerini sunan, tümüyle yönetilen bir hizmettir. Amazon Bedrock ayrıca üretken yapay zeka uygulamaları oluşturmak, geliştirme sürecini basitleştirmek, gizlilik ve güvenliği korumak için gereken geniş bir araç seti sunar. Ayrıca Amazon Bedrock ile çeşitli FM seçenekleri arasından seçim yapabilir ve modellerin yanıtlarını kullanım senaryosu gereksinimlerinize göre hizalamak için kendi verilerinizi kullanarak modellerde özel olarak daha fazla ince ayar yapabilirsiniz. Amazon Bedrock, tek bir API aracılığıyla mevcut modellere erişimin genişletilmesini yönetmek için herhangi bir temel altyapıya sahip olmayan, tamamen sunucusuz bir yapıdır. Son olarak Amazon Bedrock, HIPAA uygunluğu ve GDPR uyumluluğu da dahil olmak üzere çeşitli güvenlik ve gizlilik gereksinimlerini destekler.
4. Çeyreğin çözümünde Amazon Bedrock'u sunucusuz, API tabanlı, çok temelli bir model yapı taşı olarak kullanıyoruz. Aynı kullanım senaryosu içinde görev türüne bağlı olarak LLM'ye birden fazla gezi yapmayı planladığımızdan, SQL oluşturma, doğrulama veya özetleme gibi belirli bir görev için en uygun modeli seçebiliriz.
Dil Zinciri
Dil Zinciri FM'ler, veri kaynakları ve araçlar arasındaki görevleri entegre etmek ve düzenlemek için kullanabileceğiniz bir dizi önceden oluşturulmuş modül (G/Ç, erişim, zincirler ve aracılar) içeren açık kaynaklı bir entegrasyon ve orkestrasyon çerçevesidir. Çerçeve, sıfırdan kod yazmaya gerek kalmadan istenen çıktıyı üretmek için birden fazla adımın düzenlenmesini gerektiren üretken yapay zeka uygulamalarının oluşturulmasını kolaylaştırır. LangChain, Amazon Bedrock'u çok temelli bir model API'si olarak destekler.
4. çeyreğin kullanım durumuna özel olarak, veri kaynaklarına ve LLM'lere bağlanma da dahil olmak üzere iş akışımızdaki görevleri koordine etmek ve düzenlemek için LangChain'i kullanıyoruz. Bu yaklaşım kodumuzu basitleştirdi çünkü mevcut LangChain modüllerini kullanabiliyoruz.
SQLVeritabanıZinciri
SQLVeritabanıZinciri langchain_experimental'den içe aktarılabilen bir LangChain zinciridir. SLDatabaseChain, etkili metinden SQL'e dönüşümleri ve uygulamalarını kullanarak SQL sorguları oluşturmayı, uygulamayı ve çalıştırmayı kolaylaştırır.
Kullanım durumumuzda, SQL oluşturmada SQLDatabaseChain'i kullanarak veritabanı ile LLM arasındaki etkileşimleri basitleştiriyor ve düzenliyoruz.
Veri kümesi
Yapılandırılmış veri kümemiz, SQL desteğimiz olduğu sürece bir SQL veritabanında, veri gölünde veya veri ambarında bulunabilir. Çözümümüzde SQL destekli herhangi bir veri seti tipini kullanabiliriz; bu çözümden soyutlanmalı ve çözümü hiçbir şekilde değiştirmemelidir.
Uygulama ayrıntıları
Artık çözüm yaklaşımını, çözüm bileşenlerini, teknoloji seçimini ve araçları incelediğimize göre parçaları bir araya getirebiliriz. Aşağıdaki diyagram uçtan uca çözümü vurgulamaktadır.
Uygulama ayrıntılarına ve süreç akışına göz atalım.
SQL sorgusunu oluşturun
Kodlamayı basitleştirmek için mevcut çerçeveleri kullanıyoruz. LangChain'i bir düzenleme çerçevesi olarak kullanıyoruz. Kullanıcı sorusunu doğal dilde aldığımız giriş aşamasıyla başlıyoruz.
Bu ilk aşamada, bu girişi alıyoruz ve bağlam çıkarımı için veritabanında çalıştırabileceğimiz eşdeğer bir SQL oluşturuyoruz. SQL oluşturmak için, istediğimiz LLM'ye erişim için Amazon Bedrock'a dayanan SQLDatabaseChain'i kullanıyoruz. Amazon Bedrock ile tek bir API kullanarak çok sayıda temel LLM'ye erişebiliyoruz ve yaptığımız her LLM gezisi için doğru olanı seçebiliyoruz. Öncelikle veritabanına bağlantı kuruyoruz ve gerekli tablo şemasını, kullanmayı düşündüğümüz tablolardan bazı örnek satırlarla birlikte alıyoruz.
Testlerimizde, çok fazla gereksiz ek yük getirmeden modele yeterli bilgi vermek için 2-5 satırlık tablo verilerinin yeterli olduğunu gördük. Üç satır, modeli çok fazla girdiyle boğmadan bağlam sağlamak için yeterliydi. Kullanım durumumuzda Antropik ile başladık Claude V2. Model, gelişmiş akıl yürütmesi ve doğru bağlam ve talimatlar sağlandığında bağlamsal yanıtları açıkça ifade etmesiyle bilinir. Talimatların bir parçası olarak LLM'ye daha açıklayıcı ayrıntılar ekleyebiliriz. Örneğin, bu sütunu tanımlayabiliriz Comp_NAME
şirket adını temsil eder. Artık kullanıcı sorusunu olduğu gibi, veritabanı şemasını, kullanmayı planladığımız tablodan üç örnek satırı ve gerekli SQL'i yorum veya ekleme olmadan temiz SQL formatında oluşturmak için bir dizi talimatı birleştirerek istemi oluşturabiliriz.
Birleştirilen tüm giriş öğeleri, model giriş istemi olarak kabul edilir. Modelin tercih edilen sözdizimine göre uyarlanmış, iyi tasarlanmış bir girdi istemi, çıktının hem kalitesini hem de performansını büyük ölçüde etkiler. Belirli bir görev için kullanılacak modelin seçimi de önemlidir; yalnızca çıktı kalitesini etkilemesi nedeniyle değil, aynı zamanda maliyet ve performans etkileri de vardır.
Bu yazının ilerleyen kısımlarında model seçimi, istem mühendisliği ve optimizasyonu tartışacağız, ancak sorgu oluşturma aşamasında Claude Instant'ın, özellikle de kullanıcı sorusu iyi ifade edildiğinde ve o kadar karmaşık olmadığında karşılaştırılabilir sonuçlar üretebildiğini fark ettiğimizi belirtmekte fayda var. Ancak Claude V2, daha karmaşık ve dolaylı kullanıcı girdileriyle bile daha iyi sonuçlar verdi. Bazı durumlarda bunu öğrendik Claude Anında Daha iyi bir gecikme ve fiyat noktasında yeterli doğruluk sağlayabilse de, sorgu oluşturma durumumuz Claude V2 için daha uygundu.
SQL sorgusunu doğrulayın
Bir sonraki adımımız, LLM'nin doğru sorgu sözdizimini başarıyla oluşturduğunu ve veritabanı şemaları ve sağlanan örnek satırlar dikkate alındığında sorgunun bağlamsal açıdan anlamlı olduğunu doğrulamaktır. Bu doğrulama adımı için SQLDatabaseChain içindeki yerel sorgu doğrulamaya dönebiliriz veya doğrulama talimatıyla birlikte oluşturulan sorguyu içeren LLM'ye ikinci bir gezi çalıştırabiliriz.
Doğrulama adımı için bir LLM kullanırsak, öncekiyle aynı LLM'yi (Claude V2) veya Claude Instant gibi daha basit bir görev için daha küçük, daha performanslı bir LLM'yi kullanabiliriz. Amazon Bedrock'u kullandığımız için bu çok basit bir ayarlama olmalı. Aynı API'yi kullanarak, değişiklikle ilgilenen API çağrımızda model adını değiştirebiliriz. Çoğu durumda, daha küçük bir LLM'nin hem maliyet hem de gecikme açısından daha iyi verimlilik sağlayabileceğini ve istenen doğruluğu elde ettiğiniz sürece dikkate alınması gerektiğini unutmamak önemlidir. Bizim durumumuzda testler, oluşturulan sorgunun tutarlı bir şekilde doğru ve doğru sözdizimine sahip olduğunu kanıtladı. Bunu bildiğimiz için bu doğrulama adımını atlayıp gecikme ve maliyetten tasarruf etmeyi başardık.
SQL sorgusunu çalıştırın
Artık doğrulanmış SQL sorgusuna sahip olduğumuza göre, SQL sorgusunu veritabanında çalıştırabilir ve ilgili içeriği alabiliriz. Bu basit bir adım olmalıdır.
Oluşturulan bağlamı alıyoruz, onu ilk kullanıcı sorusu ve bazı talimatlarla birlikte seçtiğimiz LLM'ye sağlıyoruz ve modelden bağlamsal ve anlaşılır bir özet oluşturmasını istiyoruz. Daha sonra oluşturulan özeti, tamamı veri setimizden çıkarılan bağlamla uyumlu olacak şekilde, ilk sorunun yanıtı olarak kullanıcıya sunuyoruz.
Özetleme adımında yer alan LLM için Titan Text Express veya Claude Instant'ı kullanabiliriz. Her ikisi de özetleme görevi için iyi seçenekler sunacaktır.
Uygulama entegrasyonu
Soru-Cevap sohbet robotu özelliği, Q4'ün yapay zeka hizmetlerinden biridir. Modülerliği ve ölçeklenebilirliği sağlamak için Q4, AI hizmetlerini API'ler aracılığıyla Q4 uygulamaları tarafından erişilebilen mikro hizmetler olarak oluşturur. Bu API tabanlı yaklaşım, Q4 Platform ekosistemiyle kusursuz entegrasyon sağlar ve yapay zeka hizmetlerinin yeteneklerinin tüm platform uygulamaları paketine sunulmasını kolaylaştırır.
Yapay zeka hizmetlerinin temel amacı, girdi olarak doğal dili kullanarak herhangi bir kamuya açık veya özel veri kaynağından veri almak için basit yetenekler sağlamaktır. Ayrıca yapay zeka hizmetleri, veri gizliliği ve güvenliği gibi işlevsel ve işlevsel olmayan gereksinimlerin karşılandığından emin olmak için ek soyutlama katmanları sağlar. Aşağıdaki diyagram entegrasyon konseptini göstermektedir.
Uygulama zorlukları
Daha önce tartıştığımız yapılandırılmış sayısal veri setinin doğasından kaynaklanan zorluklara ek olarak 4. Çeyrek, ele alınması gereken bir dizi başka uygulama zorluğuyla karşı karşıya kaldı.
LLM seçimi ve performansı
Görev için doğru LLM'nin seçilmesi çok önemlidir çünkü performansın yanı sıra çıktı kalitesini de doğrudan etkiler (gidiş dönüş gecikmesi). LLM seçim sürecine etki eden bazı faktörler şunlardır:
- Yüksek Lisans Türü – FM'lerin tasarlanma şekli ve modelin önceden eğitildiği ilk veriler, LLM'nin iyi olacağı görev türlerini ve ne kadar iyi olacağını belirler. Örneğin, bir metin Yüksek Lisansı, metin oluşturma ve özetleme konusunda iyi olurken, metinden görüntüye veya görüntüden metne modeli, görüntü analizi ve oluşturma görevlerine daha uygun olacaktır.
- Yüksek Lisans boyutu – FM boyutları, belirli bir modelin sahip olduğu model parametrelerinin sayısıyla ölçülür; modern LLM'ler için genellikle milyarlarcadır. Tipik olarak model ne kadar büyük olursa, başlangıçta eğitilmesi veya daha sonra ince ayar yapılması da o kadar pahalı olur. Öte yandan, genel olarak aynı model mimarisi için model ne kadar büyükse, hedeflendiği görev türünü yerine getirmede o kadar akıllı olmasını bekleriz.
- Yüksek Lisans performansı – Tipik olarak model ne kadar büyük olursa, aynı hesaplama ve G/Ç parametrelerini (istem ve çıkış boyutu) kullandığınız varsayılarak, çıktı oluşturmak daha fazla zaman alır. Ayrıca, aynı model boyutu için performans, isteminizin ne kadar optimize edildiğinden, G/Ç belirteçlerinin boyutundan ve istemin netliğinden ve sözdiziminden büyük ölçüde etkilenir. İyi tasarlanmış bir istem ve optimize edilmiş bir G/Ç belirteç boyutu, modelin yanıt süresini iyileştirebilir.
Bu nedenle, görevinizi optimize ederken aşağıdaki en iyi uygulamaları göz önünde bulundurun:
- Eldeki göreve uygun bir model seçin
- Aradığınız doğruluğu sağlayabilecek en küçük model boyutunu seçin
- Bilgi istemi yapınızı optimize edin ve modelin anlayabileceği şekilde talimatlarda mümkün olduğunca spesifik olun
- Aradığınız doğruluk düzeyini üretmek için yeterli talimat ve bağlam sağlayabilecek en küçük giriş istemini kullanın
- Çıktı boyutunu sizin için anlamlı olabilecek ve çıktı gereksinimlerinizi karşılayabilecek en küçük boyutla sınırlayın
Model seçimi ve performans optimizasyon faktörlerini hesaba katarak SQL oluşturma kullanım senaryomuzu optimize etmek için çalışmaya başladık. Bazı testlerden sonra, doğru bağlam ve talimatlara sahip olmamız koşuluyla Claude Instant'ın, aynı anlık verilerle, çok daha iyi bir performans ve fiyat noktasında Claude V2 ile karşılaştırılabilir kalitede SQL üreteceğini fark ettik. Bu, kullanıcı girişinin doğası gereği daha doğrudan ve daha basit olduğu durumlarda geçerlidir. Daha karmaşık girdiler için istenen doğruluğu sağlamak üzere Claude V2 gerekliydi.
Aynı mantığı özetleme görevine uygulamak, Claude Instant veya Titan Text Express kullanmanın, Claude V2 gibi daha büyük bir model kullanmaya kıyasla çok daha iyi bir performans noktasında gerekli doğruluğu üreteceği sonucuna varmamıza yol açtı. Titan Text Expressed, daha önce de bahsettiğimiz gibi daha iyi fiyat-performans oranı da sunuyordu.
Orkestrasyon zorluğu
Kullanıcı sorusuna anlamlı bir çıktı yanıtı alabilmemiz için düzenlememiz gereken çok şey olduğunu fark ettik. Çözüme genel bakışta gösterildiği gibi süreç, iç içe geçmiş birden fazla veritabanı gezisini ve birden fazla LLM gezisini içeriyordu. Eğer sıfırdan inşa edecek olsaydık, sırf temel kodu hazır hale getirmek için farklılaşmamış ağır kaldırmaya önemli bir yatırım yapmak zorunda kalırdık. Açık kaynak topluluğunun gücünden yararlanarak ve tekerleği yeniden icat etmeden mevcut modülleri yeniden kullanarak LangChain'i bir düzenleme çerçevesi olarak kullanmaya hızla döndük.
SQL mücadelesi
Ayrıca SQL oluşturmanın anlamsal arama veya yerleştirme kullanımı gibi bağlam çıkarma mekanizmaları kadar basit olmadığını da fark ettik. LLM'ye göndereceğimiz istemde ilk önce veritabanı şemasını ve birkaç örnek satırı almamız gerekiyor. Ayrıca hem veritabanı hem de Yüksek Lisans ile etkileşime girmemiz gereken SQL doğrulama aşaması da var. SQLDatabaseChain bariz bir araç seçimiydi. LangChain'in bir parçası olduğu için uyum sağlaması kolaydı ve artık zincir destekli SQL oluşturma ve doğrulama işlemlerini yönetebiliyor, böylece yapmamız gereken iş miktarını en aza indirebiliyoruz.
Performans zorlukları
Claude V2'nin kullanımıyla ve uygun istem mühendisliğinin ardından (ki bunu bir sonraki bölümde ele alacağız), yüksek kaliteli SQL üretmeyi başardık. Oluşturulan SQL'in kalitesini göz önünde bulundurarak doğrulama aşamasının gerçekte ne kadar değer kattığını incelemeye başladık. Sonuçların daha ayrıntılı bir şekilde analiz edilmesinin ardından, oluşturulan SQL'in kalitesinin, SQL doğrulama aşaması eklemenin maliyet/kazanç açısından dezavantajlı hale getirecek şekilde tutarlı bir şekilde doğru olduğu ortaya çıktı. Çıktımızın kalitesini olumsuz etkilemeden SQL doğrulama aşamasını ortadan kaldırdık ve SQL doğrulama gidiş-dönüş süresini kısalttık.
Özetleme adımı için maliyet ve performans açısından daha verimli bir LLM'yi optimize etmenin yanı sıra, daha iyi performans ve maliyet verimliliği elde etmek için Titan Text Express'i kullanabildik.
Daha fazla performans optimizasyonu, verimli bilgi istemi mühendisliği tekniklerini kullanarak sorgu oluşturma sürecinin ince ayarını içeriyordu. Çok sayıda jeton sağlamak yerine, modelin anlamak için eğitildiği doğru sözdiziminde ve minimum ancak en uygun talimat setiyle en az miktarda giriş jetonu sağlamaya odaklanıldı. Bunu bir sonraki bölümde daha ayrıntılı olarak ele alacağız; bu yalnızca burada değil diğer kullanım durumlarında da geçerli olan önemli bir konudur.
Hızlı mühendislik ve optimizasyon
Doğru hızlı mühendislik teknikleri kullanılırsa, Amazon Bedrock'taki Claude'u çeşitli iş kullanım durumları için ayarlayabilirsiniz. Claude esas olarak insan/asistan formatını kullanan bir konuşma asistanı olarak görev yapıyor. Claude, asistan rolü için metni doldurmak üzere eğitildi. İstenilen talimatlar ve istem tamamlamaları göz önüne alındığında, çeşitli teknikler kullanarak istemlerimizi Claude için optimize edebiliriz.
Geçerli bir tamamlama sağlayan uygun biçimlendirilmiş bir bilgi istemi şablonuyla başlıyoruz, ardından gerçek dünya verilerini temsil eden çeşitli girdi kümeleriyle yönlendirme denemeleri yaparak yanıtları daha da optimize edebiliriz. Bir bilgi istemi şablonu geliştirirken çok sayıda girdi almanız önerilir. Ayrıca istem geliştirme verileri ve test verilerinin ayrı kümelerini de kullanabilirsiniz.
Claude yanıtını optimize etmenin başka bir yolu da kurallar, talimatlar ve kurallar ekleyerek denemeler yapmak ve yinelemektir. faydalı optimizasyonlar. Bu optimizasyonlardan, örneğin Claude'a halüsinasyonları önlemek için "Bilmiyorum" demesini söyleyerek, adım adım düşünerek, istem zincirleme kullanarak, yanıtlar üretirken "düşünmeye" yer vererek farklı tamamlama türlerini görüntüleyebilirsiniz. ve anlama ve doğruluk açısından iki kez kontrol etme.
Sorgu oluşturma görevimizi kullanalım ve istemimizi optimize etmek için kullandığımız bazı teknikleri tartışalım. Sorgu oluşturma çabalarımıza fayda sağlayan birkaç temel unsur vardı:
- Uygun insan/asistan söz dizimini kullanma
- XML etiketlerini kullanma (Claude, XML etiketlerine saygı duyar ve anlar)
- Halüsinasyonu önlemek için modele net talimatlar eklenmesi
Aşağıdaki genel örnek, insan/asistan sözdizimini nasıl kullandığımızı, XML etiketlerini nasıl uyguladığımızı ve çıktıyı SQL ile sınırlandırmak için talimatlar eklediğimizi ve modele ilgili SQL'i üretemezse "üzgünüm, yardım edemiyorum" demesini nasıl söylediğimizi gösterir. . Talimatları, ek ipuçlarını, veritabanı şemasını, ek tablo açıklamalarını ve örnek satırları çerçevelemek için XML etiketleri kullanıldı.
Nihai çalışma çözümü
Konsept kanıtlama sırasında belirlenen tüm zorlukları ele aldıktan sonra tüm çözüm gerekliliklerini yerine getirdik. 4. Çeyrek, Yüksek Lisans tarafından oluşturulan SQL'in kalitesinden memnun kaldı. Bu, verileri filtrelemek için yalnızca WHERE yan tümcesini gerektiren basit görevler için ve aynı zamanda GROUP BY ve matematiksel işlevlerle bağlam tabanlı toplamalar gerektiren daha karmaşık görevler için de geçerlidir. Genel çözümün uçtan uca gecikme süresi, kullanım durumu için kabul edilebilir olarak tanımlanan tek haneli saniye aralığına ulaştı. Bunların hepsi, her aşamada en uygun LLM'nin seçilmesi, uygun istem mühendisliği, SQL doğrulama adımının ortadan kaldırılması ve özetleme adımı için verimli bir LLM'nin (Titan Text Express veya Claude Instant) kullanılması sayesinde oldu.
Amazon Bedrock'u tam olarak yönetilen bir hizmet olarak kullanmanın ve aynı API aracılığıyla bir LLM paketine erişme yeteneğinin, API çağrısında model adını değiştirerek LLM'ler arasında denemelere ve sorunsuz geçişe olanak sağladığını belirtmekte fayda var. Bu düzeydeki esneklikle Q4, sorgu oluşturma, doğrulama veya özetleme gibi görevin niteliğine göre her bir LLM çağrısı için en performanslı LLM'yi seçebildi.
Sonuç
Tüm kullanım durumlarına uyan tek bir çözüm yoktur. RAG yaklaşımında çıktının kalitesi büyük ölçüde doğru bağlamın sağlanmasına bağlıdır. Doğru bağlamı çıkarmak çok önemlidir ve her veri kümesi, benzersiz özellikleriyle farklıdır.
Bu yazıda, sayısal ve yapılandırılmış veri kümeleri için, artırma için kullanılan bağlamı çıkarmak amacıyla SQL kullanmanın daha olumlu sonuçlara yol açabileceğini gösterdik. Ayrıca LangChain gibi çerçevelerin kodlama çabasını en aza indirebileceğini de gösterdik. Ek olarak, en uygun doğruluğu, performansı ve maliyeti elde etmek için aynı kullanım senaryosu içerisinde Yüksek Lisanslar arasında geçiş yapabilme ihtiyacını da tartıştık. Son olarak, sunucusuz olan ve altında çeşitli LLM'ler bulunan Amazon Bedrock'un, en az miktarda ağır yük ile güvenli, performanslı ve maliyeti optimize edilmiş uygulamalar oluşturmak için gereken esnekliği nasıl sağladığını vurguladık.
İşletmeniz için değer yaratacak bir kullanım senaryosu belirleyerek üretken yapay zeka destekli uygulamalar oluşturmaya yönelik yolculuğunuza başlayın. 4. Çeyrek ekibinin öğrendiği gibi, SQL oluşturma, veri depolarınızla entegre olan ve gelir potansiyelinin kilidini açan akıllı uygulamalar oluşturmada ezber bozan bir rol oynayabilir.
yazarlar hakkında
Tamer Süleyman AWS'de Kıdemli Çözüm Mimarıdır. Bağımsız Yazılım Satıcısı (ISV) müşterilerinin AWS'de yenilik yapmasına, oluşturmasına ve ölçeklendirmesine yardımcı oluyor. Danışmanlık, eğitim ve profesyonel hizmetlerde yirmi yılı aşkın endüstri deneyimine sahiptir. Üç patenti bulunan çok patentli bir mucittir ve deneyimi telekom, ağ oluşturma, uygulama entegrasyonu, AI/ML ve bulut dağıtımları dahil olmak üzere birçok teknoloji alanını kapsamaktadır. AWS Ağı konusunda uzmanlaşmıştır ve makine öğrenimi, yapay zeka ve Üretken yapay zeka konusunda derin bir tutkuya sahiptir.
Mani Khanuja Teknoloji Lideri - Üretken Yapay Zeka Uzmanı, AWS'de Uygulamalı Makine Öğrenimi ve Yüksek Performanslı Hesaplama kitabının yazarı ve Üretimde Kadınlar Eğitimi Vakfı Yönetim Kurulu Yönetim Kurulu üyesidir. Bilgisayarla görme, doğal dil işleme ve üretken yapay zeka gibi çeşitli alanlarda makine öğrenimi (ML) projelerine liderlik ediyor. Müşterilerin büyük makine öğrenimi modellerini geniş ölçekte oluşturmasına, eğitmesine ve dağıtmasına yardımcı oluyor. re:Invent, Women in Manufacturing West, YouTube web seminerleri ve GHC 23 gibi iç ve dış konferanslarda konuşuyor. Boş zamanlarında sahilde uzun koşulara çıkmayı seviyor.
Stanislav Yesçenko Q4 Inc.'de Yazılım Mimarıdır. Yazılım geliştirme ve sistem mimarisi alanında on yıldan fazla endüstri deneyimine sahiptir. Teknik Lider ve Kıdemli Tam Yığın Geliştirici gibi çeşitli rolleri kapsayan çeşitli geçmişi, 4. Çeyrek Platformunun yenilikçiliğini ilerletmeye yaptığı katkıları güçlendiriyor. Stanislav kendini bu alanda teknik yenilikleri teşvik etmeye ve stratejik çözümleri şekillendirmeye adamıştır.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/how-q4-inc-used-amazon-bedrock-rag-and-sqldatabasechain-to-address-numerical-and-structured-dataset-challenges-building-their-qa-chatbot/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 100
- 118
- 125
- İNDİRİM
- 23
- 7
- a
- yeteneklerini
- kabiliyet
- Yapabilmek
- soyutlama
- bolluk
- kabul edilebilir
- erişim
- ulaşılabilir
- Hesap
- doğruluk
- doğru
- Başarmak
- karşısında
- eylemler
- aslında
- uyarlamak
- katma
- ekleme
- ilave
- Ek
- Ayrıca
- ilave
- adres
- ele
- Ayar
- ileri
- ilerleyen
- avantaj
- Sonra
- karşı
- ajanları
- toplam
- AI
- AI hizmetleri
- AI kullanım durumları
- AI / ML
- Hedeflenen
- hizalamak
- hizalı
- Türkiye
- izin vermek
- izin
- boyunca
- Ayrıca
- Rağmen
- am
- Amazon
- Amazon Web Servisleri
- miktar
- tutarları
- an
- analiz
- Analistler
- analytics
- çözümlemek
- analiz
- ve
- Başka
- cevap
- cevaplar
- Antropik
- herhangi
- bir şey
- api
- API'ler
- uygulanabilir
- Uygulama
- uygulamaları
- uygulamalı
- yaklaşım
- mimari
- ARE
- AS
- sormak
- Varlıklar
- Asistan
- destekli
- çeşit
- At
- büyütme
- augmented
- yazar
- mevcut
- farkında
- AWS
- Arka
- arka fon
- merkezli
- temel
- BE
- plaj
- oldu
- Çünkü
- olmuştur
- önce
- Başlangıç
- davranış
- olmak
- inanılır
- faydalı
- İYİ
- en iyi uygulamalar
- Daha iyi
- arasında
- milyarlarca
- Engellemek
- Blokları
- yazı tahtası
- Yönetim Kurulu
- kitap
- Bot
- her ikisi de
- genişlik
- mola
- geniş
- inşa etmek
- bina
- inşa
- yapılı
- iş
- fakat
- by
- çağrı
- geldi
- CAN
- Alabilirsin
- yetenekleri
- kabiliyet
- Başkent
- Sermaye piyasaları
- hangi
- dava
- durumlarda
- zincir
- zincirler
- meydan okuma
- zorluklar
- zorluklar inşa etmek
- değişiklik
- Değiştiren
- değiştirme
- özellikleri
- chatbot
- chatbots
- seçim
- Klinik
- seçme
- berraklık
- çamça
- açık
- yakın
- bulut
- kod
- kodlama
- Sütun
- kombine
- birleştirme
- nasıl
- yorumlar
- ticari
- iletişim kurmak
- Yakın İletişim
- topluluk
- Şirketler
- şirket
- karşılaştırılabilir
- tamamlama
- karmaşık
- karmaşıklık
- uyma
- bileşenler
- idrak
- hesaplamak
- bilgisayar
- Bilgisayar görüşü
- bilgisayar
- kavram
- sonucuna
- sonucuna
- sonuç
- yürütülen
- konferanslar
- Sosyal medya
- bağlantı
- bağ
- Düşünmek
- kabul
- düşünen
- sürekli
- oluşan
- oluşur
- kurmak
- danışman
- içerik
- bağlam
- bağlamsal
- devam etmek
- devamlı olarak
- katkıları
- geleneksel
- konuşkan
- dönüşümler
- dönüştürülmüş
- koordine
- çekirdek
- doğru
- Ücret
- olabilir
- yaratmak
- kritik
- CRM
- çok önemli
- müşteri
- Müşteriler
- günlük
- veri
- Veri Gölü
- Veri noktaları
- veri gizliliği
- Veri Gizliliği ve Güvenliği
- veri bilimi
- veri-güdümlü
- veritabanı
- veri kümeleri
- Tarih
- onyıl
- yıl
- karar
- Karar verme
- adanmış
- sayılır
- tanımlı
- Talep
- gösterdi
- gösteriyor
- bağlıdır
- dağıtmak
- dağıtımları
- tanımlamak
- tarif
- İstediğiniz
- detaylı
- ayrıntılar
- belirleyen
- Geliştirici
- gelişen
- gelişme
- farklı
- direkt
- direkt olarak
- Yönetmenler
- tartışmak
- tartışılan
- dalış
- çeşitli
- do
- domain
- etki
- Dont
- çift kontrol
- aşağı
- sürme
- gereken
- sırasında
- dinamik
- her
- Daha erken
- kolay
- ekosistem
- Eğitim
- Etkili
- verim
- verimli
- verimli biçimde
- çaba
- çabaları
- ya
- elemanları
- uygunluk
- ortadan
- ortaya çıkan
- istihdam
- sağlar
- son
- son uca
- sona erdi
- meşgul
- nişan
- Mühendislik
- yeterli
- sağlamak
- donanımlı
- Eşdeğer
- Bilişim G
- özellikle
- kurmak
- değerlendirilmesi
- değerlendirme
- Hatta
- olaylar
- Her
- örnek
- örnekler
- mevcut
- beklemek
- beklenen
- pahalı
- deneyim
- deneme
- deneyler
- uzman
- Uzmanlık
- keşfedilmeyi
- ekspres
- ifade
- uzatma
- dış
- çıkarmak
- çıkarma
- yüzlü
- kolaylaştırır
- faktörler
- hızlı tempolu
- olumlu
- mümkün
- az
- alan
- Alanlar
- doldurmak
- filtre
- son
- Nihayet
- mali
- finansal Veri
- Ad
- Esneklik
- akış
- odak
- takip et
- takip etme
- İçin
- biçim
- ileri
- teşvik
- bulundu
- vakıf
- ÇERÇEVE
- iskelet
- çerçeveler
- Ücretsiz
- itibaren
- tam
- Tam Yığın
- tamamen
- fonksiyonel
- fonksiyonlar
- daha fazla
- oyun
- oyun değiştirici
- KVKK
- GSYİH uyumluluğu
- dişli
- genel
- oluşturmak
- oluşturulan
- üretir
- üreten
- nesil
- üretken
- üretken yapay zeka
- almak
- alma
- Vermek
- verilmiş
- verir
- Verilmesi
- Go
- gol
- Goller
- Tercih Etmenizin
- verilmiş
- harika
- grup
- Büyüyen
- vardı
- el
- mutlu
- Var
- sahip olan
- he
- merkezi
- ağır
- ağırlık kaldırma
- yardım et
- yardımcı olur
- onu
- okuyun
- Yüksek
- yüksek performans
- Yüksek kaliteli
- daha yüksek
- en yüksek
- Vurgulanan
- özeti
- büyük ölçüde
- ipuçları
- onun
- tarih
- başlık
- Ne kadar
- Ancak
- HTTPS
- insan
- insan tarafından okunabilir
- i
- Fikir
- tespit
- belirlenmesi
- if
- görüntü
- darbe
- etkiledi
- etkileyen
- Etkiler
- uygulamak
- uygulama
- uygulamaları
- uygulanan
- etkileri
- önemli
- iyileştirmek
- in
- Diğer
- A.Ş.
- dahil
- Dahil olmak üzere
- Artırmak
- artımlı
- bağımsız
- bireyler
- sanayi
- bilgi
- Altyapı
- ilk
- başlangıçta
- yenilik yapmak
- Yenilikçilik
- giriş
- girişler
- anlık
- kurumları
- talimatlar
- entegre
- bütünleşme
- niyetinde
- etkileşim
- etkileşimleri
- iç
- iç içe
- içine
- sezgisel
- yatırım
- yatırımcı
- Yatırımcılar
- ilgili
- düzenleyicileriniz
- isv
- IT
- ONUN
- seyahat
- jpg
- sadece
- tutmak
- anahtar
- bilme
- bilgi
- bilinen
- Labs
- göl
- manzara
- dil
- büyük
- büyük
- Soyad
- son olarak
- Gecikme
- sonra
- katmanları
- öncülük etmek
- önemli
- İlanlar
- öğrendim
- öğrenme
- en az
- Led
- Dersler
- Öğrenilen Dersler
- seviye
- kaldırma
- sevmek
- seviyor
- Yüksek Lisans
- mantık
- London
- Uzun
- Bakın
- bakıyor
- Çok
- makine
- makine öğrenme
- yapılmış
- Ana
- ağırlıklı olarak
- ana akım
- korumak
- Bakımı
- yapmak
- YAPAR
- yönetmek
- yönetilen
- yönetim
- üretim
- çok
- pazar
- Piyasa Analizi
- Piyasa verileri
- Piyasalar
- eşleşti
- matematiksel
- Mayıs..
- anlamlı
- demek
- mekanizmaları
- Neden
- üye
- araya geldi
- Meta
- Metadata
- yöntem
- metodoloji
- microservices
- en az
- minimize
- karıştırmak
- ML
- model
- modelleri
- Modern
- Modüller
- Daha
- çoğu
- çoğunlukla
- hareketli
- çok
- çok
- çoklu
- isim
- yerli
- Doğal (Madenden)
- Doğal Dil İşleme
- Tabiat
- gerekli
- gerek
- gerekli
- olumsuz
- ağ
- yeni
- New York
- sonraki
- yok hayır
- notlar
- belirterek
- şimdi
- numara
- sayılar
- nesnel
- Açık
- of
- kapalı
- sunulan
- Teklifler
- subay
- Ofisler
- sık sık
- on
- ONE
- bir tek
- açık
- açık kaynak
- optimum
- optimizasyon
- optimize
- optimize
- optimize
- Opsiyonlar
- or
- orkestrasyon
- orkestrasyon
- sipariş
- orijinal
- Diğer
- bizim
- çıktı
- tekrar
- tüm
- genel bakış
- ezici
- kendi
- Sahip olunan
- mülkiyet
- parametreler
- Bölüm
- belirli
- geçti
- tutku
- patent
- Patentler
- yol
- Yapmak
- performans
- icra
- seçmek
- parçalar
- platform
- Platon
- Plato Veri Zekası
- PlatoVeri
- OYNA
- Nokta
- noktaları
- pozitif
- mümkün
- Çivi
- potansiyel
- güç kelimesini seçerim
- güçler
- uygulamalar
- tercihli
- mevcut
- sundu
- önlemek
- fiyat
- ilkeler
- gizlilik
- Gizlilik ve Güvenlik
- süreç
- işleme
- üretmek
- Üretilmiş
- Ürünler
- profesyonel
- derin
- proje
- Projeler
- istemleri
- kanıt
- kavramın ispatı
- uygun
- özel
- kanıtladı
- sağlamak
- sağlanan
- sağlar
- sağlama
- halka açık
- halka açık şirketler
- alenen
- amaç
- koymak
- Soru-Cevap
- kalite
- sorgular
- soru
- hızla
- tırnak işareti
- Sıralaması
- daha doğrusu
- RE
- hazır
- Gerçek dünya
- fark
- teslim almak
- Tavsiye edilen
- kayıtlar
- referans
- düzenlenmekte olan
- ilişkiler
- ilişki
- uygun
- Raporlar
- temsilci
- temsil
- temsil
- gerektirir
- gereklidir
- Yer Alan Kurallar
- kaynak
- itibarlı
- saygılar
- yanıt
- yanıtları
- kısıtlamak
- Sonuçlar
- gelir
- dönmek
- gözden
- krallar gibi yaşamaya
- riskler
- Rol
- rolleri
- oda
- yuvarlak
- kurallar
- koşmak
- ishal
- aynı
- memnun
- memnun
- İndirim
- söylemek
- ölçeklenebilirlik
- ölçek
- Bilim
- çizik
- sorunsuz
- sorunsuz
- Ara
- İkinci
- saniye
- Bölüm
- güvenli
- güvenlik
- görmek
- seçim
- Satıcılar
- göndermek
- kıdemli
- duyu
- ayrı
- Dizi
- Serverless
- hizmet
- Hizmetler
- set
- Setleri
- birkaç
- şekillendirme
- hissedar
- Hissedarlar
- o
- meli
- gösterdi
- gösterilen
- Gösteriler
- önemli
- Basit
- basit
- basitleştirilmiş
- basitleştirmek
- basitleştirilmesi
- tek
- beden
- boyutları
- daha küçük
- akıllı
- akıllı
- Yazılım
- yazılım geliştirme
- çözüm
- Çözümler
- biraz
- sofistike
- Kaynak
- kaynaklar
- gerginlik
- açıklıklı
- Konuştu
- uzmanlar
- uzmanlaşmış
- özel
- özellikle
- istikrar
- yığın
- Aşama
- kazık
- durmak
- standları
- başlama
- başladı
- XNUMX dakika içinde!
- Açıklama
- kalmak
- adım
- Basamaklar
- Stok
- Borsa
- saklı
- mağaza
- basit
- Stratejik
- yapı
- yapılandırılmış
- Daha sonra
- başarı
- Başarılı olarak
- böyle
- yeterli
- uygun
- süit
- özetlemek
- ÖZET
- destek
- Destekler
- gözetim
- anahtar
- sözdizimi
- sistem
- tablo
- ısmarlama
- Bizi daha iyi tanımak için
- alınan
- alır
- alma
- Görev
- görevleri
- takım
- teknoloji
- Teknik
- teknikleri
- Teknoloji
- telekom
- söyleme
- şablon
- test
- Test yapmak
- testleri
- metin
- göre
- Teşekkür
- o
- The
- Başkent
- ve bazı Asya
- sonra
- Orada.
- Bunlar
- onlar
- Düşünme
- Re-Tweet
- üç
- İçinden
- boyunca
- zaman
- Zaman serisi
- zamanlar
- titan
- için
- bugünkü
- birlikte
- simge
- Jeton
- çok
- araç
- araçlar
- konu
- toronto
- karşı
- Tren
- eğitilmiş
- Eğitim
- işlem
- işlemler
- dönüşüm
- yolculuk
- gerçek
- Güven
- DÖNÜŞ
- iki
- tip
- türleri
- tipik
- aciz
- altında
- altında yatan
- anlamak
- anlayış
- anlar
- anladım
- benzersiz
- açma
- gereksiz
- us
- kullanım
- kullanım durumu
- Kullanılmış
- kullanıcı
- kullanıcı dostu
- kullanma
- kullanır
- geçerli
- onaylama
- değer
- çeşitlilik
- çeşitli
- satıcı
- Doğrulama
- Doğrulanmış
- doğrulamak
- çok
- yaşayabilir
- Görüntüle
- Sanal
- vizyonumuz
- yürümek
- aranan
- oldu
- Yol..
- we
- ağ
- web hizmetleri
- Web Seminerleri
- Web sitesi
- İYİ
- Kimler
- vardı
- Batısında
- Ne
- tekerlek
- ne zaman
- oysa
- hangi
- süre
- irade
- ile
- içinde
- olmadan
- Kadın
- sözler
- İş
- işlenmiş
- iş akışı
- çalışma
- değer
- olur
- yazmak
- kod yaz
- XML
- henüz
- york
- Sen
- Youtube
- zefirnet