Son on yılda dijital medyadaki teknoloji eğilimleri ve ilerlemeler, metin tabanlı verilerin çoğalmasıyla sonuçlandı. Hem taktik hem de stratejik içgörüler elde etmek için bu metni çıkarmanın potansiyel faydaları çok büyük. Buna doğal dil işleme (NLP) denir. Örneğin, müşteri duyarlılığı için ürün incelemelerinizi analiz etmek, müşteri yorumlarına dayalı olarak ilgilenilen ürün türlerini belirlemek için özel bir varlık tanıyıcı modeli eğitmek veya en popüler ürün kategorilerini belirlemek için özel bir metin sınıflandırma modeli eğitmek için NLP'yi kullanabilirsiniz.
Amazon Kavramak belgelerin içeriği hakkında içgörüler çıkarmak için hazır zekaya sahip bir NLP hizmetidir. Bir belgedeki varlıkları, anahtar sözcükleri, dili, duyguları ve diğer ortak öğeleri tanıyarak içgörüler geliştirir. Amazon Comprehend Custom, kendi verilerinizi kullanarak sizin adınıza NLP modelleri oluşturmak için otomatik makine öğrenimi (Auto ML) kullanır. Bu, işinize özgü varlıkları tespit etmenize veya metin veya belgeleri gereksinimlerinize göre sınıflandırmanıza olanak tanır. Ek olarak, kullanımı kolay API'lerle tüm NLP iş akışınızı otomatikleştirebilirsiniz.
Bugün, Amazon Comprehend özel modellerinizi bir kaynak hesaptan aynı Bölgedeki belirlenmiş hedef hesaplara otomatik olarak kopyalamanıza olanak tanıyan Amazon Comprehend özel model kopyalama özelliğinin kullanıma sunulduğunu duyurmaktan mutluluk duyuyoruz. üzerinde eğitilmiş ve değerlendirilmiştir. Bugünden itibaren şunları kullanabilirsiniz: AWS Yönetim Konsolu, AWS Komut Satırı Arayüzü (AWS CLI) veya boto3 API'ları (AWS için Python SDK) eğitimli özel modelleri bir kaynak hesaptan belirlenmiş bir hedef hesaba kopyalamak için. Bu yeni özellik, hem Amazon Comprehend özel sınıflandırma hem de özel varlık tanıma modelleri için kullanılabilir.
Model kopyalama özelliğinin faydaları
Bu yeni özellik aşağıdaki avantajlara sahiptir:
- Çok hesaplı MLOps stratejisi – Bir modeli bir defa eğitin ve farklı hesaplarda birden çok ortamda öngörülebilir dağıtım sağlayın.
- Hızlı dağıtım – Her hesapta yeniden eğitmek için harcanan zamandan kaçınarak, eğitilmiş bir modeli hesaplar arasında hızlı bir şekilde kopyalayabilirsiniz.
- Hassas veri kümelerini koruyun – Artık veri kümelerini farklı hesaplar veya kullanıcılar arasında paylaşmanıza gerek yok. Eğitim verilerinin yalnızca eğitimin yapıldığı hesapta mevcut olması gerekir. Bu, veri izolasyonu ve korumalı alanın düzenleyici gereklilikleri karşılamak için gerekli olduğu finansal hizmetler gibi belirli endüstriler için çok önemlidir.
- Kolay işbirliği – İş ortakları veya satıcılar artık Amazon Comprehend Custom'da kolayca eğitim alabilir ve modelleri müşterileriyle paylaşabilir.
Model kopyalama nasıl çalışır?
Yeni model kopyalama özelliği ile iki aşamalı bir süreçte aynı Bölgedeki AWS hesapları arasında özel modeller kopyalayabilirsiniz. İlk olarak, bir AWS hesabındaki (A hesabı) bir kullanıcı, hesabındaki özel bir modeli paylaşır. Ardından, başka bir AWS hesabındaki (B hesabı) bir kullanıcı, modeli kendi hesabına aktarır.
Bir model paylaşın
A hesabında özel bir modeli paylaşmak için kullanıcı, AWS Kimlik ve Erişim Yönetimi (IAM) bir model sürümüne kaynak tabanlı politika. Bu politika, bir IAM kullanıcısı veya rolü gibi B hesabındaki bir varlığın, model sürümünü kendi AWS hesaplarında Amazon Comprehend'e aktarması için yetki verir. Konsol aracılığıyla veya Amazon Comprehend özel aracıyla kaynak tabanlı bir ilke yapılandırabilirsiniz. PutResourcePolicy
API.
Bir modeli içe aktar
Modeli B hesabına aktarmak için bu hesabın kullanıcısı Amazon Comprehend'e modelin Amazon Kaynak Adı (ARN) gibi gerekli ayrıntıları sağlar. Modeli içe aktardıklarında, bu kullanıcı AWS hesabında içe aktardıkları modeli çoğaltan yeni bir özel model oluşturur. Bu model, tam olarak eğitilmiştir ve belge sınıflandırma veya adlandırılmış varlık tanıma gibi çıkarım işleri için hazırdır. Model bir ile şifrelenmişse AWS Anahtar Yönetim Hizmeti (AWS KMS) anahtarına sahipse, ardından modeli içe aktarırken belirtilen hizmet rolünün, içe aktarma sırasında modelin şifresini çözmek için KMS anahtarına erişimi olması gerekir. Hedef hesap, içe aktarma sırasında modeli şifrelemek için bir KMS anahtarı da belirtebilir. Paylaşılan modelin içe aktarılması hem konsolda hem de API olarak mevcuttur.
Çözüme genel bakış
Model kopyalama özelliğinin işlevselliğini göstermek için, hem Amazon Comprehend konsolunu hem de AWS CLI'yi kullanarak bir Amazon Comprehend özel varlık tanıma modelini nasıl eğiteceğinizi, paylaşacağınızı ve içe aktaracağınızı gösteriyoruz. Bu gösteri için iki farklı hesap kullanıyoruz. Adımlar, Amazon Comprehend özel sınıflandırması için de geçerlidir. Gerekli adımlar aşağıdaki gibidir:
- Kaynak hesapta bir Amazon Comprehend özel varlık tanıma modeli eğitin.
- Hesaplar arası erişime izin vermek için eğitilen model için IAM kaynak politikasını tanımlayın.
- Eğitilen modeli kaynak hesaptan hedef hesaba kopyalayın.
- Bir toplu iş aracılığıyla kopyalanan modeli test edin.
Kaynak hesapta bir Amazon Comprehend özel varlık tanıma modeli eğitin
İlk adım, kaynak hesapta bir Amazon Comprehend özel varlık tanıma modeli eğitmektir. Eğitim için girdi veri seti olarak bir CSV kullanıyoruz varlık listesi ve eğitim belgeleri belirli bir belgede AWS hizmet tekliflerini tanımak için. Varlık listesinin ve eğitim belgelerinin bir Amazon Basit Depolama Hizmeti (Amazon S3) kaynak hesapta. Talimatlar için bkz. Amazon S3'e Belge Ekleme.
Bir IAM rolü oluşturma Amazon için Anlayın ve eğitim verileriyle S3 klasörüne gerekli erişimi sağlayın. Sonraki adımlarda kullanmak üzere ARN ve S3 klasör yollarının rolünü not edin.
AWS CLI ile bir model eğitin
Aşağıdaki AWS CLI komutunu kullanarak bir varlık tanıyıcı oluşturun. S3 yolları, IAM rolü ve Bölge için parametrelerinizi değiştirin. Yanıt geri döner EntityRecognizerArn
.
Eğitim işinin durumu, tanım-varlık-tanıyıcısı aranarak ve yanıttaki Durum kontrol edilerek izlenebilir.
Konsol aracılığıyla bir model eğitin
Konsol aracılığıyla bir modeli eğitmek için aşağıdaki adımları tamamlayın:
- Amazon Comprehend konsolunda, altında Özelleştirme, yeni bir özel varlık tanıyıcı modeli oluşturun.
- Bir model adı ve sürümü sağlayın.
- İçin Dil, seçmek İngilizce.
- İçin Özel varlık türü, eklemek
AWS_OFFERING
.
Özel bir varlık tanıma modeli eğitmek için Amazon Comprehend'e veri sağlamanın iki yolundan birini seçebilirsiniz: ek açıklamalar or varlık listeleri. Basit olması için varlık listesi yöntemini kullanın.
- İçin Veri formatıseçin CSV dosyası.
- İçin Eğitim türüseçin Varlık listesi ve eğitim belgelerini kullanma.
- Varlık listesi CSV ve eğitim verileri için S3 konum yollarını sağlayın.
- Amazon Comprehend'e S3 klasörünüze erişme izni vermek için IAM hizmeti bağlantılı bir rol oluşturun.
içinde Kaynak tabanlı politika bölümünden model versiyonu için erişim yetkisi verebilirsiniz. Erişim izni verdiğiniz hesaplar, bu modeli kendi hesaplarına aktarabilir. Şimdilik bu adımı atlıyoruz ve model eğitildikten ve model performansından memnun kaldıktan sonra ilkeyi ekliyoruz.
- Klinik oluşturmak.
Bu, bir dizi modelden geçen, hiperparametrelerinizi ayarlayan ve modelinizin sağlam olduğundan emin olmak için çapraz doğrulamayı kontrol eden özel varlık tanıyıcınızı gönderir. Bunların hepsi, veri bilimcilerinin gerçekleştirdiği faaliyetlerin aynısıdır.
Hesaplar arası erişime izin vermek için eğitilmiş model için IAM kaynak politikasını tanımlayın
Eğitim performansından memnun kaldığımızda, bir kaynak politikası ekleyerek devam edip belirli model sürümünü paylaşabiliriz.
AWS CLI'den kaynak tabanlı bir politika ekleyin
Aşağıdaki kodda gösterildiği gibi, modele bir kaynak ilkesi ekleyerek modeli hedef hesaptan içe aktarmaya yetki verin. Politika, belirli bir model sürümüne ve hedef ilkeye sıkı bir şekilde dahil edilebilir. Erişim sağlamak için eğitimli varlık tanıyıcı ARN'nizi ve hedef hesabınızı değiştirin.
Konsol aracılığıyla kaynak tabanlı bir politika ekleyin
Eğitim tamamlandığında, özel bir varlık tanıma modeli sürümü oluşturulur. Eğitilen modelin performansı da dahil olmak üzere eğitim ayrıntılarını görüntülemek için eğitilmiş modeli ve sürümü seçebiliriz.
Politikayı güncellemek için aşağıdaki adımları tamamlayın:
- Üzerinde Etiketler, VPC ve Politika sekmesinde, kaynak tabanlı ilkeyi düzenleyin.
- İlke adını sağlayın, Amazon Comprehend hizmet sorumlusu (
comprehend.amazonaws.com
), hedef hesap kimliği ve model sürümünü içe aktarmaya yetkili hedef hesaptaki IAM kullanıcıları.
Belirtiyoruz root
hedef hesaptaki tüm kullanıcıları yetkilendirmek için IAM varlığı olarak.
Eğitilmiş modeli kaynak hesaptan hedef hesaba kopyalayın
Artık model eğitilir ve kaynak hesaptan paylaşılır. Yetkili hedef hesap kullanıcısı, modeli içe aktarabilir ve kendi hesabında modelin bir kopyasını oluşturabilir.
Bir modeli içe aktarmak için kaynak model ARN'sini ve Amazon Comprehend'in hesabınızda kopyalama işlemini gerçekleştirmesi için hizmet rolünü belirtmeniz gerekir. Modeli hedef hesabınızda şifrelemek için isteğe bağlı bir AWS KMS Kimliği belirtebilirsiniz.
Modeli AWS CLI aracılığıyla içe aktarın
Modelinizi AWS CLI ile içe aktarmak için aşağıdaki kodu girin:
Modeli konsol aracılığıyla içe aktarın
Modeli konsol aracılığıyla içe aktarmak için aşağıdaki adımları tamamlayın:
- Amazon Comprehend konsolunda, altında Özel varlık tanıma, seçmek Sürümü içe aktar.
- İçin Model versiyonu ARN, kaynak hesapta eğitilen model için ARN'yi girin.
- Hedef için bir model adı ve sürüm girin.
- Bir hizmet hesabı rolü sağlayın ve Onaylamak Model içe aktarma işlemini başlatmak için.
Model durumu olarak değiştikten sonra Imported
, eğitilen modelin performans detayları da dahil olmak üzere model detaylarını görebiliriz.
Bir toplu iş aracılığıyla kopyalanan modeli test edin
Bir toplu iş ile özel varlıkları tespit ederek kopyalanan modeli hedef hesapta test ederiz. Modeli test etmek için test dosyası ve hedef hesabınızdaki bir S3 kovasına yerleştirin. Bir IAM rolü oluşturma Amazon Comprehend için test verileriyle S3 klasörüne gerekli erişimi sağlayın. Daha önce not ettiğiniz rol ARN ve S3 kova yollarını kullanırsınız.
İş tamamlandığında, belirtilen çıktı S3 kovasındaki çıkarsama verilerini doğrulayabilirsiniz.
Modeli AWS CLI ile test edin
AWS CLI kullanarak modeli test etmek için aşağıdaki kodu girin:
Modeli konsol üzerinden test edin
Modeli konsol üzerinden test etmek için aşağıdaki adımları tamamlayın:
- Amazon Comprehend konsolunda şunu seçin: Analiz işleri Ve seç İş oluştur.
- İçin Name, iş için bir ad girin.
- İçin Analiz türüSeç Özel varlık tanıma.
- İçe aktarılan modelin model adını ve sürümünü seçin.
- İşin test dosyası için S3 yollarını ve Amazon Comprehend'in sonucu depoladığı çıktı konumunu sağlayın.
- S3 klasörlerine erişim iznine sahip bir IAM rolü seçin veya oluşturun.
- Klinik İş oluştur.
Analiz işiniz tamamlandığında, alınan modelden varlık tanıma sonuçlarını doğrulamak için indirebileceğiniz çıkış S3 klasör yolunuzda JSON dosyalarınız olur.
Sonuç
Bu gönderide, Amazon Comprehend özel varlık modeli kopyalama özelliğini gösterdik. Bu özellik size bir Amazon Comprehend özel varlık tanıma veya sınıflandırma modelini bir hesapta eğitme ve ardından modeli aynı Bölgedeki başka bir hesapla paylaşma olanağı sağlar. Bu, modelin bir kez eğitilebildiği ve eğitim veri kümelerini yeniden eğitmek veya paylaşmak zorunda kalmadan aynı Bölge içindeki hesaplar arasında paylaşılabildiği çoklu hesap stratejisini basitleştirir. Bu, MLOps iş akışınızın bir parçası olarak her hesapta öngörülebilir bir dağıtıma izin verir. Daha fazla bilgi için belgelerimize bakın. Özel kopyayı anlaveya AWS CLI ile konsol üzerinden veya bir bulut kabuğu kullanarak bu gönderideki izlenecek yolu deneyin.
Bu yazı itibariyle, Amazon Comprehend'deki model kopyalama özelliği aşağıdaki Bölgelerde kullanıma sunulmuştur:
- ABD Doğu (Ohio)
- ABD Doğu (N. Virginia)
- ABD Batı (Oregon)
- Asya Pasifik (Mumbai)
- Asya Pasifik (Seul)
- Asya Pasifik (Singapur)
- Asya Pasifik (Sidney)
- Asya Pasifik (Tokyo)
- AB (Frankfurt)
- AB (İrlanda)
- AB (Londra)
- AWS GovCloud (ABD Batı)
Özelliği bir deneyin ve lütfen bize şu adresten geri bildirim gönderin: AWS forumu Amazon Comprehend için veya her zamanki AWS destek kişileriniz aracılığıyla.
Yazarlar Hakkında
Premkumar Rangarajan Amazon Web Services'de bir AI/ML uzman çözüm mimarıdır ve daha önce AWS AI hizmetleri ile Doğal Dil İşleme kitabının yazarıdır. BT sektöründe teslimat lideri, entegrasyon uzmanı ve kurumsal mimar dahil olmak üzere çeşitli görevlerde 26 yıllık deneyime sahiptir. Her büyüklükteki işletmenin gerçek dünyadaki zorluklarını çözmek için AI ve ML'yi benimsemesine yardımcı olur.
Çetan Krişna Hindistan'da Kıdemli Ortak Çözümler Mimarıdır. Güçlü bir bulut uzmanlığı oluşturmak, AWS'nin en iyi uygulamalarını benimsemek ve müşteri zorluklarını çözmek için Stratejik AWS Çözüm Ortaklarıyla birlikte çalışır. O bir inşaatçıdır ve AI/ML, IoT ve analitik ile deney yapmaktan hoşlanır.
Sriharsha MS Amazon Web Services'in Stratejik Uzman ekibinde yer alan bir AI / ML uzmanı çözüm mimarıdır. Karmaşık iş sorunlarını çözmek için AI / ML'den yararlanan stratejik AWS müşterileriyle çalışıyor. Yapay zeka / makine öğrenimi uygulamalarını geniş ölçekte uygulamak için teknik rehberlik ve tasarım tavsiyesi sağlar. Uzmanlığı, uygulama mimarisi, büyük veriler, analitik ve makine öğrenimini kapsar.
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
- KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Hakkımızda
- erişim
- Hesap
- Action
- faaliyetler
- gelişmeler
- avantaj
- tavsiye
- AI
- AI hizmetleri
- Türkiye
- Amazon
- Amazon Web Servisleri
- analiz
- analytics
- duyurmak
- Duyurusu
- Başka
- api
- API'ler
- uygulanabilir
- Uygulama
- uygulamaları
- mimari
- Oto
- mevcut
- AWS
- faydaları
- İYİ
- en iyi uygulamalar
- sınır
- inşa etmek
- oluşturucu
- iş
- zorluklar
- denetleme
- Çekler
- sınıflandırma
- bulut
- kod
- yorumlar
- ortak
- karmaşık
- konsolos
- içerik
- Müşteriler
- veri
- onyıl
- teslim
- açılma
- Dizayn
- farklı
- dijital
- evraklar
- kolayca
- Efekt
- muazzam
- kuruluş
- gerekli
- örnek
- deneyim
- Uzmanlık
- Özellikler(Hazırlık aşamasında)
- geribesleme
- mali
- finansal hizmetler
- Ad
- takip etme
- işlevsellik
- mutlu
- sahip olan
- yardımcı olur
- Ne kadar
- Nasıl Yapılır
- HTTPS
- belirlemek
- Kimlik
- uygulamak
- önemli
- ithal
- Dahil olmak üzere
- Hindistan
- Endüstri
- sanayi
- bilgi
- anlayışlar
- bütünleşme
- İstihbarat
- faiz
- IOT
- İrlanda
- izolasyon
- IT
- İş
- Mesleki Öğretiler
- anahtar
- dil
- başlatmak
- öncülük etmek
- öğrenme
- çizgi
- Liste
- yer
- London
- makine
- makine öğrenme
- yönetim
- medya
- Madencilik
- ML
- model
- modelleri
- çoğu
- En popüler
- Mumbai
- Doğal (Madenden)
- teklifleri
- Ohio
- sipariş
- Oregon
- Diğer
- Pasifik
- Partner
- ortaklar
- performans
- ifadeler
- politika
- Popüler
- Anapara
- sorunlar
- süreç
- PLATFORM
- sağlamak
- sağlar
- hızla
- düzenleyici
- gereklidir
- Yer Alan Kurallar
- kaynak
- yanıt
- Sonuçlar
- İade
- Yorumları
- ölçek
- bilim adamları
- sdk
- Seul
- hizmet
- Hizmetler
- paylaş
- Paylaşılan
- Paylar
- Kabuk
- Basit
- Singapur
- So
- Çözümler
- ÇÖZMEK
- başlama
- Açıklama
- Durum
- hafızası
- mağaza
- Stratejik
- Stratejileri
- destek
- sydney
- Hedef
- takım
- Teknik
- test
- Kaynak
- İçinden
- zaman
- bugün
- Tokyo
- Eğitim
- Trendler
- benzersiz
- Güncelleme
- us
- kullanım
- kullanıcılar
- satıcıları
- Görüntüle
- Virjinya
- ağ
- web hizmetleri
- Batısında
- DSÖ
- içinde
- olmadan
- çalışır
- yazı yazıyor
- yıl