Sağlık ve yaşam bilimleri (HCLS) müşterileri, verilerinden daha fazlasını elde etmek için üretken yapay zekayı bir araç olarak benimsiyor. Kullanım örnekleri, okuyucuların bir belgenin önemli noktalarına odaklanmasına yardımcı olmak için belge özetlemeyi ve önemli nitelikleri vurgulamak için yapılandırılmamış metni standartlaştırılmış biçimlere dönüştürmeyi içerir. Benzersiz veri formatları ve sıkı düzenleme gereklilikleri nedeniyle müşteriler, en performanslı ve uygun maliyetli modeli seçme seçeneklerinin yanı sıra, iş kullanım durumlarına uyacak şekilde gerekli özelleştirmeyi (ince ayar) gerçekleştirme olanağı da arıyor. Bu yazıda, Falcon büyük dil modelini (LLM) aşağıdakileri kullanarak dağıtma konusunda size yol göstereceğiz: Amazon SageMaker Hızlı Başlangıç ve modeli LangChain ve Python ile uzun belgeleri özetlemek için kullanmak.
Çözüme genel bakış
Amazon Adaçayı Yapıcı Amazon'un ürün önerileri, kişiselleştirme, akıllı alışveriş, robot teknolojisi ve ses destekli cihazlar da dahil olmak üzere gerçek dünya makine öğrenimi uygulamaları geliştirmedeki yirmi yıllık deneyimine dayanmaktadır. SageMaker, veri bilimcilerin, makine öğrenimi mühendislerinin ve iş analistlerinin makine öğrenimi ile yenilik yapmasına olanak tanıyan araçlar sağlayan, HIPAA'ya uygun bir yönetilen hizmettir. SageMaker'ın içinde Amazon SageMaker Stüdyosu, SageMaker JumpStart adı verilen entegre bir merkezde çok çeşitli hızlı başlangıç çözümleri ve önceden eğitilmiş makine öğrenimi modelleri içeren, işbirliğine dayalı makine öğrenimi iş akışları için özel olarak tasarlanmış entegre bir geliştirme ortamı (IDE). SageMaker JumpStart ile, bu güçlü transformatör modellerini denemek ve dağıtmak için önceden oluşturulmuş örnek dizüstü bilgisayarlar ve SDK desteğine sahip Falcon LLM gibi önceden eğitilmiş modelleri kullanabilirsiniz. AWS hesabınızda kendi üretken modelinizi dağıtmak ve sorgulamak için SageMaker Studio ve SageMaker JumpStart'ı kullanabilirsiniz.
Çıkarım yükü verilerinin VPC'nizden ayrılmamasını da sağlayabilirsiniz. Modelleri tek kiracılı uç noktalar olarak tedarik edebilir ve bunları ağ yalıtımıyla dağıtabilirsiniz. Ayrıca, SageMaker JumpStart içindeki özel model merkezi özelliğini kullanarak ve onaylanmış modelleri burada saklayarak, kendi güvenlik gereksinimlerinizi karşılayan seçilmiş model setini düzenleyebilir ve yönetebilirsiniz. SageMaker kapsam dahilindedir HIPAA BAA, SOC123, ve HITRUST CSF.
The Şahin Yüksek Lisans Teknoloji İnovasyon Enstitüsü'ndeki (TII) araştırmacılar tarafından AWS kullanılarak 1 trilyondan fazla token üzerinde eğitilen büyük bir dil modelidir. Falcon'un, sırasıyla 40 milyar ve 7 milyar parametreden oluşan iki ana bileşeni Falcon 40B ve Falcon 7B ile, aşağıdaki talimatlar gibi belirli görevler için eğitilmiş ince ayarlı versiyonları ile birçok farklı varyasyonu vardır. Falcon, metin özetleme, duygu analizi, soru yanıtlama ve sohbet dahil olmak üzere çeşitli görevlerde iyi performans gösterir. Bu gönderide, metin özetleme denemeleri yapmak için SageMaker JumpStart aracılığıyla yönetilen bir dizüstü bilgisayar örneğini kullanarak Falcon LLM'yi AWS hesabınıza dağıtmak için takip edebileceğiniz bir yol sağlanmaktadır.
SageMaker JumpStart model merkezi, her modeli dağıtmak ve sorgulamak için eksiksiz dizüstü bilgisayarlar içerir. Bu yazının yazıldığı an itibariyle, SageMaker JumpStart model merkezinde Falcon'un altı sürümü mevcuttur: Falcon 40B Instruct BF16, Falcon 40B BF16, Falcon 180B BF16, Falcon 180B Chat BF16, Falcon 7B Instruct BF16 ve Falcon 7B BF16. Bu yazı Falcon 7B Instruct modelini kullanıyor.
Aşağıdaki bölümlerde Falcon 7B'yi SageMaker Jumpstart'ta konuşlandırarak belge özetlemeye nasıl başlayacağınızı gösteriyoruz.
Önkoşullar
Bu eğitim için SageMaker etki alanına sahip bir AWS hesabına ihtiyacınız olacak. Henüz bir SageMaker alan adınız yoksa, bkz. Amazon SageMaker Etki Alanında Yerleşik bir tane oluşturmak için.
SageMaker JumpStart'ı kullanarak Falcon 7B'yi konuşlandırın
Modelinizi dağıtmak için aşağıdaki adımları tamamlayın:
- SageMaker konsolundan SageMaker Studio ortamınıza gidin.
- IDE içinde, altında Adaçayı Yapıcı Hızlı Başlangıç gezinme bölmesinde öğesini seçin. Modeller, defterler, çözümler.
- Çıkarım için Falcon 7B Instruct modelini bir uç noktaya dağıtın.
Bu, Falcon 7B Instruct BF16 modelinin model kartını açacaktır. Bu sayfada şunları bulabilirsiniz: Sürüş or Tren örnek not defterlerini SageMaker Studio'da açmak için seçenekler ve bağlantılar. Bu gönderide, modeli dağıtmak için SageMaker JumpStart'ın örnek not defteri kullanılacaktır.
- Klinik Not defterini aç.
- Falcon 7B Instruct uç noktasını dağıtmak için dizüstü bilgisayarın ilk dört hücresini çalıştırın.
Dağıtılmış JumpStart modellerinizi şurada görebilirsiniz: Başlatılan JumpStart varlıkları gidin.
- Gezinti bölmesinde, altında SageMaker Hızlı Başlangıç, seçmek Başlatılan JumpStart varlıkları.
- Seçin Model uç noktaları Uç noktanızın durumunu görüntülemek için sekme.
Falcon LLM uç noktası dağıtıldığında modeli sorgulamaya hazırsınız.
İlk sorgunuzu çalıştırın
Bir sorgu çalıştırmak için aşağıdaki adımları tamamlayın:
- Üzerinde fileto menü seç yeni ve defter yeni bir defter açmak için.
Tamamlanan not defterini de indirebilirsiniz okuyun.
- İstendiğinde görüntüyü, çekirdeği ve örnek türünü seçin. Bu yazı için Data Science 3.0 görüntüsünü, Python 3 çekirdeğini ve ml.t3.medium örneğini seçiyoruz.
- Aşağıdaki iki satırı ilk hücreye girerek Boto3 ve JSON modüllerini içe aktarın:
- Basın ÜstKrktr + Enter hücreyi çalıştırmak için.
- Daha sonra uç noktanızı çağıracak bir işlev tanımlayabilirsiniz. Bu işlev bir sözlük yükünü alır ve bunu SageMaker çalışma zamanı istemcisini çağırmak için kullanır. Daha sonra yanıtı seri durumdan çıkarır ve girdiyi ve oluşturulan metni yazdırır.
Yük, modele aktarılacak çıkarım parametreleriyle birlikte girdi olarak bilgi istemini içerir.
- Modelin çıktısını kullanım durumunuza göre ayarlamak için istemle birlikte bu parametreleri kullanabilirsiniz:
Özetleme istemiyle sorgulama
Bu yazı özetlemeyi göstermek için örnek bir araştırma makalesi kullanıyor. Örnek metin dosyası biyomedikal literatürdeki otomatik metin özetlemeye ilişkindir. Aşağıdaki adımları tamamlayın:
- İndir PDF'yi açın ve metni adlı bir dosyaya kopyalayın.
document.txt
. - SageMaker Studio'da yükleme simgesini seçin ve dosyayı SageMaker Studio örneğinize yükleyin.
Falcon LLM, kutunun dışında metin özetleme desteği sağlar.
- Özetlemek için hızlı mühendislik tekniklerini kullanan bir fonksiyon oluşturalım
document.txt
:
Daha uzun belgelerde bir hatanın göründüğünü fark edeceksiniz; diğer tüm LLM'lerin yanı sıra Falcon'un da girdi olarak aktarılan jeton sayısında bir sınırı vardır. LangChain'in LLM'ye çok daha büyük bir girdinin aktarılmasına olanak tanıyan gelişmiş özetleme yeteneklerini kullanarak bu sınırı aşabiliriz.
Özetleme zincirini içe aktarın ve çalıştırın
LangChain, geliştiricilerin ve veri bilimcilerinin karmaşık makine öğrenimi etkileşimlerini yönetmeden özel üretken uygulamaları hızlı bir şekilde oluşturmasına, ayarlamasına ve dağıtmasına olanak tanıyan açık kaynaklı bir yazılım kitaplığıdır; genellikle üretken yapay zeka dil modelleri için yaygın kullanım durumlarının çoğunu yalnızca birkaç örnekte soyutlamak için kullanılır. Kod satırları. LangChain'in AWS hizmetlerine yönelik desteği, SageMaker uç noktalarına yönelik desteği de içerir.
LangChain, Yüksek Lisans'lara erişilebilir bir arayüz sağlar. Özellikleri, hızlı şablonlama ve hızlı zincirleme için araçlar içerir. Bu zincirler, dil modelinin desteklediğinden daha uzun olan metin belgelerini tek bir çağrıda özetlemek için kullanılabilir. Uzun belgeleri yönetilebilir parçalara bölerek, özetleyerek ve birleştirerek (ve gerekirse yeniden özetleyerek) özetlemek için bir harita azaltma stratejisi kullanabilirsiniz.
- Başlamak için LangChain'i kuralım:
- İlgili modülleri içe aktarın ve uzun belgeyi parçalara ayırın:
- LangChain'in Falcon ile etkili bir şekilde çalışmasını sağlamak amacıyla geçerli giriş ve çıkış için varsayılan içerik işleyici sınıflarını tanımlamanız gerekir:
- Özel istemleri şu şekilde tanımlayabilirsiniz:
PromptTemplate
harita azaltıcı özetleme yaklaşımı için LangChain ile yönlendirmenin ana aracı olan nesneler. Bu isteğe bağlı bir adımdır çünkü eşleştirme ve birleştirme istemleri, çağrı içindeki parametreler özetleme zincirini yüklemeye yönelikse varsayılan olarak sağlanır (load_summarize_chain
) tanımsızdır.
- LangChain, SageMaker çıkarım uç noktalarında barındırılan LLM'leri destekler; dolayısıyla daha fazla erişilebilirlik için AWS Python SDK'yı kullanmak yerine bağlantıyı LangChain aracılığıyla başlatabilirsiniz:
- Son olarak, aşağıdaki kodu kullanarak bir özetleme zinciri yükleyebilir ve giriş belgelerinde bir özet çalıştırabilirsiniz:
Çünkü verbose
parametre şu şekilde ayarlanmıştır: True
harita azaltma yaklaşımının tüm ara çıktılarını göreceksiniz. Bu, nihai bir özete ulaşmak amacıyla olayların sırasını takip etmek için kullanışlıdır. Bu harita azaltma yaklaşımıyla, belgeleri normalde modelin maksimum giriş belirteci sınırının izin verdiğinden çok daha uzun süre etkili bir şekilde özetleyebilirsiniz.
Temizlemek
Çıkarım uç noktasını kullanmayı bitirdikten sonra, aşağıdaki kod satırları yoluyla gereksiz maliyetlere maruz kalmamak için onu silmeniz önemlidir:
SageMaker JumpStart'ta diğer temel modellerini kullanma
Belge özetleme için SageMaker JumpStart'ta bulunan diğer temel modellerin kullanılması, kurulum ve dağıtım için minimum düzeyde ek yük gerektirir. LLM'ler zaman zaman giriş ve çıkış formatlarının yapısına göre değişiklik gösterir ve SageMaker JumpStart'a yeni modeller ve önceden hazırlanmış çözümler eklendikçe, görev uygulamasına bağlı olarak aşağıdaki kod değişikliklerini yapmanız gerekebilir:
- Eğer özetleme işlemini şu şekilde yapıyorsanız:
summarize()
yöntemi (LangChain kullanmadan yöntem), JSON yapısını değiştirmeniz gerekebilir.payload
parametresinin yanı sıra yanıt değişkeninin işlenmesiquery_endpoint()
işlev - LangChain'in aracılığıyla özetleme yapıyorsanız
load_summarize_chain()
yöntemini değiştirmeniz gerekebilir.ContentHandlerTextSummarization
sınıf, özellikletransform_input()
vetransform_output()
LLM'nin beklediği yükü ve LLM'nin döndürdüğü çıktıyı doğru şekilde işlemek için işlevler
Temel modeller yalnızca çıkarım hızı ve kalitesi gibi faktörler açısından değil, aynı zamanda girdi ve çıktı formatları açısından da farklılık gösterir. Beklenen giriş ve çıkış hakkında LLM'nin ilgili bilgi sayfasına bakın.
Sonuç
Falcon 7B Instruct modeli, SageMaker JumpStart model merkezinde mevcuttur ve çeşitli kullanım durumlarında performans gösterir. Bu gönderi, SageMaker JumpStart'ı kullanarak kendi Falcon LLM uç noktanızı ortamınıza nasıl dağıtabileceğinizi ve ilk deneylerinizi SageMaker Studio'dan nasıl yapabileceğinizi göstererek modellerinizi hızla prototiplemenize ve üretim ortamına sorunsuz bir şekilde geçiş yapmanıza olanak sağladığını gösterdi. Falcon ve LangChain ile uzun biçimli sağlık hizmetleri ve yaşam bilimleri belgelerini geniş ölçekte etkili bir şekilde özetleyebilirsiniz.
AWS'de üretken yapay zeka ile çalışma hakkında daha fazla bilgi için bkz. AWS'de Üretken Yapay Zeka ile Derlemeye Yönelik Yeni Araçlar Duyurusu. Bu yazıda özetlenen yöntemi kullanarak sağlık hizmetleri ve yaşam bilimleri odaklı GenAI uygulamalarınız için denemeler yapmaya ve belge özetleme kavram kanıtları oluşturmaya başlayabilirsiniz. Ne zaman Amazon Ana Kayası Genel kullanıma sunulduğunda, Amazon Bedrock ve LangChain'i kullanarak belge özetlemeyi nasıl uygulayabileceğinizi gösteren bir takip gönderisi yayınlayacağız.
Yazarlar Hakkında
John Kitaoka Amazon Web Services'te Çözüm Mimarıdır. John, müşterilerin iş hedeflerine ulaşmalarına yardımcı olmak için AWS'de AI/ML iş yüklerini tasarlamalarına ve optimize etmelerine yardımcı oluyor.
Josh Famestad Amazon Web Services'te Çözüm Mimarıdır. Josh, iş önceliklerini yerine getirmek amacıyla bulut tabanlı yaklaşımlar oluşturmak ve uygulamak için kamu sektörü müşterileriyle birlikte çalışıyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :vardır
- :dır-dir
- :olumsuzluk
- $UP
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- kabiliyet
- ÖZET
- Kabul eder
- ulaşabilme
- ulaşılabilir
- Hesap
- Başarmak
- katma
- Benimsemek
- tekrar
- AI
- AI / ML
- Türkiye
- izin
- Izin
- veriyor
- yanında
- zaten
- Ayrıca
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon SageMaker Hızlı Başlangıç
- Amazon Web Servisleri
- an
- analiz
- Analistler
- ve
- hayvan
- hayvanlar
- Uygulama
- uygulamaları
- yaklaşım
- yaklaşımlar
- onaylı
- ARE
- etrafında
- AS
- At
- öznitelikleri
- Otomatik
- mevcut
- önlemek
- AWS
- merkezli
- BE
- Çünkü
- başlamak
- inanıyor
- Milyar
- biyomedikal
- vücut
- pim
- kutu
- mola
- Kırma
- inşa etmek
- bina
- yapılı
- iş
- fakat
- by
- çağrı
- denilen
- CAN
- Alabilirsin
- yetenekleri
- kabiliyet
- kart
- dava
- durumlarda
- Hücreler
- zincir
- zincirler
- değişiklik
- değişiklikler
- choices
- Klinik
- seçme
- sınıf
- sınıflar
- müşteri
- bulut
- kod
- işbirlikçi
- birleştirmek
- birleştirme
- ortak
- çoğunlukla
- karşılaştırıldığında
- tamamlamak
- Tamamlandı
- karmaşık
- oluşur
- kavram
- Özlü
- bağ
- konsolos
- içermek
- içerik
- uygun maliyetli
- maliyetler
- yaratmak
- görenek
- Müşteriler
- özelleştirme
- veri
- veri bilimi
- yıl
- Varsayılan
- tanımlamak
- teslim etmek
- göstermek
- gösterdi
- bağlı
- dağıtmak
- konuşlandırılmış
- dağıtma
- açılma
- Dizayn
- geliştiriciler
- gelişen
- gelişme
- Cihaz
- farklı
- do
- belge
- evraklar
- Değil
- domain
- Dont
- aşağı
- indir
- her
- toprak
- etkili bir şekilde
- etkinleştirmek
- Son nokta
- Mühendislik
- Mühendisler
- gelişmiş
- sağlamak
- girme
- çevre
- hata
- olaylar
- örnek
- yürütmek
- beklenen
- beklediğini
- deneyim
- deneme
- deneyler
- Yüz
- faktörler
- yanlış
- Özellikler
- az
- fileto
- son
- bulmak
- Ad
- uygun
- odak
- takip et
- takip etme
- İçin
- vakıf
- dört
- itibaren
- işlev
- fonksiyonlar
- Ayrıca
- genellikle
- oluşturmak
- oluşturulan
- üretken
- üretken yapay zeka
- almak
- Goller
- büyük
- sap
- kullanma
- Var
- sağlık
- yardım et
- yardımcı olur
- Vurgulamak
- ev sahipliği yaptı
- Ne kadar
- Nasıl Yapılır
- HTML
- HTTPS
- merkez
- ICON
- if
- görüntü
- uygulamak
- uygulama
- ithalat
- önemli
- in
- dahil
- içerir
- Dahil olmak üzere
- bilgi
- yenilik yapmak
- Yenilikçilik
- giriş
- girişler
- kurmak
- örnek
- yerine
- Enstitü
- talimatlar
- entegre
- Akıllı
- etkileşimleri
- arayüzey
- içine
- izolasyon
- IT
- ONUN
- John
- json
- sadece
- anahtar
- dil
- büyük
- büyük
- başlattı
- Ayrılmak
- Kütüphane
- hayat
- Yaşam Bilimleri
- LİMİT
- hatları
- bağlantılar
- Edebiyat
- Yüksek Lisans
- yük
- Uzun
- uzun
- bakıyor
- Ana
- yapmak
- yönetmek
- idare edilebilir
- yönetilen
- yönetme
- çok
- haritalama
- maksimum
- Mayıs..
- orta
- Menü
- yöntem
- en az
- ML
- model
- modelleri
- değiştirmek
- Modüller
- Daha
- çoğu
- çok
- Navigasyon
- gerekli
- gerek
- gerekli
- ağ
- yeni
- NIH
- normalde
- defter
- Fark etme..
- numara
- nesneler
- of
- on
- ONE
- bir tek
- açık
- açık kaynak
- Açık kaynaklı yazılım
- optimize
- Opsiyonlar
- Diğer
- özetlenen
- çıktı
- tekrar
- kendi
- Kanal
- bölmesi
- kâğıt
- parametre
- parametreler
- geçti
- Yapmak
- icra
- gerçekleştirir
- Kişiselleştirme
- Platon
- Plato Veri Zekası
- PlatoVeri
- noktaları
- Çivi
- güçlü
- baskılar
- özel
- süreç
- PLATFORM
- üretim
- ispatları
- prototip
- sağlamak
- sağlanan
- sağlar
- hüküm
- halka açık
- yayınlamak
- Python
- kalite
- soru
- hızla
- hızla
- okuyucular
- hazır
- Gerçek dünya
- tavsiyeler
- başvurmak
- düzenleyici
- uygun
- Yer Alan Kurallar
- gerektirir
- araştırma
- Araştırmacılar
- sırasıyla
- yanıt
- dönüş
- robotik
- koşmak
- sagemaker
- SageMaker Çıkarımı
- ölçek
- Bilim
- BİLİMLERİ
- bilim adamları
- kapsam
- sdk
- sorunsuz
- bölümler
- sektör
- güvenlik
- görmek
- seçilmiş
- SELF
- duygu
- Dizi
- hizmet
- Hizmetler
- set
- ayar
- Alışveriş
- kısa
- şov
- tek
- ALTINCI
- So
- Yazılım
- Çözümler
- özel
- özellikle
- hız
- başlama
- başladı
- Durum
- adım
- Basamaklar
- depolamak
- Stratejileri
- Sıkı
- yapı
- stüdyo
- böyle
- özetlemek
- ÖZET
- destek
- Destekler
- alır
- Görev
- görevleri
- teknikleri
- Teknoloji
- Teknoloji Yeniliği
- metin
- göre
- o
- The
- ve bazı Asya
- Onları
- sonra
- Orada.
- Bunlar
- Re-Tweet
- İçinden
- için
- birlikte
- simge
- Jeton
- araç
- araçlar
- eğitilmiş
- transformatör
- dönüşüm
- geçiş
- Trilyon
- gerçek
- DÖNÜŞ
- öğretici
- iki
- tip
- tanımlanmamış
- benzersiz
- gereksiz
- Yükleme
- kullanım
- kullanım durumu
- Kullanılmış
- kullanım
- kullanma
- değişken
- çeşitlilik
- araç
- sürümler
- üzerinden
- Görüntüle
- yürümek
- örneklerde
- we
- ağ
- web hizmetleri
- İYİ
- Ne
- ne zaman
- hangi
- geniş
- irade
- ile
- içinde
- olmadan
- İş
- iş akışları
- çalışma
- çalışır
- yazmak
- yazı yazıyor
- Sen
- zefirnet