Serbest biçimli metin belgelerinin bulunduğu bir havuzda içgörü aramak, samanlıkta iğne bulmak gibi olabilir. Geleneksel bir yaklaşım, belgeleri ayrıştırmak için kelime sayımı veya diğer temel analizleri kullanmak olabilir, ancak Amazon AI ve makine öğrenimi (ML) araçlarının gücüyle içeriğin daha derinlemesine anlaşılmasını sağlayabiliriz.
Amazon Kavramak belgelerin içeriği hakkında öngörüler elde etmek için doğal dil işlemeyi (NLP) kullanan, tümüyle yönetilen bir hizmettir. Amazon Comprehend, bir belgedeki varlıkları, anahtar ifadeleri, görüşleri, temaları ve özel öğeleri tanıyarak içgörüler geliştirir. Amazon Comprehend, belge yapısını ve varlık ilişkilerini anlamaya dayalı yeni öngörüler oluşturabilir. Örneğin, Amazon Comprehend ile anahtar ifadeler için bir belge deposunun tamamını tarayabilirsiniz.
Amazon Comprehend, makine öğrenimi dışı uzmanların normalde saatlerce süren görevleri kolayca gerçekleştirmesine olanak tanır. Amazon Comprehend, kendi modelinizi temizlemek, oluşturmak ve eğitmek için gereken zamanın çoğunu ortadan kaldırır. NLP'de veya başka herhangi bir alanda daha derin özel modeller oluşturmak için, Amazon Adaçayı Yapıcı İstenirse çok daha geleneksel bir makine öğrenimi iş akışında modeller oluşturmanıza, eğitmenize ve dağıtmanıza olanak tanır.
Bu yazıda, bir belge deposundan yeni içgörüleri analiz etmek ve çıkarmak için Amazon Comprehend ve diğer AWS hizmetlerini kullanıyoruz. Sonra kullanırız Amazon QuickSight temaları veya eğilimleri kolayca tespit etmek için basit ama güçlü bir kelime bulutu görseli oluşturmak.
Çözüme genel bakış
Aşağıdaki şemada çözüm mimarisi gösterilmektedir.
Başlangıç olarak, analiz edilecek verileri topluyor ve bir dosyaya yüklüyoruz. Amazon Basit Depolama Hizmeti (Amazon S3) bir AWS hesabındaki klasör. Bu örnekte metin formatlı dosyalar kullanıyoruz. Veriler daha sonra Amazon Comprehend tarafından analiz edilir. Amazon Comprehend, aşağıdakileri kullanarak bir veritabanı formatına dönüştürülmesi ve işlenmesi gereken JSON formatlı bir çıktı oluşturur: AWS Tutkal. Verileri doğrularız ve belirli biçimlendirilmiş veri tablolarını kullanarak çıkarırız. Amazon Atina Bir kelime bulutu kullanarak QuickSight analizi için. Görselleştirmeler hakkında daha fazla bilgi için bkz. Amazon QuickSight'ta verileri görselleştirme.
Önkoşullar
Bu izlenecek yol için aşağıdaki ön koşullara sahip olmalısınız:
Verileri bir S3 paketine yükleyin
Verilerinizi bir S3 klasörüne yükleyin. Bu yazı için giriş dosyası olarak ABD Anayasasının UTF-8 formatlı metnini kullanıyoruz. Ardından verileri analiz etmeye ve görselleştirmeler oluşturmaya hazırsınız.
Amazon Comprehen'i kullanarak verileri analiz edin
Amazon Comprehend kullanılarak işlenebilecek birçok türde metin tabanlı ve görsel bilgi vardır. Metin dosyalarına ek olarak şunları da kullanabilirsiniz: Tek adımlı sınıflandırma ve varlık tanıma için Amazon Comprehend Bu yazıda ele alınmayan görüntü dosyalarını, PDF dosyalarını ve Microsoft Word dosyalarını girdi olarak kabul etmek için öğesine tıklayın.
Verilerinizi analiz etmek için aşağıdaki adımları tamamlayın:
- Amazon Comprehend konsolunda şunu seçin: Analiz işleri Gezinti bölmesinde.
- Klinik Analiz işi oluştur.
- İşiniz için bir ad girin.
- İçin Analiz türü, seçmek Anahtar ifadeler.
- İçin DilSeç İngilizce.
- İçin Giriş verileri konumu, ön koşul olarak oluşturduğunuz klasörü belirtin.
- İçin Çıktı veri konumu, ön koşul olarak oluşturduğunuz klasörü belirtin.
- Klinik Bir IAM rolü oluşturma.
- Rol adı için bir sonek girin.
- Klinik İş oluştur.
İş çalışacak ve durum ekranda görüntülenecektir. Analiz işleri gidin.
Analiz işinin tamamlanmasını bekleyin. Amazon Comprehend bir dosya oluşturacak ve bunu sağladığınız çıktı verileri klasörüne yerleştirecektir. Dosya .gz veya GZIP formatındadır.
Bu dosyanın indirilmesi ve sıkıştırılmamış bir formata dönüştürülmesi gerekiyor. Amazon S3 konsolunu kullanarak veri klasöründen veya S3 klasöründen bir nesne indirebilirsiniz.
- Amazon S3 konsolunda nesneyi seçin ve İndir. Nesneyi belirli bir klasöre indirmek istiyorsanız İndir üzerinde İşlemler menüsü.
- Dosyayı yerel bilgisayarınıza indirdikten sonra sıkıştırılmış dosyayı açın ve sıkıştırılmamış bir dosya olarak kaydedin.
AWS Glue tarayıcısının işleyebilmesi için sıkıştırılmamış dosyanın çıkış klasörüne yüklenmesi gerekir. Bu örnekte, sıkıştırılmamış dosyayı sonraki adımlarda kullanacağımız aynı çıktı klasörüne yüklüyoruz.
- Amazon S3 konsolunda S3 klasörünüze gidin ve Foto Yükle.
- Klinik Dosyaları ekleyin.
- Sıkıştırılmamış dosyaları yerel bilgisayarınızdan seçin.
- Klinik Foto Yükle.
Dosyayı yükledikten sonra orijinal sıkıştırılmış dosyayı silin.
- Amazon S3 konsolunda paketi seçin ve Sil.
- Dosya adını metin kutusuna girerek dosyayı kalıcı olarak silmek için dosya adını onaylayın.
- Klinik nesneleri sil.
Bu, çıktı klasöründe bir dosyanın kalmasını sağlayacaktır: sıkıştırılmamış dosya.
AWS Glue'yu kullanarak JSON verilerini tablo formatına dönüştürün
Bu adımda Athena'ya girdi olarak kullanılacak Amazon Comprehend çıktısını hazırlarsınız. Amazon Comprehend çıktısı JSON biçimindedir. JSON'u sonuçta QuickSight tarafından okunacak bir veritabanı yapısına dönüştürmek için AWS Glue'yu kullanabilirsiniz.
- AWS Glue konsolunda seçin Tarayıcıları Gezinti bölmesinde.
- Klinik tarayıcı oluştur.
- Tarayıcınız için bir ad girin.
- Klinik Sonraki.
- İçin Verileriniz zaten Glue tablolarıyla eşlenmiş mi?seçin Henüz değil.
- Bir veri kaynağı ekleyin.
- İçin S3 yoluAmazon Comprehend çıktı verileri klasörünün konumunu girin.
Sondakini eklediğinizden emin olun /
yol adına. AWS Glue, tüm dosyalar için klasör yolunu arayacaktır.
- seç Tüm alt klasörleri tara.
- Klinik Bir S3 veri kaynağı ekleyin.
- Yeni bir tane oluştur AWS Kimlik ve Erişim Yönetimi Tarayıcı için (IAM) rolü.
- IAM rolü için bir ad girin.
- Klinik Seçilen IAM rolünü güncelle yeni rolün tarayıcıya atandığından emin olmak için.
- Klinik Sonraki Çıkış (veritabanı) bilgilerini girmek için.
- Klinik Veritabanı ekle.
- Bir veritabanı adı girin.
- Klinik Sonraki.
- Klinik tarayıcı oluştur.
- Klinik Tarayıcıyı çalıştırın tarayıcıyı çalıştırmak için.
Tarayıcı durumunu AWS Glue konsolundan izleyebilirsiniz.
QuickSight'a tablolar hazırlamak için Athena'yı kullanın
Athena, QuickSight'ın kelime bulutunu oluşturmak için kullanacağı formatı sağlamak üzere AWS Glue tarayıcısının oluşturduğu veritabanı tablolarından veri çıkaracak.
- Athena konsolunda, seçin sorgu düzenleyici Gezinti bölmesinde.
- İçin Veri kaynağı, seçmek AwsDataKatalog.
- İçin veritabanı, tarayıcının oluşturduğu veritabanını seçin.
QuickSight ile uyumlu bir tablo oluşturmak için verilerin dizilerden ayrılması gerekir.
- İlk adım, ilgili Amazon Comprehend verileriyle geçici bir veritabanı oluşturmaktır:
- Aşağıdaki ifade, en az üç kelimeden oluşan cümleleri ve ifadelerin sıklığına göre grupları sınırlandırmaktadır:
Çıktıyı görselleştirmek için QuickSight'ı kullanın
Son olarak analizden görsel çıktı oluşturabilirsiniz.
- QuickSight konsolunda şunu seçin: Yeni analiz,.
- Klinik Yeni veri kümesi.
- İçin Veri kümesi oluşturun, seçmek Yeni veri kaynaklarından.
- Klinik Athena veri kaynağı olarak.
- Veri kaynağı için bir ad girin ve Veri kaynağı oluştur.
- Klinik Görselleştirin.
QuickSight'ın Athena tablolarının depolandığı S3 klasörlerine erişebildiğinden emin olun.
- QuickSight konsolunda kullanıcı profili simgesini seçin ve QuickSight'ı yönetin.
- Klinik Güvenlik ve izinler.
- bölümü ara AWS hizmetlerine QuickSight erişimi.
QuickSight, AWS hizmetlerine erişimi yapılandırarak bu hizmetlerdeki verilere erişebilir. Kullanıcıların ve grupların erişimi seçenekler aracılığıyla kontrol edilebilir.
- Amazon S3'e erişim izni verildiğini doğrulayın.
Artık kelime bulutunu oluşturabilirsiniz.
- Altındaki kelime bulutunu seçin Görsel türler.
- Metni şuraya sürükleyin: Tarafından gruba göre ve say beden.
Düzenleme seçeneklerine erişmek için görselleştirmedeki seçenekler menüsünü (üç nokta) seçin. Örneğin “diğer” terimini ekrandan gizlemek isteyebilirsiniz. Ayrıca görseliniz için başlık ve alt başlık gibi öğeleri de düzenleyebilirsiniz. Kelime bulutunu PDF olarak indirmek için İndir QuickSight araç çubuğunda.
Temizlemek
Devam eden ücretlendirmelerden kaçınmak için ilgili hizmet konsolunda sağlanan kullanılmayan verileri ve işlemleri veya kaynakları silin.
Sonuç
Amazon Comprehend, belgelerin içeriği hakkında öngörüler elde etmek için NLP'yi kullanıyor. Bir belgedeki varlıkları, anahtar sözcükleri, dili, duyguları ve diğer ortak öğeleri tanıyarak içgörüler geliştirir. Belgelerin yapısını anlamaya dayalı yeni ürünler oluşturmak için Amazon Comprehend'i kullanabilirsiniz. Örneğin, Amazon Comprehend ile anahtar ifadeler için bir belge deposunun tamamını tarayabilirsiniz.
Bu gönderi, verileri görselleştirmek için AWS araçlarını ve QuickSight'ı kullanarak Amazon Comprehend'den bir metin içeriği analizini görselleştirmek için bir kelime bulutu oluşturma adımlarını açıkladı.
Yorumlar kısmından iletişimde kalalım!
Yazarlar Hakkında
Kris Gedman Amazon Web Services'te Perakende ve CPG alanında ABD Doğu satış lideridir. Çalışmadığı zamanlarda arkadaşları ve ailesiyle, özellikle de yazları Cape Cod'da vakit geçirmekten hoşlanıyor. Kris, geçici olarak emekli olmuş bir Ninja Savaşçısı ama şimdilik iki oğlunu izlemeyi ve onlara koçluk yapmayı seviyor.
Clark Lefavour Amazon Web Services'te Çözüm Mimarı lideri olup Doğu bölgesindeki kurumsal müşterilere destek vermektedir. Clark New England'da yaşıyor ve mutfakta tarifler tasarlayarak vakit geçirmekten hoşlanıyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- ChartPrime. Ticaret Oyununuzu ChartPrime ile yükseltin. Buradan Erişin.
- Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/visualize-an-amazon-comprehend-analysis-with-a-word-cloud-in-amazon-quicksight/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- 1
- 10
- 100
- 11
- 12
- 13
- 17
- 23
- 500
- 7
- 8
- 9
- a
- Hakkımızda
- Kabul et
- erişim
- Hesap
- eklemek
- ilave
- AI
- Türkiye
- zaten
- Ayrıca
- Amazon
- Amazon Kavramak
- Amazon QuickSight
- Amazon Web Servisleri
- an
- analiz
- çözümlemek
- analiz
- ve
- herhangi
- yaklaşım
- mimari
- ARE
- AS
- atanmış
- At
- önlemek
- AWS
- AWS Tutkal
- merkezli
- temel
- BE
- önce
- başlamak
- kutu
- inşa etmek
- bina
- fakat
- by
- CAN
- yükler
- Klinik
- seçilmiş
- sınıflandırma
- bulut
- antrenörlük
- yorumlar
- ortak
- uyumlu
- tamamlamak
- idrak
- bilgisayar
- konsolos
- Anayasa
- içerik
- kontrollü
- geleneksel
- dönüştürmek
- dönüştürülmüş
- sayma
- cpg
- paletli
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Çapraz
- görenek
- Müşteriler
- veri
- veritabanı
- derin
- dağıtmak
- tarif edilen
- İstediğiniz
- geliştirir
- tartışılan
- ekran
- görüntülenen
- do
- belge
- evraklar
- domain
- indir
- kolayca
- Doğu
- elemanları
- ortadan kaldırır
- sağlar
- İngiltere
- Keşfet
- girme
- kuruluş
- Tüm
- kişiler
- varlık
- özellikle
- örnek
- uzmanlara göre
- çıkarmak
- aile
- fileto
- dosyalar
- bulma
- Ad
- takip etme
- İçin
- biçim
- Sıklık
- arkadaşlar
- itibaren
- tamamen
- toplamak
- oluşturmak
- verilmiş
- grup
- Grubun
- Var
- he
- gizlemek
- onun
- SAAT
- HTML
- http
- HTTPS
- ICON
- Kimlik
- if
- göstermektedir
- görüntü
- in
- bilgi
- giriş
- anlayışlar
- içine
- IT
- ürün
- İş
- kaydol
- jpg
- json
- anahtar
- dil
- sonra
- lider
- öğrenme
- en az
- Ayrılmak
- Lets
- sevmek
- sınırları
- yük
- yerel
- yer
- seviyor
- makine
- makine öğrenme
- yönetilen
- çok
- Menü
- Microsoft
- olabilir
- ML
- model
- modelleri
- izlemek
- Daha
- çok
- şart
- isim
- Doğal (Madenden)
- Doğal Dil İşleme
- Gezin
- Navigasyon
- gerekli
- ihtiyaçlar
- yeni
- Yeni ürünler
- ninja
- nlp
- normalde
- şimdi
- nesne
- of
- on
- ONE
- devam
- açık
- Opsiyonlar
- or
- sipariş
- orijinal
- Diğer
- çıktı
- kendi
- Kanal
- bölmesi
- yol
- kalıcı olarak
- ifadeler
- yer
- Platon
- Plato Veri Zekası
- PlatoVeri
- Çivi
- güç kelimesini seçerim
- güçlü
- Hazırlamak
- önkoşullar
- süreç
- İşlenmiş
- Süreçler
- işleme
- Ürünler
- Profil
- sağlamak
- sağlanan
- Okumak
- hazır
- tanıma
- başvurmak
- bölge
- İlişkiler
- uygun
- kalan
- Depo
- Kaynaklar
- bu
- perakende
- Rol
- koşmak
- satış
- aynı
- İndirim
- taramak
- Gol
- Ara
- Bölüm
- duygu
- duygular
- hizmet
- Hizmetler
- meli
- Basit
- çözüm
- Çözümler
- Kaynak
- özel
- Harcama
- Spot
- Açıklama
- Durum
- kalmak
- adım
- Basamaklar
- hafızası
- saklı
- yapı
- böyle
- Destek
- elbette
- tablo
- Bizi daha iyi tanımak için
- görevleri
- geçici
- dönem
- metin
- o
- The
- ve bazı Asya
- temalar
- sonra
- Re-Tweet
- Bu
- üç
- İçinden
- zaman
- Başlık
- için
- araçlar
- dokunma
- geleneksel
- Firar
- Tren
- transforme
- Trendler
- iki
- türleri
- eninde sonunda
- altında
- anlayış
- kullanılmayan
- Yüklenen
- us
- kullanım
- Kullanılmış
- kullanıcı
- kullanıcılar
- kullanım
- kullanma
- doğrulamak
- üzerinden
- görüntüleme
- görselleştirmek
- örneklerde
- istemek
- izlerken
- we
- ağ
- web hizmetleri
- ne zaman
- hangi
- irade
- ile
- Word
- sözler
- iş akışı
- çalışma
- henüz
- Sen
- zefirnet