Refinitiv Veri Kitaplığı, AWS hizmetleri ve Amazon SageMaker ile gerçek zamanlı haber akışlarını zenginleştirme

Bu gönderi, An LSEG Business olan Refinitiv'den Marios Skevofylakas, Jason Ramchandani ve Haykaz Aramyan tarafından birlikte yazılmıştır.

Finansal hizmet sağlayıcıların genellikle ilgili haberleri tanımlaması, analiz etmesi, içgörüler çıkarması ve haber öğesinin ek bilgilerine veya içeriğine dayalı olarak belirli enstrümanların (emtia, hisse senetleri, fonlar gibi) alım satımı gibi gerçek zamanlı eylemler gerçekleştirmesi gerekir. Bu tür ek bilgilerden biri (bu yazıda örnek olarak kullanıyoruz) haberlerin duygusallığıdır.

Refinitiv Veri (RD) Kitaplıkları, Refinitiv Veri Kataloğuna tek tip erişim için kapsamlı bir arabirim seti sağlar. Kitaplık, düşük gecikmeli, gerçek zamanlı erişimden Refinitiv verilerinin toplu alımına kadar tüm geliştiriciler için uygun farklı stiller ve programlama teknikleri sağlayan birden fazla soyutlama katmanı sunar.

Bu gönderide, RD Kitaplıklarını kullanarak haber akışlarımızı alan ve bunları kullanarak makine öğrenimi (ML) modeli tahminleriyle geliştiren bir prototip AWS mimarisi sunuyoruz. Amazon Adaçayı Yapıcı, AWS'den tamamen yönetilen bir makine öğrenimi hizmeti.

Geliştirme için kullanılan makine öğrenimi modelinden bağımsız olarak duygu analizi, adlandırılmış varlık tanıma ve daha fazlası gibi çeşitli kullanım durumlarında kullanılabilecek modüler bir mimari tasarlama çabasıyla gerçek zamanlı alana odaklanmaya karar verdik. Bu kararın nedeni, gerçek zamanlı kullanım durumlarının genellikle daha karmaşık olması ve aynı mimarinin, minimum ayarlamalarla toplu çıkarım için de kullanılabilmesidir. Kullanım durumumuzda, gerçek zamanlı haber akışımızı alan, makine öğrenimi kullanarak her haber başlığındaki duyarlılığı hesaplayan ve bir yayıncı/abone mimarisi aracılığıyla yapay zeka ile geliştirilmiş akışı yeniden sunan bir mimari uyguluyoruz.

Ayrıca, MLOps uygulamalarını benimseyerek makine öğrenimi modellerini üretmenin kapsamlı ve yeniden kullanılabilir bir yolunu sunmak için, prototipin tüm MLOps yaşam döngüsü boyunca kod olarak altyapı (IaC) kavramını tanıtıyoruz. Terraform ve tek bir giriş noktalı yapılandırılabilir komut dosyası kullanarak, tüm altyapıyı üretim modunda AWS'de yalnızca birkaç dakika içinde başlatabiliyoruz.

Bu çözümde, tek tek modellerin geliştirilmesi, eğitimi ve konuşlandırılmasının MLOps yönüne değinmiyoruz. Bu konuda daha fazla bilgi edinmek istiyorsanız, bkz. Amazon SageMaker'a sahip işletmeler için MLOps temel yol haritası, en iyi uygulamaları izleyerek model oluşturma, eğitim ve dağıtım için bir çerçeveyi ayrıntılı olarak açıklar.

Çözüme genel bakış

Bu prototipte, IaC'ye uygun tam otomatik bir provizyon metodolojisi izliyoruz. en iyi uygulamalar. IaC, etkileşimli yapılandırma araçlarını kullanmak yerine otomatik betikleri kullanarak programatik olarak kaynakları sağlama işlemidir. Kaynaklar hem donanım hem de gerekli yazılım olabilir. Bizim durumumuzda, güvenlik ve erişim politikalarının yanı sıra otomatik izleme dahil olmak üzere ihtiyacımız olan tüm altyapıyı otomatik olarak hızlandırabilecek tek bir yapılandırılabilir giriş noktasının uygulanmasını gerçekleştirmek için Terraform kullanıyoruz. Hizmet veya kaynak varlığı başına bir tane olmak üzere bir Terraform betikleri koleksiyonunu tetikleyen bu tek giriş noktasıyla, mimarinin bileşenlerinin tümünün veya bölümlerinin yaşam döngüsünü tamamen otomatik hale getirerek hem DevOps'ta hem de MLOps tarafı. Terraform doğru bir şekilde yüklendikten ve AWS ile entegre edildikten sonra, AWS hizmet panolarında yapılabilecek işlemlerin çoğunu çoğaltabiliriz.

Aşağıdaki şema çözüm mimarimizi göstermektedir.

Mimari üç aşamadan oluşur: alım, zenginleştirme ve yayınlama. İlk aşamada, gerçek zamanlı beslemeler bir Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) Refinitiv Veri Kitaplığı'na hazır bir AMI aracılığıyla oluşturulan eşgörünüm. Örnek ayrıca bir veri akışına şu şekilde bağlanır: Amazon Kinesis Veri Akışları, hangi bir AWS Lambda fonksiyonu.

İkinci aşamada, Kinesis Data Streams tarafından tetiklenen Lambda işlevi bir SageMaker'a bağlanır ve haber başlıklarını gönderir. FinBERT haber öğesi için hesaplanan duyarlılığı döndüren uç nokta. Bu hesaplanan duyarlılık, Lambda işlevinin daha sonra haber öğesini sardığı ve bir klasörde sakladığı gerçek zamanlı verilerdeki zenginleştirmedir. Amazon DinamoDB tablo.

Mimarinin üçüncü aşamasında, bir DynamoDB akışı, yeni öğe eklerinde bir Lambda işlevini tetikler. Amazon MQ sunucusu AI gelişmiş akışa yeniden hizmet veren RabbitMQ'yu çalıştırıyor.

Amazon MQ sunucusuyla doğrudan iletişim kuran veya EC2 bulut sunucusunda daha fazla işlevsellik uygulayan ilk Lambda katmanı yerine bu üç aşamalı mühendislik tasarımına ilişkin karar, gelecekte daha karmaşık, daha az bağlantılı yapay zeka tasarım mimarilerinin keşfedilmesini sağlamak için verildi.

Prototipi oluşturma ve dağıtma

Bu prototipi üç ayrıntılı plan serisinde sunuyoruz. Her planda ve kullanılan her hizmette, hizmeti otomatik olarak başlatmanıza, yapılandırmanıza ve yapının geri kalanıyla entegre etmenize olanak tanıyan Terraform betiklerinin yanı sıra teknik uygulamaları hakkında genel bilgiler ve ilgili bilgiler bulacaksınız. Her planın sonunda, her aşamaya kadar her şeyin beklendiği gibi çalıştığından nasıl emin olacağınıza dair talimatlar bulacaksınız. Taslaklar aşağıdaki gibidir:

Bu prototipin uygulanmasına başlamak için, buna adanmış yeni bir Python ortamı oluşturmanızı ve sahip olabileceğiniz diğer ortamlardan ayrı olarak gerekli paketleri ve araçları kurmanızı öneririz. Bunu yapmak için, aşağıdaki komutları kullanarak Anaconda'da yeni ortamı oluşturun ve etkinleştirin:

conda create —name rd_news_aws_terraform python=3.7
conda activate rd_news_aws_terraform

Artık yüklemeye hazırız AWS Komut Satırı Arayüzü AWS hizmetleri içinde ve arasında gerekli tüm programatik etkileşimleri oluşturmamızı sağlayacak (AWS CLI) araç seti:

pip install awscli

Artık AWS CLI yüklendiğine göre Terraform'u yüklememiz gerekiyor. HashiCorp, Terraform'a bir ikili yükleyici sağlar. indir ve yükleyin.

Her iki aracı da yükledikten sonra, aşağıdaki komutları kullanarak düzgün çalıştıklarından emin olun:

terraform -help
AWS – version

Artık uygulamanın üç aşamasının her birinde ayrıntılı planları izlemeye hazırsınız.

Bu plan, gerçek zamanlı haber akışlarını almamıza izin veren mimarinin ilk aşamalarını temsil ediyor. Aşağıdaki bileşenlerden oluşur:

• Amazon EC2, bulut sunucunuzu RD News alımı için hazırlıyor – Bu bölüm, RD Kitaplıkları API'sine ve gerçek zamanlı akışa bağlantıyı etkinleştirecek şekilde bir EC2 eşgörünümü kurar. Yeniden kullanılabilirliğini ve ölçeklenebilirliğini sağlamak için oluşturulan örneğin görüntüsünün nasıl kaydedileceğini de gösteriyoruz.
• Amazon EC2'den gerçek zamanlı haber alımı – Amazon EC2'nin RD Kitaplıklarını bağlamasını sağlamak için gereken yapılandırmaların yanı sıra alımı başlatmak için betiklerin ayrıntılı bir uygulaması.
• AMI'den Amazon EC2 oluşturma ve başlatma – Besleme dosyalarını yeni oluşturulan örneğe eşzamanlı olarak Terraform kullanarak otomatik olarak aktararak yeni bir örnek başlatın.
• Kinesis veri akışı oluşturma – Bu bölüm, Kinesis Veri Akışlarına ve AWS'de akışın nasıl kurulacağına ilişkin bir genel bakış sağlar.
• Kinesis'e veri bağlama ve aktarma – Besleme kodu çalıştığında, onu bağlamamız ve verileri bir Kinesis akışına göndermemiz gerekir.
• Şu ana kadar prototipi test etme - Kullanırız Amazon Bulut İzleme ve prototipin bu noktaya kadar çalıştığını ve bir sonraki plana geçebileceğimizi doğrulamak için komut satırı araçları. Alınan verilerin günlüğü aşağıdaki ekran görüntüsü gibi görünmelidir.

Bu ikinci planda, mimarinin ana bölümüne odaklanıyoruz: Haber öğesi akışını alan ve analiz eden, yapay zeka çıkarımını buna ekleyen ve daha sonra kullanmak üzere depolayan Lambda işlevi. Aşağıdaki bileşenleri içerir:

• Lambda – Bir SageMaker uç noktasına bağlanmasına izin veren bir Terraform Lambda yapılandırması tanımlayın.
• Amazon S3 – Lambda'yı uygulamak için uygun kodu şuraya yüklememiz gerekiyor: Amazon Basit Depolama Hizmeti (Amazon S3) ve Lambda işlevinin onu ortamına almasına izin verin. Bu bölüm, bunu başarmak için Terraform'u nasıl kullanabileceğimizi açıklar.
• Lambda işlevini uygulama: Adım 1, Kinesis olayını işleme – Bu bölümde Lambda fonksiyonunu oluşturmaya başlıyoruz. Burada, yalnızca Kinesis veri akışı yanıt işleyici bölümünü oluşturuyoruz.
• SageMaker – Bu prototipte, bir SageMaker uç noktasında depoladığımız, önceden eğitilmiş bir Hugging Face modeli kullanıyoruz. Burada, Terraform betikleri kullanılarak bunun nasıl başarılabileceğini ve SageMaker uç noktaları ile Lambda işlevlerinin birlikte çalışmasına izin vermek için uygun entegrasyonların nasıl gerçekleştiğini sunuyoruz.
  • Bu noktada, bunun yerine geliştirdiğiniz ve bir SageMaker uç noktasının arkasında konuşlandırdığınız diğer modelleri kullanabilirsiniz. Böyle bir model, ihtiyaçlarınıza göre orijinal haber verilerine farklı bir geliştirme sağlayabilir. İsteğe bağlı olarak, eğer varsa, bu birden çok geliştirme için birden çok modele tahmin edilebilir. Mimarinin geri kalanı sayesinde, bu tür modeller veri kaynaklarınızı gerçek zamanlı olarak zenginleştirecektir.
• Lambda işlevini oluşturma: Adım 2, SageMaker uç noktasını çağırma – Bu bölümde, SageMaker uç noktasını çağırarak duyarlılıkla geliştirilmiş bir haber başlığı elde etmek için SageMaker bloğunu ekleyerek orijinal Lambda işlevimizi oluşturuyoruz.
• DynamoDB – Son olarak, yapay zeka çıkarımı Lambda işlevinin belleğinde olduğunda, öğeyi yeniden gruplandırır ve depolama için bir DynamoDB tablosuna gönderir. Burada hem bunu başarmak için gereken uygun Python kodunu hem de bu etkileşimleri sağlayan gerekli Terraform betiklerini tartışacağız.
• Lambda işlevini oluşturma: 3. Adım, Gelişmiş verileri DynamoDB'ye aktarma – Burada Dynamo tablosunda girdi oluşturan son kısmı ekleyerek Lambda fonksiyonumuzu oluşturmaya devam ediyoruz.
• Şu ana kadar prototipi test etme – Geliştirmelerimizin tabloda göründüğünü doğrulamak için DynamoDB konsolundaki DynamoDB tablosuna gidebiliriz.

Bu üçüncü Blueprint, bu prototipi tamamlar. Yeni oluşturulan, yapay zeka ile geliştirilmiş veri öğesinin Amazon MQ'daki bir RabbitMQ sunucusuna yeniden dağıtılmasına odaklanarak tüketicilerin gelişmiş haberlere gerçek zamanlı olarak bağlanmasını ve bunları almasını sağlar. Aşağıdaki bileşenleri içerir:

• DynamoDB Akışları – Geliştirilmiş haber öğesi DynamoDB'de olduğunda, tetiklenen ve daha sonra ilgili Lambda işlevinden yakalanabilecek bir olay ayarlarız.
• Lambda yapımcısını yazmak – Bu Lambda işlevi, olayı yakalar ve RabbitMQ akışının üreticisi olarak işlev görür. Bu yeni işlev, üretici işlevini uygulamak için Python kitaplıklarını kullandığı için Lambda katmanları kavramını sunar.
• Amazon MQ ve RabbitMQ tüketicileri – Prototipin son adımı, RabbitMQ hizmetini kurmak ve mesaj akışına bağlanacak ve AI ile geliştirilmiş haberleri alacak örnek bir tüketici uygulamaktır.
• Prototipin son testi – Prototipin tam olarak çalıştığını doğrulamak için alımdan yapay zeka ile geliştirilmiş yeni akışın yeniden sunulmasına ve tüketilmesine kadar uçtan uca bir süreç kullanıyoruz.

Bu aşamada, aşağıdaki ekran görüntüsünde gösterildiği gibi RabbitMQ panosuna giderek her şeyin çalıştığını doğrulayabilirsiniz.

Nihai planda, tüm mimarinin planlandığı gibi davrandığından emin olmak için ayrıntılı bir test vektörü de bulacaksınız.

Sonuç

Bu gönderide, Refinitiv Veri Kitaplıkları tarafından sağlanan akışlı haber verilerini zenginleştirmek için SageMaker (ML), Lambda (sunucusuz) ve Kinesis Data Streams (akış) gibi AWS hizmetleriyle bulutta makine öğrenimi kullanan bir çözümü paylaştık. Çözüm, haberlere gerçek zamanlı olarak bir duyarlılık puanı ekler ve kod kullanarak altyapıyı ölçeklendirir.

Bu modüler mimarinin avantajı, Refinitiv Veri Kitaplığı'nın üzerine uygulanabilecek sunucusuz, ölçeklenebilir ve uygun maliyetli bir şekilde diğer veri artırma türlerini gerçekleştirmek için kendi modelinizle yeniden kullanabilmenizdir. Bu, alım satım/yatırım/risk yönetimi iş akışlarına değer katabilir.

Herhangi bir yorumunuz veya sorunuz varsa, lütfen bunları yorumlar bölümüne bırakın.

İlgili Bilgiler

 Yazarlar Hakkında

Marios Skevofilakas finansal hizmetler, yatırım bankacılığı ve danışmanlık teknolojisi geçmişinden geliyor. Mühendislik doktorasına sahiptir. Yapay Zeka ve M.Sc. Yapay Görmede. Kariyeri boyunca çok sayıda multidisipliner AI ve DLT projesinde yer almıştır. Şu anda bir LSEG işletmesi olan Refinitiv'de finansal hizmetlerde yapay zeka ve Kuantum uygulamalarına odaklanan bir Geliştirici Avukatıdır.

Jason Ramchandani bir LSEG İşletmesi olan Refinitiv'de 8 yıl boyunca Geliştirici Topluluğunu oluşturmaya yardımcı olan Baş Geliştirici Avukatı olarak çalıştı. Daha önce, Okasan Securities, Sakura Finance ve Jefferies LLC'de öz sermaye/öz sermaye bağlantılı alanda sayısal bir geçmişe sahip olarak 15 yılı aşkın bir süredir finans piyasalarında çalışmıştır. Mezun olduğu okul UCL'dir.

Haykaz Aramyan finans ve teknoloji geçmişinden geliyor. Doktora derecesine sahiptir. Finans alanında ve M.Sc. Finans, Teknoloji ve Politika alanında. Haykaz, 10 yıllık profesyonel deneyimi boyunca emeklilik, VC fonları ve teknoloji girişimlerini içeren çok disiplinli birçok projede çalıştı. Şu anda bir LSEG İşletmesi olan Refinitiv'de finansal hizmetlerde yapay zeka uygulamalarına odaklanan bir Geliştirici Avukatıdır.

Georgios Şinas EMEA bölgesinde AI/ML için Kıdemli Uzman Çözüm Mimarıdır. Londra'da yerleşiktir ve Birleşik Krallık ve İrlanda'daki müşterilerle yakın işbirliği içinde çalışır. Georgios, MLOps uygulamalarına özel ilgi duyan müşterilerin AWS'de üretimde makine öğrenimi uygulamaları tasarlamasına ve devreye almasına yardımcı olur ve müşterilerin geniş ölçekte makine öğrenimi gerçekleştirmesini sağlar. Boş zamanlarında seyahat etmekten, yemek yapmaktan ve arkadaşları ve ailesiyle vakit geçirmekten hoşlanır.

Muthuvelan Swaminathan New York merkezli bir Kurumsal Çözümler Mimarıdır. Kurumsal müşterilerle, iş ihtiyaçlarını karşılayan ve AWS ürün ve hizmetlerini kullanarak geniş ölçekte yürütmelerine yardımcı olan dayanıklı, uygun maliyetli, yenilikçi çözümler oluşturma konusunda mimari rehberlik sağlayarak çalışır.

Mayur Udernani Birleşik Krallık ve İrlanda'daki ticari işletmelerle AWS AI ve ML işine liderlik ediyor. Mayur, rolünde, zamanının çoğunu bir müşterinin en acil ihtiyaçlarını çözen etkili çözümler oluşturmaya yardımcı olmak veya AWS Bulut, Yapay Zeka ve Makine Öğrenimi hizmetlerinden yararlanan daha geniş bir sektör için müşteriler ve iş ortaklarıyla geçiriyor. Mayur, Londra bölgesinde yaşıyor. Indian Institute of Management'tan MBA derecesine ve Mumbai Üniversitesi'nden Bilgisayar Mühendisliği Lisans derecesine sahiptir.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/enriching-real-time-news-streams-with-the-refinitiv-data-library-aws-services-and-amazon-sagemaker/