CCC Intelligent Solutions, Amazon SageMaker kullanarak karmaşık yapay zeka modellerini barındırmak için nasıl özel bir yaklaşım oluşturdu?

Bu yazı, CCC Intelligent Solutions'dan Christopher Diaz, Sam Kinard, Jaime Hidalgo ve Daniel Suarez tarafından birlikte yazılmıştır.

Bu yazıda, nasıl olduğunu tartışıyoruz CCC Akıllı Çözümler (CCC) birleştirilmiş Amazon Adaçayı Yapıcı tasavvur edilen karmaşık yapay zeka (AI) model türlerini barındırabilen özel bir çözüm oluşturmak için diğer AWS hizmetleriyle birlikte. CCC, sigortacılar, tamirciler, otomobil üreticileri, parça tedarikçileri, borç verenler ve daha fazlası için operasyonları güçlendiren multi-trilyon dolarlık mülk ve kaza sigortası ekonomisi için lider bir hizmet olarak yazılım (SaaS) platformudur. CCC bulut teknolojisi, görev açısından kritik iş akışlarını, ticareti ve müşteri deneyimlerini dijitalleştiren 30,000'den fazla işletmeyi birbirine bağlıyor. Yapay zeka, Nesnelerin İnterneti (IoT), müşteri deneyimi ve ağ ve iş akışı yönetiminde güvenilir bir lider olan CCC, insanların hayatlarının en önemli olduğu anda ilerlemesini sağlayan yenilikler sunar.

Meydan okuma

CCC, yılda 1 trilyon dolardan fazla hasar işlemi gerçekleştirmektedir. Şirket, AI'yı mevcut ve yeni ürün kataloğuna entegre etmek için gelişmeye devam ederken, bu, karmaşık iş ihtiyaçlarını çözmek için çok modlu makine öğrenimi (ML) topluluk modellerini eğitmek ve dağıtmak için karmaşık yaklaşımlar gerektiriyor. Bunlar, CCC'nin yıllar içinde geliştirdiği tescilli algoritmaları ve konu alanı uzmanlığını kapsayan bir model sınıfıdır. Bu modeller, tek tahmin sonuçları oluşturmak için yeni nüanslı veri katmanlarını ve müşteri kurallarını alabilmelidir. Bu blog gönderisinde, CCC'nin Amazon SageMaker barındırma ve diğer AWS hizmetlerinden birden çok çok modlu modeli bir toplu çıkarım ardışık düzenine dağıtmak veya barındırmak için nasıl yararlandığını öğreneceğiz.

Aşağıdaki şemada gösterildiği gibi, bir topluluk, tek bir tahmin üretmek için doğrusal veya doğrusal olmayan bir şekilde çalışacak şekilde düzenlenmiş iki veya daha fazla modelden oluşan bir koleksiyondur. Doğrusal olarak istiflendiğinde, bir topluluğun bireysel modelleri doğrudan tahminler için çağrılabilir ve daha sonra birleştirme için birleştirilebilir. Bazen topluluk modelleri, bir seri çıkarım boru hattı olarak da uygulanabilir.

Bizim kullanım durumumuz için, topluluk boru hattı, aşağıdaki şemada gösterildiği gibi kesinlikle doğrusal değildir. Doğrusal olmayan topluluk ardışık düzenleri teorik olarak doğrudan çevrimsiz grafiklerdir (DAG'ler). Kullanım durumumuz için, bu DAG boru hattı, hem paralel olarak çalışan bağımsız modellere (Hizmetler B, C) hem de önceki adımlardan tahminleri kullanan diğer modellere (Hizmet D) sahipti.

CCC'deki araştırma odaklı kültürden çıkan bir uygulama, müşterilere daha fazla değer katmak için kullanılabilecek teknolojilerin sürekli olarak gözden geçirilmesidir. CCC bu toplu zorlukla karşı karşıya kaldığında, yönetim, özellikle Amazon SageMaker ve diğer AWS araçlarının karmaşık, doğrusal olmayan ortamlarda tek tek yapay zeka modellerinin barındırılmasını yönetip yönetemeyeceğini keşfetmek için AWS'nin sunduğu teklifleri kapsamlı bir şekilde değerlendirmek üzere bir kavram kanıtı (POC) girişimi başlattı. topluluklar.

Topluluk açıkladı: Bu bağlamda topluluk, 2 genel tahmin üretmek için birlikte çalışan 1 veya daha fazla yapay zeka modelinden oluşan bir gruptur.

Araştırmayı yönlendiren sorular

Amazon SageMaker, tek bir genel tahmin sağlamak için birlikte çalışan karmaşık yapay zeka modelleri topluluklarını barındırmak için kullanılabilir mi? Öyleyse, SageMaker artırılmış otomasyon, güvenilirlik, izleme, otomatik ölçeklendirme ve maliyet tasarrufu önlemleri gibi başka avantajlar sunabilir mi?

Bulut sağlayıcılarının teknolojik gelişmelerini kullanarak CCC'nin yapay zeka modellerini devreye almanın alternatif yollarını bulmak, CCC'nin yapay zeka çözümlerini pazara rakiplerinden daha hızlı sunmasını sağlayacaktır. Ayrıca, birden fazla devreye alma mimarisine sahip olmak, iş önceliklerine dayalı olarak maliyet ve performans arasındaki dengeyi bulma konusunda esneklik sağlar.

Gereksinimlerimize bağlı olarak, üretim düzeyinde dağıtım mimarisi için bir kontrol listesi olarak aşağıdaki özellikler listesine son şeklini verdik:

• Karmaşık topluluklar için destek
• Tüm bileşenler için garantili çalışma süresi
• Dağıtılan AI modelleri için özelleştirilebilir otomatik ölçeklendirme
• AI modeli girdi ve çıktısının korunması
• Tüm bileşenler için kullanım ölçümleri ve günlükleri
• Maliyet tasarrufu mekanizmaları

CCC'nin yapay zeka çözümlerinin çoğu bilgisayarla görme modellerine dayalı olduğundan, çözünürlüğü artmaya devam eden görüntü ve video dosyalarını desteklemek için yeni bir mimari gerekiyordu. Bu mimariyi asenkron bir model olarak tasarlamak ve uygulamak için güçlü bir ihtiyaç vardı.

Araştırma döngüleri ve ilk kıyaslama çalışmalarının ardından CCC, SageMaker'ın üretim gereksinimlerinin çoğunu, özellikle de SageMaker'ın çıkarım bileşenlerinin çoğu için sağladığı garantili çalışma süresini karşılamak için mükemmel bir uyum olduğuna karar verdi. Amazon SageMaker Eşzamansız Çıkarım uç noktalarının Amazon S3'te girdi/çıktıyı kaydeden varsayılan özelliği, karmaşık topluluklardan oluşturulan verileri koruma görevini basitleştirir. Ek olarak, her yapay zeka modelinin kendi uç noktasında barındırılmasıyla, otomatik ölçeklendirme ilkelerini model veya uç nokta düzeyinde yönetmek daha kolay hale gelir. Yönetimi basitleştirerek, bunun potansiyel bir maliyet tasarrufu avantajı, geliştirme ekiplerinin bilgi işlem kaynaklarının aşırı sağlanmasını en aza indirmek için ince ayar ölçekleme ilkelerine daha fazla zaman ayırabilmesidir.

SageMaker'ı mimarinin en önemli bileşeni olarak kullanmaya karar verdikten sonra, SageMaker'ın diğer birçok sunucusuz AWS tarafından yönetilen hizmetle desteklenen daha da büyük bir mimarinin parçası olabileceğini de fark ettik. Bu seçim, bu karmaşık mimarinin üst düzey düzenleme ve gözlemlenebilirlik ihtiyaçlarını kolaylaştırmak için gerekliydi.

İlk olarak, yük boyutu sınırlamalarını kaldırmak ve yüksek trafik senaryoları sırasında zaman aşımı riskini büyük ölçüde azaltmak için CCC, SageMaker Eşzamansız Çıkarım uç noktaları temel yapı taşları olarak diğer AWS tarafından yönetilen hizmetlerle birleştirildi. Ek olarak, sistemin kullanıcı arabirimi, at ve unut tasarım modelini izler. Başka bir deyişle, bir kullanıcı girdisini sisteme yükledikten sonra başka bir şey yapılmasına gerek yoktur. Tahmin kullanılabilir olduğunda bilgilendirilecekler. Aşağıdaki şekil, eşzamansız olaya dayalı mimarimizin üst düzey bir genel bakışını göstermektedir. Gelecek bölümde, tasarlanan mimarinin yürütme akışına derinlemesine bir dalış yapalım.

adım adım çözüm

1. Adım

Bir müşteri şuraya bir istekte bulunur: AWS API Ağ Geçidi uç nokta. İsteğin içeriği, tahmine ihtiyaç duydukları yapay zeka hizmetinin adını ve istenen bildirim yöntemini içerir.

Bu istek bir Lambda işlev çağrıldı Yeni Tahmin, kimin ana görevleri şunlardır:

• İstemci tarafından istenen hizmetin mevcut olup olmadığını kontrol edin.
• İsteğe benzersiz bir tahmin kimliği atayın. Bu tahmin kimliği, kullanıcı tarafından tüm süreç boyunca tahminin durumunu kontrol etmek için kullanılabilir.
• Bir oluşturmak Amazon S3 kullanıcının bir sonraki adımda tahmin isteğinin giriş içeriğini yüklemek için kullanması gerekeceği önceden imzalanmış URL.
• Giriş oluştur Amazon DinamoDB alınan talebin bilgileri ile.

Ardından Lambda işlevi, API Ağ Geçidi uç noktası aracılığıyla, isteğe atanan tahmin kimliğini ve Amazon S3 önceden imzalanmış URL'sini içeren bir mesajla birlikte bir yanıt döndürür.

2. Adım

İstemci, önceki adımda oluşturulan önceden imzalanmış URL'yi kullanarak tahmin girdi içeriğini güvenli bir şekilde bir S3 klasörüne yükler. Girdi içeriği yapay zeka hizmetine bağlıdır ve resimlerden, tablo verilerinden veya her ikisinin birleşiminden oluşabilir.

3. Adım

S3 grubu, kullanıcı giriş içeriğini yüklediğinde bir olayı tetikleyecek şekilde yapılandırılır. Bu bildirim bir Amazon SQS kuyruğuna gönderilir ve adlı bir Lambda işlevi tarafından işlenir. İşlem girişi. İşlem girişi Lambda, talebin yapılacağı hizmetin adını almak için bu tahmin kimliğiyle ilgili bilgileri DynamoDB'den alacaktır.

Bu hizmet ya tek bir AI modeli olabilir, bu durumda İşlem girişi Lambda, bu modeli barındıran SageMaker uç noktasına bir talepte bulunacaktır (Adım 3-A) veya bir topluluk yapay zeka hizmeti olabilir; bu durumda, İşlem girişi Lambda, topluluk mantığını barındıran adım fonksiyonlarının durum makinesine bir talepte bulunacaktır (Adım 3-B).

Her iki seçenekte de (tekli AI modeli veya toplu AI hizmeti), nihai tahmin hazır olduğunda, uygun S3 klasöründe depolanacak ve arayan, Adım 1'de belirtilen yöntemle bilgilendirilecektir (bildirimler hakkında daha fazla ayrıntı Adım'da 4).

Adım 3-A

Tahmin kimliği tek bir AI modeliyle ilişkilendirilirse, İşlem girişi Lambda, modele hizmet veren SageMaker uç noktasına bir istekte bulunacaktır. Bu sistemde, iki tür SageMaker uç noktası desteklenir:

• eşzamanlı olmayan: İşlem girişi Lambda, isteği SageMaker eşzamansız uç noktasına yapar. Anında yanıt, SageMaker'ın tahmin çıktısını kaydedeceği S3 konumunu içerir. Bu istek eşzamansızdır, ateşle ve unut modelini takip eder ve Lambda işlevinin yürütme akışını engellemez.
• Senkron: İşlem girişi Lambda, talebi SageMaker senkronize uç noktasına yapar. Eşzamanlı bir istek olduğu için, İşlem Girdisi yanıtı bekler ve bir kez alındığında, SageMaker eşzamansız uç noktalarının yapacağına benzer bir şekilde S3'te depolar.

Her iki durumda da (eşzamanlı veya eşzamansız uç noktalar), tahmin, çıktıyı bir S3 kovasında depolayarak eşdeğer bir şekilde işlenir. Eşzamansız SageMaker uç noktası bir tahmini tamamladığında bir Amazon SNS olayı tetiklenir. Bu davranış, Lambda işlevinde ek mantıkla eşzamanlı uç noktalar için de çoğaltılır.

Adım 3-B

Tahmin kimliği bir AI grubuyla ilişkilendirilirse, İşlem girişi Lambda, söz konusu AI Ensemble ile ilişkili adım işlevine istekte bulunacaktır. Yukarıda bahsedildiği gibi, bir AI Topluluğu, tek bir genel tahmin oluşturmak için birlikte çalışan bir grup AI modeline dayanan bir mimaridir. Bir AI topluluğunun orkestrasyonu, bir adım işlevi aracılığıyla yapılır.

Adım işlevi, topluluğu oluşturan her bir AI hizmeti için bir adıma sahiptir. Her adım, önceki adımların önceki AI hizmet çağrılarından çıktı içeriğinin farklı kombinasyonlarını kullanarak karşılık gelen AI hizmetinin girdisini hazırlayacak bir Lambda işlevini çağırır. Ardından, bu bağlamda tek bir AI modeli veya başka bir AI topluluğu olabilecek her bir AI hizmetine bir çağrı yapar.

Aynı Lambda işlevi, GetTransformCall bir AI Grubunun ara tahminlerini işlemek için kullanılır, adım işlevi boyunca kullanılır, ancak her adım için farklı giriş parametreleriyle. Bu girdi, çağrılacak AI hizmetinin adını içerir. Ayrıca, belirtilen yapay zeka hizmeti için girdi oluşturmak üzere eşleme tanımını da içerir. Bu, Lambda'nın kodunu çözebileceği özel bir sözdizimi kullanılarak yapılır; bu, özet olarak, değerlerin önceki AI tahminlerinin içeriğiyle değiştirilmesi gereken bir JSON sözlüğüdür. Lambda, bu önceki tahminleri Amazon S3'ten indirecek.

Her adımda, GetTransformCall Lambda, belirtilen yapay zeka hizmetinin girdisini oluşturmak için gereken önceki çıktıları Amazon S3'ten okur. Daha sonra çağıracak Yeni Tahmin Daha önce Adım 1'de kullanılan Lambda kodu ve istek yükünde geri arama için gereken hizmet adını, geri arama yöntemini ("adım işlevi") ve belirteci sağlar ve bu daha sonra yeni bir tahmin kaydı olarak DynamoDB'ye kaydedilir. Lambda ayrıca o aşamanın oluşturulan girdisini bir S3 klasöründe depolar. Bu aşamanın tek bir AI modeli mi yoksa bir AI topluluğu mu olduğuna bağlı olarak Lambda, bir SageMaker uç noktasına veya ana topluluğa bağımlı olan bir AI topluluğunu yöneten farklı bir adım işlevine istekte bulunur.

İstek yapıldıktan sonra, adım işlevi, bir sonraki aşamaya geçebileceğini gösteren geri arama belirtecini alana kadar bekleme durumuna girer. Geri çağırma belirteci gönderme eylemi, adı verilen bir Lambda işlevi tarafından gerçekleştirilir. bildirimleri (Adım 4'te daha fazla ayrıntı) ara tahmin hazır olduğunda. Bu işlem, nihai tahmin hazır olana kadar adım fonksiyonunda tanımlanan her aşama için tekrarlanır.

4. Adım

Bir tahmin hazır olduğunda ve S3 klasöründe depolandığında, bir SNS bildirimi tetiklenir. Bu olay, akışa bağlı olarak farklı şekillerde tetiklenebilir:

1. Bir SageMaker eşzamansız bitiş noktası bir tahmini tamamladığında otomatik olarak.
2. Adım fonksiyonunun en son adımı olarak.
3. By İşlem girişi or GetTransformCall Eşzamanlı bir SageMaker uç noktası bir tahmin döndürdüğünde Lambda.

B ve C için, A'nın otomatik olarak gönderdiğine benzer bir SNS mesajı oluşturuyoruz.

Bu SNS konusuna bildirimler adı verilen bir Lambda işlevi abonedir. Bildirimler Lambda, DynamoDB'den tahmin kimliği ile ilgili bilgileri alacak, girişi durum değeriyle "tamamlandı" veya "hata" olarak güncelleyecek ve veritabanı kaydında kaydedilen geri arama moduna bağlı olarak gerekli eylemi gerçekleştirecektir.

Bu tahmin, adım 3-B'de açıklandığı gibi bir AI topluluğunun bir ara tahminiyse, bu tahminle ilişkili geri arama modu "adım işlevi" olacaktır ve veritabanı kaydı, belirli bir adımla ilişkili bir geri arama belirtecine sahip olacaktır. basamak fonksiyonu. Lambda bildirimleri, "SendTaskSuccess" veya "SendTaskFailure" yöntemini kullanarak AWS Step Functions API'ye çağrı yapacaktır. Bu, adım fonksiyonunun bir sonraki adıma devam etmesine veya çıkmasına izin verecektir.

Tahmin, adım işlevinin nihai çıktısıysa ve geri arama modu "Webhook" [veya e-posta, mesaj aracıları (Kafka) vb.] ise, Lambda bildirimleri istemciyi belirtilen şekilde bilgilendirir. Herhangi bir noktada, kullanıcı tahminlerinin durumunu talep edebilir. İstek, Adım 1'de atanan tahmin kimliğini içermeli ve isteği çağrılan Lambda işlevine yönlendirmek için API Ağ Geçidi içindeki doğru URL'yi işaret etmelidir. Sonuçlar.

Sonuçlar Lambda, DynamoDB'ye bir talepte bulunacak, talebin durumunu alacak ve bilgileri kullanıcıya geri gönderecektir. Tahminin durumu ise hata, hatayla ilgili ayrıntılar yanıta dahil edilecektir. Tahmin durumu ise başarı, kullanıcının tahmin içeriğini indirmesi için önceden imzalanmış bir S3 URL'si döndürülür.

Çıktıları

Ön performans testi sonuçları ümit vericidir ve CCC'nin bu yeni konuşlandırma mimarisinin uygulanmasını genişletme durumunu desteklemektedir.

Önemli gözlemler:

• Testler, yüksek trafik senaryoları sırasında yüksek verim ve yüzde 0 başarısızlık oranı ile toplu veya eşzamanlı isteklerin işlenmesindeki gücü ortaya koymaktadır.
• İleti kuyrukları, ölçeklendirme tetikleyicileri ek bilgi işlem kaynakları sağlayana kadar ani istek akışları sırasında sistem içinde kararlılık sağlar. Trafiği 3 kat artırırken, ortalama istek gecikmesi yalnızca yüzde 5 arttı.
• Kararlılığın bedeli, çeşitli sistem bileşenleri arasındaki iletişim yükü nedeniyle artan gecikme süresidir. Kullanıcı trafiği temel eşiğin üzerinde olduğunda, performans maliyetten daha yüksek önceliğe sahipse, eklenen gecikme daha fazla bilgi işlem kaynağı sağlanarak kısmen azaltılabilir.
• SageMaker'ın eşzamansız çıkarım uç noktaları, istekleri almak için uç noktayı aktif tutarken örnek sayısının sıfıra ölçeklenmesine izin verir. Bu işlevsellik, dağıtımların bilgi işlem maliyetlerine neden olmadan çalışmaya devam etmesini ve iki senaryoda gerektiğinde sıfırdan ölçeklendirmeyi sağlar: daha düşük test ortamlarında kullanılan hizmet dağıtımları ve anında işlem gerektirmeden minimum trafiğe sahip olanlar.

Sonuç

POC sürecinde gözlemlendiği gibi, CCC ve AWS tarafından ortaklaşa oluşturulan yenilikçi tasarım, karmaşık çok modlu yapay zeka topluluklarını barındırmak ve çıkarım ardışık düzenlerini etkili ve sorunsuz bir şekilde düzenlemek için Amazon SageMaker'ı diğer AWS tarafından yönetilen hizmetlerle kullanmak için sağlam bir temel sağlar. CCC, Amazon SageMaker'ın Eşzamansız Çıkarım gibi kullanıma hazır işlevlerinden yararlanarak, özel iş açısından kritik görevlere odaklanmak için daha fazla fırsata sahip olur. CCC'nin araştırmaya dayalı kültürünün ruhuna uygun olarak, bu yeni mimari CCC, müşteriler için güçlü yeni AI çözümlerini ortaya çıkarmada AWS ile birlikte ileriye doğru yol alırken gelişmeye devam edecektir.

Eşzamansız çıkarım uç noktalarının nasıl oluşturulacağı, çağrılacağı ve izleneceğiyle ilgili ayrıntılı adımlar için bkz. belgeleme, ayrıca içeren bir örnek dizüstü başlamanıza yardımcı olmak için. Fiyat bilgisi için ziyaret edin Amazon SageMaker Fiyatlandırması.

Bilgisayar görüşü ve doğal dil işleme (NLP) gibi yapılandırılmamış verilerle eşzamansız çıkarımı kullanma örnekleri için bkz. Amazon SageMaker eşzamansız uç noktalarıyla büyük videolarda bilgisayarla görü çıkarımı çalıştırın ve Hugging Face ve Amazon SageMaker eşzamansız çıkarım uç noktaları ile yüksek değerli araştırmayı iyileştirin, Sırasıyla.

---

Yazarlar Hakkında

Christopher Diaz CCC Intelligent Solutions'ta Baş Ar-Ge Mühendisidir. Ar-Ge ekibinin bir üyesi olarak, ETL araçları, arka uç web geliştirme, dağıtık sistemler üzerinde yapay zeka modellerini eğitmek için araştırmacılarla iş birliği yapma ve araştırma ve operasyon ekipleri arasında yeni yapay zeka hizmetlerinin sunulmasını kolaylaştırma gibi çeşitli projelerde çalıştı. Son zamanlarda odak noktası, şirketin yapay zeka modeli geliştirme yaşam döngüsünün çeşitli yönlerini geliştirmek için bulut araçlama çözümlerini araştırmaktı. Boş zamanlarında memleketi Chicago'da yeni restoranlar denemekten ve evinin sığabileceği kadar LEGO seti toplamaktan hoşlanıyor. Christopher, Northeastern Illinois Üniversitesi'nden Bilgisayar Bilimleri alanında lisans derecesini aldı.

Emmy Ödülü sahibi Sam Kinard CCC Intelligent Solutions'ta Kıdemli Yazılım Mühendisliği Yöneticisidir. Austin, Teksas merkezli, CCC'nin AI ürünlerine yüksek kullanılabilirlik ve büyük ölçekte hizmet vermekten sorumlu olan AI Runtime Team ile mücadele ediyor. Sam boş zamanlarında iki harika çocuğu yüzünden uykusuz kalmaktan keyif alıyor. Sam, Austin'deki Texas Üniversitesi'nden Bilgisayar Bilimleri alanında lisans derecesine ve Matematik alanında lisans derecesine sahiptir.

Jaime Hidalgo CCC Intelligent Solutions'ta Kıdemli Sistem Mühendisidir. Yapay zeka araştırma ekibine katılmadan önce, bulut ürün ve hizmetlerinin dağıtımını desteklemek için AWS'de altyapıyı tasarlayarak, inşa ederek ve otomatikleştirerek şirketin Mikro Hizmet Mimarisine küresel geçişini yönetti. Şu anda yapay zeka eğitimi için şirket içi bir veri merkezi kümesi oluşturuyor ve destekliyor ve ayrıca şirketin yapay zeka araştırma ve dağıtımının geleceği için bulut çözümleri tasarlıyor ve oluşturuyor.

Daniel Suarez CCC Intelligent Solutions'ta Veri Bilimi Mühendisidir. AI Engineering ekibinin bir üyesi olarak, metriklerin ve ML operasyonlarının diğer yönlerinin üretimi, değerlendirilmesi ve izlenmesinde AI Modellerinin otomasyonu ve hazırlanması üzerinde çalışmaktadır. Daniel, Illinois Institute of Technology'den Bilgisayar Bilimleri alanında Master derecesi ve Universidad Politecnica de Madrid'den Telekomünikasyon Mühendisliği alanında Master ve Lisans derecesi aldı.

Arunprasath Şankar AWS'li bir Kıdemli AI/ML Uzmanı Çözüm Mimarı olup, küresel müşterilerin AI çözümlerini bulutta etkili ve verimli bir şekilde ölçeklendirmesine yardımcı olur. Arun boş zamanlarında bilim kurgu filmleri izlemekten ve klasik müzik dinlemekten hoşlanır.

Justin McWhirter AWS'de Çözüm Mimarı Yöneticisidir. Müşterilerin AWS platformunu benimserken olumlu bir deneyim yaşamasına yardımcı olan harika Çözüm Mimarlarından oluşan bir ekiple çalışıyor. Justin işte olmadığı zamanlarda iki oğluyla video oyunları oynamaktan, buz hokeyi oynamaktan ve Jeep'iyle off-road yapmaktan hoşlanır.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/how-ccc-intelligent-solutions-created-a-custom-approach-for-hosting-complex-ai-models-using-amazon-sagemaker/