Dengan munculnya jaringan seluler 5G berkecepatan tinggi, perusahaan lebih mudah diposisikan dari sebelumnya dengan peluang untuk memanfaatkan konvergensi jaringan telekomunikasi dan cloud. Sebagai salah satu kasus penggunaan yang paling menonjol hingga saat ini, machine learning (ML) di edge telah memungkinkan perusahaan menerapkan model ML lebih dekat ke pelanggan akhir untuk mengurangi latensi dan meningkatkan respons aplikasi mereka. Sebagai contoh, solusi tempat pintar dapat menggunakan computer vision hampir real-time untuk analitik kerumunan melalui jaringan 5G, sambil meminimalkan investasi pada peralatan jaringan perangkat keras lokal. Pengecer dapat memberikan pengalaman yang lebih lancar saat bepergian dengan pemrosesan bahasa alami (NLP), sistem rekomendasi waktu nyata, dan deteksi penipuan. Bahkan robotika darat dan udara dapat menggunakan ML untuk membuka operasi yang lebih aman dan otonom.
Untuk mengurangi hambatan masuknya ML di edge, kami ingin mendemonstrasikan contoh penerapan model terlatih dari Amazon SageMaker untuk Panjang gelombang AWS, semuanya dalam kurang dari 100 baris kode. Dalam postingan ini, kami mendemonstrasikan cara menerapkan model SageMaker ke AWS Wavelength untuk mengurangi latensi inferensi model untuk aplikasi berbasis jaringan 5G.
Ikhtisar solusi
Di seluruh infrastruktur global AWS yang berkembang pesat, AWS Wavelength menghadirkan kekuatan komputasi dan penyimpanan cloud ke tepi jaringan 5G, membuka lebih banyak pengalaman seluler berperforma tinggi. Dengan Panjang Gelombang AWS, Anda dapat memperluas virtual private cloud (VPC) ke Zona Panjang Gelombang yang sesuai dengan tepi jaringan operator telekomunikasi di Kota 29 di seluruh dunia. Diagram berikut menunjukkan contoh arsitektur ini.
Anda dapat ikut serta dalam Zona Panjang Gelombang dalam Wilayah tertentu melalui Konsol Manajemen AWS atau itu Antarmuka Baris Perintah AWS (AWS CLI). Untuk mempelajari lebih lanjut tentang menerapkan aplikasi yang didistribusikan secara geografis di AWS Wavelength, lihat Terapkan klaster Amazon EKS yang didistribusikan secara geografis di AWS Wavelength.
Membangun dasar-dasar yang dibahas dalam posting ini, kami melihat ML di edge sebagai contoh beban kerja yang akan diterapkan ke AWS Wavelength. Sebagai contoh beban kerja kami, kami menerapkan model terlatih dari Mulai Lompatan Amazon SageMaker.
SageMaker adalah layanan ML terkelola sepenuhnya yang memungkinkan pengembang menerapkan model ML dengan mudah ke lingkungan AWS mereka. Meskipun AWS menawarkan sejumlah opsi untuk pelatihan modelโdari Pasar AWS model dan algoritme bawaan SageMakerโada sejumlah teknik untuk menerapkan model ML sumber terbuka.
JumpStart menyediakan akses ke ratusan algoritme bawaan dengan model terlatih yang dapat diterapkan dengan mulus ke titik akhir SageMaker. Mulai dari pemeliharaan prediktif dan visi komputer hingga pengemudian otonom dan deteksi penipuan, JumpStart mendukung berbagai kasus penggunaan populer dengan penerapan sekali klik di konsol.
Karena SageMaker tidak didukung secara native di Wavelength Zones, kami mendemonstrasikan cara mengekstrak artefak model dari Wilayah dan menerapkan ulang ke edge. Untuk melakukannya, Anda menggunakan Layanan Amazon Elastic Kubernetes (Amazon EKS) cluster dan grup node di Wavelength Zones, diikuti dengan membuat manifes penerapan dengan gambar container yang dihasilkan oleh JumpStart. Diagram berikut mengilustrasikan arsitektur ini.
Prasyarat
Untuk membuatnya semudah mungkin, pastikan akun AWS Anda mengaktifkan Wavelength Zones. Perhatikan bahwa integrasi ini hanya tersedia di us-east-1
dan us-west-2
, dan Anda akan menggunakan us-east-1
selama demo berlangsung.
Untuk ikut serta dalam Panjang Gelombang AWS, selesaikan langkah-langkah berikut:
- Di konsol Amazon VPC, pilih zona bawah Settings Dan pilihlah AS Timur (Verizon) / us-east-1-wl1.
- Pilih Mengelola.
- Pilih Ikut serta.
- Pilih Perbarui zona.
Buat infrastruktur Panjang Gelombang AWS
Sebelum kami mengonversi titik akhir inferensi model SageMaker lokal menjadi penerapan Kubernetes, Anda dapat membuat klaster EKS di Zona Panjang Gelombang. Untuk melakukannya, terapkan klaster Amazon EKS dengan grup node AWS Wavelength. Untuk mempelajari lebih lanjut, Anda dapat mengunjungi panduan ini di Blog AWS Containers or Repositori 5GEdgeTutorials Verizon untuk satu contoh seperti itu.
Selanjutnya, menggunakan an AWS Cloud9 lingkungan atau lingkungan pengembangan interaktif (IDE) pilihan, unduh paket SageMaker yang diperlukan dan Docker Tulis, ketergantungan kunci dari JumpStart.
Buat artefak model menggunakan JumpStart
Pertama, pastikan bahwa Anda memiliki Identitas AWS dan Manajemen Akses (IAM) peran eksekusi untuk SageMaker. Untuk mempelajari lebih lanjut, kunjungi Peran SageMaker.
- Menggunakan contoh ini, buat file bernama train_model.py yang menggunakan SageMaker Software Development Kit (SDK) untuk mengambil model yang sudah dibuat sebelumnya (replace dengan Amazon Resource Name (ARN) dari peran eksekusi SageMaker Anda). Dalam file ini, Anda menerapkan model secara lokal menggunakan
instance_type
atribut dimodel.deploy()
fungsi, yang memulai wadah Docker dalam IDE Anda menggunakan semua artefak model yang diperlukan yang Anda tetapkan:
- Selanjutnya, atur
infer_model_id
ke ID model SageMaker yang ingin Anda gunakan.
Untuk daftar lengkap, lihat Algoritma bawaan dengan Tabel Model yang telah dilatih sebelumnya. Dalam contoh kami, kami menggunakan model Bidirectional Encoder Representations from Transformers (BERT), yang biasa digunakan untuk pemrosesan bahasa alami.
- Jalankan
train_model.py
skrip untuk mengambil artefak model JumpStart dan menerapkan model terlatih ke mesin lokal Anda:
Jika langkah ini berhasil, keluaran Anda mungkin menyerupai berikut ini:
Dalam output, Anda akan melihat tiga artefak secara berurutan: gambar dasar untuk inferensi TensorFlow, skrip inferensi yang menyajikan model, dan artefak yang berisi model yang dilatih. Meskipun Anda dapat membuat gambar Docker khusus dengan artefak ini, pendekatan lain adalah membiarkan mode lokal SageMaker membuat gambar Docker untuk Anda. Pada langkah selanjutnya, kami mengekstrak image container yang berjalan secara lokal dan men-deploy ke Registry Kontainer Elastis Amazon (Amazon ECR) serta mendorong artefak model secara terpisah Layanan Penyimpanan Sederhana Amazon (Amazon S3).
Mengonversi artefak mode lokal ke penerapan Kubernetes jarak jauh
Sekarang setelah Anda mengonfirmasi bahwa SageMaker berfungsi secara lokal, mari ekstrak manifes penerapan dari wadah yang sedang berjalan. Selesaikan langkah-langkah berikut:
Identifikasi lokasi manifes penerapan mode lokal SageMaker: Untuk melakukannya, telusuri direktori akar kami untuk mencari file apa pun yang bernama docker-compose.yaml
.
docker_manifest=$( find /tmp/tmp* -name "docker-compose.yaml" -printf '%T+ %pn' | sort | tail -n 1 | cut -d' ' -f2-)
echo $docker_manifest
Identifikasi lokasi artefak model mode lokal SageMaker: Selanjutnya, temukan volume dasar yang dipasang ke wadah inferensi SageMaker lokal, yang akan digunakan di setiap node pekerja EKS setelah kami mengunggah artefak ke Amazon s3.
model_local_volume = $(grep -A1 -w "volumes:" $docker_manifest | tail -n 1 | tr -d ' ' | awk -F: '{print $1}' | cut -c 2-) # Returns something like: /tmp/tmpcr4bu_a7</p>
Membuat salinan lokal wadah inferensi SageMaker yang sedang berjalan: Selanjutnya, kita akan menemukan gambar wadah yang sedang berjalan yang menjalankan model inferensi pembelajaran mesin kita dan membuat salinan wadah secara lokal. Ini akan memastikan kita memiliki salinan gambar kontainer kita sendiri untuk diambil dari Amazon ECR.
# Find container ID of running SageMaker Local container
mkdir sagemaker-container
container_id=$(docker ps --format "{{.ID}} {{.Image}}" | grep "tensorflow" | awk '{print $1}')
# Retrieve the files of the container locally
docker cp $my_container_id:/ sagemaker-container/
Sebelum bertindak di model_local_volume
, yang akan kami dorong ke Amazon S3, dorong salinan gambar Docker yang sedang berjalan, sekarang di sagemaker-container
direktori, ke Amazon Elastic Container Registry. Pastikan untuk mengganti region
, aws_account_id
, docker_image_id
dan my-repository:tag
atau ikuti Panduan pengguna Amazon ECR. Juga, pastikan untuk mencatat URL Gambar ECR akhir (aws_account_id.dkr.ecr.region.amazonaws.com/my-repository:tag
), yang akan kami gunakan dalam penerapan EKS kami.
Sekarang kita memiliki gambar ECR yang sesuai dengan titik akhir inferensi, buat bucket Amazon S3 baru dan salin artefak Lokal SageMaker (model_local_volume
) ke keranjang ini. Secara paralel, buat Identity Access Management (IAM) yang menyediakan akses instans Amazon EC2 untuk membaca objek di dalam bucket. Pastikan untuk mengganti dengan nama unik global untuk bucket Amazon S3 Anda.
Selanjutnya, untuk memastikan bahwa setiap instans EC2 menarik salinan artefak model saat diluncurkan, edit data pengguna untuk node pekerja EKS Anda. Dalam skrip data pengguna Anda, pastikan setiap node mengambil artefak model menggunakan S3 API saat peluncuran. Pastikan untuk mengganti dengan nama unik global untuk bucket Amazon S3 Anda. Mengingat bahwa data pengguna node juga akan menyertakan skrip bootstrap EKS, data pengguna lengkap mungkin terlihat seperti ini.
Sekarang, Anda dapat memeriksa manifes buruh pelabuhan yang ada dan menerjemahkannya ke file manifes ramah Kubernetes menggunakan Tulis, alat konversi yang terkenal. Catatan: jika Anda mendapatkan kesalahan kompatibilitas versi, ubah version
atribut di baris 27 dari docker-compose.yml ke โ2โ
.
Setelah menjalankan Kompose, Anda akan melihat empat file baru: a Deployment
obyek, Service
obyek, PersistentVolumeClaim
objek, dan NetworkPolicy
obyek. Anda sekarang memiliki semua yang Anda butuhkan untuk memulai terjun ke Kubernetes di edge!
Terapkan artefak model SageMaker
Pastikan Anda telah mengunduh kubectl dan aws-iam-authenticator ke AWS Cloud9 IDE Anda. Jika tidak, ikuti panduan instalasi:
Sekarang, selesaikan langkah-langkah berikut:
Ubah service/algo-1-ow3nv
objek untuk beralih dari jenis layanan ClusterIP
untuk NodePort
. Dalam contoh kami, kami telah memilih port 30,007 sebagai milik kami NodePort
:
Selanjutnya, Anda harus mengizinkan NodePort di grup keamanan untuk node Anda. Untuk melakukannya, ambil security groupID dan daftarkan NodePort:
Selanjutnya, modifikasi algo-1-ow3nv-deployment.yaml
manifes untuk me-mount /tmp/model hostPath
direktori ke wadah. Mengganti dengan gambar ECR yang Anda buat sebelumnya:
Dengan file manifes yang Anda buat dari Kompose, gunakan kubectl untuk menerapkan konfigurasi ke klaster Anda:
Terhubung ke model tepi 5G
Untuk terhubung ke model Anda, selesaikan langkah-langkah berikut:
Di konsol Amazon EC2, ambil IP operator dari node pekerja EKS atau gunakan AWS CLI untuk mengkueri alamat IP operator secara langsung:
Sekarang, dengan alamat IP operator yang diekstraksi, Anda dapat terhubung ke model secara langsung menggunakan NodePort. Buat file bernama invoke.py
untuk menjalankan model BERT secara langsung dengan memberikan input berbasis teks yang akan dijalankan terhadap penganalisa sentimen untuk menentukan apakah nadanya positif atau negatif:
Keluaran Anda akan menyerupai berikut ini:
Membersihkan
Untuk memusnahkan semua sumber daya aplikasi yang dibuat, hapus node pekerja AWS Wavelength, bidang kontrol EKS, dan semua sumber daya yang dibuat dalam VPC. Selain itu, hapus repo ECR yang digunakan untuk menghosting citra kontainer, bucket S3 yang digunakan untuk menghosting artefak model SageMaker, dan sagemaker-demo-app-s3 IAM
kebijakan.
Kesimpulan
Dalam postingan ini, kami mendemonstrasikan pendekatan baru untuk menerapkan model SageMaker ke tepi jaringan menggunakan Amazon EKS dan AWS Wavelength. Untuk mempelajari tentang praktik terbaik Amazon EKS di AWS Wavelength, lihat Terapkan klaster Amazon EKS yang didistribusikan secara geografis di AWS Wavelength. Selain itu, untuk mempelajari lebih lanjut tentang Jumpstart, kunjungi Panduan Pengembang Amazon SageMaker JumpStart atau itu Tabel Model yang Tersedia JumpStart.
Tentang Penulis
Robert Belson adalah Advokat Pengembang di AWS Worldwide Telecom Business Unit, yang berspesialisasi dalam AWS Edge Computing. Dia berfokus untuk bekerja dengan komunitas pengembang dan pelanggan perusahaan besar untuk menyelesaikan tantangan bisnis mereka menggunakan otomatisasi, jaringan hibrid, dan edge cloud.
Mohammad Al-Mehdar adalah Arsitek Solusi Senior di Unit Bisnis Telekomunikasi Seluruh Dunia di AWS. Fokus utamanya adalah membantu memungkinkan pelanggan membangun dan menerapkan beban kerja IT Perusahaan dan Telco di AWS. Sebelum bergabung dengan AWS, Mohammed telah bekerja di industri Telco selama lebih dari 13 tahun dan memiliki banyak pengalaman di bidang LTE Packet Core, 5G, IMS, dan WebRTC. Mohammed meraih gelar sarjana Teknik Telekomunikasi dari Universitas Concordia.
Evan Kravitz adalah seorang insinyur perangkat lunak di Amazon Web Services, bekerja di SageMaker JumpStart. Dia menikmati memasak dan berjalan-jalan di New York City.
Justin St.Arnauld adalah Associate Director โ Arsitek Solusi di Verizon untuk Sektor Publik dengan pengalaman lebih dari 15 tahun di industri TI. Dia adalah advokat yang bersemangat untuk kekuatan komputasi tepi dan jaringan 5G dan ahli dalam mengembangkan solusi teknologi inovatif yang memanfaatkan teknologi ini. Justin sangat antusias dengan kemampuan yang ditawarkan oleh Amazon Web Services (AWS) dalam memberikan solusi mutakhir untuk kliennya. Di waktu luangnya, Justin senang mengikuti tren teknologi terbaru dan berbagi pengetahuan dan wawasannya dengan orang lain di industri ini.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/deploy-pre-trained-models-on-aws-wavelength-with-5g-edge-using-amazon-sagemaker-jumpstart/
- :adalah
- 1
- 10
- 100
- 11
- 15 tahun
- 5G
- 7
- 8
- 9
- a
- Tentang Kami
- Setuju
- mengakses
- Akun
- di seluruh
- Tindakan
- Selain itu
- alamat
- kedatangan
- pengacara
- Setelah
- terhadap
- algoritma
- Semua
- memungkinkan
- Meskipun
- selalu
- Amazon
- Amazon EC2
- Amazon SageMaker
- Mulai Lompatan Amazon SageMaker
- Amazon Web Services
- Layanan Web Amazon (AWS)
- analisis
- dan
- Lain
- api
- Aplikasi
- aplikasi
- Mendaftar
- pendekatan
- arsitektur
- ADALAH
- daerah
- AS
- Menghubungkan
- Asosiasi
- At
- Otomatisasi
- otonom
- tersedia
- AWS
- AWS Cloud9
- pembatas
- mendasarkan
- BE
- mulai
- TERBAIK
- Praktik Terbaik
- Bootstrap
- Membawa
- membangun
- built-in
- bisnis
- by
- bernama
- CAN
- kemampuan
- kasus
- KUCING
- CD
- tantangan
- perubahan
- pilihan
- Pilih
- Kota
- klien
- lebih dekat
- awan
- Cloud9
- Kelompok
- kode
- COM
- umum
- masyarakat
- kesesuaian
- lengkap
- menghitung
- komputer
- Visi Komputer
- komputasi
- DIKONFIRMASI
- Terhubung
- konsul
- Wadah
- Wadah
- kontrol
- Konvergensi
- Konversi
- mengubah
- Core
- Sesuai
- bisa
- membuat
- dibuat
- membuat
- orang banyak
- Sekarang
- adat
- pelanggan
- Memotong
- canggih
- data
- Tanggal
- didefinisikan
- Derajat
- menyampaikan
- mengantarkan
- mendemonstrasikan
- menunjukkan
- Ketergantungan
- menyebarkan
- dikerahkan
- penggelaran
- penyebaran
- menghancurkan
- Deteksi
- Menentukan
- Pengembang
- pengembang
- berkembang
- Pengembangan
- langsung
- Kepala
- dibahas
- Buruh pelabuhan
- Download
- penggerak
- setiap
- Terdahulu
- mudah
- Timur
- gema
- Tepi
- komputasi tepi
- efek
- aktif
- diaktifkan
- Titik akhir
- insinyur
- Teknik
- memastikan
- Enterprise
- perusahaan
- antusias
- masuk
- Lingkungan Hidup
- lingkungan
- peralatan
- kesalahan
- Bahkan
- pERNAH
- segala sesuatu
- contoh
- eksekusi
- ada
- memperluas
- pengalaman
- Pengalaman
- ahli
- memperpanjang
- ekstrak
- File
- File
- terakhir
- Menemukan
- Fokus
- berfokus
- mengikuti
- diikuti
- berikut
- Untuk
- Perampokan
- penipuan
- deteksi penipuan
- Gratis
- tanpa gesekan
- dari
- sepenuhnya
- fungsi
- Fundamental
- dihasilkan
- mendapatkan
- diberikan
- Aksi
- Secara global
- bumi
- Go
- akan
- Kelompok
- Grup
- membimbing
- Panduan
- Perangkat keras
- memanfaatkan
- Memiliki
- membantu
- memegang
- tuan rumah
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTML
- http
- HTTPS
- Ratusan
- Hibrida
- ID
- identitas
- gambar
- mengimpor
- in
- memasukkan
- Meningkatkan
- industri
- Infrastruktur
- inovatif
- teknologi inovatif
- memasukkan
- wawasan
- install
- contoh
- integrasi
- interaktif
- investasi
- IP
- Alamat IP
- IT
- Industri IT
- bergabung
- jpg
- json
- Justin
- pemeliharaan
- kunci
- Jenis
- Paket (SDK)
- pengetahuan
- Label
- bahasa
- besar
- Latensi
- Terbaru
- jalankan
- BELAJAR
- pengetahuan
- Leverage
- 'like'
- baris
- baris
- Daftar
- lokal
- lokal
- tempat
- melihat
- mesin
- Mesin belajar
- Utama
- pemeliharaan
- membuat
- berhasil
- pengelolaan
- Metadata
- meminimalkan
- ML
- mobil
- jaringan seluler
- mode
- model
- model
- memodifikasi
- lebih
- paling
- MOUNT
- nama
- Bernama
- Alam
- Pengolahan Bahasa alami
- Perlu
- negatif
- jaringan
- berbasis jaringan
- jaringan
- jaringan
- New
- NY
- new york city
- berikutnya
- nLP
- simpul
- node
- novel
- jumlah
- obyek
- objek
- of
- ditawarkan
- Penawaran
- on
- ONE
- open source
- Operasi
- Kesempatan
- Opsi
- urutan
- Lainnya
- keluaran
- sendiri
- paket
- Paralel
- khususnya
- bergairah
- path
- plato
- Kecerdasan Data Plato
- Data Plato
- kebijaksanaan
- Populer
- diposisikan
- positif
- mungkin
- Pos
- kekuasaan
- praktek
- Predictor
- Sebelumnya
- swasta
- pengolahan
- menonjol
- menyediakan
- menyediakan
- publik
- Menarik
- Dorong
- cepat
- Baca
- real-time
- Rekomendasi
- menurunkan
- wilayah
- pendaftaran
- terpencil
- menggantikan
- permintaan
- syarat
- sumber
- Sumber
- pengecer
- Pengembalian
- Peran
- akar
- Run
- berjalan
- lebih aman
- pembuat bijak
- Inferensi SageMaker
- SDK
- mulus
- Pencarian
- sektor
- keamanan
- terpilih
- senior
- melayani
- melayani
- layanan
- Layanan
- set
- berbagi
- harus
- Pertunjukkan
- Sederhana
- hanya
- So
- Perangkat lunak
- pengembangan perangkat lunak
- Software Engineer
- larutan
- Solusi
- MEMECAHKAN
- sesuatu
- mengkhususkan diri
- dimulai
- Pernyataan
- Status
- Langkah
- Tangga
- penyimpanan
- Penyelarasan
- selanjutnya
- berhasil
- seperti itu
- Didukung
- Mendukung
- Beralih
- sistem
- MENANDAI
- Mengambil
- teknik
- Teknologi
- Teknologi
- Telco
- telekomunikasi
- telekomunikasi
- Teknik Telekomunikasi
- Template
- tensorflow
- bahwa
- Grafik
- mereka
- Ini
- tiga
- waktu
- untuk
- NADA
- alat
- terlatih
- transformer
- menterjemahkan
- Tren
- benar
- bawah
- pokok
- unik
- satuan
- universitas
- membuka kunci
- unlocking
- mutakhir
- URL
- menggunakan
- Pengguna
- v1
- nilai
- variasi
- Venue
- Verizon
- versi
- melalui
- maya
- penglihatan
- Mengunjungi
- volume
- volume
- ingin
- Kekayaan
- jaringan
- layanan web
- BAIK
- terkenal
- apakah
- yang
- sementara
- akan
- dengan
- dalam
- pekerja
- kerja
- industri udang di seluruh dunia.
- akan
- yaml
- tahun
- Kamu
- Anda
- Youtube
- zephyrnet.dll
- zona