Postingan ini ditulis bersama Anthony Medeiros, Manajer Teknik Solusi dan Arsitektur untuk Kecerdasan Buatan Amerika Utara, dan Blake Santschi, Manajer Intelijen Bisnis, dari Schneider Electric. Pakar tambahan Schneider Electric termasuk Jesse Miller, Somik Chowdhury, Shaswat Babhulgaonkar, David Watkins, Mark Carlson dan Barbara Sleczkowski.
Sistem Enterprise Resource Planning (ERP) digunakan oleh perusahaan untuk mengelola beberapa fungsi bisnis seperti akuntansi, penjualan atau manajemen pesanan dalam satu sistem. Secara khusus, mereka secara rutin digunakan untuk menyimpan informasi terkait akun pelanggan. Organisasi yang berbeda dalam suatu perusahaan mungkin menggunakan sistem ERP yang berbeda dan menggabungkannya merupakan tantangan teknis yang kompleks dalam skala besar yang memerlukan pengetahuan khusus domain.
Schneider Electric adalah pemimpin dalam transformasi digital manajemen energi dan otomasi industri. Untuk melayani kebutuhan pelanggannya dengan sebaik-baiknya, Schneider Electric perlu melacak hubungan antara akun pelanggan terkait dalam sistem ERP mereka. Seiring bertambahnya basis pelanggan, pelanggan baru ditambahkan setiap hari, dan tim akun mereka harus memilah pelanggan baru ini secara manual dan menautkannya ke entitas induk yang tepat.
Keputusan penautan didasarkan pada informasi terkini yang tersedia secara publik di Internet atau media, dan mungkin dipengaruhi oleh akuisisi terkini, berita pasar, atau restrukturisasi divisi. Contoh penautan akun adalah mengidentifikasi hubungan antara Amazon dan anak perusahaannya, Whole Foods Market [sumber].
Schneider Electric menerapkan model bahasa besar karena kemampuannya dalam menjawab pertanyaan di berbagai domain pengetahuan spesifik, tanggal pelatihan model membatasi pengetahuannya. Mereka mengatasi tantangan tersebut dengan menggunakan model bahasa besar sumber terbuka Retriever-Augmented Generation yang tersedia Mulai Lompatan Amazon SageMaker untuk memproses sejumlah besar pengetahuan eksternal yang ditarik dan menunjukkan hubungan perusahaan atau publik di antara catatan ERP.
Pada awal tahun 2023, ketika Schneider Electric memutuskan untuk mengotomatiskan sebagian proses penautan akunnya menggunakan kecerdasan buatan (AI), perusahaan tersebut bermitra dengan AWS Machine Learning Solutions Lab (MLSL). Dengan keahlian MLSL dalam konsultasi dan eksekusi ML, Schneider Electric mampu mengembangkan arsitektur AI yang akan mengurangi upaya manual dalam menghubungkan alur kerja mereka, dan memberikan akses data yang lebih cepat ke tim analisis hilir mereka.
AI generatif
AI generatif dan model bahasa besar (LLM) mengubah cara organisasi bisnis mampu memecahkan tantangan yang secara tradisional rumit terkait dengan pemrosesan dan pemahaman bahasa alami. Beberapa manfaat yang ditawarkan oleh LLM mencakup kemampuan untuk memahami sebagian besar teks dan menjawab pertanyaan terkait dengan menghasilkan respons yang mirip manusia. AWS memudahkan pelanggan untuk bereksperimen dan memproduksi beban kerja LLM dengan menyediakan banyak opsi melalui Amazon SageMaker JumpStart, Batuan Dasar Amazon, dan Titan Amazon.
Akuisisi Pengetahuan Eksternal
LLM dikenal karena kemampuannya untuk memadatkan pengetahuan manusia dan telah menunjukkan kemampuan luar biasa dalam menjawab pertanyaan di berbagai domain pengetahuan tertentu, namun pengetahuan mereka dibatasi pada tanggal model tersebut dilatih. Kami mengatasi keterbatasan informasi tersebut dengan menggabungkan LLM dengan Google Search API untuk menghadirkan Retrieval Augmented LLM (RAG) canggih yang menjawab tantangan Schneider Electric. RAG mampu memproses sejumlah besar pengetahuan eksternal yang diambil dari pencarian Google dan menunjukkan hubungan perusahaan atau publik di antara catatan ERP.
Lihat contoh berikut:
Pertanyaan: Siapa perusahaan induk One Medical?
Permintaan Google: โSatu perusahaan induk Medisโ โ informasi โ LLM
Jawaban: One Medical, anak perusahaan Amazonโฆ
Contoh sebelumnya (diambil dari database pelanggan Schneider Electric) berkaitan dengan akuisisi yang terjadi pada bulan Februari 2023 dan dengan demikian tidak akan ditangkap oleh LLM saja karena terputusnya pengetahuan. Menambah LLM dengan pencarian Google menjamin informasi terkini.
Model Flan-T5
Dalam proyek itu kami menggunakan model Flan-T5-XXL dari Flan-T5 keluarga model.
Model Flan-T5 disesuaikan dengan instruksi dan oleh karena itu mampu melakukan berbagai tugas NLP zero-shot. Dalam tugas hilir kami, kami tidak perlu mengakomodasi sejumlah besar pengetahuan dunia, melainkan harus bekerja dengan baik dalam menjawab pertanyaan mengingat konteks teks yang disediakan melalui hasil pencarian, dan oleh karena itu, model T11 parameter 5B bekerja dengan baik.
JumpStart menyediakan penyebaran yang nyaman dari keluarga model ini melalui Studio Amazon SageMaker dan SDK SageMaker. Ini termasuk Flan-T5 Kecil, Flan-T5 Base, Flan-T5 Besar, Flan-T5 XL, dan Flan-T5 XXL. Selain itu, JumpStart menyediakan beberapa versi Flan-T5 XXL pada tingkat kuantisasi yang berbeda. Kami menerapkan Flan-T5-XXL ke titik akhir untuk penggunaan inferensi Jumpstart Amazon SageMaker Studio.
Pengambilan LLM yang Ditambah dengan LangChain
LangChain adalah kerangka kerja yang populer dan berkembang pesat yang memungkinkan pengembangan aplikasi yang didukung oleh LLM. Hal ini didasarkan pada konsep rantai, yang merupakan kombinasi berbagai komponen yang dirancang untuk meningkatkan fungsionalitas LLM untuk tugas tertentu. Misalnya, ini memungkinkan kita untuk menyesuaikan meminta dan mengintegrasikan LLM dengan berbagai alat seperti mesin pencari eksternal atau sumber data. Dalam kasus penggunaan kami, kami menggunakan Google ular komponen untuk mencari web, dan menerapkan model Flan-T5-XXL yang tersedia Jumpstart Amazon SageMaker Studio. LangChain melakukan orkestrasi keseluruhan dan memungkinkan halaman hasil pencarian dimasukkan ke dalam instance Flan-T5-XXL.
Retrieval-Augmented Generation (RAG) terdiri dari dua langkah:
- Pengambilan potongan teks yang relevan dari sumber eksternal
- Augmentasi dari potongan dengan konteks dalam prompt yang diberikan kepada LLM.
Untuk kasus penggunaan Schneider Electric, RAG menghasilkan sebagai berikut:
- Nama perusahaan tertentu digabungkan dengan pertanyaan seperti โSiapa perusahaan induk Xโ, di mana X adalah perusahaan tertentu) dan diteruskan ke kueri Google menggunakan Serper AI
- Informasi yang diekstraksi digabungkan dengan pertanyaan cepat dan orisinal dan diteruskan ke LLM untuk mendapatkan jawaban.
Diagram berikut menggambarkan proses ini.
Gunakan kode berikut untuk membuat titik akhir:
Buat instance alat pencarian:
Dalam kode berikut, kami menyatukan komponen pengambilan dan augmentasi:
Rekayasa Cepat
Kombinasi konteks dan pertanyaan disebut prompt. Kami memperhatikan bahwa permintaan menyeluruh yang kami gunakan (variasi seputar menanyakan perusahaan induk) berkinerja baik untuk sebagian besar sektor publik (domain) namun tidak dapat digeneralisasi dengan baik untuk pendidikan atau layanan kesehatan karena gagasan tentang perusahaan induk tidak bermakna di sana. Untuk pendidikan, kami menggunakan โXโ sedangkan untuk layanan kesehatan kami menggunakan โYโ.
Untuk mengaktifkan pemilihan cepat khusus domain ini, kami juga harus mengidentifikasi domain milik akun tertentu. Untuk ini, kami juga menggunakan RAG dengan pertanyaan pilihan ganda โApa domain {account}?โ sebagai langkah pertama, dan berdasarkan jawaban yang kami tanyakan pada induk akun menggunakan perintah yang relevan sebagai langkah kedua. Lihat kode berikut:
Perintah khusus sektor telah meningkatkan akurasi kinerja secara keseluruhan dari 55% menjadi 71%. Secara keseluruhan, upaya dan waktu yang diinvestasikan untuk berkembang efektif meminta tampaknya secara signifikan meningkatkan kualitas respons LLM.
RAG dengan data tabular (SEC-10k)
Pengajuan SEC 10K adalah sumber informasi terpercaya lainnya untuk anak perusahaan dan subdivisi yang diajukan setiap tahun oleh perusahaan publik. Pengajuan ini tersedia langsung di SEC EDGAR Atau melalui CorpWatch API.
Kami berasumsi informasi diberikan dalam format tabel. Di bawah ini adalah semu csv kumpulan data yang meniru format asli kumpulan data SEC-10K. Dimungkinkan untuk menggabungkan beberapa csv sumber data ke dalam kerangka data pandas gabungan:
# A pseudo dataset similar by schema to the CorpWatch API dataset
df.head()
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/schneider-electric-leverages-retrieval-augmented-llms-on-sagemaker-to-ensure-real-time-updates-in-their-erp-systems/
- :memiliki
- :adalah
- :bukan
- :Di mana
- $NAIK
- 1
- 10
- 100
- 10K
- 11
- 15 tahun
- 15%
- 160
- 17
- 2023
- 7
- 710
- a
- kemampuan
- Sanggup
- Tentang Kami
- atas
- abstraksi
- mempercepat
- mengakses
- menampung
- Akun
- akuntansi
- Akun
- ketepatan
- tepat
- perolehan
- akuisisi
- di seluruh
- Tindakan
- menambahkan
- tambahan
- Tambahan
- alamat
- dialamatkan
- alamat
- keuntungan
- terpengaruh
- Agen
- AI
- AI / ML
- Membiarkan
- memungkinkan
- sendirian
- juga
- Amazon
- Pembelajaran Mesin Amazon
- Amazon SageMaker
- Mulai Lompatan Amazon SageMaker
- Amazon Web Services
- Amerika
- antara
- jumlah
- jumlah
- an
- analisis
- dan
- Setiap tahun
- Lain
- menjawab
- Anthony
- api
- muncul
- aplikasi
- terapan
- Menerapkan
- arsitektur
- ADALAH
- sekitar
- buatan
- kecerdasan buatan
- Kecerdasan buatan (AI)
- AS
- meminta
- meminta
- menganggap
- At
- menambah
- ditambah
- mengotomatisasikan
- Otomatisasi
- tersedia
- tersedia secara langsung
- AWS
- Pembelajaran Mesin AWS
- Perbankan
- mendasarkan
- berdasarkan
- BE
- menjadi
- sebelum
- milik
- di bawah
- Manfaat
- TERBAIK
- antara
- Blok
- Didorong
- Membawa
- membangun
- Bangunan
- bisnis
- fungsi bisnis
- intelijen bisnis
- tapi
- by
- bernama
- CAN
- kemampuan
- mampu
- Carlson
- tertangkap
- rantai
- menantang
- tantangan
- pilihan
- Kota
- Klasifikasi
- CNBC
- kode
- Kolom
- kombinasi
- kombinasi
- bergabung
- Perusahaan
- perusahaan
- kompleks
- komponen
- komponen
- memahami
- konsep
- Kekhawatiran
- terdiri
- konsultasi
- konsumen
- konteks
- Mudah
- Timeline
- membuat
- Ciptakan Nilai
- pelanggan
- pelanggan
- harian
- data
- akses data
- Data-driven
- Basis Data
- kumpulan data
- Tanggal
- David
- memutuskan
- keputusan
- menyampaikan
- mengantarkan
- menunjukkan
- dikerahkan
- penggelaran
- penyebaran
- Mendesain
- dirancang
- rinci
- terperinci
- mengembangkan
- berkembang
- Pengembangan
- berbeda
- digital
- Transformasi digital
- langsung
- do
- dokumen
- domain
- domain
- dua
- Awal
- Mudah
- Pendidikan
- usaha
- Listrik
- aktif
- Titik akhir
- energi
- Teknik
- Mesin
- memastikan
- memasuki
- perusahaan
- entitas
- ERP
- contoh
- eksekusi
- menunjukkan
- pengalaman
- eksperimen
- keahlian
- ahli
- memperpanjang
- luar
- Exxon Mobil
- keluarga
- FAST
- lebih cepat
- Februari
- Fed
- beberapa
- mengajukan
- pengajuan
- terakhir
- Menemukan
- Pertama
- Fokus
- terfokus
- berikut
- berikut
- makanan
- Untuk
- format
- Kerangka
- dari
- fungsi
- fungsi
- lebih lanjut
- Selanjutnya
- GAS
- generasi
- generatif
- AI generatif
- diberikan
- Aksi
- Cari Google
- grafik
- Pertumbuhan
- tumbuh
- jaminan
- memiliki
- terjadi
- Memiliki
- he
- kesehatan
- membantu
- dia
- lebih tinggi
- -nya
- Seterpercayaapakah Olymp Trade? Kesimpulan
- HTML
- http
- HTTPS
- manusia
- i
- Identifikasi
- mengenali
- menggambarkan
- memperbaiki
- meningkatkan
- in
- memasukkan
- termasuk
- inkubator
- industri
- industri
- informasi
- mulanya
- inisiatif
- memasukkan
- wawasan
- contoh
- mengintegrasikan
- Intelijen
- berinteraksi
- kepentingan
- Internet
- ke
- diinvestasikan
- IT
- NYA
- joshua
- jpg
- Menjaga
- kunci
- Tahu
- pengetahuan
- dikenal
- laboratorium
- bahasa
- besar
- lapisan
- pemimpin
- terkemuka
- pengetahuan
- adalah ide yang bagus
- memanfaatkan
- retribusi
- 'like'
- Terbatas
- membatasi
- LINK
- menghubungkan
- link
- LLM
- mesin
- Mesin belajar
- memelihara
- MEMBUAT
- Membuat
- mengelola
- pengelolaan
- manajer
- panduan
- manual
- banyak
- tanda
- Pasar
- Pasar Berita
- berarti
- Media
- medis
- data medis
- Bergabung
- penggabungan
- metode
- mungkin
- Penggiling
- ML
- model
- model
- lebih
- paling
- beberapa
- nama
- penamaan
- Alam
- Pengolahan Bahasa alami
- Perlu
- kebutuhan
- New
- NY
- new york city
- berita
- nLP
- tidak
- utara
- Amerika Utara
- Gagasan
- sekarang
- pengamatan
- of
- ditawarkan
- Minyak
- Minyak dan Gas
- on
- ONE
- Satu Medis
- Buka
- open source
- Opsi
- or
- teknik mengatur musik
- urutan
- organisasi
- organisatoris
- organisasi
- asli
- Lainnya
- kami
- di luar
- keluaran
- secara keseluruhan
- sendiri
- halaman
- panda
- parameter
- perusahaan utama
- bagian
- tertentu
- bermitra
- Lulus
- bergairah
- path
- Melakukan
- prestasi
- dilakukan
- melakukan
- melakukan
- Pharma
- phd
- pipa saluran
- perencanaan
- plato
- Kecerdasan Data Plato
- Data Plato
- Populer
- mungkin
- Pos
- didukung
- kuat
- sebelumnya
- Utama
- masalah
- hasil
- proses
- pengolahan
- memproduksi
- proyek
- tepat
- disediakan
- menyediakan
- publik
- di depan umum
- kualitas
- pertanyaan
- Pertanyaan
- agak
- real-time
- baru
- arsip
- menurunkan
- terkait
- hubungan
- Hubungan
- relevan
- dapat diandalkan
- luar biasa
- membutuhkan
- penelitian
- peneliti
- sumber
- tanggapan
- tanggapan
- mengakibatkan
- Hasil
- kembali
- kuat
- secara rutin
- BARIS
- Run
- pembuat bijak
- penjualan
- Skala
- Schneider Electric
- Ilmu
- ilmuwan
- SDK
- Pencarian
- Mesin pencari
- SEC
- Kedua
- sektor
- Sektor
- aman
- melihat
- seleksi
- senior
- melayani
- Layanan
- beberapa
- dia
- signifikan
- mirip
- sejak
- kecil
- larutan
- Solusi
- MEMECAHKAN
- beberapa
- sumber
- sumber
- spesialisasi
- tertentu
- Berputar
- pintal
- state-of-the-art
- statistik
- Langkah
- Tangga
- menyimpan
- struktur
- studio
- subdivisi
- anak perusahaan
- seperti itu
- pendukung
- sistem
- sistem
- diambil
- tugas
- tugas
- tim
- tim
- Teknis
- teks
- dari
- bahwa
- Grafik
- informasi
- mereka
- Mereka
- teoretis
- Sana.
- karena itu
- Ini
- mereka
- ini
- pikir
- Melalui
- Demikian
- waktu
- untuk
- bersama
- alat
- alat
- puncak
- jalur
- diperdagangkan
- secara tradisional
- terlatih
- Transformasi
- mengubah
- terpercaya
- Berkedut
- dua
- menemukan
- pemahaman
- membuka kunci
- mutakhir
- Pembaruan
- us
- menggunakan
- bekas
- menggunakan
- nilai
- berbagai
- Luas
- Versi
- vertikal
- melalui
- adalah
- Cara..
- cara
- we
- Kekayaan
- jaringan
- layanan web
- BAIK
- Apa
- Apa itu
- ketika
- yang
- sementara
- SIAPA
- seluruh
- akan
- dengan
- dalam
- alur kerja
- Alur kerja
- bekerja
- dunia
- akan
- X
- tahun
- York
- Kamu
- zephyrnet.dll