Kecerdasan buatan generatif (AI generatif) model telah menunjukkan kemampuan mengesankan dalam menghasilkan teks, gambar, dan konten lainnya berkualitas tinggi. Namun, model ini memerlukan data pelatihan yang bersih dan terstruktur dalam jumlah besar untuk mencapai potensi maksimalnya. Sebagian besar data dunia nyata ada dalam format tidak terstruktur seperti PDF, yang memerlukan pemrosesan awal sebelum dapat digunakan secara efektif.
Menurut IDC, data tidak terstruktur menyumbang lebih dari 80% dari seluruh data bisnis saat ini. Ini termasuk format seperti email, PDF, dokumen yang dipindai, gambar, audio, video, dan banyak lagi. Meskipun data ini menyimpan wawasan yang berharga, sifatnya yang tidak terstruktur menyulitkan algoritme AI untuk menafsirkan dan mempelajarinya. Menurut a Survei 2019 oleh Deloitte, hanya 18% bisnis yang melaporkan mampu memanfaatkan data tidak terstruktur.
Seiring dengan semakin cepatnya adopsi AI, pengembangan mekanisme yang efisien untuk mencerna dan belajar dari data tidak terstruktur menjadi semakin penting di masa depan. Hal ini dapat melibatkan alat pemrosesan awal yang lebih baik, teknik pembelajaran semi-supervisi, dan kemajuan dalam pemrosesan bahasa alami. Perusahaan yang menggunakan data tidak terstruktur dengan paling efektif akan memperoleh keunggulan kompetitif yang signifikan dari AI. Data yang bersih penting untuk performa model yang baik. Teks yang diekstraksi masih berisi sejumlah besar teks nonsens dan boilerplate (misalnya, membaca HTML). Data yang diambil dari internet seringkali mengandung banyak duplikasi. Data dari media sosial, ulasan, atau konten apa pun yang dibuat pengguna juga dapat berisi konten beracun dan bias, dan Anda mungkin perlu memfilternya menggunakan beberapa langkah pra-pemrosesan. Mungkin juga terdapat banyak konten berkualitas rendah atau teks yang dihasilkan bot, yang dapat disaring menggunakan metadata yang menyertainya (misalnya, menyaring tanggapan layanan pelanggan yang menerima peringkat pelanggan rendah).
Persiapan data penting pada berbagai tahap dalam Retrieval Augmented Generation (LAP) model. Dokumen sumber pengetahuan memerlukan prapemrosesan, seperti membersihkan teks dan membuat penyematan semantik, sehingga dapat diindeks dan diambil secara efisien. Kueri bahasa alami pengguna juga memerlukan prapemrosesan, sehingga dapat dikodekan menjadi vektor dan dibandingkan dengan penyematan dokumen. Setelah mengambil konteks yang relevan, konteks tersebut mungkin memerlukan prapemrosesan tambahan, seperti pemotongan, sebelum digabungkan ke kueri pengguna untuk membuat perintah terakhir untuk model dasar. Kanvas Amazon SageMaker kini mendukung kemampuan persiapan data komprehensif yang didukung oleh Pengatur Data Amazon SageMaker. Dengan integrasi ini, SageMaker Canvas memberi pelanggan ruang kerja tanpa kode end-to-end untuk menyiapkan data, membangun dan menggunakan model ML dan fondasi untuk mempercepat waktu dari data hingga wawasan bisnis. Anda kini dapat dengan mudah menemukan dan mengumpulkan data dari lebih dari 50 sumber data, serta menjelajahi dan menyiapkan data menggunakan lebih dari 300 analisis dan transformasi bawaan dalam antarmuka visual SageMaker Canvas.
Ikhtisar solusi
Dalam postingan ini, kami bekerja dengan kumpulan data dokumentasi PDFโBatuan Dasar Amazon panduan pengguna. Selanjutnya, kami menunjukkan cara melakukan praproses kumpulan data untuk RAG. Secara khusus, kami membersihkan data dan membuat artefak RAG untuk menjawab pertanyaan tentang konten kumpulan data. Pertimbangkan masalah pembelajaran mesin (ML) berikut: pengguna menanyakan pertanyaan model bahasa besar (LLM): โBagaimana cara memfilter dan mencari model di Amazon Bedrock?โ. LLM belum melihat dokumentasinya pada tahap pelatihan atau fine-tuning, sehingga tidak dapat menjawab pertanyaan dan kemungkinan besar akan berhalusinasi. Tujuan kami dengan postingan ini adalah menemukan bagian teks yang relevan dari PDF (yaitu RAG) dan melampirkannya ke prompt, sehingga memungkinkan LLM menjawab pertanyaan spesifik untuk dokumen ini.
Di bawah ini, kami menunjukkan bagaimana Anda dapat melakukan semua langkah pra-pemrosesan utama ini Kanvas Amazon SageMaker (dipersembahkan oleh Pengatur Data Amazon SageMaker):
- Mengekstrak teks dari dokumen PDF (didukung oleh Textract)
- Hapus informasi sensitif (didukung oleh Comprehend)
- Potong teks menjadi beberapa bagian.
- Buat embeddings untuk setiap bagian (didukung oleh Bedrock).
- Unggah penyematan ke database vektor (didukung oleh OpenSearch)
Prasyarat
Untuk panduan ini, Anda harus memiliki yang berikut:
Note: Buat domain OpenSearch Service dengan mengikuti petunjuknya di sini. Untuk mempermudah, mari pilih opsi dengan nama pengguna dan kata sandi utama untuk kontrol akses yang lebih baik. Setelah domain dibuat, buat indeks vektor dengan pemetaan berikut, dan dimensi vektor 1536 selaras dengan penyematan Amazon Titan:
Walkthrough
Bangun aliran data
Di bagian ini, kami membahas bagaimana kami dapat membangun aliran data untuk mengekstrak teks dan metadata dari PDF, membersihkan dan memproses data, menghasilkan penyematan menggunakan Amazon Bedrock, dan mengindeks data di Amazon OpenSearch.
Luncurkan Kanvas SageMaker
Untuk meluncurkan SageMaker Canvas, selesaikan langkah-langkah berikut:
- Di Amazon Konsol SageMaker, pilih Domain di panel navigasi.
- Pilih domain Anda.
- Pada menu peluncuran, pilih Kanvas.
Buat aliran data
Selesaikan langkah-langkah berikut untuk membuat aliran data di SageMaker Canvas:
- Di halaman beranda SageMaker Canvas, pilih Pengatur Data.
- Pilih membuat di sisi kanan halaman, lalu beri nama aliran data dan pilih membuat.
- Ini akan mendarat di halaman aliran data.
- Pilih Impor data, pilih data tabel.
Sekarang mari kita impor data dari bucket Amazon S3:
- Pilih Impor data dan pilih Datar dari daftar drop-down
- Sumber data dan pilih Amazon S3 dari daftar drop-down
- Arahkan ke file meta data dengan lokasi file PDF, dan pilih file.
- Sekarang file metadata dimuat ke aliran data persiapan data, dan kita dapat melanjutkan untuk menambahkan langkah selanjutnya untuk mengubah data dan indeks menjadi Amazon Pencarian Terbuka. Dalam hal ini file memiliki metadata berikut, dengan lokasi setiap file di direktori Amazon S3.
Untuk menambahkan transformasi baru, selesaikan langkah-langkah berikut:
- Pilih tanda plus dan pilih Tambahkan Transform.
- Pilih Tambahkan Langkah Dan pilihlah Transformasi Kustom.
- Anda dapat membuat transformasi kustom menggunakan fungsi yang ditentukan pengguna Pandas, PySpark, Python, dan SQL PySpark. Memilih Piton (PySpark) untuk kasus penggunaan ini.
- Masukkan nama untuk langkah tersebut. Dari cuplikan kode contoh, telusuri dan pilih ekstrak teks dari pdf. Buat perubahan yang diperlukan pada cuplikan kode dan pilih Add.
- Mari tambahkan langkah untuk menyunting data Informasi Identifikasi Pribadi (PII) dari data yang diekstraksi dengan memanfaatkan Amazon Comprehend. Memilih Tambahkan Langkah Dan pilihlah Transformasi Kustom. Dan pilih Python (PySpark).
Dari cuplikan kode contoh, telusuri dan pilih topeng PII. Buat perubahan yang diperlukan pada cuplikan kode dan pilih Tambah.
- Langkah selanjutnya adalah memotong konten teks. Memilih Tambahkan Langkah Dan pilihlah Transformasi Kustom. Dan pilih Python (PySpark).
Dari cuplikan kode contoh, telusuri dan pilih Teks potongan. Buat perubahan yang diperlukan pada cuplikan kode dan pilih Tambah.
- Mari ubah konten teks menjadi penyematan vektor menggunakan Batuan Dasar Amazon Model Penyematan Titan. Memilih Tambahkan Langkah Dan pilihlah Transformasi Kustom. Dan pilih Python (PySpark).
Dari cuplikan kode contoh, telusuri dan pilih Hasilkan penyematan teks dengan Bedrock. Buat perubahan yang diperlukan pada cuplikan kode dan pilih Tambah.
- Sekarang kami memiliki penyematan vektor yang tersedia untuk konten file PDF. Mari lanjutkan dan indekskan data ke Amazon OpenSearch. Memilih Tambahkan Langkah Dan pilihlah Transformasi Kustom. Dan pilih Python (PySpark). Anda bebas menulis ulang kode berikut untuk menggunakan database vektor pilihan Anda. Untuk mempermudah, kami menggunakan nama pengguna dan kata sandi utama untuk mengakses OpenSearch API, untuk beban kerja produksi, pilih opsi sesuai dengan kebijakan organisasi Anda.
Terakhir, aliran data yang dibuat adalah sebagai berikut:
Dengan aliran data ini, data dari file PDF telah dibaca dan diindeks dengan penyematan vektor di Amazon OpenSearch. Sekarang saatnya kita membuat file dengan kueri untuk menanyakan data yang diindeks dan menyimpannya ke lokasi Amazon S3. Kami akan mengarahkan aliran data pencarian kami ke file dan mengeluarkan file dengan hasil yang sesuai di file baru di lokasi Amazon S3.
Mempersiapkan prompt
Setelah kami membuat basis pengetahuan dari PDF kami, kami dapat mengujinya dengan mencari basis pengetahuan untuk beberapa contoh pertanyaan. Kami akan memproses setiap kueri sebagai berikut:
- Menghasilkan penyematan untuk kueri (didukung oleh Amazon Bedrock)
- Basis data vektor kueri untuk konteks tetangga terdekat (didukung oleh Amazon OpenSearch)
- Gabungkan kueri dan konteks ke dalam prompt.
- Kueri LLM dengan prompt (didukung oleh Amazon Bedrock)
- Di halaman beranda SageMaker Canvas, pilih Persiapan data.
- Pilih membuat di sisi kanan halaman, lalu beri nama aliran data dan pilih membuat.
Sekarang mari muat pertanyaan pengguna dan kemudian buat prompt dengan menggabungkan pertanyaan dan dokumen serupa. Prompt ini diberikan kepada LLM untuk menghasilkan jawaban atas pertanyaan pengguna.
- Mari memuat file csv dengan pertanyaan pengguna. Memilih impor data dan pilih Datar dari daftar drop-down
- Sumber data, dan pilih Amazon S3 dari daftar drop-down. Alternatifnya, Anda dapat memilih untuk mengunggah file dengan permintaan pengguna.
- Mari tambahkan transformasi khusus untuk mengonversi data menjadi penyematan vektor, diikuti dengan mencari penyematan terkait dari Amazon OpenSearch, sebelum mengirimkan perintah ke Amazon Bedrock dengan kueri dan konteks dari basis pengetahuan. Untuk menghasilkan penyematan untuk kueri, Anda dapat menggunakan cuplikan kode contoh yang sama Hasilkan penyematan teks dengan Bedrock disebutkan pada Langkah #7 di atas.
Mari kita aktifkan API Amazon OpenSearch untuk mencari dokumen yang relevan untuk penyematan vektor yang dihasilkan. Tambahkan transformasi khusus dengan Python (PySpark).
Mari tambahkan transformasi khusus untuk memanggil API Amazon Bedrock untuk respons kueri, dengan meneruskan dokumen dari basis pengetahuan Amazon OpenSearch. Dari cuplikan kode contoh, telusuri dan pilih Kueri Batuan Dasar dengan konteks. Buat perubahan yang diperlukan pada cuplikan kode dan pilih Tambah.
Ringkasnya, aliran data penjawab pertanyaan berbasis RAG adalah sebagai berikut:
Praktisi ML menghabiskan banyak waktu untuk menyusun kode rekayasa fitur, menerapkannya pada kumpulan data awal, melatih model pada kumpulan data hasil rekayasa, dan mengevaluasi akurasi model. Mengingat sifat eksperimental dari pekerjaan ini, bahkan proyek terkecil pun memerlukan banyak iterasi. Kode rekayasa fitur yang sama sering kali dijalankan berulang kali, sehingga membuang-buang waktu dan sumber daya komputasi untuk mengulangi operasi yang sama. Di organisasi besar, hal ini dapat menyebabkan hilangnya produktivitas yang lebih besar karena tim yang berbeda sering kali menjalankan pekerjaan yang sama atau bahkan menulis kode rekayasa fitur duplikat karena mereka tidak memiliki pengetahuan tentang pekerjaan sebelumnya. Untuk menghindari pemrosesan ulang fitur, kami akan mengekspor aliran data kami ke Amazon Pipa SageMaker. Mari pilih tombol + di sebelah kanan kueri. Pilih ekspor aliran data dan pilih Jalankan Saluran Pipa SageMaker (melalui buku catatan Jupyter).
Membersihkan
Untuk menghindari timbulnya biaya di masa mendatang, hapus atau matikan sumber daya yang Anda buat saat mengikuti postingan ini. Mengacu pada Keluar dari Amazon SageMaker Canvas lebih lanjut.
Kesimpulan
Dalam postingan ini, kami menunjukkan kepada Anda bagaimana kemampuan end-to-end Amazon SageMaker Canvas dengan mengambil peran sebagai profesional data yang menyiapkan data untuk LLM. Persiapan data interaktif memungkinkan pembersihan, transformasi, dan analisis data dengan cepat untuk merekayasa fitur informatif. Dengan menghilangkan kerumitan pengkodean, SageMaker Canvas memungkinkan iterasi cepat untuk membuat kumpulan data pelatihan berkualitas tinggi. Alur kerja yang dipercepat ini mengarah langsung pada pembangunan, pelatihan, dan penerapan model pembelajaran mesin yang berkinerja baik untuk dampak bisnis. Dengan persiapan data yang komprehensif dan pengalaman terpadu mulai dari data hingga wawasan, SageMaker Canvas memberdayakan pengguna untuk meningkatkan hasil ML mereka.
Kami mendorong Anda untuk mempelajari lebih lanjut dengan menjelajahi Pengatur Data Amazon SageMaker, Kanvas Amazon SageMaker, Titan Amazon model, Batuan Dasar Amazon, dan Amazon Layanan OpenSearch untuk membangun solusi menggunakan contoh implementasi yang disediakan dalam postingan ini dan kumpulan data yang relevan dengan bisnis Anda. Jika Anda memiliki pertanyaan atau saran, silakan tinggalkan komentar.
Tentang Penulis
Ajjay Govindaram adalah Arsitek Solusi Senior di AWS. Dia bekerja dengan pelanggan strategis yang menggunakan AI/ML untuk memecahkan masalah bisnis yang kompleks. Pengalamannya terletak pada memberikan arahan teknis serta bantuan desain untuk penyebaran aplikasi AI/ML skala kecil hingga besar. Pengetahuannya berkisar dari arsitektur aplikasi hingga data besar, analitik, dan pembelajaran mesin. Dia menikmati mendengarkan musik sambil beristirahat, menikmati alam bebas, dan menghabiskan waktu bersama orang yang dicintainya.
Nikita Ivkin adalah Ilmuwan Terapan Senior di Amazon SageMaker Data Wrangler dengan minat dalam pembelajaran mesin dan algoritme pembersihan data.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/simplify-data-prep-for-gen-ai-with-amazon-sagemaker-data-wrangler/
- :memiliki
- :adalah
- :bukan
- 100
- 14
- 20
- 25
- 28
- 50
- 7
- 8
- 804
- a
- Sanggup
- Tentang Kami
- atas
- mempercepat
- dipercepat
- mengakses
- Menurut
- Akun
- ketepatan
- menambahkan
- Tambahan
- Adopsi
- uang muka
- Keuntungan
- keuntungan
- Setelah
- lagi
- agregat
- di depan
- AI
- AI / ML
- algoritma
- Rata
- Semua
- diizinkan
- juga
- Amazon
- Amazon SageMaker
- Pengatur Data Amazon SageMaker
- Amazon Web Services
- jumlah
- an
- Analisis
- analisis
- menganalisis
- dan
- menjawab
- Apa pun
- api
- Aplikasi
- terapan
- Menerapkan
- arsitektur
- ADALAH
- buatan
- kecerdasan buatan
- AS
- Bantuan
- At
- melampirkan
- audio
- ditambah
- tersedia
- menghindari
- AWS
- mendasarkan
- berdasarkan
- BE
- karena
- menjadi
- menjadi
- sebelum
- makhluk
- Lebih baik
- bias
- Besar
- Big data
- membangun
- Bangunan
- built-in
- bisnis
- bisnis
- tombol
- by
- panggilan
- CAN
- kanvas
- kemampuan
- kasus
- Menyebabkan
- Perubahan
- beban
- Pilih
- membersihkan
- Pembersihan
- kode
- Pengkodean
- menggabungkan
- komentar
- Perusahaan
- dibandingkan
- kompetitif
- lengkap
- kompleks
- kompleksitas
- memahami
- luas
- menghitung
- Mempertimbangkan
- konsul
- mengandung
- mengandung
- Konten
- isi
- konteks
- Konteks
- terus
- kontrol
- mengubah
- Sesuai
- bisa
- menutupi
- membuat
- dibuat
- kritis
- adat
- pelanggan
- Layanan Pelanggan
- pelanggan
- data
- Persiapan data
- Basis Data
- kumpulan data
- deloitte
- menunjukkan
- penggelaran
- penyebaran
- Mendesain
- rincian
- berkembang
- berbeda
- sulit
- Dimensi
- arah
- langsung
- menemukan
- do
- dokumen
- dokumentasi
- dokumen
- domain
- domain
- turun
- selama
- e
- setiap
- mudah
- efektif
- efisien
- efisien
- embedding
- memberdayakan
- diaktifkan
- memungkinkan
- mendorong
- ujung ke ujung
- insinyur
- direkayasa
- Teknik
- mengevaluasi
- Bahkan
- contoh
- ada
- pengalaman
- mengalami
- eksperimental
- menyelidiki
- Menjelajahi
- ekspor
- ekstrak
- Fitur
- Fitur
- beberapa
- Fields
- File
- menyaring
- terakhir
- Menemukan
- aliran
- diikuti
- berikut
- berikut
- Untuk
- Forbes
- Prinsip Dasar
- Foundations
- Gratis
- dari
- penuh
- fungsi
- lebih lanjut
- masa depan
- Mendapatkan
- menghasilkan
- dihasilkan
- menghasilkan
- generasi
- generatif
- AI generatif
- mendapatkan
- Memberikan
- diberikan
- Aksi
- Go
- tujuan
- baik
- lebih besar
- Memiliki
- he
- header
- berkualitas tinggi
- -nya
- memegang
- Beranda
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- Namun
- HTML
- HTTPS
- i
- identik
- if
- gambar
- Dampak
- implementasi
- mengimpor
- penting
- impresif
- memperbaiki
- in
- termasuk
- indeks
- diindeks
- informasi
- informatif
- mulanya
- wawasan
- instruksi
- integrasi
- Intelijen
- interaktif
- kepentingan
- Antarmuka
- Internet
- ke
- melibatkan
- IT
- perulangan
- iterasi
- NYA
- Jobs
- jpg
- json
- pengetahuan
- Tanah
- bahasa
- besar
- besar-besaran
- jalankan
- Memimpin
- BELAJAR
- pengetahuan
- Meninggalkan
- Dipimpin
- leveraging
- terletak
- 'like'
- Daftar
- Listening
- LLM
- memuat
- tempat
- lokasi
- lepas
- Lot
- dicintai
- Rendah
- mesin
- Mesin belajar
- Utama
- membuat
- MEMBUAT
- masker
- besar-besaran
- menguasai
- Mungkin..
- mekanisme
- Media
- menu
- meta
- Metadata
- ML
- model
- model
- sederhana
- lebih
- paling
- beberapa
- musik
- nama
- Alam
- Pengolahan Bahasa alami
- Alam
- Navigasi
- perlu
- Perlu
- New
- berikutnya
- tidak
- buku catatan
- sekarang
- of
- sering
- on
- sekali
- yang
- hanya
- Operasi
- pilihan
- or
- organisasi
- organisasi
- Lainnya
- kami
- di luar
- hasil
- di luar rumah
- keluaran
- lebih
- halaman
- panda
- pane
- Lewat
- Kata Sandi
- prestasi
- pribadi
- memilih
- bagian
- potongan-potongan
- pipa saluran
- plato
- Kecerdasan Data Plato
- Data Plato
- silahkan
- plus
- Titik
- Kebijakan
- Pos
- potensi
- didukung
- disukai
- persiapan
- Mempersiapkan
- mempersiapkan
- Sebelumnya
- mungkin
- Masalah
- masalah
- memproses
- proses
- pengolahan
- Produksi
- produktifitas
- profesional
- proyek
- properties
- disediakan
- menyediakan
- menyediakan
- Ular sanca
- query
- pertanyaan
- Pertanyaan
- segera
- rentang
- cepat
- peringkat
- mencapai
- Baca
- dunia nyata
- diterima
- lihat
- terkait
- relevan
- menghapus
- Dilaporkan
- permintaan
- membutuhkan
- membutuhkan
- Sumber
- tanggapan
- tanggapan
- beristirahat
- Hasil
- kembali
- Review
- benar
- Peran
- Run
- pembuat bijak
- sama
- Save
- ilmuwan
- Pencarian
- mencari
- Bagian
- terlihat
- memilih
- mengirim
- senior
- peka
- layanan
- Layanan
- pengaturan
- harus
- Menunjukkan
- menunjukkan
- menutup
- menutup
- sisi
- menandatangani
- penting
- mirip
- kesederhanaan
- menyederhanakan
- Ukuran
- potongan
- So
- Sosial
- media sosial
- larutan
- Solusi
- MEMECAHKAN
- beberapa
- sumber
- sumber
- tertentu
- Secara khusus
- menghabiskan
- Pengeluaran
- Tahap
- magang
- Langkah
- Tangga
- Masih
- Strategis
- tersusun
- RINGKASAN
- Mendukung
- Survei
- Mengambil
- tim
- Teknis
- teknik
- uji
- teks
- bahwa
- Grafik
- Masa depan
- mereka
- Mereka
- kemudian
- Sana.
- Ini
- mereka
- ini
- Demikian
- waktu
- titan
- untuk
- hari ini
- alat
- Pelatihan
- Mengubah
- Transformasi
- transformasi
- mengubah
- benar
- pemotongan
- mengetik
- jenis
- terpadu
- us
- menggunakan
- bekas
- Pengguna
- Pengguna
- menggunakan
- Berharga
- melalui
- Video
- visual
- walkthrough
- we
- jaringan
- layanan web
- BAIK
- yang
- sementara
- SIAPA
- akan
- dengan
- Kerja
- alur kerja
- bekerja
- akan
- menulis
- Kamu
- Anda
- zephyrnet.dll