การเพิ่มขึ้นของข้อความและ การค้นหาความหมาย เครื่องยนต์ทำให้อีคอมเมิร์ซและธุรกิจค้าปลีกค้นหาได้ง่ายขึ้นสำหรับผู้บริโภค เครื่องมือค้นหาที่ขับเคลื่อนด้วยข้อความและรูปภาพที่เป็นหนึ่งเดียวกันสามารถให้ความยืดหยุ่นเป็นพิเศษในโซลูชันการค้นหา คุณสามารถใช้ทั้งข้อความและรูปภาพเป็นข้อความค้นหา ตัวอย่างเช่น คุณมีโฟลเดอร์รูปภาพครอบครัวหลายร้อยรูปในแล็ปท็อปของคุณ คุณต้องการค้นหาภาพที่ถ่ายเมื่อคุณและเพื่อนที่ดีที่สุดของคุณอยู่หน้าสระว่ายน้ำของบ้านหลังเก่าอย่างรวดเร็ว คุณสามารถใช้ภาษาสนทนา เช่น “คนสองคนยืนอยู่หน้าสระว่ายน้ำ” เป็นข้อความค้นหาเพื่อค้นหาในเครื่องมือค้นหาข้อความและรูปภาพที่เป็นหนึ่งเดียวกัน คุณไม่จำเป็นต้องมีคีย์เวิร์ดที่ถูกต้องในชื่อภาพเพื่อดำเนินการค้นหา
บริการ Amazon OpenSearch ตอนนี้รองรับ ความคล้ายคลึงของโคไซน์ เมตริกสำหรับดัชนี k-NN ความคล้ายคลึงกันของโคไซน์วัดค่าโคไซน์ของมุมระหว่างเวกเตอร์สองตัว โดยที่มุมโคไซน์ที่เล็กกว่าแสดงถึงความคล้ายคลึงกันที่สูงกว่าระหว่างเวกเตอร์ ด้วยความคล้ายคลึงกันของโคไซน์ คุณสามารถวัดการวางแนวระหว่างเวกเตอร์สองตัวได้ ซึ่งทำให้เป็นตัวเลือกที่ดีสำหรับแอปพลิเคชันการค้นหาความหมายเฉพาะบางตัว
การฝึกล่วงหน้าภาษา-ภาพเปรียบเทียบ (CLIP) เป็นเครือข่ายประสาทที่ได้รับการฝึกฝนในคู่รูปภาพและข้อความที่หลากหลาย โครงข่ายประสาทเทียมของ CLIP สามารถฉายทั้งภาพและข้อความให้เป็นภาพเดียวกันได้ พื้นที่แฝงซึ่งหมายความว่าสามารถเปรียบเทียบได้โดยใช้การวัดความคล้ายคลึงกัน เช่น ความคล้ายคลึงกันของโคไซน์ คุณสามารถใช้ CLIP เพื่อ เปลี่ยนเป็นรหัส รูปภาพหรือคำอธิบายผลิตภัณฑ์ของคุณลงใน ฝังแล้วจัดเก็บไว้ในดัชนี OpenSearch Service k-NN จากนั้นลูกค้าของคุณสามารถค้นหาดัชนีเพื่อดึงข้อมูลผลิตภัณฑ์ที่พวกเขาสนใจได้
คุณสามารถใช้ CLIP กับ อเมซอน SageMaker เพื่อทำการเข้ารหัส การอนุมานแบบไร้เซิร์ฟเวอร์ของ Amazon SageMaker เป็นบริการอนุมานที่สร้างขึ้นตามวัตถุประสงค์ซึ่งทำให้ง่ายต่อการปรับใช้และปรับขนาดโมเดลแมชชีนเลิร์นนิง (ML) ด้วย SageMaker คุณสามารถปรับใช้แบบไร้เซิร์ฟเวอร์สำหรับนักพัฒนาและการทดสอบ จากนั้นย้ายไปที่ การอนุมานตามเวลาจริง เมื่อคุณไปที่การผลิต SageMaker แบบไร้เซิร์ฟเวอร์ช่วยให้คุณประหยัดค่าใช้จ่ายโดยลดขนาดโครงสร้างพื้นฐานลงเป็น 0 ในช่วงที่ไม่มีการใช้งาน สิ่งนี้เหมาะสำหรับการสร้าง POC ซึ่งคุณจะมีเวลาว่างระหว่างรอบการพัฒนานาน คุณยังสามารถใช้ การแปลงแบตช์ Amazon SageMaker เพื่อรับการอนุมานจากชุดข้อมูลขนาดใหญ่
ในโพสต์นี้ เราจะสาธิตวิธีสร้างแอปพลิเคชันการค้นหาโดยใช้ CLIP ร่วมกับ SageMaker และ OpenSearch Service รหัสนี้เป็นโอเพ่นซอร์สและโฮสต์อยู่บน GitHub.
ภาพรวมโซลูชัน
OpenSearch Service ให้บริการจับคู่ข้อความและฝังการค้นหา k-NN เราใช้การฝังการค้นหา k-NN ในโซลูชันนี้ คุณสามารถใช้ทั้งรูปภาพและข้อความเป็นแบบสอบถามเพื่อค้นหารายการจากสินค้าคงคลัง การใช้แอปพลิเคชันการค้นหารูปภาพและข้อความแบบรวมนี้ประกอบด้วยสองขั้นตอน:
- ดัชนีอ้างอิง k-NN – ในขั้นตอนนี้ คุณจะส่งชุดเอกสารคลังข้อมูลหรือรูปภาพผลิตภัณฑ์ผ่านแบบจำลอง CLIP เพื่อเข้ารหัสลงในข้อมูลฝัง การฝังข้อความและรูปภาพเป็นการแสดงตัวเลขของคลังข้อมูลหรือรูปภาพตามลำดับ คุณบันทึกการฝังเหล่านั้นลงในดัชนี k-NN ใน OpenSearch Service แนวคิดที่สนับสนุน k-NN คือมีจุดข้อมูลที่คล้ายกันอยู่ในบริเวณใกล้เคียงกันในพื้นที่ฝัง ตัวอย่างเช่น ข้อความ “ดอกไม้สีแดง” ข้อความ “ดอกกุหลาบ” และรูปภาพดอกกุหลาบสีแดงมีความคล้ายคลึงกัน ดังนั้นการฝังข้อความและรูปภาพเหล่านี้จึงอยู่ใกล้กันในพื้นที่ฝัง
- แบบสอบถามดัชนี k-NN – นี่คือขั้นตอนการอนุมานของแอปพลิเคชัน ในขั้นตอนนี้ คุณจะส่งคำค้นหาข้อความหรือคำค้นหารูปภาพผ่านโมเดลการเรียนรู้เชิงลึก (CLIP) เพื่อเข้ารหัสเป็นการฝัง จากนั้น คุณใช้การฝังเหล่านั้นเพื่อค้นหาดัชนีอ้างอิง k-NN ที่จัดเก็บไว้ใน OpenSearch Service ดัชนี k-NN ส่งคืนการฝังที่คล้ายกันจากพื้นที่การฝัง ตัวอย่างเช่น หากคุณส่งข้อความ "a red flower" ระบบจะส่งคืนการฝังรูปดอกกุหลาบสีแดงเป็นรายการที่คล้ายกัน
รูปต่อไปนี้แสดงสถาปัตยกรรมของโซลูชัน
ขั้นตอนเวิร์กโฟลว์มีดังนี้:
- สร้าง รุ่น SageMaker จากโมเดล CLIP ที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการอนุมานแบบกลุ่มและการอนุมานตามเวลาจริง
- สร้างการฝังภาพผลิตภัณฑ์โดยใช้งานการแปลงเป็นชุดของ SageMaker
- ใช้ SageMaker Serverless Inference เพื่อเข้ารหัสรูปภาพและข้อความค้นหาลงในการฝังตามเวลาจริง
- ใช้ บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) เพื่อจัดเก็บข้อความดิบ (คำอธิบายผลิตภัณฑ์) และรูปภาพ (รูปภาพผลิตภัณฑ์) และการฝังรูปภาพที่สร้างโดยงานการแปลงเป็นชุดของ SageMaker
- ใช้ OpenSearch Service เป็นเครื่องมือค้นหาเพื่อจัดเก็บการฝังและค้นหาการฝังที่คล้ายกัน
- ใช้ฟังก์ชันเคียวรีเพื่อจัดการการเข้ารหัสเคียวรีและทำการค้นหาด้วย k-NN
เราใช้ สตูดิโอ Amazon SageMaker โน๊ตบุ๊ค (ไม่แสดงในแผนภาพ) เป็นสภาพแวดล้อมการพัฒนาแบบรวม (IDE) เพื่อพัฒนาโซลูชัน
ตั้งค่าทรัพยากรโซลูชัน
ในการตั้งค่าโซลูชัน ให้ทำตามขั้นตอนต่อไปนี้:
- สร้างโดเมน SageMaker และโปรไฟล์ผู้ใช้ สำหรับคำแนะนำ โปรดดูขั้นตอนที่ 5 ของ ออนบอร์ดไปยังโดเมน Amazon SageMaker โดยใช้การตั้งค่าด่วน.
- สร้างโดเมน OpenSearch Service สำหรับคำแนะนำ โปรดดู การสร้างและจัดการโดเมน Amazon OpenSearch Service.
คุณยังสามารถใช้ an การก่อตัวของ AWS Cloud แม่แบบตามนี้ คำแนะนำ GitHub เพื่อสร้างโดเมน
คุณสามารถเชื่อมต่อ Studio กับ Amazon S3 ได้จาก คลาวด์ส่วนตัวเสมือนของ Amazon (Amazon VPC) โดยใช้ จุดสิ้นสุดของอินเทอร์เฟซ ใน VPC ของคุณ แทนที่จะเชื่อมต่อผ่านอินเทอร์เน็ต เมื่อใช้อินเทอร์เฟซ VPC endpoint (อินเทอร์เฟซ endpoint) การสื่อสารระหว่าง VPC และ Studio ของคุณจะดำเนินการอย่างสมบูรณ์และปลอดภัยภายในเครือข่าย AWS โน้ตบุ๊ก Studio ของคุณสามารถเชื่อมต่อกับ OpenSearch Service ผ่าน VPC ส่วนตัวเพื่อให้มั่นใจในการสื่อสารที่ปลอดภัย
โดเมน OpenSearch Service มีการเข้ารหัสข้อมูลที่ไม่มีการเคลื่อนไหว ซึ่งเป็นคุณลักษณะด้านความปลอดภัยที่ช่วยป้องกันการเข้าถึงข้อมูลของคุณโดยไม่ได้รับอนุญาต การเข้ารหัสแบบโหนดต่อโหนดมอบชั้นความปลอดภัยเพิ่มเติมนอกเหนือจากคุณสมบัติเริ่มต้นของ OpenSearch Service Amazon S3 ใช้การเข้ารหัสฝั่งเซิร์ฟเวอร์ (SSE-S3) โดยอัตโนมัติสำหรับแต่ละออบเจ็กต์ใหม่ เว้นแต่คุณจะระบุตัวเลือกการเข้ารหัสอื่น
ในโดเมน OpenSearch Service คุณสามารถแนบนโยบายตามข้อมูลระบุตัวตนได้ ซึ่งกำหนดว่าใครสามารถเข้าถึงบริการได้ การกระทำใดที่พวกเขาสามารถทำได้ และทรัพยากรที่พวกเขาสามารถดำเนินการได้หากเป็นไปได้
เข้ารหัสคู่รูปภาพและข้อความลงในการฝัง
ส่วนนี้กล่าวถึงวิธีเข้ารหัสรูปภาพและข้อความลงในการฝัง ซึ่งรวมถึงการเตรียมข้อมูล การสร้างแบบจำลอง SageMaker และดำเนินการแปลงเป็นชุดโดยใช้แบบจำลอง
ภาพรวมและการเตรียมข้อมูล
คุณสามารถใช้สมุดบันทึก SageMaker Studio กับเคอร์เนล Python 3 (วิทยาศาสตร์ข้อมูล) เพื่อเรียกใช้โค้ดตัวอย่าง
สำหรับโพสต์นี้เราใช้ ชุดข้อมูล Amazon Berkeley Objects. ชุดข้อมูลคือชุดของรายชื่อผลิตภัณฑ์ 147,702 รายการพร้อมข้อมูลเมตาหลายภาษาและรูปภาพแคตตาล็อกที่ไม่ซ้ำกัน 398,212 ภาพ เราใช้รูปภาพสินค้าและชื่อสินค้าเป็นภาษาอังกฤษแบบสหรัฐอเมริกาเท่านั้น เพื่อวัตถุประสงค์ในการสาธิต เราใช้ผลิตภัณฑ์ประมาณ 1,600 รายการ สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับชุดข้อมูลนี้ โปรดดูที่ README. ชุดข้อมูลถูกโฮสต์ในบัคเก็ต S3 สาธารณะ มีไฟล์ 16 ไฟล์ที่มีคำอธิบายผลิตภัณฑ์และข้อมูลเมตาของผลิตภัณฑ์ Amazon ในรูปแบบ listings/metadata/listings_<i>.json.gz
. เราใช้ไฟล์ข้อมูลเมตาไฟล์แรกในการสาธิตนี้
คุณใช้ หมีแพนด้า เพื่อโหลดข้อมูลเมตา จากนั้นเลือกผลิตภัณฑ์ที่มีชื่อภาษาอังกฤษแบบสหรัฐอเมริกาจากกรอบข้อมูล Pandas เป็นเครื่องมือวิเคราะห์และจัดการข้อมูลแบบโอเพ่นซอร์สซึ่งสร้างขึ้นจากภาษาโปรแกรม Python คุณใช้แอตทริบิวต์ที่เรียกว่า main_image_id
เพื่อระบุรูปภาพ ดูรหัสต่อไปนี้:
มี 1,639 ผลิตภัณฑ์ในกรอบข้อมูล ถัดไป เชื่อมโยงชื่อรายการกับรูปภาพรายการที่เกี่ยวข้อง images/metadata/images.csv.gz
มีข้อมูลเมตาของรูปภาพ ไฟล์นี้เป็นไฟล์ CSV ที่บีบอัดด้วย gzip โดยมีคอลัมน์ต่อไปนี้: image_id
, height
, width
และ path
. คุณสามารถอ่านไฟล์ข้อมูลเมตาแล้วรวมเข้ากับข้อมูลเมตาของรายการ ดูรหัสต่อไปนี้:
คุณสามารถใช้เคอร์เนล Python 3 ในตัวโน้ตบุ๊ก SageMaker Studio ได้ ห้องสมุด PIL หากต้องการดูภาพตัวอย่างจากชุดข้อมูล:
การเตรียมโมเดล
ถัดไป สร้าง a รุ่น SageMaker จากโมเดล CLIP ที่ผ่านการฝึกอบรมมาแล้ว ขั้นตอนแรกคือการดาวน์โหลดไฟล์การถ่วงน้ำหนักแบบจำลองที่ฝึกไว้ล่วงหน้า ใส่ลงในไฟล์ model.tar.gz
ไฟล์และอัปโหลดไปยังบัคเก็ต S3 เส้นทางของโมเดลที่ได้รับการฝึกล่วงหน้าสามารถพบได้ใน ที่เก็บ CLIP. เราใช้แบบสำเร็จรูป เรสเน็ต-50 (RN50) รุ่นในการสาธิตนี้ ดูรหัสต่อไปนี้:
จากนั้นคุณต้องจัดเตรียมสคริปต์จุดเข้าใช้การอนุมานสำหรับโมเดล CLIP CLIP ถูกนำมาใช้โดยใช้ ไพทอร์ชดังนั้นคุณจึงใช้ SageMaker ไพทอร์ช กรอบ. PyTorch เป็นเฟรมเวิร์ก ML แบบโอเพ่นซอร์สที่ช่วยเร่งเส้นทางจากการสร้างต้นแบบการวิจัยไปจนถึงการใช้งานจริง สำหรับข้อมูลเกี่ยวกับการปรับใช้โมเดล PyTorch กับ SageMaker โปรดดูที่ ปรับใช้โมเดล PyTorch. รหัสอนุมานยอมรับตัวแปรสภาพแวดล้อมสองตัว: MODEL_NAME
และ ENCODE_TYPE
. สิ่งนี้ช่วยให้เราสลับระหว่าง CLIP รุ่นต่างๆ ได้อย่างง่ายดาย เราใช้ ENCODE_TYPE
เพื่อระบุว่าเราต้องการเข้ารหัสรูปภาพหรือข้อความ ที่นี่คุณใช้ model_fn
, input_fn
, predict_fn
และ output_fn
ฟังก์ชั่นที่จะแทนที่ ตัวจัดการการอนุมาน PyTorch เริ่มต้น. ดูรหัสต่อไปนี้:
โซลูชันนี้ต้องการแพ็คเกจ Python เพิ่มเติมระหว่างการอนุมานโมเดล ดังนั้นคุณจึงสามารถระบุ requirements.txt
ไฟล์เพื่ออนุญาตให้ SageMaker ติดตั้งแพ็คเกจเพิ่มเติมเมื่อโฮสต์โมเดล:
คุณใช้ไฟล์ คลาส PyTorchModel เพื่อสร้างออบเจกต์เพื่อให้มีข้อมูลของตำแหน่ง Amazon S3 ของออบเจกต์โมเดลและรายละเอียดจุดเข้าใช้งานการอนุมาน คุณสามารถใช้ออบเจกต์เพื่อสร้างงานการแปลงเป็นชุดหรือปรับใช้โมเดลกับจุดสิ้นสุดสำหรับการอนุมานแบบออนไลน์ ดูรหัสต่อไปนี้:
แปลงเป็นชุดเพื่อเข้ารหัสภาพรายการลงในการฝัง
ต่อไป เราใช้โมเดล CLIP เพื่อเข้ารหัสภาพรายการลงในการฝัง และใช้การแปลงเป็นชุดของ SageMaker เพื่อเรียกใช้การอนุมานเป็นชุด
ก่อนสร้างงาน ให้ใช้ข้อมูลโค้ดต่อไปนี้เพื่อคัดลอกอิมเมจรายการจากบัคเก็ต S3 สาธารณะของ Amazon Berkeley Objects Dataset ไปยังบัคเก็ตของคุณเอง การดำเนินการใช้เวลาน้อยกว่า 10 นาที
ต่อไป คุณดำเนินการอนุมานเกี่ยวกับภาพรายการในลักษณะแบทช์ งานการแปลงเป็นชุดของ SageMaker ใช้โมเดล CLIP เพื่อเข้ารหัสรูปภาพทั้งหมดที่จัดเก็บไว้ในตำแหน่งอินพุตของ Amazon S3 และอัปโหลดการฝังเอาต์พุตไปยังโฟลเดอร์เอาต์พุต S3 งานใช้เวลาประมาณ 10 นาที
โหลดการฝังจาก Amazon S3 ไปยังตัวแปร เพื่อให้คุณสามารถนำเข้าข้อมูลไปยัง OpenSearch Service ได้ในภายหลัง:
สร้างเครื่องมือค้นหาแบบครบวงจรที่ขับเคลื่อนด้วย ML
ส่วนนี้กล่าวถึงวิธีการสร้างเครื่องมือค้นหาที่ใช้การค้นหา k-NN ด้วยการฝัง ซึ่งรวมถึงการกำหนดค่าคลัสเตอร์ OpenSearch Service นำเข้าการฝังรายการ และดำเนินการค้นหาข้อความและรูปภาพอิสระ
ตั้งค่าโดเมน OpenSearch Service โดยใช้การตั้งค่า k-NN
ก่อนหน้านี้ คุณสร้างคลัสเตอร์ OpenSearch ตอนนี้คุณกำลังจะสร้างดัชนีเพื่อจัดเก็บข้อมูลแคตตาล็อกและการฝัง คุณสามารถกำหนดการตั้งค่าดัชนีเพื่อเปิดใช้งานฟังก์ชัน k-NN โดยใช้การกำหนดค่าต่อไปนี้:
ตัวอย่างนี้ใช้ ไคลเอนต์ Python Elasticsearch เพื่อสื่อสารกับคลัสเตอร์ OpenSearch และสร้างดัชนีเพื่อโฮสต์ข้อมูลของคุณ คุณสามารถเรียกใช้ %pip install elasticsearch
ในโน้ตบุ๊กเพื่อติดตั้งไลบรารี ดูรหัสต่อไปนี้:
นำข้อมูลการฝังรูปภาพเข้าสู่ OpenSearch Service
ตอนนี้คุณวนซ้ำชุดข้อมูลและนำเข้าข้อมูลรายการในคลัสเตอร์ การนำเข้าข้อมูลสำหรับแนวทางปฏิบัตินี้ควรเสร็จสิ้นภายใน 60 วินาที นอกจากนี้ยังเรียกใช้แบบสอบถามอย่างง่ายเพื่อตรวจสอบว่าข้อมูลถูกนำเข้าในดัชนีสำเร็จหรือไม่ ดูรหัสต่อไปนี้:
ทำแบบสอบถามตามเวลาจริง
ตอนนี้ คุณมีดัชนี OpenSearch Service ที่ใช้งานได้ซึ่งมีการฝังรูปภาพรายการเป็นคลังของเราแล้ว มาดูวิธีสร้างการฝังสำหรับการค้นหา คุณต้องสร้างตำแหน่งข้อมูล SageMaker สองจุดเพื่อจัดการการฝังข้อความและรูปภาพตามลำดับ
คุณยังสร้างสองฟังก์ชันเพื่อใช้ปลายทางในการเข้ารหัสรูปภาพและข้อความ สำหรับ encode_text
ฟังก์ชั่นคุณเพิ่ม this is
ก่อนชื่อรายการเพื่อแปลชื่อรายการเป็นประโยคสำหรับคำอธิบายรายการ memory_size_in_mb
กำหนดเป็น 6 GB เพื่อใช้ขีดเส้นใต้ หม้อแปลงไฟฟ้า และ เรสเน็ต โมเดล ดูรหัสต่อไปนี้:
ก่อนอื่นคุณสามารถพล็อตรูปภาพที่จะใช้ได้
มาดูผลลัพธ์ของแบบสอบถามง่ายๆ กัน หลังจากดึงผลลัพธ์จาก OpenSearch Service คุณจะได้รับรายการชื่อรายการและรูปภาพจาก dataset
:
รายการแรกได้คะแนน 1.0 เนื่องจากทั้งสองภาพเหมือนกัน รายการอื่นๆ คือแว่นตาประเภทต่างๆ ในดัชนี OpenSearch Service
คุณสามารถใช้ข้อความเพื่อค้นหาดัชนีได้เช่นกัน:
ตอนนี้คุณสามารถรับภาพแก้วน้ำสามภาพจากดัชนีได้แล้ว คุณสามารถค้นหารูปภาพและข้อความภายในพื้นที่แฝงเดียวกันได้ด้วยตัวเข้ารหัส CLIP อีกตัวอย่างหนึ่งคือการค้นหาคำว่า "พิซซ่า" ในดัชนี:
ทำความสะอาด
ด้วยรูปแบบการจ่ายต่อการใช้งาน การอนุมานแบบไร้เซิร์ฟเวอร์จึงเป็นตัวเลือกที่คุ้มค่าสำหรับรูปแบบการรับส่งข้อมูลที่ไม่บ่อยหรือคาดเดาไม่ได้ หากคุณมีความเข้มงวด ข้อตกลงระดับบริการ (SLA)หรือไม่สามารถทนต่อการเริ่มเย็นได้ จุดสิ้นสุดแบบเรียลไทม์จึงเป็นทางเลือกที่ดีกว่า โดยใช้ หลายรุ่น or หลายคอนเทนเนอร์ อุปกรณ์ปลายทางมอบโซลูชันที่ปรับขนาดได้และคุ้มค่าสำหรับการปรับใช้โมเดลจำนวนมาก สำหรับข้อมูลเพิ่มเติม โปรดดูที่ ราคา Amazon SageMaker.
เราขอแนะนำให้ลบจุดสิ้นสุดแบบไร้เซิร์ฟเวอร์เมื่อไม่ต้องการใช้อีกต่อไป หลังจากเสร็จสิ้นแบบฝึกหัดนี้ คุณสามารถลบทรัพยากรด้วยขั้นตอนต่อไปนี้ (คุณสามารถลบทรัพยากรเหล่านี้ได้จากไฟล์ คอนโซลการจัดการ AWSหรือใช้ AWS SDK หรือ SageMaker SDK):
- ลบปลายทางที่คุณสร้างขึ้น
- หรือลบโมเดลที่ลงทะเบียนไว้
- ทางเลือก ลบบทบาทการดำเนินการ SageMaker
- ทางเลือกคือ ล้างข้อมูลและลบบัคเก็ต S3
สรุป
ในโพสต์นี้ เราได้สาธิตวิธีสร้างแอปพลิเคชันการค้นหา k-NN โดยใช้คุณลักษณะดัชนีของ SageMaker และ OpenSearch Service k-NN เราใช้โมเดล CLIP ที่ผ่านการฝึกอบรมล่วงหน้าจากมัน OpenAI การดำเนินงาน
การใช้งานการส่งผ่านข้อมูล OpenSearch Service ของโพสต์ใช้สำหรับการสร้างต้นแบบเท่านั้น หากคุณต้องการนำเข้าข้อมูลจาก Amazon S3 ไปยัง OpenSearch Service ในปริมาณมาก คุณสามารถเปิดใช้ งานประมวลผล Amazon SageMaker ด้วยประเภทอินสแตนซ์และจำนวนอินสแตนซ์ที่เหมาะสม สำหรับโซลูชันการฝังตัวที่ปรับขนาดได้อื่น โปรดดูที่ Novartis AG ใช้ Amazon OpenSearch Service K-Nearest Neighbor (KNN) และ Amazon SageMaker เพื่อขับเคลื่อนการค้นหาและคำแนะนำ (ตอนที่ 3/4).
CLIP จัดให้ Zero-shot ความสามารถ ซึ่งทำให้สามารถนำแบบจำลองที่ได้รับการฝึกอบรมล่วงหน้ามาใช้ได้โดยตรงโดยไม่ต้องใช้ ถ่ายทอดการเรียนรู้ เพื่อปรับแต่งโมเดลอย่างละเอียด ซึ่งจะทำให้การประยุกต์ใช้โมเดล CLIP ง่ายขึ้น หากคุณมีรูปภาพผลิตภัณฑ์และข้อความอธิบายคู่กัน คุณสามารถปรับแต่งโมเดลด้วยข้อมูลของคุณเองโดยใช้การเรียนรู้การถ่ายโอนเพื่อปรับปรุงประสิทธิภาพของโมเดลให้ดียิ่งขึ้น สำหรับข้อมูลเพิ่มเติม โปรดดูที่ การเรียนรู้แบบจำลองภาพที่สามารถถ่ายทอดได้จากการกำกับด้วยภาษาธรรมชาติ และ คลิป repo GitHubเรื่องราว
เกี่ยวกับผู้เขียน
เควิน ดู เป็นสถาปนิก Data Lab อาวุโสที่ AWS ซึ่งอุทิศตนเพื่อช่วยเหลือลูกค้าในการเร่งพัฒนาผลิตภัณฑ์ Machine Learning (ML) และแพลตฟอร์ม MLOps ด้วยประสบการณ์มากกว่าทศวรรษในการสร้างผลิตภัณฑ์ที่เปิดใช้งาน ML สำหรับทั้งสตาร์ทอัพและองค์กร เขามุ่งเน้นที่การช่วยเหลือลูกค้าในการปรับปรุงประสิทธิภาพการผลิตของโซลูชัน ML ของตน ในเวลาว่าง เควินชอบทำอาหารและดูบาสเก็ตบอล
อัญญา รอย เป็นสถาปนิกอาวุโส Data Lab ที่เชี่ยวชาญด้าน AI และแมชชีนเลิร์นนิงจากซิดนีย์ ออสเตรเลีย เธอทำงานร่วมกับลูกค้าที่หลากหลายเพื่อให้คำแนะนำด้านสถาปัตยกรรมและช่วยให้พวกเขานำเสนอโซลูชัน AI/ML ที่มีประสิทธิภาพผ่านการมีส่วนร่วมของห้องปฏิบัติการข้อมูล ก่อนหน้าที่จะมาที่ AWS เธอเคยทำงานเป็นนักวิทยาศาสตร์ข้อมูลอาวุโสและจัดการกับโมเดล ML ขนาดใหญ่ในอุตสาหกรรมต่างๆ เช่น Telco ธนาคาร และฟินเทค ประสบการณ์ด้าน AI/ML ของเธอทำให้เธอสามารถนำเสนอโซลูชันที่มีประสิทธิภาพสำหรับปัญหาทางธุรกิจที่ซับซ้อน และเธอมีความกระตือรือร้นในการใช้ประโยชน์จากเทคโนโลยีล้ำสมัยเพื่อช่วยให้ทีมบรรลุเป้าหมาย
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/implement-unified-text-and-image-search-with-a-clip-model-using-amazon-sagemaker-and-amazon-opensearch-service/
- :เป็น
- ][หน้า
- $ ขึ้น
- 1
- 10
- 100
- 11
- 7
- 8
- 9
- a
- สามารถ
- เกี่ยวกับเรา
- เร่ง
- ยอมรับ
- เข้า
- บรรลุ
- ข้าม
- การปฏิบัติ
- เพิ่มเติม
- นำมาใช้
- หลังจาก
- AG
- ข้อตกลง
- AI
- AI / ML
- ทั้งหมด
- อเมซอน
- บริการ Amazon OpenSearch
- อเมซอน SageMaker
- การวิเคราะห์
- และ
- อื่น
- เหมาะสม
- การใช้งาน
- การใช้งาน
- เหมาะสม
- ประมาณ
- ในเชิงสถาปัตยกรรม
- สถาปัตยกรรม
- เป็น
- อาร์กิวเมนต์
- รอบ
- AS
- At
- แนบ
- ออสเตรเลีย
- อัตโนมัติ
- AWS
- ธนาคาร
- ตาม
- บาสเกตบอล
- BE
- เพราะ
- ก่อน
- เบิร์กลีย์
- ที่ดีที่สุด
- ดีกว่า
- ระหว่าง
- ร่างกาย
- สร้าง
- การก่อสร้าง
- สร้าง
- built-in
- ธุรกิจ
- ธุรกิจ
- by
- ที่เรียกว่า
- CAN
- ความสามารถในการ
- แค็ตตาล็อก
- CD
- ตรวจสอบ
- ทางเลือก
- ไคลเอนต์
- ปิดหน้านี้
- Cluster
- รหัส
- ชุด
- คอลัมน์
- สื่อสาร
- การสื่อสาร
- เมื่อเทียบกับ
- สมบูรณ์
- ซับซ้อน
- แนวคิด
- ดำเนินการ
- องค์ประกอบ
- เชื่อมต่อ
- การเชื่อมต่อ
- การเชื่อมต่อ
- ผู้บริโภค
- บรรจุ
- มี
- เนื้อหา
- การสนทนา
- ตรงกัน
- ราคา
- ค่าใช้จ่ายที่มีประสิทธิภาพ
- ได้
- สร้าง
- ที่สร้างขึ้น
- การสร้าง
- หนังสือรับรอง
- ถ้วย
- ลูกค้า
- ตัดขอบ
- รอบ
- ข้อมูล
- การวิเคราะห์ข้อมูล
- จุดข้อมูล
- วิทยาศาสตร์ข้อมูล
- นักวิทยาศาสตร์ข้อมูล
- ชุดข้อมูล
- ทศวรรษ
- ทุ่มเท
- ลึก
- การเรียนรู้ลึก ๆ
- ค่าเริ่มต้น
- การกำหนด
- ส่งมอบ
- สาธิต
- แสดงให้เห็นถึง
- ปรับใช้
- ปรับใช้
- การใช้งาน
- ลักษณะ
- ที่ต้องการ
- รายละเอียด
- dev
- พัฒนา
- พัฒนาการ
- เครื่อง
- ต่าง
- Dimension
- โดยตรง
- แสดง
- หลาย
- เอกสาร
- โดเมน
- โดเมน
- Dont
- ลง
- ดาวน์โหลด
- ในระหว่าง
- แต่ละ
- ง่ายดาย
- อย่างง่ายดาย
- อีคอมเมิร์ซ
- มีประสิทธิภาพ
- ทำให้สามารถ
- การเข้ารหัสลับ
- ปลายทาง
- มีส่วนร่วม
- เครื่องยนต์
- เครื่องยนต์
- ภาษาอังกฤษ
- ทำให้มั่นใจ
- ผู้ประกอบการ
- อย่างสิ้นเชิง
- การเข้า
- สิ่งแวดล้อม
- ข้อผิดพลาด
- ตัวอย่าง
- การปฏิบัติ
- การออกกำลังกาย
- ประสบการณ์
- พิเศษ
- ครอบครัว
- ลักษณะ
- คุณสมบัติ
- รูป
- เนื้อไม่มีมัน
- ไฟล์
- หา
- เสร็จสิ้น
- ชื่อจริง
- ความยืดหยุ่น
- โฟกัส
- ดังต่อไปนี้
- ดังต่อไปนี้
- สำหรับ
- รูป
- พบ
- FRAME
- กรอบ
- ฟรี
- เพื่อน
- ราคาเริ่มต้นที่
- ด้านหน้า
- ฟังก์ชัน
- การทำงาน
- ฟังก์ชั่น
- ฟังก์ชั่น
- ต่อไป
- สร้าง
- สร้าง
- ได้รับ
- ไป
- GitHub
- กระจก
- Go
- เป้าหมาย
- ไป
- ดี
- คำแนะนำ
- จัดการ
- มี
- ส่วนหัว
- ความสูง
- ช่วย
- การช่วยเหลือ
- จะช่วยให้
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- สูงกว่า
- ตี
- ฮิต
- เจ้าภาพ
- เป็นเจ้าภาพ
- โฮสติ้ง
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTML
- ที่ http
- HTTPS
- ร้อย
- i
- แยกแยะ
- Idle
- IDX
- ภาพ
- ค้นหารูปภาพ
- ภาพ
- การดำเนินการ
- การดำเนินงาน
- การดำเนินการ
- การดำเนินการ
- นำเข้า
- ปรับปรุง
- in
- ประกอบด้วย
- รวมถึง
- ดัชนี
- ดัชนี
- ดัชนี
- อุตสาหกรรม
- ข้อมูล
- โครงสร้างพื้นฐาน
- อินพุต
- ติดตั้ง
- ตัวอย่าง
- แทน
- คำแนะนำการใช้
- แบบบูรณาการ
- สนใจ
- อินเตอร์เฟซ
- อินเทอร์เน็ต
- สินค้าคงคลัง
- IT
- รายการ
- ITS
- การสัมภาษณ์
- งาน
- jpg
- JSON
- ห้องปฏิบัติการ
- ภาษา
- แล็ปท็อป
- ใหญ่
- ขนาดใหญ่
- เปิดตัว
- ชั้น
- การเรียนรู้
- การใช้ประโยชน์
- ห้องสมุด
- กดไลก์
- LINK
- รายการ
- รายชื่อ
- โหลด
- โหลด
- ที่ตั้ง
- นาน
- อีกต่อไป
- ดู
- เครื่อง
- เรียนรู้เครื่อง
- ทำ
- ทำให้
- การจัดการ
- การจัดการ
- การจัดการ
- ลักษณะ
- วิธี
- วัด
- มาตรการ
- ผสาน
- Meta
- เมตาดาต้า
- เมตริก
- นาที
- ML
- ม.ป.ป
- แบบ
- โมเดล
- ข้อมูลเพิ่มเติม
- ย้าย
- ชื่อ
- ชื่อ
- โดยธรรมชาติ
- จำเป็นต้อง
- เครือข่าย
- เครือข่ายประสาท
- ใหม่
- ถัดไป
- สมุดบันทึก
- ตัวเลข
- วัตถุ
- วัตถุ
- of
- เสนอ
- เก่า
- on
- ออนไลน์
- เปิด
- โอเพนซอร์ส
- การดำเนินการ
- ตัวเลือกเสริม (Option)
- OS
- อื่นๆ
- เอาท์พุต
- แทนที่
- ภาพรวม
- ของตนเอง
- แพคเกจ
- คู่
- หมีแพนด้า
- ส่วนหนึ่ง
- หลงใหล
- เส้นทาง
- แบบแผน
- รูปแบบไฟล์ PDF
- คน
- สมบูรณ์
- ดำเนินการ
- การปฏิบัติ
- ที่มีประสิทธิภาพ
- ระยะ
- ภาพ
- ภาพ
- ชิ้น
- พิซซ่า
- แพลตฟอร์ม
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- PoC
- จุด
- จุด
- นโยบาย
- สระ
- เป็นไปได้
- โพสต์
- อำนาจ
- ขับเคลื่อน
- การปฏิบัติ
- คำทำนาย
- การคาดการณ์
- การเตรียมความพร้อม
- ป้องกัน
- ก่อน
- ส่วนตัว
- ปัญหาที่เกิดขึ้น
- การประมวลผล
- ผลิตภัณฑ์
- การผลิต
- ผลิตภัณฑ์
- โปรไฟล์
- การเขียนโปรแกรม
- โครงการ
- คุณสมบัติ
- การสร้างต้นแบบ
- ให้
- ให้
- สาธารณะ
- วัตถุประสงค์
- ใส่
- หลาม
- ไฟฉาย
- รวดเร็ว
- อย่างรวดเร็ว
- พิสัย
- ดิบ
- อ่าน
- จริง
- เรียลไทม์
- แนะนำ
- ระเบียน
- สีแดง
- นิพจน์ทั่วไป
- ภูมิภาค
- ลงทะเบียน
- เอาออก
- ต้อง
- การวิจัย
- แหล่งข้อมูล
- คำตอบ
- REST
- ผล
- ผลสอบ
- ค้าปลีก
- กลับ
- รับคืน
- ขึ้น
- บทบาท
- ROSE
- วิ่ง
- sagemaker
- เดียวกัน
- ลด
- ที่ปรับขนาดได้
- ขนาด
- ปรับ
- วิทยาศาสตร์
- นักวิทยาศาสตร์
- คะแนน
- SDK
- ค้นหา
- เครื่องมือค้นหา
- เครื่องมือค้นหา
- วินาที
- Section
- ปลอดภัย
- อย่างปลอดภัย
- ความปลอดภัย
- ระดับอาวุโส
- ประโยค
- ให้บริการ
- serverless
- บริการ
- เซสชั่น
- ชุด
- การตั้งค่า
- รูปร่าง
- น่า
- แสดง
- คล้ายคลึงกัน
- ง่าย
- ขนาด
- มีขนาดเล็กกว่า
- So
- ทางออก
- โซลูชัน
- บาง
- แหล่ง
- ช่องว่าง
- เฉพาะ
- โดยเฉพาะ
- ยืน
- เริ่มต้น
- startups
- ขั้นตอน
- ขั้นตอน
- การเก็บรักษา
- จัดเก็บ
- เก็บไว้
- เพรียวลม
- เข้มงวด
- สตูดิโอ
- ส่ง
- ประสบความสำเร็จ
- อย่างเช่น
- รองรับ
- สวิตซ์
- ซิดนีย์
- ซิส
- ใช้เวลา
- ทีม
- เทคโนโลยี
- Telco
- เทมเพลต
- ทดสอบ
- ที่
- พื้นที่
- ข้อมูล
- ของพวกเขา
- พวกเขา
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- สาม
- ตลอด
- เวลา
- ครั้ง
- ชื่อหนังสือ
- ชื่อ
- ไปยัง
- โทเค็น
- เครื่องมือ
- ด้านบน
- ไฟฉาย
- คบเพลิง
- การจราจร
- ผ่านการฝึกอบรม
- โอน
- แปลง
- แปลความ
- จริง
- ชนิด
- ปึกแผ่น
- เป็นเอกลักษณ์
- ทายไม่ถูก
- us
- ใช้
- ผู้ใช้งาน
- ความคุ้มค่า
- ความหลากหลาย
- ตรวจสอบ
- ผ่านทาง
- รายละเอียด
- เสมือน
- ชม
- น้ำดื่ม
- ดี
- ที่
- WHO
- ความกว้าง
- วิกิพีเดีย
- จะ
- กับ
- ภายใน
- ไม่มี
- คำ
- การทำงาน
- จะ
- X
- คุณ
- ของคุณ
- ลมทะเล