สร้างระบบแจ้งเตือนตามเวลาจริงตามข่าวด้วย Twitter, Amazon SageMaker และ Hugging Face

วันนี้โซเชียลมีเดียเป็นแหล่งข่าวขนาดใหญ่ ผู้ใช้พึ่งพาแพลตฟอร์มเช่น Facebook และ Twitter เพื่อรับข่าวสาร สำหรับอุตสาหกรรมบางประเภท เช่น บริษัทประกันภัย ผู้ตอบแบบสำรวจรายแรก การบังคับใช้กฎหมาย และหน่วยงานของรัฐ ความสามารถในการประมวลผลข่าวสารเกี่ยวกับเหตุการณ์ที่เกี่ยวข้องได้อย่างรวดเร็วสามารถช่วยให้พวกเขาดำเนินการในขณะที่เหตุการณ์เหล่านี้ยังคงปรากฏอยู่

ไม่ใช่เรื่องแปลกสำหรับองค์กรที่พยายามดึงค่าจากข้อมูลข้อความเพื่อค้นหาโซลูชันที่ไม่เกี่ยวข้องกับการฝึกโมเดล NLP (การประมวลผลภาษาธรรมชาติ) ที่ซับซ้อน สำหรับองค์กรเหล่านั้น การใช้โมเดล NLP ที่ผ่านการฝึกอบรมล่วงหน้าจะเป็นประโยชน์มากกว่า นอกจากนี้ หากแบบจำลองที่เลือกไม่เป็นไปตามตัวชี้วัดความสำเร็จ องค์กรต้องการเลือกแบบจำลองอื่นและประเมินใหม่ได้อย่างง่ายดาย

ในปัจจุบัน การดึงข้อมูลจากข้อมูลข้อความทำได้ง่ายกว่าที่เคย ด้วยสิ่งต่อไปนี้:

• การเพิ่มขึ้นของสถาปัตยกรรม NLP สำหรับการใช้งานทั่วไปที่ล้ำสมัย เช่น หม้อแปลงไฟฟ้า
• ความสามารถที่นักพัฒนาและนักวิทยาศาสตร์ข้อมูลต้องสร้าง ฝึกฝน และปรับใช้โมเดลแมชชีนเลิร์นนิ่ง (ML) อย่างรวดเร็วบนคลาวด์ด้วยบริการต่างๆ เช่น อเมซอน SageMaker
• ความพร้อมใช้งานของโมเดล NLP ที่ผ่านการฝึกอบรมล่วงหน้านับพันรายการในหลายร้อยภาษา และด้วยการสนับสนุนเฟรมเวิร์กที่หลากหลายที่ชุมชนจัดหาให้ในแพลตฟอร์มต่างๆ เช่น กอดใบหน้าฮับ

ในโพสต์นี้ เราจะแสดงวิธีสร้างระบบแจ้งเตือนแบบเรียลไทม์ที่ใช้ข่าวจาก Twitter และจัดประเภททวีตโดยใช้แบบจำลองที่ได้รับการฝึกอบรมล่วงหน้าจาก Hugging Face Hub คุณสามารถใช้โซลูชันนี้สำหรับการจัดหมวดหมู่แบบ Zero-shot ได้ ซึ่งหมายความว่าคุณสามารถจัดประเภททวีตได้ในแทบทุกหมวดหมู่ และปรับใช้โมเดลด้วย SageMaker สำหรับการอนุมานแบบเรียลไทม์

อีกทางหนึ่ง หากคุณกำลังมองหาข้อมูลเชิงลึกเกี่ยวกับการสนทนาของลูกค้าและเพิ่มความตระหนักในแบรนด์โดยการวิเคราะห์ปฏิสัมพันธ์ทางโซเชียลมีเดีย เราขอแนะนำให้คุณตรวจสอบ แดชบอร์ดโซเชียลมีเดียที่ขับเคลื่อนด้วย AI. สารละลายใช้ เข้าใจ Amazonซึ่งเป็นบริการ NLP ที่มีการจัดการเต็มรูปแบบซึ่งเปิดเผยข้อมูลเชิงลึกและการเชื่อมต่ออันมีค่าในข้อความโดยไม่ต้องมีประสบการณ์การเรียนรู้ของเครื่อง

การเรียนรู้แบบไม่มีช็อต

สาขาของ NLP และความเข้าใจภาษาธรรมชาติ (NLU) มีการพัฒนาอย่างรวดเร็วเพื่อจัดการกับกรณีการใช้งานที่เกี่ยวข้องกับการจัดประเภทข้อความ การตอบคำถาม การสรุป การสร้างข้อความ และอื่นๆ วิวัฒนาการนี้เป็นไปได้ ส่วนหนึ่งต้องขอบคุณสถาปัตยกรรมเอนกประสงค์ที่ล้ำสมัยที่เพิ่มขึ้น เช่น หม้อแปลงไฟฟ้า แต่ยังมีความพร้อมใช้งานของเนื้อความข้อความที่มีคุณภาพดีขึ้นและมากขึ้นสำหรับการฝึกโมเดลดังกล่าว

สถาปัตยกรรมของหม้อแปลงไฟฟ้าเป็นโครงข่ายประสาทเทียมที่ซับซ้อนซึ่งต้องใช้ความเชี่ยวชาญด้านโดเมนและข้อมูลจำนวนมหาศาลจึงจะฝึกได้ตั้งแต่ต้น แนวทางปฏิบัติทั่วไปคือการใช้หม้อแปลงไฟฟ้าล้ำสมัยที่ได้รับการฝึกฝนมาล่วงหน้า เช่น BERT, RoBERTa, T5, GPT-2 หรือ DistilBERT และปรับแต่ง (ถ่ายทอดการเรียนรู้) โมเดลไปยังกรณีการใช้งานเฉพาะ

อย่างไรก็ตาม แม้แต่การดำเนินการเรียนรู้การโอนย้ายบนโมเดล NLP ที่ผ่านการฝึกอบรมล่วงหน้ามักเป็นงานที่ท้าทาย โดยต้องใช้ข้อมูลข้อความที่มีป้ายกำกับจำนวนมากและทีมผู้เชี่ยวชาญในการดูแลข้อมูล ความซับซ้อนนี้ขัดขวางไม่ให้องค์กรส่วนใหญ่ใช้โมเดลเหล่านี้อย่างมีประสิทธิภาพ แต่การเรียนรู้แบบ Zero-shot ช่วยให้ผู้ปฏิบัติงาน ML และองค์กรเอาชนะข้อบกพร่องนี้ได้

การเรียนรู้แบบ Zero-shot เป็นงาน ML เฉพาะที่ตัวแยกประเภทจะเรียนรู้จากชุดป้ายกำกับชุดหนึ่งระหว่างการฝึก จากนั้นในระหว่างการอนุมานจะได้รับการประเมินชุดป้ายกำกับต่างๆ ที่ตัวแยกประเภทไม่เคยเห็นมาก่อน ใน NLP คุณสามารถใช้ตัวแยกประเภทซีเควนซ์แบบ zero-shot ที่ได้รับการฝึกฝนเกี่ยวกับงานการอนุมานภาษาธรรมชาติ (NLI) เพื่อจัดประเภทข้อความโดยไม่ต้องปรับแต่งใดๆ ในโพสต์นี้เราใช้ NLI . ยอดนิยม BART รุ่น bart-large-mnli เพื่อจัดประเภททวีต นี่คือรุ่นก่อนการฝึกอบรมขนาดใหญ่ (1.6 GB) มีอยู่ในฮับรุ่น Hugging Face

Hugging Face เป็นบริษัท AI ที่จัดการแพลตฟอร์มโอเพ่นซอร์ส (Hugging Face Hub) ด้วยโมเดล NLP (หม้อแปลง) ที่ผ่านการฝึกอบรมล่วงหน้าหลายพันรายการในกว่า 100 ภาษา และรองรับเฟรมเวิร์กต่างๆ เช่น TensorFlow และ PyTorch ไลบรารี Transformers ช่วยให้นักพัฒนาและนักวิทยาศาสตร์ข้อมูลสามารถเริ่มต้นใช้งาน NLP และ NLU ที่ซับซ้อนได้ เช่น การจัดประเภท การดึงข้อมูล การตอบคำถาม การสรุป การแปล และการสร้างข้อความ

AWS และกอดใบหน้า ได้ร่วมมือกันเพื่อลดความซับซ้อนและเร่งการนำโมเดล NLP ไปใช้ ชุด Deep Learning Containers (DLC) สำหรับการฝึกอบรมและการอนุมานใน PyTorch หรือ TensorFlow และตัวประมาณการและตัวคาดการณ์ Hugging Face สำหรับ SageMaker Python SDK พร้อมใช้งานแล้ว ความสามารถเหล่านี้ช่วยให้นักพัฒนาที่มีความเชี่ยวชาญทุกระดับสามารถเริ่มต้นใช้งาน NLP ได้อย่างง่ายดาย

ภาพรวมของโซลูชัน

เรามอบโซลูชันการทำงานที่ดึงทวีตแบบเรียลไทม์จากบัญชี Twitter ที่เลือก สำหรับการสาธิตโซลูชันของเรา เราใช้สามบัญชี Amazon Web Services (@wscloud), ความปลอดภัยของ AWS (จ่าฝูง) และ Amazon Science (@AmazonScience ค่ะ) และจัดประเภทเนื้อหาเป็นหมวดหมู่ใดหมวดหมู่หนึ่งต่อไปนี้: ความปลอดภัย ฐานข้อมูล การประมวลผล พื้นที่จัดเก็บ และการเรียนรู้ของเครื่อง หากแบบจำลองส่งคืนหมวดหมู่ที่มีคะแนนความเชื่อมั่นมากกว่า 40% การแจ้งเตือนจะถูกส่งไป

ในตัวอย่างต่อไปนี้ โมเดลได้จำแนกทวีตจาก Amazon Web Services ในหมวดหมู่การเรียนรู้ของเครื่องด้วยคะแนนความมั่นใจ 97% ซึ่งสร้างการแจ้งเตือน

โซลูชันนี้ใช้โมเดลหม้อแปลงไฟฟ้า Hugging Face ที่ผ่านการฝึกอบรมมาแล้ว (จาก Hugging Face Hub) เพื่อจัดประเภททวีตตามชุดป้ายกำกับที่ให้ไว้ ณ เวลาอนุมาน แบบจำลองนั้นไม่จำเป็นต้องได้รับการฝึกอบรม ภาพหน้าจอต่อไปนี้แสดงตัวอย่างเพิ่มเติมและวิธีจัดประเภท

เราขอแนะนำให้คุณลองใช้วิธีแก้ปัญหาด้วยตัวคุณเอง เพียงดาวน์โหลดซอร์สโค้ดจาก พื้นที่เก็บข้อมูล GitHub และปฏิบัติตามคำแนะนำในการปรับใช้ในไฟล์ README

สถาปัตยกรรมโซลูชัน

โซลูชันนี้ช่วยเปิดการเชื่อมต่อไปยังปลายทางของ Twitter และเมื่อมีทวีตใหม่เข้ามา จะส่งข้อความไปยังคิว ผู้บริโภคอ่านข้อความจากคิว เรียกปลายทางการจัดหมวดหมู่ และแจ้งผู้ใช้ปลายทาง ทั้งนี้ขึ้นอยู่กับผลลัพธ์

ต่อไปนี้เป็นแผนภาพสถาปัตยกรรมของโซลูชัน

เวิร์กโฟลว์โซลูชันประกอบด้วยส่วนประกอบต่อไปนี้:

1. โซลูชันนี้อาศัย Stream API ของ Twitter เพื่อรับทวีตที่ตรงกับกฎที่กำหนดค่าไว้ (ทวีตจากบัญชีที่สนใจ) ในแบบเรียลไทม์ ในการทำเช่นนั้น แอปพลิเคชันที่ทำงานอยู่ภายในคอนเทนเนอร์จะคอยเชื่อมต่อแบบเปิดไปยังปลายทางของ Twitter อ้างถึง ทวิตเตอร์ API .
2. คอนเทนเนอร์ทำงานบน บริการ Amazon Elastic Container (Amazon ECS) บริการจัดการคอนเทนเนอร์แบบครบวงจรที่ช่วยให้คุณปรับใช้ จัดการ และปรับขนาดแอปพลิเคชันคอนเทนเนอร์ได้อย่างง่ายดาย งานเดียวทำงานบนโครงสร้างพื้นฐานแบบไร้เซิร์ฟเวอร์ที่จัดการโดย AWS ฟาร์เกต.
3. โทเค็น Twitter Bearer ถูกเก็บไว้อย่างปลอดภัยใน ที่เก็บพารามิเตอร์ AWS Systems Manager, ความสามารถของ ผู้จัดการระบบ AWS ที่จัดเตรียมการจัดเก็บข้อมูลแบบลำดับชั้นที่ปลอดภัยสำหรับข้อมูลการกำหนดค่าและข้อมูลลับ อิมเมจคอนเทนเนอร์โฮสต์บน การลงทะเบียน Amazon Elastic Container (Amazon ECR) ซึ่งเป็นรีจิสตรีคอนเทนเนอร์ที่มีการจัดการเต็มรูปแบบซึ่งนำเสนอการโฮสต์ที่มีประสิทธิภาพสูง
4. เมื่อใดก็ตามที่ทวีตใหม่มาถึง แอปพลิเคชันคอนเทนเนอร์จะใส่ทวีตลงใน บริการ Amazon Simple Queue (Amazon SQS) คิว Amazon SQS เป็นบริการจัดคิวข้อความที่มีการจัดการเต็มรูปแบบ ซึ่งช่วยให้คุณสามารถแยกและปรับขนาดไมโครเซอร์วิส ระบบแบบกระจาย และแอปพลิเคชันแบบไร้เซิร์ฟเวอร์
5. ตรรกะของการแก้ปัญหาอยู่ใน an AWS แลมบ์ดา การทำงาน. Lambda เป็นบริการประมวลผลแบบไร้เซิร์ฟเวอร์และขับเคลื่อนด้วยเหตุการณ์ ฟังก์ชันนี้ใช้ทวีตใหม่จากคิวและจัดประเภทโดยเรียกปลายทาง
6. ปลายทางอาศัยโมเดล Hugging Face และโฮสต์บน SageMaker ปลายทางรันการอนุมานและส่งออกคลาสของทวีต
7. ขึ้นอยู่กับการจัดประเภท ฟังก์ชันสร้างการแจ้งเตือนผ่าน บริการแจ้งเตือนแบบง่ายของ Amazon (Amazon SNS) บริการส่งข้อความที่มีการจัดการเต็มรูปแบบ คุณสามารถสมัครรับข้อมูลหัวข้อ SNS และปลายทางหลายแห่งสามารถรับการแจ้งเตือนนั้นได้ (ดู ปลายทางกิจกรรม Amazon SNS). ตัวอย่างเช่น คุณสามารถส่งการแจ้งเตือนไปยังกล่องจดหมายเป็นข้อความอีเมล (ดู แจ้งเตือนทางอีเมล).

ปรับใช้โมเดล Hugging Face ด้วย SageMaker

คุณสามารถเลือกรุ่นใดก็ได้จากกว่า 10,000 รุ่นที่เผยแพร่ต่อสาธารณะจาก กอดหน้านางแบบฮับ และปรับใช้กับ SageMaker โดยใช้ DLC การอนุมานใบหน้ากอด.

เมื่อใช้ การก่อตัวของ AWS Cloud, คุณเลือกหนึ่งในที่เปิดเผยต่อสาธารณะ คอนเทนเนอร์การอนุมานใบหน้ากอด และกำหนดค่าโมเดลและงาน โซลูชันนี้ใช้ facebook/bart-ขนาดใหญ่-mnli รุ่นและงานการจัดหมวดหมู่แบบไม่มีช็อต แต่คุณสามารถเลือกรุ่นใดก็ได้ภายใต้ การจำแนกประเภท Zero-Shot บน Hugging Face Model Hub คุณกำหนดค่าเหล่านั้นโดยการตั้งค่าตัวแปรสภาพแวดล้อม HF_MODEL_ID และ HF_TASK ในเทมเพลต CloudFormation ของคุณ ดังในโค้ดต่อไปนี้:

SageMakerModel:
  Type: AWS::SageMaker::Model
  Properties:
    ExecutionRoleArn: !GetAtt SageMakerModelRole.Arn
    PrimaryContainer:
      Image: 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-inference:1.7-transformers4.6-cpu-py36-ubuntu18.04
      Environment:
        HF_MODEL_ID: facebook/bart-large-mnli
        HF_TASK: zero-shot-classification
        SAGEMAKER_CONTAINER_LOG_LEVEL: 20
        SAGEMAKER_REGION: us-east-1

หรือหากคุณไม่ได้ใช้ AWS CloudFormation คุณสามารถบรรลุผลลัพธ์เดียวกันโดยใช้โค้ดไม่กี่บรรทัด อ้างถึง ปรับใช้โมเดลกับ Amazon SageMaker .

ในการจัดประเภทเนื้อหา คุณเพียงแค่เรียกตำแหน่งข้อมูล SageMaker ต่อไปนี้เป็นข้อมูลโค้ด Python:

endpoint_name = os.environ['ENDPOINT_NAME']
labels = os.environ['ENDPOINT_NAME']

data = {
    'inputs': tweet,
    'parameters': {
        'candidate_labels': labels,
        'multi_class': False
    }
}

response = sagemaker.invoke_endpoint(EndpointName=endpoint_name,
                                     ContentType='application/json',
                                     Body=json.dumps(data))

response_body = json.loads(response['Body'].read())

หมายเหตุ เท็จ ค่าสำหรับ หลายคลาส พารามิเตอร์เพื่อระบุว่าผลรวมของความน่าจะเป็นทั้งหมดสำหรับแต่ละชั้นจะรวมกันเป็น 1

การปรับปรุงโซลูชัน

คุณสามารถปรับปรุงโซลูชันที่เสนอได้ที่นี่โดยจัดเก็บทวีตและผลลัพธ์ของโมเดล บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ซึ่งเป็นบริการจัดเก็บอ็อบเจ็กต์เป็นทางเลือกหนึ่ง คุณเขียนทวีต ผลลัพธ์ และข้อมูลเมตาอื่นๆ เป็นออบเจ็กต์ JSON ลงในบัคเก็ต S3 ได้ จากนั้นคุณสามารถดำเนินการค้นหาเฉพาะกับเนื้อหานั้นได้โดยใช้ อเมซอน อาเธน่าซึ่งเป็นบริการสืบค้นข้อมูลเชิงโต้ตอบที่ทำให้วิเคราะห์ข้อมูลใน Amazon S3 ได้ง่ายโดยใช้ SQL มาตรฐาน

คุณสามารถใช้ประวัติได้ไม่เพียงแต่เพื่อดึงข้อมูลเชิงลึก แต่ยังรวมถึงการฝึกโมเดลที่กำหนดเองด้วย คุณสามารถใช้การสนับสนุน Hugging Face เพื่อฝึกโมเดลด้วยข้อมูลของคุณเองด้วย SageMaker เรียนรู้เพิ่มเติมเกี่ยวกับ เรียกใช้การฝึกอบรมบน Amazon SageMaker.

กรณีใช้งานจริง

ลูกค้าได้ทดลองใช้โมเดล Hugging Face บน SageMaker แล้ว เซกูรอส โบลิวาร์ตัวอย่างเช่น บริษัทการเงินและการประกันภัยของโคลอมเบียที่ก่อตั้งขึ้นในปี 1939 เป็นต้นมา

“เราพัฒนาโซลูชันการแจ้งเตือนภัยคุกคามสำหรับลูกค้าและนายหน้าประกันภัย เราใช้โมเดล NLP ที่ผ่านการฝึกอบรมล่วงหน้าของ Hugging Face เพื่อจัดประเภททวีตจากบัญชีที่เกี่ยวข้องเพื่อสร้างการแจ้งเตือนสำหรับลูกค้าของเราในเวลาที่เกือบจะเรียลไทม์เพื่อเป็นกลยุทธ์ในการป้องกันเพื่อช่วยบรรเทาการเรียกร้อง การเรียกร้องเกิดขึ้นเนื่องจากลูกค้าไม่ได้ตระหนักถึงระดับความเสี่ยงที่พวกเขาได้รับ โซลูชันช่วยให้เราสร้างความตระหนักรู้ในลูกค้าของเรา เปลี่ยนความเสี่ยงเป็นสิ่งที่วัดได้ในสถานการณ์ที่เป็นรูปธรรม”

– Julian Rico หัวหน้าฝ่ายวิจัยและความรู้ที่ Seguros Bolívar

Seguros Bolívar ทำงานร่วมกับ AWS เพื่อกำหนดโครงสร้างโซลูชันใหม่ ตอนนี้ใช้ SageMaker และคล้ายกับที่อธิบายไว้ในโพสต์นี้

สรุป

การจำแนกประเภท Zero-shot เหมาะอย่างยิ่งเมื่อคุณมีข้อมูลเพียงเล็กน้อยในการฝึกตัวแยกประเภทข้อความที่กำหนดเอง หรือเมื่อคุณไม่สามารถฝึกโมเดล NLP ที่กำหนดเองได้ สำหรับกรณีการใช้งานเฉพาะทาง เมื่อข้อความอิงตามคำหรือคำศัพท์เฉพาะ ควรใช้แบบจำลองการจัดประเภทภายใต้การดูแลตามชุดการฝึกแบบกำหนดเอง

ในโพสต์นี้ เราแสดงให้คุณเห็นถึงวิธีสร้างตัวแยกประเภทข่าวโดยใช้โมเดล Hugging Face zero-shot บน AWS เราใช้ Twitter เป็นแหล่งข่าว แต่คุณสามารถเลือกแหล่งข่าวที่เหมาะสมกับความต้องการเฉพาะของคุณได้ นอกจากนี้ คุณสามารถเปลี่ยนโมเดลได้ง่ายๆ เพียงระบุรุ่นที่คุณเลือกในเทมเพลต CloudFormation

สำหรับซอร์สโค้ด โปรดดูที่ พื้นที่เก็บข้อมูล GitHub รวมถึงคำแนะนำการตั้งค่าแบบเต็ม คุณสามารถโคลน เปลี่ยนแปลง ปรับใช้ และเรียกใช้ได้ด้วยตนเอง คุณยังสามารถใช้เป็นจุดเริ่มต้นและปรับแต่งหมวดหมู่และตรรกะการแจ้งเตือน หรือสร้างโซลูชันอื่นสำหรับกรณีการใช้งานที่คล้ายคลึงกัน

โปรดลองดูและแจ้งให้เราทราบว่าคุณคิดอย่างไร และเช่นเคย เรารอคอยความคิดเห็นของคุณ คุณสามารถส่งไปยังผู้ติดต่อ AWS Support ปกติของคุณหรือใน ฟอรัม AWS สำหรับ SageMaker.

เกี่ยวกับผู้แต่ง

เดวิด ลาเรโด เป็นสถาปนิกต้นแบบที่ AWS Envision Engineering ใน LATAM ซึ่งเขาได้ช่วยพัฒนาต้นแบบการเรียนรู้ของเครื่องหลายตัว ก่อนหน้านี้เขาทำงานเป็นวิศวกรแมชชีนเลิร์นนิ่งและทำการเรียนรู้ด้วยเครื่องมากว่า 5 ปี ประเด็นที่เขาสนใจคือ NLP, อนุกรมเวลา และ ML แบบ end-to-end

ราฟาเอล แวร์เนค เป็นสถาปนิกต้นแบบอาวุโสที่ AWS Envision Engineering ซึ่งตั้งอยู่ในบราซิล ก่อนหน้านี้ เขาทำงานเป็นวิศวกรพัฒนาซอฟต์แวร์บน Amazon.com.br และ Amazon RDS Performance Insights

วิกรม เอลังโก เป็นสถาปนิก AI/ML Specialist Solutions Architect ที่ Amazon Web Services ซึ่งตั้งอยู่ในเมืองเวอร์จิเนีย ประเทศสหรัฐอเมริกา Vikram ช่วยเหลือลูกค้าในอุตสาหกรรมการเงินและการประกันภัยด้วยความเป็นผู้นำด้านการออกแบบและความคิดในการสร้างและปรับใช้แอปพลิเคชันการเรียนรู้ของเครื่องในวงกว้าง ปัจจุบันเขามุ่งเน้นไปที่การประมวลผลภาษาธรรมชาติ AI ที่รับผิดชอบ การเพิ่มประสิทธิภาพการอนุมาน และการปรับสเกล ML ทั่วทั้งองค์กร ในเวลาว่าง เขาสนุกกับการเดินทาง เดินป่า ทำอาหาร และตั้งแคมป์กับครอบครัว