ตั้งค่าสถานะภาษาที่เป็นอันตรายในการสนทนาด้วย Amazon Transcribe Toxicity Detection | บริการเว็บอเมซอน

การเพิ่มขึ้นของกิจกรรมทางสังคมออนไลน์ เช่น เครือข่ายสังคมออนไลน์หรือเกมออนไลน์มักเต็มไปด้วยพฤติกรรมที่ไม่เป็นมิตรหรือก้าวร้าว ซึ่งอาจนำไปสู่การแสดงออกที่ไม่พึงประสงค์ของคำพูดแสดงความเกลียดชัง การกลั่นแกล้งบนอินเทอร์เน็ต หรือการล่วงละเมิด ตัวอย่างเช่น ชุมชนเกมออนไลน์หลายแห่งเสนอฟังก์ชันการแชทด้วยเสียงเพื่ออำนวยความสะดวกในการสื่อสารระหว่างผู้ใช้ แม้ว่าการแชทด้วยเสียงมักจะสนับสนุนการหยอกล้อที่เป็นมิตรและการพูดคุยแบบไร้เหตุผล แต่มันก็สามารถนำไปสู่ปัญหาต่างๆ เช่น คำพูดแสดงความเกลียดชัง การกลั่นแกล้งบนอินเทอร์เน็ต การล่วงละเมิด และการหลอกลวง การตั้งค่าสถานะภาษาที่เป็นอันตรายช่วยให้องค์กรรักษาการสนทนาอย่างสุภาพ และรักษาสภาพแวดล้อมออนไลน์ที่ปลอดภัยและครอบคลุมสำหรับผู้ใช้ในการสร้าง แบ่งปัน และมีส่วนร่วมได้อย่างอิสระ ทุกวันนี้ หลายบริษัทพึ่งพาผู้ดูแลที่เป็นมนุษย์เพียงอย่างเดียวในการตรวจสอบเนื้อหาที่เป็นพิษ อย่างไรก็ตาม การปรับขนาดผู้ดูแลที่เป็นมนุษย์เพื่อตอบสนองความต้องการเหล่านี้ด้วยคุณภาพและความเร็วที่เพียงพอนั้นมีราคาแพง ส่งผลให้หลายองค์กรเสี่ยงเผชิญกับอัตราการออกจากงานของผู้ใช้ที่สูง ความเสียหายด้านชื่อเสียง และค่าปรับตามระเบียบข้อบังคับ นอกจากนี้ ผู้ดูแลมักจะได้รับผลกระทบทางจิตใจจากการทบทวนเนื้อหาที่เป็นพิษ

ถอดความจากอเมซอน เป็นบริการการรู้จำเสียงอัตโนมัติ (ASR) ที่ช่วยให้นักพัฒนาสามารถเพิ่มความสามารถในการเปลี่ยนเสียงพูดเป็นข้อความไปยังแอปพลิเคชันของตนได้อย่างง่ายดาย วันนี้เราตื่นเต้นที่จะประกาศ การตรวจจับความเป็นพิษของ Amazon Transcribeความสามารถที่ขับเคลื่อนด้วยแมชชีนเลิร์นนิง (ML) ที่ใช้ทั้งเสียงและข้อความเพื่อระบุและจัดประเภทเนื้อหาที่เป็นพิษจากเสียงในเจ็ดประเภท ได้แก่ การล่วงละเมิดทางเพศ คำพูดแสดงความเกลียดชัง การคุกคาม การละเมิด การดูหมิ่น ดูหมิ่น และภาษากราฟิก . นอกจากข้อความแล้ว การตรวจจับความเป็นพิษยังใช้ตัวชี้นำในการพูด เช่น น้ำเสียงและระดับเสียงแหลมเพื่อเน้นย้ำถึงเจตนาที่เป็นพิษในการพูด

นี่เป็นการปรับปรุงจากระบบการกลั่นกรองเนื้อหามาตรฐานที่ออกแบบมาเพื่อเน้นเฉพาะคำศัพท์เฉพาะ โดยไม่คำนึงถึงความตั้งใจ องค์กรส่วนใหญ่มี SLA 7-15 วันในการตรวจสอบเนื้อหาที่รายงานโดยผู้ใช้ เนื่องจากผู้ดูแลต้องฟังไฟล์เสียงที่มีความยาวเพื่อประเมินว่าการสนทนาเป็นพิษหรือไม่และเมื่อใด ด้วย Amazon Transcribe Toxicity Detection ผู้ดูแลจะตรวจสอบเฉพาะส่วนเฉพาะของไฟล์เสียงที่ถูกตั้งค่าสถานะว่ามีเนื้อหาที่เป็นพิษ (เทียบกับไฟล์เสียงทั้งหมด) ผู้ดูแลเนื้อหาที่เป็นมนุษย์ต้องตรวจสอบลดลง 95% ทำให้ลูกค้าสามารถลด SLA ของพวกเขาให้เหลือเพียงไม่กี่ชั่วโมง รวมทั้งช่วยให้พวกเขาตรวจสอบเนื้อหาเชิงรุกได้มากขึ้นนอกเหนือจากที่ผู้ใช้ตั้งค่าสถานะ จะช่วยให้องค์กรต่างๆ ตรวจจับและกลั่นกรองเนื้อหาตามขนาดโดยอัตโนมัติ จัดเตรียมสภาพแวดล้อมออนไลน์ที่ปลอดภัยและครอบคลุม และดำเนินการก่อนที่มันจะทำให้ผู้ใช้เลิกใช้งานหรือเกิดความเสียหายต่อชื่อเสียง แบบจำลองที่ใช้สำหรับการตรวจจับเนื้อหาที่เป็นพิษได้รับการดูแลโดย Amazon Transcribe และอัปเดตเป็นระยะเพื่อรักษาความถูกต้องและความเกี่ยวข้อง

ในโพสต์นี้ คุณจะได้เรียนรู้วิธีการ:

• ระบุเนื้อหาที่เป็นอันตรายในการพูดด้วย Amazon Transcribe Toxicity Detection
• ใช้คอนโซล Amazon Transcribe เพื่อตรวจหาความเป็นพิษ
• สร้างงานถอดความด้วยการตรวจหาความเป็นพิษโดยใช้ อินเทอร์เฟซบรรทัดคำสั่ง AWS AWS (AWS CLI) และ Python SDK
• ใช้การตอบสนอง API การตรวจจับความเป็นพิษของ Amazon Transcribe

ตรวจจับความเป็นพิษในการแชทด้วยเสียงด้วย Amazon Transcribe Toxicity Detection

ขณะนี้ Amazon Transcribe มีโซลูชันที่ใช้ ML ที่เรียบง่ายสำหรับการทำเครื่องหมายภาษาที่เป็นอันตรายในการสนทนาที่พูด คุณลักษณะนี้มีประโยชน์อย่างยิ่งสำหรับโซเชียลมีเดีย เกม และความต้องการทั่วไป ทำให้ลูกค้าไม่ต้องให้ข้อมูลของตนเองเพื่อฝึกโมเดล ML การตรวจจับความเป็นพิษจัดประเภทเนื้อหาเสียงที่เป็นพิษออกเป็น 0 หมวดหมู่ต่อไปนี้ และให้คะแนนความเชื่อมั่น (1–XNUMX) สำหรับแต่ละหมวดหมู่:

• การดูหมิ่น – คำพูดที่มีคำ วลี หรือคำย่อที่ไม่สุภาพ หยาบคาย หรือก้าวร้าว
• คำพูดแสดงความเกลียดชัง – คำพูดที่วิพากษ์วิจารณ์ ดูหมิ่น ประณาม หรือลดทอนความเป็นมนุษย์ของบุคคลหรือกลุ่มบุคคลบนพื้นฐานของอัตลักษณ์ (เช่น เชื้อชาติ ชาติพันธุ์ เพศ ศาสนา รสนิยมทางเพศ ความสามารถ และชาติกำเนิด)
• เพศที่สนใจ – คำพูดที่บ่งบอกถึงความสนใจ กิจกรรม หรือการเร้าอารมณ์ทางเพศ โดยใช้การอ้างอิงโดยตรงหรือโดยอ้อมถึงส่วนต่างๆ ของร่างกาย ลักษณะทางกายภาพ หรือเพศ
• ดูถูก – คำพูดที่รวมถึงการดูถูกเหยียดหยาม เย้ยหยัน ดูหมิ่น หรือดูแคลน ภาษาประเภทนี้ยังถูกระบุว่าเป็นการกลั่นแกล้ง
• ความรุนแรงหรือการคุกคาม – คำพูดที่รวมถึงการคุกคามเพื่อสร้างความเจ็บปวด การบาดเจ็บ หรือความเป็นปรปักษ์ต่อบุคคลหรือกลุ่ม
• กราฟฟิค – คำพูดที่ใช้คำอธิบายภาพและภาพที่สดใสไม่น่าพอใจ ภาษาประเภทนี้มักตั้งใจขยายความให้ผู้รับรู้สึกอึดอัด
• การล่วงละเมิดหรือการล่วงละเมิด – คำพูดที่มุ่งหมายจะกระทบกระเทือนจิตใจของผู้รับ รวมถึงถ้อยคำที่ดูถูกเหยียดหยามและคัดค้าน

คุณสามารถเข้าถึง Toxicity Detection ผ่าน Amazon Transcribe Console หรือโดยการเรียก API โดยตรงโดยใช้ AWS CLI หรือ AWS SDK บนคอนโซล Amazon Transcribe คุณสามารถอัปโหลดไฟล์เสียงที่คุณต้องการทดสอบความเป็นพิษและรับผลลัพธ์ได้ในไม่กี่คลิก Amazon Transcribe จะระบุและจัดหมวดหมู่เนื้อหาที่เป็นพิษ เช่น การล่วงละเมิด คำพูดแสดงความเกลียดชัง เนื้อหาเกี่ยวกับเรื่องเพศ ความรุนแรง การดูหมิ่น และคำหยาบคาย Amazon Transcribe ยังให้คะแนนความเชื่อมั่นสำหรับแต่ละหมวดหมู่ โดยให้ข้อมูลเชิงลึกที่มีค่าเกี่ยวกับระดับความเป็นพิษของเนื้อหา ขณะนี้การตรวจจับความเป็นพิษมีให้บริการใน Amazon Transcribe API มาตรฐานสำหรับการประมวลผลเป็นชุดและรองรับภาษาอังกฤษแบบสหรัฐอเมริกา

คำแนะนำแบบใช้คอนโซลของ Amazon Transcribe

ในการเริ่มต้น ให้ลงชื่อเข้าใช้ คอนโซลการจัดการ AWS แล้วไปที่ Amazon Transcribe หากต้องการสร้างงานถอดความใหม่ คุณต้องอัปโหลดไฟล์ที่บันทึกลงในไฟล์ บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ก่อนที่จะสามารถดำเนินการได้ ในหน้าการตั้งค่าเสียง เปิดใช้งานดังที่แสดงในภาพหน้าจอต่อไปนี้ การตรวจจับความเป็นพิษ และดำเนินการสร้างงานใหม่ Amazon Transcribe จะประมวลผลงานถอดความในเบื้องหลัง เมื่องานดำเนินไป คุณสามารถคาดหวังว่าสถานะจะเปลี่ยนเป็น เสร็จสิ้น เมื่อกระบวนการเสร็จสิ้น

หากต้องการตรวจสอบผลลัพธ์ของงานถอดความ ให้เลือกงานจากรายการงานเพื่อเปิด เลื่อนลงไปที่ ตัวอย่างการถอดความ ส่วนการตรวจสอบผลลัพธ์บน ความเป็นพิษ แท็บ UI แสดงส่วนการถอดความด้วยรหัสสีเพื่อระบุระดับความเป็นพิษ ซึ่งกำหนดโดยคะแนนความเชื่อมั่น หากต้องการปรับแต่งการแสดงผล คุณสามารถใช้แถบสลับใน ฟิลเตอร์ บานหน้าต่าง แถบเหล่านี้ช่วยให้คุณปรับเกณฑ์และกรองหมวดหมู่ความเป็นพิษได้ตามความเหมาะสม

ภาพหน้าจอต่อไปนี้ครอบคลุมบางส่วนของข้อความถอดความเนื่องจากมีข้อมูลที่ละเอียดอ่อนหรือเป็นพิษ

Transcription API พร้อมคำขอตรวจจับความเป็นพิษ

ในส่วนนี้ เราจะแนะนำคุณเกี่ยวกับการสร้างงานการถอดความด้วยการตรวจจับความเป็นพิษโดยใช้อินเทอร์เฟซการเขียนโปรแกรม หากไฟล์เสียงไม่ได้อยู่ในบัคเก็ต S3 ให้อัปโหลดเพื่อให้แน่ใจว่า Amazon Transcribe เข้าถึงได้ คล้ายกับการสร้างงานถอดความบนคอนโซล เมื่อเรียกใช้งาน คุณต้องระบุพารามิเตอร์ต่อไปนี้:

• ถอดความชื่องาน – ระบุชื่องานเฉพาะ
• MediaFileUri – ป้อนตำแหน่ง URI ของไฟล์เสียงใน Amazon S3 Amazon Transcribe รองรับรูปแบบเสียงต่อไปนี้: MP3, MP4, WAV, FLAC, AMR, OGG หรือ WebM
• รหัสภาษา - ตั้งค่าให้ en-US. จากการเขียนนี้ การตรวจจับความเป็นพิษรองรับเฉพาะภาษาอังกฤษแบบสหรัฐอเมริกาเท่านั้น
• หมวดหมู่ความเป็นพิษ - ผ่าน ALL ค่าที่จะรวมหมวดหมู่การตรวจจับความเป็นพิษที่รองรับทั้งหมด

ต่อไปนี้คือตัวอย่างการเริ่มต้นงานถอดความโดยเปิดใช้งานการตรวจหาความเป็นพิษโดยใช้ Python3:

import time
import boto3 transcribe = boto3.client('transcribe', 'us-east-1')
job_name = "toxicity-detection-demo"
job_uri = "s3://my-bucket/my-folder/my-file.wav" # start a transcription job
transcribe.start_transcription_job( TranscriptionJobName = job_name, Media = { 'MediaFileUri': job_uri }, OutputBucketName = 'doc-example-bucket', OutputKey = 'my-output-files/', LanguageCode = 'en-US', ToxicityDetection = [{'ToxicityCategories': ['ALL']}]
) # wait for the transcription job to complete
while True: status = transcribe.get_transcription_job(TranscriptionJobName = job_name) if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']: break print("Not ready yet...") time.sleep(5) print(status)

คุณสามารถเรียกใช้งานการถอดความเดียวกันด้วยการตรวจจับความเป็นพิษโดยใช้คำสั่ง AWS CLI ต่อไปนี้:

aws transcribe start-transcription-job --region us-east-1 --transcription-job-name toxicity-detection-demo --media MediaFileUri=s3://my-bucket/my-folder/my-file.wav --output-bucket-name doc-example-bucket --output-key my-output-files/ --language-code en-US --toxicity-detection ToxicityCategories=ALL

Transcription API พร้อมการตอบสนองการตรวจจับความเป็นพิษ

เอาต์พุต JSON สำหรับการตรวจจับความเป็นพิษของ Amazon Transcribe จะรวมผลการถอดความไว้ในฟิลด์ผลลัพธ์ การเปิดใช้งานการตรวจจับความเป็นพิษจะเพิ่มฟิลด์พิเศษที่เรียกว่า toxicityDetection ในช่องผลลัพธ์ toxicityDetection รวมรายการของรายการถอดเสียงด้วยพารามิเตอร์ต่อไปนี้:

• ข้อความ – ข้อความที่ถอดความดิบ
• ความเป็นพิษ – คะแนนความเชื่อมั่นของการตรวจจับ (ค่าระหว่าง 0–1)
• หมวดหมู่ – คะแนนความมั่นใจสำหรับแต่ละประเภทของคำพูดที่เป็นพิษ
• เวลาเริ่มต้น – ตำแหน่งเริ่มต้นของการตรวจจับในไฟล์เสียง (วินาที)
• สิ้นสุด_เวลา – ตำแหน่งสิ้นสุดของการตรวจจับในไฟล์เสียง (วินาที)

ต่อไปนี้คือตัวอย่างการตอบสนองต่อการตรวจหาความเป็นพิษแบบย่อที่คุณสามารถดาวน์โหลดได้จากคอนโซล:

{ "results":{ "transcripts": [...], "items":[...], "toxicityDetection": [ { "text": "A TOXIC TRANSCRIPTION SEGMENT GOES HERE.", "toxicity": 0.8419, "categories": { "PROFANITY": 0.7041, "HATE_SPEECH": 0.0163, "SEXUAL": 0.0097, "INSULT": 0.8532, "VIOLENCE_OR_THREAT": 0.0031, "GRAPHIC": 0.0017, "HARASSMENT_OR_ABUSE": 0.0497 }, "start_time": 16.298, "end_time": 20.35 }, ... ] }, "status": "COMPLETED"
}

สรุป

ในโพสต์นี้ เราได้ให้ภาพรวมของคุณสมบัติการตรวจจับความเป็นพิษของ Amazon Transcribe ใหม่ เรายังอธิบายวิธีแยกวิเคราะห์เอาต์พุต JSON ของการตรวจจับความเป็นพิษ สำหรับข้อมูลเพิ่มเติม โปรดดูที่ Amazon Transcribe Console และลองใช้ Transcription API พร้อม Toxicity Detection

ขณะนี้ Amazon Transcribe Toxicity Detection พร้อมใช้งานในภูมิภาค AWS ต่อไปนี้: สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ) สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียเหนือ) สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน) เอเชียแปซิฟิก (ซิดนีย์) ยุโรป (ไอร์แลนด์) และยุโรป (ลอนดอน) หากต้องการเรียนรู้เพิ่มเติม โปรดไปที่ ถอดความจากอเมซอน.

เรียนรู้เพิ่มเติมเกี่ยวกับ การกลั่นกรองเนื้อหาบน AWS และเรา กรณีการใช้งาน ML การกลั่นกรองเนื้อหา. ก้าวแรกสู่ เพิ่มประสิทธิภาพการดำเนินการตรวจสอบเนื้อหาของคุณด้วย AWS.

เกี่ยวกับผู้เขียน

ลาน่า จาง เป็นสถาปนิกโซลูชันอาวุโสที่ทีม AWS WWSO AI Services ซึ่งเชี่ยวชาญด้าน AI และ ML สำหรับการกลั่นกรองเนื้อหา คอมพิวเตอร์วิทัศน์ และการประมวลผลภาษาธรรมชาติ ด้วยความเชี่ยวชาญของเธอ เธออุทิศตนเพื่อส่งเสริมโซลูชัน AWS AI/ML และช่วยเหลือลูกค้าในการเปลี่ยนแปลงโซลูชันธุรกิจในอุตสาหกรรมที่หลากหลาย รวมถึงโซเชียลมีเดีย เกม อีคอมเมิร์ซ และการโฆษณาและการตลาด

สุมิตรมาร์ เป็น Sr Product Manager, Technical ที่ AWS AI Language Services team เขามีประสบการณ์ 10 ปีในการจัดการผลิตภัณฑ์ในหลากหลายโดเมน และหลงใหลเกี่ยวกับ AI/ML นอกเวลางาน สุมิตรชอบท่องเที่ยวและชอบเล่นคริกเก็ตและลอนเทนนิส

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. ยานยนต์ / EVs, คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• BlockOffsets การปรับปรุงการเป็นเจ้าของออฟเซ็ตด้านสิ่งแวดล้อมให้ทันสมัย เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/flag-harmful-language-in-spoken-conversations-with-amazon-transcribe-toxicity-detection/