Gắn cờ ngôn ngữ có hại trong hội thoại bằng Amazon Transcribe Toxicity Detection | Dịch vụ web của Amazon

Sự gia tăng các hoạt động xã hội trực tuyến như mạng xã hội hoặc trò chơi trực tuyến thường chứa đựng hành vi thù địch hoặc hung hãn có thể dẫn đến các biểu hiện không được yêu cầu như lời nói căm thù, bắt nạt trên mạng hoặc quấy rối. Ví dụ: nhiều cộng đồng chơi game trực tuyến cung cấp chức năng trò chuyện bằng giọng nói để tạo điều kiện giao tiếp giữa những người dùng của họ. Mặc dù trò chuyện thoại thường hỗ trợ những câu nói đùa thân thiện và nói chuyện rác rưởi nhưng nó cũng có thể dẫn đến các vấn đề như lời nói căm thù, bắt nạt trên mạng, quấy rối và lừa đảo. Việc gắn cờ ngôn ngữ có hại giúp các tổ chức duy trì cuộc trò chuyện một cách văn minh và duy trì môi trường trực tuyến an toàn và toàn diện để người dùng tạo, chia sẻ và tham gia một cách tự do. Ngày nay, nhiều công ty chỉ dựa vào người kiểm duyệt để xem xét nội dung độc hại. Tuy nhiên, việc mở rộng quy mô người điều hành để đáp ứng những nhu cầu này với đủ chất lượng và tốc độ là rất tốn kém. Do đó, nhiều tổ chức có nguy cơ phải đối mặt với tỷ lệ mất người dùng cao, tổn hại về danh tiếng và các khoản phạt theo quy định. Ngoài ra, người điều hành thường bị ảnh hưởng tâm lý khi xem xét nội dung độc hại.

Phiên âm Amazon là dịch vụ nhận dạng giọng nói tự động (ASR) giúp các nhà phát triển dễ dàng thêm khả năng chuyển giọng nói thành văn bản vào ứng dụng của họ. Hôm nay, chúng tôi vui mừng thông báo Phát hiện độc tính của Amazon Transcribe, một khả năng được hỗ trợ bởi máy học (ML) sử dụng cả tín hiệu dựa trên âm thanh và văn bản để xác định và phân loại nội dung độc hại dựa trên giọng nói trong bảy danh mục, bao gồm quấy rối tình dục, lời nói căm thù, đe dọa, lạm dụng, thô tục, lăng mạ và ngôn ngữ đồ họa . Ngoài văn bản, tính năng Phát hiện độc tính còn sử dụng các tín hiệu giọng nói như âm sắc và cao độ để tập trung vào mục đích độc hại trong lời nói.

Đây là một cải tiến từ các hệ thống kiểm duyệt nội dung tiêu chuẩn được thiết kế để chỉ tập trung vào các điều khoản cụ thể mà không tính đến mục đích. Hầu hết các doanh nghiệp đều có SLA từ 7–15 ngày để xem xét nội dung do người dùng báo cáo vì người kiểm duyệt phải nghe các tệp âm thanh dài để đánh giá xem liệu cuộc trò chuyện có trở nên độc hại hay không và khi nào. Với tính năng Phát hiện độc tính của Amazon Transcribe, người kiểm duyệt chỉ xem xét phần cụ thể của tệp âm thanh bị gắn cờ về nội dung độc hại (so với toàn bộ tệp âm thanh). Nội dung mà người kiểm duyệt phải xem xét đã giảm 95%, cho phép khách hàng giảm SLA xuống chỉ còn vài giờ, cũng như cho phép họ chủ động kiểm duyệt nhiều nội dung hơn ngoài những nội dung được người dùng gắn cờ. Nó sẽ cho phép các doanh nghiệp tự động phát hiện và kiểm duyệt nội dung trên quy mô lớn, cung cấp một môi trường trực tuyến an toàn và toàn diện, đồng thời thực hiện hành động trước khi hành động đó có thể khiến người dùng rời bỏ hoặc gây thiệt hại về danh tiếng. Các mô hình dùng để phát hiện nội dung độc hại được Amazon Transcribe duy trì và cập nhật định kỳ để duy trì độ chính xác và mức độ liên quan.

Trong bài đăng này, bạn sẽ học cách:

• Xác định nội dung có hại trong lời nói bằng tính năng Phát hiện độc tính của Amazon Transcribe
• Sử dụng bảng điều khiển Amazon Transcribe để phát hiện độc tính
• Tạo công việc sao chép có tính năng phát hiện độc tính bằng cách sử dụng Giao diện dòng lệnh AWS (AWS CLI) và Python SDK
• Sử dụng phản hồi API phát hiện độc tính của Amazon Transcribe

Phát hiện độc tính trong cuộc trò chuyện âm thanh bằng Amazon Transcribe Toxicity Development

Amazon Transcribe hiện cung cấp giải pháp đơn giản dựa trên ML để gắn cờ ngôn ngữ có hại trong các cuộc trò chuyện bằng giọng nói. Tính năng này đặc biệt hữu ích cho mạng xã hội, trò chơi và các nhu cầu chung, loại bỏ nhu cầu khách hàng cung cấp dữ liệu của riêng họ để đào tạo mô hình ML. Tính năng Phát hiện độc tính phân loại nội dung âm thanh độc hại thành bảy loại sau và cung cấp điểm tin cậy (0–1) cho mỗi danh mục:

• Lời tục tĩu – Lời nói có chứa các từ, cụm từ hoặc từ viết tắt mang tính bất lịch sự, thô tục hoặc mang tính xúc phạm.
• Bài phát biểu ghét – Lời nói chỉ trích, lăng mạ, tố cáo hoặc hạ nhục một người hoặc một nhóm người vì lý do nhận dạng (như chủng tộc, dân tộc, giới tính, tôn giáo, khuynh hướng tình dục, khả năng và nguồn gốc quốc gia).
• Tình dục – Lời nói thể hiện sự quan tâm, hoạt động hoặc kích thích tình dục bằng cách đề cập trực tiếp hoặc gián tiếp đến các bộ phận cơ thể, đặc điểm cơ thể hoặc giới tính.
• Xúc phạm – Lời nói bao gồm ngôn ngữ hạ thấp, sỉ nhục, chế giễu, xúc phạm hoặc coi thường. Loại ngôn ngữ này cũng được dán nhãn là bắt nạt.
• Bạo lực hoặc đe dọa – Lời nói bao gồm các mối đe dọa tìm cách gây đau đớn, tổn thương hoặc thù địch đối với một người hoặc một nhóm.
• Đồ họa – Lời nói sử dụng hình ảnh mô tả trực quan và sống động đến khó chịu. Loại ngôn ngữ này thường dài dòng một cách có chủ ý để khuếch đại sự khó chịu của người nhận.
• Quấy rối hoặc lạm dụng – Lời nói nhằm mục đích ảnh hưởng đến sức khỏe tâm lý của người nhận, bao gồm các thuật ngữ hạ thấp và khách quan hóa.

Bạn có thể truy cập tính năng Phát hiện độc tính thông qua bảng điều khiển Amazon Transcribe hoặc bằng cách gọi trực tiếp các API bằng AWS CLI hoặc AWS SDK. Trên bảng điều khiển Amazon Transcribe, bạn có thể tải lên các tệp âm thanh mà bạn muốn kiểm tra mức độ độc hại và nhận kết quả chỉ sau vài cú nhấp chuột. Amazon Transcribe sẽ xác định và phân loại nội dung độc hại, chẳng hạn như quấy rối, lời nói căm thù, nội dung khiêu dâm, bạo lực, lăng mạ và tục tĩu. Amazon Transcribe cũng cung cấp điểm tin cậy cho từng danh mục, cung cấp thông tin chuyên sâu có giá trị về mức độ độc hại của nội dung. Tính năng Phát hiện độc tính hiện có sẵn trong API Amazon Transcribe tiêu chuẩn để xử lý hàng loạt và hỗ trợ tiếng Anh Mỹ.

Hướng dẫn sử dụng bảng điều khiển Amazon Transcribe

Để bắt đầu, hãy đăng nhập vào Bảng điều khiển quản lý AWS và truy cập Amazon Transcribe. Để tạo công việc phiên âm mới, bạn cần tải các tệp đã ghi của mình lên một Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) trước khi chúng có thể được xử lý. Trên trang cài đặt âm thanh, như minh họa trong ảnh chụp màn hình sau, hãy bật Phát hiện độc tính và tiến hành tạo công việc mới. Amazon Transcribe sẽ xử lý công việc sao chép ở chế độ nền. Khi công việc tiến triển, bạn có thể mong đợi trạng thái sẽ thay đổi thành Hoàn thành khi quá trình kết thúc.

Để xem lại kết quả của công việc phiên âm, hãy chọn công việc đó từ danh sách công việc để mở. Cuộn xuống Bản xem trước phiên âm phần kiểm tra kết quả trên Độc tính chuyển hướng. Giao diện người dùng hiển thị các phân đoạn phiên mã được mã hóa màu để biểu thị mức độ độc tính, được xác định bằng điểm tin cậy. Để tùy chỉnh màn hình, bạn có thể sử dụng các thanh chuyển đổi trong Bộ lọc ngăn. Các thanh này cho phép bạn điều chỉnh ngưỡng và lọc các loại độc tính tương ứng.

Ảnh chụp màn hình sau đây đã che đi các phần của văn bản phiên âm do có thông tin nhạy cảm hoặc độc hại.

API phiên mã với yêu cầu phát hiện độc tính

Trong phần này, chúng tôi hướng dẫn bạn tạo công việc sao chép có tính năng phát hiện độc tính bằng các giao diện lập trình. Nếu tệp âm thanh chưa có trong bộ chứa S3, hãy tải tệp đó lên để đảm bảo Amazon Transcribe có quyền truy cập. Tương tự như việc tạo một tác vụ phiên âm trên console, khi gọi tác vụ, bạn cần cung cấp các thông số sau:

• Phiên âmTên công việc – Chỉ định một tên công việc duy nhất.
• MediaFileUri – Nhập vị trí URI của file âm thanh trên Amazon S3. Amazon Transcribe hỗ trợ các định dạng âm thanh sau: MP3, MP4, WAV, FLAC, AMR, OGG hoặc WebM
• Mật ngữ – Đặt thành en-US. Tính đến thời điểm viết bài này, Phát hiện độc tính chỉ hỗ trợ tiếng Anh Mỹ.
• Loại độc tính - Vượt qua ALL giá trị để bao gồm tất cả các danh mục phát hiện độc tính được hỗ trợ.

Sau đây là ví dụ về cách bắt đầu công việc sao chép với tính năng phát hiện độc tính được kích hoạt bằng Python3:

import time
import boto3 transcribe = boto3.client('transcribe', 'us-east-1')
job_name = "toxicity-detection-demo"
job_uri = "s3://my-bucket/my-folder/my-file.wav" # start a transcription job
transcribe.start_transcription_job( TranscriptionJobName = job_name, Media = { 'MediaFileUri': job_uri }, OutputBucketName = 'doc-example-bucket', OutputKey = 'my-output-files/', LanguageCode = 'en-US', ToxicityDetection = [{'ToxicityCategories': ['ALL']}]
) # wait for the transcription job to complete
while True: status = transcribe.get_transcription_job(TranscriptionJobName = job_name) if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']: break print("Not ready yet...") time.sleep(5) print(status)

Bạn có thể gọi cùng một công việc sao chép bằng tính năng phát hiện độc tính bằng lệnh AWS CLI sau:

aws transcribe start-transcription-job --region us-east-1 --transcription-job-name toxicity-detection-demo --media MediaFileUri=s3://my-bucket/my-folder/my-file.wav --output-bucket-name doc-example-bucket --output-key my-output-files/ --language-code en-US --toxicity-detection ToxicityCategories=ALL

API phiên mã với phản hồi phát hiện độc tính

Đầu ra JSON phát hiện độc tính của Amazon Transcribe sẽ bao gồm các kết quả sao chép trong trường kết quả. Việc kích hoạt tính năng phát hiện độc tính sẽ thêm một trường bổ sung được gọi là toxicityDetection dưới trường kết quả. toxicityDetection bao gồm danh sách các mục được sao chép với các tham số sau:

• văn bản – Văn bản được sao chép thô
• độc tính – Điểm tin cậy phát hiện (giá trị trong khoảng 0–1)
• đố – Điểm tự tin cho từng loại lời nói độc hại
• thời gian bắt đầu – Vị trí bắt đầu phát hiện trong file âm thanh (giây)
• thời gian kết thúc – Vị trí kết thúc phát hiện trong file âm thanh (giây)

Sau đây là mẫu phản hồi phát hiện độc tính viết tắt mà bạn có thể tải xuống từ bảng điều khiển:

{ "results":{ "transcripts": [...], "items":[...], "toxicityDetection": [ { "text": "A TOXIC TRANSCRIPTION SEGMENT GOES HERE.", "toxicity": 0.8419, "categories": { "PROFANITY": 0.7041, "HATE_SPEECH": 0.0163, "SEXUAL": 0.0097, "INSULT": 0.8532, "VIOLENCE_OR_THREAT": 0.0031, "GRAPHIC": 0.0017, "HARASSMENT_OR_ABUSE": 0.0497 }, "start_time": 16.298, "end_time": 20.35 }, ... ] }, "status": "COMPLETED"
}

Tổng kết

Trong bài đăng này, chúng tôi đã cung cấp thông tin tổng quan về tính năng Phát hiện độc tính của Amazon Transcribe mới. Chúng tôi cũng đã mô tả cách bạn có thể phân tích cú pháp đầu ra JSON phát hiện độc tính. Để biết thêm thông tin, hãy xem bảng điều khiển Amazon Transcribe và dùng thử API phiên âm với tính năng Phát hiện độc tính.

Tính năng Phát hiện độc tính của Amazon Transcribe hiện có sẵn ở các Khu vực AWS sau: Miền Đông Hoa Kỳ (Ohio), Miền Đông Hoa Kỳ (Bắc Virginia), Miền Tây Hoa Kỳ (Oregon), Châu Á Thái Bình Dương (Sydney), Châu Âu (Ireland) và Châu Âu (London). Để tìm hiểu thêm, hãy truy cập Phiên âm Amazon.

Tìm hiểu thêm về kiểm duyệt nội dung trên AWS và của chúng tôi kiểm duyệt nội dung các trường hợp sử dụng ML. Hãy bước bước đầu tiên về phía hợp lý hóa các hoạt động kiểm duyệt nội dung của bạn với AWS.

Giới thiệu về tác giả

Trương Lana là Kiến trúc sư giải pháp cấp cao tại nhóm AWS WWSO AI Services, chuyên về AI và ML để kiểm duyệt nội dung, thị giác máy tính và xử lý ngôn ngữ tự nhiên. Với chuyên môn của mình, cô tận tâm quảng bá các giải pháp AI/ML của AWS và hỗ trợ khách hàng chuyển đổi các giải pháp kinh doanh của họ trong nhiều ngành khác nhau, bao gồm truyền thông xã hội, trò chơi, thương mại điện tử và quảng cáo & tiếp thị.

Sumit Kumar là Giám đốc sản phẩm cấp cao, Kỹ thuật tại nhóm Dịch vụ ngôn ngữ AI của AWS. Anh ấy có 10 năm kinh nghiệm quản lý sản phẩm trên nhiều lĩnh vực khác nhau và đam mê AI/ML. Ngoài công việc, Sumit thích đi du lịch và chơi cricket và quần vợt sân cỏ.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/flag-harmful-language-in-spoken-conversations-with-amazon-transcribe-toxicity-detection/