Amazon rất vui mừng được công bố Test Workbench, một giải pháp thử nghiệm bot mới cung cấp các công cụ để đơn giản hóa và tự động hóa quy trình thử nghiệm bot. Trong quá trình phát triển bot, thử nghiệm là giai đoạn mà các nhà phát triển kiểm tra xem bot có đáp ứng các yêu cầu, nhu cầu và mong đợi cụ thể hay không bằng cách xác định lỗi, khiếm khuyết hoặc lỗi trong hệ thống trước khi mở rộng quy mô. Thử nghiệm giúp xác thực hiệu suất của bot trên một số khía cạnh như luồng hội thoại (hiểu truy vấn của người dùng và phản hồi chính xác), xử lý chồng chéo ý định và tính nhất quán giữa các phương thức. Tuy nhiên, kiểm thử thường thủ công, dễ xảy ra lỗi và không được chuẩn hóa. Test Workbench chuẩn hóa việc quản lý kiểm tra tự động bằng cách cho phép các nhóm phát triển chatbot tạo, duy trì và thực hiện các bộ kiểm tra với một phương pháp nhất quán và tránh tích hợp kịch bản tùy chỉnh và đặc biệt. Trong bài đăng này, bạn sẽ tìm hiểu cách Test Workbench hợp lý hóa quá trình kiểm tra tự động các thể thức văn bản và giọng nói của bot, đồng thời cung cấp các biện pháp đo lường hiệu suất và độ chính xác cho các thông số như phiên âm âm thanh, nhận dạng ý định và độ phân giải vị trí cho cả đầu vào lời nói đơn lẻ và cuộc hội thoại nhiều lượt. Điều này cho phép bạn nhanh chóng xác định các khu vực cải thiện bot và duy trì đường cơ sở nhất quán để đo lường độ chính xác theo thời gian và quan sát bất kỳ sự suy giảm độ chính xác nào do cập nhật bot.
Amazon Lex là dịch vụ được quản lý hoàn toàn để xây dựng giao diện văn bản và giọng nói đàm thoại. Amazon Lex giúp bạn xây dựng và triển khai chatbot cũng như trợ lý ảo trên trang web, dịch vụ trung tâm liên hệ và kênh nhắn tin. Các bot của Amazon Lex giúp tăng năng suất phản hồi bằng giọng nói tương tác (IVR), tự động hóa các tác vụ đơn giản và nâng cao hiệu quả hoạt động trong toàn tổ chức. Test Workbench cho Amazon Lex chuẩn hóa và đơn giản hóa vòng đời thử nghiệm bot, điều này rất quan trọng để cải thiện thiết kế bot.
Các tính năng của Test Workbench
Bàn làm việc thử nghiệm cho Amazon Lex bao gồm các tính năng sau:
- Tự động tạo bộ dữ liệu thử nghiệm từ nhật ký hội thoại của bot
- Tải lên đường cơ sở bộ kiểm tra được tạo thủ công
- Thực hiện kiểm tra từ đầu đến cuối đối với các cuộc hội thoại đầu vào đơn lẻ hoặc nhiều lượt
- Kiểm tra cả phương thức âm thanh và văn bản của bot
- Xem xét các chỉ số tổng hợp và chi tiết cho thứ nguyên bot:
- Phiên âm lời nói
- nhận dạng ý định
- Độ phân giải của vị trí (bao gồm cả vị trí đa giá trị hoặc vị trí tổng hợp)
- thẻ ngữ cảnh
- Thuộc tính phiên
- Yêu cầu thuộc tính
- gợi ý thời gian chạy
- Thời gian trễ tính bằng giây
Điều kiện tiên quyết
Để kiểm tra tính năng này, bạn nên có những điều sau đây:
Ngoài ra, bạn nên có kiến thức và hiểu biết về các dịch vụ và tính năng sau:
Tạo bộ kiểm tra
Để tạo bộ thử nghiệm của bạn, hãy hoàn thành các bước sau:
- trên Bảng điều khiển Amazon Lex, Dưới bàn làm việc thử nghiệm trong ngăn điều hướng, chọn bộ kiểm tra.
Bạn có thể xem lại danh sách các bộ kiểm tra hiện có, bao gồm thông tin cơ bản như tên, mô tả, số lượng đầu vào kiểm tra, phương thức và trạng thái. Trong các bước sau, bạn có thể chọn giữa việc tạo bộ kiểm tra từ nhật ký hội thoại được liên kết với bot hoặc tải bộ kiểm tra hiện có được tạo thủ công lên ở định dạng tệp CSV.
- Chọn Tạo bộ thử nghiệm.
- Tạo bộ kiểm tra từ nhật ký hội thoại cho phép bạn thực hiện những việc sau:
- Bao gồm các cuộc hội thoại nhiều lượt thực từ nhật ký của bot trong CloudWatch
- Bao gồm nhật ký âm thanh và tiến hành kiểm tra tính đến sắc thái giọng nói thực, tiếng ồn xung quanh và dấu trọng âm
- Tăng tốc độ tạo bộ kiểm tra
- Tải lên bộ kiểm tra được tạo thủ công cho phép bạn thực hiện những việc sau:
- Thử nghiệm các bot mới không có dữ liệu sản xuất
- Thực hiện kiểm tra hồi quy trên các bot hiện có cho bất kỳ ý định, vị trí và luồng hội thoại mới hoặc sửa đổi nào
- Kiểm tra các tình huống chi tiết và được xây dựng cẩn thận chỉ định thuộc tính phiên và thuộc tính yêu cầu
Để tạo bộ kiểm tra, hãy hoàn thành các bước sau. Để tải lên bộ kiểm tra được tạo thủ công, hãy chuyển sang bước 7.
- Chọn Tạo một bộ thử nghiệm cơ bản.
- Chọn tùy chọn của bạn cho Tên bot, Bí danh botvà Ngôn ngữ.
- Trong Phạm vi thời gian, đặt phạm vi thời gian cho nhật ký.
- Trong Vai trò IAM hiện có, chọn một vai trò.
Đảm bảo rằng vai trò IAM có thể cấp cho bạn quyền truy cập để truy xuất thông tin từ nhật ký hội thoại. Tham khảo Tạo vai trò IAM để tạo vai trò IAM với chính sách phù hợp.
- Nếu bạn muốn sử dụng bộ kiểm tra được tạo thủ công, hãy chọn Tải tệp lên bộ kiểm tra này.
- Trong Tải tệp lên bộ kiểm tra này, chọn từ các tùy chọn sau:
- Chọn Tải lên từ nhóm S3 để tải lên tệp CSV từ một Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) xô.
- Chọn Tải tệp lên bộ kiểm tra này để tải lên tệp CSV từ máy tính của bạn.
Bạn có thể sử dụng bộ kiểm tra mẫu cung cấp trong bài viết này. Để biết thêm thông tin về các mẫu, hãy chọn Mẫu CSV liên kết trên trang.
- Trong Phương thức, hãy chọn phương thức của bộ thử nghiệm của bạn, hoặc bản văn or Bài nghe.
Test Workbench cung cấp hỗ trợ kiểm tra cho các định dạng đầu vào âm thanh và văn bản.
- Trong Vị trí S3, hãy nhập vị trí bộ chứa S3 nơi kết quả sẽ được lưu trữ.
- Tùy chọn, chọn một Dịch vụ quản lý khóa AWS (AWS KMS) để mã hóa bản ghi đầu ra.
- Chọn Tạo.
Bộ kiểm tra mới tạo của bạn sẽ được liệt kê trên bộ kiểm tra trang có một trong các trạng thái sau:
- Sẵn sàng cho chú thích – Đối với các bộ kiểm tra được tạo từ nhật ký hội thoại của bot Amazon Lex, bước chú thích đóng vai trò như một cơ chế kiểm tra thủ công để đảm bảo đầu vào kiểm tra chất lượng. Bằng cách chú thích các giá trị cho ý định dự kiến và vị trí dự kiến cho từng mục hàng thử nghiệm, bạn chỉ ra "sự thật cơ bản" cho dòng đó. Kết quả kiểm tra từ quá trình chạy bot được thu thập và so sánh với thực tế cơ bản để đánh dấu kết quả kiểm tra là đạt hay không đạt. So sánh cấp độ dòng này sau đó cho phép tạo các biện pháp tổng hợp.
- Sẵn sàng để thử nghiệm – Điều này cho biết rằng bộ thử nghiệm đã sẵn sàng để được thực thi đối với bot Amazon Lex.
- Lỗi xác nhận - Các tệp thử nghiệm đã tải lên được kiểm tra các lỗi như vượt quá độ dài tối đa được hỗ trợ, các ký tự không hợp lệ trong tên ý định hoặc các liên kết Amazon S3 chứa tệp âm thanh không hợp lệ. Nếu bộ kiểm tra nằm trong Lỗi xác nhận trạng thái, hãy tải xuống tệp hiển thị chi tiết xác thực để xem các vấn đề hoặc lỗi đầu vào kiểm tra trên cơ sở từng dòng. Khi chúng được giải quyết, bạn có thể tải CSV bộ kiểm tra đã sửa vào bộ kiểm tra theo cách thủ công.
Thực hiện một tập kiểm tra
Bộ thử nghiệm được tách rời khỏi bot. Bộ thử nghiệm tương tự có thể được thực thi đối với một bot hoặc bí danh bot khác trong tương lai khi trường hợp sử dụng kinh doanh của bạn phát triển. Để báo cáo chỉ số hiệu suất của bot dựa trên dữ liệu thử nghiệm cơ bản, hãy hoàn thành các bước sau:
- Nhập khẩu bot mẫu định nghĩa và xây dựng bot (tham khảo Nhập bot để được hướng dẫn).
- Trên bảng điều khiển Amazon Lex, chọn bộ kiểm tra trong khung điều hướng.
- Chọn bộ kiểm tra đã được xác thực của bạn.
Tại đây, bạn có thể xem lại thông tin cơ bản về bộ kiểm tra và dữ liệu kiểm tra đã nhập.
- Chọn Thực hiện kiểm tra.
- Chọn các tùy chọn thích hợp cho Tên bot, Bí danh botvà Ngôn ngữ.
- Trong Loại thử nghiệm, lựa chọn Bài nghe or bản văn.
- Trong Lựa chọn điểm cuối, chọn một trong hai Streaming or không phát trực tuyến.
- Chọn Xác thực sự khác biệt để xác thực tập dữ liệu thử nghiệm của bạn.
Trước khi thực hiện một bộ thử nghiệm, bạn có thể xác thực phạm vi thử nghiệm, bao gồm cả việc xác định ý định và vị trí có trong bộ thử nghiệm nhưng không có trong bot. Cảnh báo sớm này phục vụ để đặt kỳ vọng của người thử nghiệm đối với các lỗi thử nghiệm không mong muốn. Nếu phát hiện thấy sự khác biệt giữa tập dữ liệu thử nghiệm và bot của bạn, Thực hiện kiểm tra trang sẽ cập nhật với Xem chi tiết .
Ý định và vị trí được tìm thấy trong tập dữ liệu thử nghiệm nhưng không có trong bí danh bot được liệt kê như minh họa trong ảnh chụp màn hình sau.
- Sau khi bạn xác thực sự khác biệt, hãy chọn Thực hiện để chạy thử nghiệm.
Xem lại kết quả
Các thước đo hiệu suất được tạo ra sau khi thực hiện bộ kiểm tra giúp bạn xác định các lĩnh vực thiết kế bot cần cải thiện và hữu ích để đẩy nhanh quá trình phát triển và phân phối bot để hỗ trợ khách hàng của bạn. Test Workbench cung cấp thông tin chuyên sâu về phân loại ý định và độ phân giải vị trí trong hội thoại đầu cuối và cấp đầu vào một dòng. Các lần chạy thử nghiệm đã hoàn thành được lưu trữ cùng với dấu thời gian trong bộ chứa S3 của bạn và có thể được sử dụng để đánh giá so sánh trong tương lai.
- Trên bảng điều khiển Amazon Lex, chọn Kết quả kiểm tra trong khung điều hướng.
- Chọn ID kết quả kiểm tra cho kết quả bạn muốn xem lại.
Trên trang tiếp theo, kết quả kiểm tra sẽ bao gồm bảng phân tích kết quả được sắp xếp theo bốn tab chính: Kết quả tổng thể, Kết quả hội thoại, Ý định và kết quả vị trí, và Kết quả chi tiết.
Kết quả chung
Tab Kết quả tổng thể có ba phần chính:
- Phân tích đầu vào bộ kiểm tra — Một biểu đồ hiển thị tổng số cuộc hội thoại từ đầu đến cuối và các cách phát biểu đầu vào đơn lẻ trong bộ kiểm tra.
- Sự cố đầu vào đơn — Biểu đồ hiển thị số lượng đầu vào đơn đạt hoặc không đạt.
- Phân tích cuộc hội thoại — Biểu đồ hiển thị số lượng đầu vào nhiều lượt đạt hoặc không đạt.
Đối với các bộ thử nghiệm chạy ở chế độ âm thanh, biểu đồ phiên âm giọng nói được cung cấp để hiển thị số lần phiên âm giọng nói đạt hoặc không thành công trên cả hai loại đầu vào và hội thoại. Ở chế độ âm thanh, một cuộc hội thoại đầu vào hoặc nhiều lượt có thể vượt qua bài kiểm tra phiên âm giọng nói, nhưng không đạt bài kiểm tra tổng thể từ đầu đến cuối. Ví dụ, điều này có thể do độ phân giải vị trí hoặc sự cố nhận dạng ý định gây ra.
kết quả hội thoại
Test Workbench giúp bạn đi sâu vào các lỗi hội thoại có thể được quy cho các ý định hoặc vị trí cụ thể. Tab Kết quả hội thoại được tổ chức thành ba khu vực chính, bao gồm tất cả ý định và vị trí được sử dụng trong tập hợp thử nghiệm:
- Tỷ lệ vượt qua cuộc trò chuyện — Một bảng được sử dụng để trực quan hóa ý định và vị trí nào chịu trách nhiệm cho các lỗi hội thoại có thể xảy ra.
- Chỉ số thất bại về ý định hội thoại — Biểu đồ thanh hiển thị năm ý định hoạt động kém nhất trong tập hợp thử nghiệm, nếu có.
- Số liệu lỗi về thời điểm hội thoại — Biểu đồ thanh hiển thị năm vị trí có hiệu suất kém nhất trong tập kiểm tra, nếu có.
Ý định và kết quả vị trí
Tab Mục đích và kết quả vị trí cung cấp các chỉ số chi tiết cho thứ nguyên bot, chẳng hạn như nhận dạng mục đích và độ phân giải vị trí.
- Chỉ số nhận dạng ý định — Một bảng hiển thị tỷ lệ nhận dạng ý định thành công.
- Số liệu về độ phân giải của vị trí — Một bảng hiển thị tỷ lệ phân giải thành công vị trí, theo
Kết quả chi tiết
Bạn có thể truy cập báo cáo chi tiết về quá trình chạy thử đã thực hiện trên tab Kết quả chi tiết. Một bảng được hiển thị để hiển thị các giá trị phiên âm, mục đích đầu ra và vị trí thực tế trong một tập hợp thử nghiệm. Báo cáo có thể được tải xuống dưới dạng CSV để phân tích thêm.
Đầu ra cấp dòng cung cấp thông tin chi tiết để giúp cải thiện thiết kế bot và tăng độ chính xác. Chẳng hạn, đầu vào lời nói bị nhận dạng sai hoặc bị bỏ lỡ, chẳng hạn như các từ có thương hiệu, có thể được thêm vào từ vựng tùy chỉnh của một ý định hoặc dưới dạng cách nói theo một ý định.
Để hoàn thiện hơn nữa việc thiết kế hội thoại, bạn có thể tham khảo thêm bài đăng này, phác thảo các phương pháp hay nhất về cách sử dụng ML để tạo bot sẽ làm hài lòng khách hàng của bạn bằng cách hiểu chính xác họ.
Kết luận
Trong bài đăng này, chúng tôi đã giới thiệu Bàn làm việc thử nghiệm cho Amazon Lex, một khả năng gốc chuẩn hóa quy trình thử nghiệm tự động của chatbot và cho phép các nhà phát triển cũng như nhà thiết kế hội thoại hợp lý hóa và lặp lại nhanh chóng thông qua thiết kế và phát triển bot.
Chúng tôi mong muốn được biết cách bạn sử dụng chức năng mới này của Amazon Lex và hoan nghênh phản hồi! Đối với bất kỳ câu hỏi, lỗi hoặc yêu cầu tính năng nào, vui lòng liên hệ với chúng tôi qua AWS re: Đăng cho Amazon Lex hoặc địa chỉ liên hệ Hỗ trợ AWS của bạn.
Để tìm hiểu thêm, xem Câu hỏi thường gặp về Amazon Lex và Hướng dẫn dành cho nhà phát triển Amazon Lex V2.
Giới thiệu về tác giả
Sandeep Srinivasan là Giám đốc sản phẩm của nhóm Amazon Lex. Là một nhà quan sát nhạy bén về hành vi của con người, anh ấy rất đam mê trải nghiệm của khách hàng. Anh ấy dành thời gian thức của mình ở nơi giao thoa giữa con người, công nghệ và tương lai.
Grazia Russo Lassner là Chuyên gia tư vấn cấp cao của nhóm AI ngôn ngữ tự nhiên của Dịch vụ chuyên nghiệp AWS. Cô chuyên thiết kế và phát triển các giải pháp AI đàm thoại sử dụng công nghệ AWS cho khách hàng ở nhiều ngành khác nhau. Ngoài công việc, cô ấy thích những ngày cuối tuần ở bãi biển, đọc những cuốn sách viễn tưởng mới nhất và gia đình.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- EVM tài chính. Giao diện hợp nhất cho tài chính phi tập trung. Truy cập Tại đây.
- Tập đoàn truyền thông lượng tử. Khuếch đại IR/PR. Truy cập Tại đây.
- PlatoAiStream. Thông minh dữ liệu Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Có khả năng
- Giới thiệu
- truy cập
- Tài khoản
- chính xác
- chính xác
- ngang qua
- thực tế
- thêm
- Ngoài ra
- Sau
- chống lại
- AI
- Tất cả
- Cho phép
- cho phép
- đàn bà gan dạ
- Amazon
- Amazon Web Services
- an
- phân tích
- và
- Thông báo
- bất kì
- thích hợp
- LÀ
- khu vực
- AS
- trợ lý
- liên kết
- At
- thuộc tính
- âm thanh
- tự động hóa
- Tự động
- tự động
- tránh
- AWS
- Dịch vụ chuyên nghiệp của AWS
- lý lịch
- thanh
- Baseline
- cơ bản
- cơ sở
- BE
- bờ biển
- trước
- BEST
- thực hành tốt nhất
- giữa
- Sách
- tăng
- Bot
- cả hai
- chương trình
- thương hiệu
- Breakdown
- lỗi
- xây dựng
- Xây dựng
- xây dựng
- kinh doanh
- nhưng
- nút
- by
- CAN
- cẩn thận
- trường hợp
- gây ra
- Trung tâm
- kênh
- nhân vật
- Biểu đồ
- Bảng xếp hạng
- chatbot
- chatbot
- kiểm tra
- đã kiểm tra
- Chọn
- phân loại
- so
- sự so sánh
- hoàn thành
- Hoàn thành
- máy tính
- Tiến hành
- thích hợp
- An ủi
- chuyên gia tư vấn
- liên lạc
- trung tâm liên lạc
- Liên hệ
- chứa
- Conversation
- đàm thoại
- AI đàm thoại
- cuộc hội thoại
- sửa chữa
- có thể
- bảo hiểm
- bao gồm
- tạo
- tạo ra
- Tạo
- tạo
- quan trọng
- khách hàng
- khách hàng
- kinh nghiệm khach hang
- khách hàng
- dữ liệu
- tập dữ liệu
- bộ dữ liệu
- chậm trễ
- hân hoan
- giao hàng
- triển khai
- Mô tả
- Thiết kế
- thiết kế
- thiết kế
- chi tiết
- chi tiết
- phát hiện
- Nhà phát triển
- phát triển
- phát triển
- Phát triển
- khác nhau
- kích thước
- do
- xuống
- tải về
- lái xe
- hai
- suốt trong
- mỗi
- Đầu
- hiệu quả
- hay
- Cuối cùng đến cuối
- đảm bảo
- đăng ký hạng mục thi
- lôi
- lỗi
- tiến hóa
- vượt quá
- kích thích
- thi hành
- Thực thi
- thi hành
- hiện tại
- kỳ vọng
- mong đợi
- dự kiến
- kinh nghiệm
- FAIL
- thất bại
- Không
- gia đình
- Đặc tính
- Tính năng
- Tiểu thuyết
- Tập tin
- Các tập tin
- dòng chảy
- tiếp theo
- Trong
- định dạng
- Forward
- tìm thấy
- 4
- từ
- đầy đủ
- chức năng
- xa hơn
- tương lai
- tạo ra
- tạo ra
- tạo ra
- cấp
- đồ thị
- Mặt đất
- hướng dẫn
- Xử lý
- Có
- he
- nghe
- giúp đỡ
- giúp
- của mình
- GIỜ LÀM VIỆC
- Độ đáng tin của
- Tuy nhiên
- HTML
- http
- HTTPS
- Nhân loại
- ID
- xác định
- xác định
- if
- nhập khẩu
- nâng cao
- cải thiện
- cải tiến
- cải thiện
- in
- bao gồm
- bao gồm
- Bao gồm
- Tăng lên
- chỉ
- chỉ
- các ngành công nghiệp
- thông tin
- đầu vào
- đầu vào
- những hiểu biết
- ví dụ
- tích hợp
- ý định
- tương tác
- giao diện
- ngã tư
- trong
- vấn đề
- các vấn đề
- jpg
- Keen
- Key
- kiến thức
- Ngôn ngữ
- mới nhất
- LEARN
- Chiều dài
- Cấp
- vòng đời
- Dòng
- LINK
- liên kết
- Danh sách
- Liệt kê
- địa điểm thư viện nào
- Xem
- Chủ yếu
- duy trì
- quản lý
- quản lý
- giám đốc
- nhãn hiệu
- thủ công
- dấu
- tối đa
- đo
- các biện pháp
- cơ chế
- Đạt
- tin nhắn
- Phương pháp luận
- Metrics
- nhỡ
- ML
- sửa đổi
- chi tiết
- tên
- tên
- tự nhiên
- Tự nhiên
- THÔNG TIN
- Cần
- nhu cầu
- Mới
- mới
- tiếp theo
- Không
- con số
- tuân theo
- of
- thường
- on
- hàng loạt
- ONE
- hoạt động
- Các lựa chọn
- or
- gọi món
- cơ quan
- Tổ chức
- đầu ra
- bên ngoài
- kết thúc
- tổng thể
- trang
- cửa sổ
- thông số
- vượt qua
- thông qua
- đam mê
- người
- hiệu suất
- biểu diễn
- giai đoạn
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- xin vui lòng
- điều luật
- có thể
- Bài đăng
- thực hành
- thích hơn
- trình bày
- trình bày
- quá trình
- Sản phẩm
- giám đốc sản xuất
- Sản lượng
- năng suất
- chuyên nghiệp
- cung cấp
- cung cấp
- chất lượng
- truy vấn
- Câu hỏi
- Mau
- phạm vi
- Tỷ lệ
- RE
- đạt
- Reading
- sẵn sàng
- thực
- công nhận
- báo cáo
- yêu cầu
- yêu cầu
- Yêu cầu
- Độ phân giải
- đáp ứng
- phản ứng
- chịu trách nhiệm
- kết quả
- Kết quả
- xem xét
- Đánh giá
- Vai trò
- chạy
- tương tự
- mở rộng quy mô
- kịch bản
- ảnh chụp màn hình
- phần
- xem
- cao cấp
- phục vụ
- dịch vụ
- DỊCH VỤ
- Phiên
- định
- bộ
- một số
- chị ấy
- nên
- hiển thị
- thể hiện
- Đơn giản
- đơn giản hóa
- duy nhất
- Nổ hũ
- giải pháp
- Giải pháp
- chuyên
- riêng
- phát biểu
- Tiểu bang
- Trạng thái
- Bước
- Các bước
- là gắn
- lưu trữ
- hợp lý hóa
- thành công
- như vậy
- hỗ trợ
- Hỗ trợ
- hệ thống
- bàn
- nhiệm vụ
- nhóm
- đội
- Công nghệ
- Công nghệ
- mẫu
- thử nghiệm
- Kiểm tra
- kiểm tra
- việc này
- Sản phẩm
- Tương lai
- Them
- sau đó
- Đó
- họ
- điều này
- số ba
- Thông qua
- thời gian
- đến
- công cụ
- hàng đầu
- Tổng số:
- Sự thật
- loại
- Dưới
- sự hiểu biết
- Bất ngờ
- Cập nhật
- Cập nhật
- Đang tải lên
- us
- sử dụng
- ca sử dụng
- đã sử dụng
- người sử dang
- sử dụng
- HIỆU LỰC
- xác nhận
- xác nhận
- Các giá trị
- khác nhau
- ảo
- Giọng nói
- muốn
- cảnh báo
- we
- web
- các dịch vụ web
- trang web
- chào mừng
- liệu
- cái nào
- sẽ
- với
- từ
- Công việc
- tệ nhất
- nhưng
- Bạn
- trên màn hình
- zephyrnet
- Zip