Trong 2021, Ngành dược phẩm tạo ra doanh thu 550 tỷ USD ở Mỹ. Các công ty dược phẩm bán nhiều loại thuốc khác nhau, thường là thuốc mới trên thị trường, nơi đôi khi có thể xảy ra các tác dụng phụ nghiêm trọng ngoài ý muốn nhưng nghiêm trọng.
Những sự việc này có thể được báo cáo ở bất cứ đâu, từ bệnh viện hay tại nhà và phải được theo dõi một cách có trách nhiệm và hiệu quả. Việc xử lý thủ công các tác dụng phụ theo cách truyền thống đang gặp khó khăn do lượng dữ liệu và chi phí y tế ngày càng tăng. Nhìn chung, dự kiến chi phí cho các hoạt động cảnh giác dược là 384 tỷ USD đối với toàn ngành chăm sóc sức khỏe vào năm 2022. Để hỗ trợ các hoạt động cảnh giác dược tổng thể, các khách hàng dược phẩm của chúng tôi muốn sử dụng sức mạnh của máy học (ML) để tự động hóa việc phát hiện tác dụng phụ từ nhiều nguồn dữ liệu khác nhau , chẳng hạn như nguồn cấp dữ liệu trên mạng xã hội, cuộc gọi điện thoại, email và ghi chú viết tay, đồng thời kích hoạt các hành động thích hợp.
Trong bài đăng này, chúng tôi trình bày cách phát triển giải pháp dựa trên ML bằng cách sử dụng Amazon SageMaker để phát hiện các tác dụng phụ bằng cách sử dụng Bộ dữ liệu về phản ứng có hại của thuốc trên Ôm mặt được công bố rộng rãi. Trong giải pháp này, chúng tôi tinh chỉnh nhiều mô hình Ôm Mặt đã được đào tạo trước về dữ liệu y tế và sử dụng mô hình BioBERT đã được đào tạo trước trên Tập dữ liệu đã xuất bản và thực hiện tốt nhất trong số những người đã cố gắng.
Chúng tôi đã triển khai giải pháp bằng cách sử dụng Bộ công cụ phát triển đám mây AWS (AWS CDK). Tuy nhiên, chúng tôi không đề cập chi tiết cụ thể về việc xây dựng giải pháp trong bài đăng này. Để biết thêm thông tin về việc triển khai giải pháp này, hãy tham khảo Xây dựng một hệ thống để nắm bắt các sự kiện bất lợi trong thời gian thực bằng cách sử dụng Amazon SageMaker và Amazon QuickSight.
Bài đăng này đi sâu vào một số lĩnh vực chính, cung cấp sự khám phá toàn diện về các chủ đề sau:
- Những thách thức về dữ liệu mà AWS Professional Services gặp phải
- Bối cảnh và ứng dụng của các mô hình ngôn ngữ lớn (LLM):
- Máy biến áp, BERT và GPT
- Ôm mặt
- Giải pháp LLM được tinh chỉnh và các thành phần của nó:
- Chuẩn bị dữ liệu
- Đào tạo người mẫu
thách thức dữ liệu
Độ lệch dữ liệu thường là một vấn đề khi thực hiện các nhiệm vụ phân loại. Lý tưởng nhất là bạn muốn có một tập dữ liệu cân bằng và trường hợp sử dụng này cũng không ngoại lệ.
Chúng tôi giải quyết vấn đề này bằng trí tuệ nhân tạo các mô hình (Falcon-7B và Falcon-40B), được nhắc tạo các mẫu sự kiện dựa trên năm ví dụ từ tập huấn luyện để tăng tính đa dạng về ngữ nghĩa và tăng kích thước mẫu của các sự kiện bất lợi được gắn nhãn. Việc sử dụng các mô hình Falcon ở đây có lợi cho chúng tôi vì không giống như một số LLM trên Hugging Face, Falcon cung cấp cho bạn tập dữ liệu huấn luyện mà họ sử dụng, vì vậy bạn có thể chắc chắn rằng không có ví dụ nào trong tập kiểm tra của bạn có trong tập huấn luyện Falcon và tránh dữ liệu sự ô nhiễm.
Thách thức dữ liệu khác đối với khách hàng chăm sóc sức khỏe là các yêu cầu tuân thủ HIPAA. Mã hóa ở trạng thái lưu trữ và đang truyền phải được tích hợp vào giải pháp để đáp ứng các yêu cầu này.
Máy biến áp, BERT và GPT
Kiến trúc máy biến áp là kiến trúc mạng thần kinh được sử dụng cho các tác vụ xử lý ngôn ngữ tự nhiên (NLP). Nó được giới thiệu lần đầu tiên trên báo “Chú ý là tất cả những gì bạn cần” bởi Vaswani và cộng sự. (2017). Kiến trúc máy biến áp dựa trên cơ chế chú ý, cho phép mô hình tìm hiểu sự phụ thuộc tầm xa giữa các từ. Máy biến áp, như được trình bày trong bài báo gốc, bao gồm hai thành phần chính: bộ mã hóa và bộ giải mã. Bộ mã hóa lấy chuỗi đầu vào làm đầu vào và tạo ra một chuỗi trạng thái ẩn. Bộ giải mã sau đó lấy các trạng thái ẩn này làm đầu vào và tạo ra chuỗi đầu ra. Cơ chế chú ý được sử dụng trong cả bộ mã hóa và bộ giải mã. Cơ chế chú ý cho phép mô hình chú ý đến các từ cụ thể trong chuỗi đầu vào khi tạo chuỗi đầu ra. Điều này cho phép mô hình tìm hiểu sự phụ thuộc tầm xa giữa các từ, điều này rất cần thiết cho nhiều tác vụ NLP, chẳng hạn như dịch máy và tóm tắt văn bản.
Một trong những kiến trúc máy biến áp phổ biến và hữu ích hơn, Biểu diễn bộ mã hóa hai chiều từ Máy biến áp (BERT), là một mô hình biểu diễn ngôn ngữ được được giới thiệu trong 2018. BERT được đào tạo theo trình tự trong đó một số từ trong câu bị ẩn và nó phải điền vào những từ đó có tính đến cả các từ trước và sau các từ bị che. BERT có thể được tinh chỉnh cho nhiều nhiệm vụ NLP khác nhau, bao gồm trả lời câu hỏi, suy luận ngôn ngữ tự nhiên và phân tích tình cảm.
Kiến trúc máy biến áp phổ biến khác đã gây bão trên toàn thế giới là Máy biến áp được đào tạo trước (GPT). Mô hình GPT đầu tiên là được OpenAI giới thiệu vào năm 2018. Nó hoạt động bằng cách được huấn luyện để dự đoán chính xác từ tiếp theo trong một chuỗi, chỉ nhận biết ngữ cảnh trước từ đó. Các mô hình GPT được đào tạo trên một tập dữ liệu văn bản và mã khổng lồ, đồng thời chúng có thể được tinh chỉnh cho một loạt nhiệm vụ NLP, bao gồm tạo văn bản, trả lời câu hỏi và tóm tắt.
Nói chung, BERT tốt hơn trong các nhiệm vụ đòi hỏi sự hiểu biết sâu sắc hơn về ngữ cảnh của từ, trong khi GPT phù hợp hơn với các tác vụ yêu cầu tạo văn bản.
Ôm mặt
Ôm Mặt là một công ty trí tuệ nhân tạo chuyên về NLP. Nó cung cấp một nền tảng với các công cụ và tài nguyên cho phép các nhà phát triển xây dựng, đào tạo và triển khai các mô hình ML tập trung vào các nhiệm vụ NLP. Một trong những dịch vụ chính của Ôm Mặt là thư viện của nó, Máy biến áp, bao gồm các mô hình được đào tạo trước có thể được tinh chỉnh cho các tác vụ ngôn ngữ khác nhau như phân loại văn bản, dịch thuật, tóm tắt và trả lời câu hỏi.
Hugging Face tích hợp liền mạch với SageMaker, một dịch vụ được quản lý hoàn toàn cho phép các nhà phát triển và nhà khoa học dữ liệu xây dựng, đào tạo và triển khai các mô hình ML trên quy mô lớn. Sức mạnh tổng hợp này mang lại lợi ích cho người dùng bằng cách cung cấp cơ sở hạ tầng mạnh mẽ và có thể mở rộng để xử lý các tác vụ NLP bằng các mô hình tiên tiến nhất mà Hugging Face cung cấp, kết hợp với các dịch vụ ML mạnh mẽ và linh hoạt từ AWS. Bạn cũng có thể truy cập trực tiếp vào các mẫu Ôm Mặt từ Khởi động Amazon SageMaker, giúp việc bắt đầu với các giải pháp dựng sẵn trở nên thuận tiện.
Tổng quan về giải pháp
Chúng tôi đã sử dụng thư viện Hugging Face Transformers để tinh chỉnh các mô hình máy biến áp trên SageMaker nhằm phục vụ nhiệm vụ phân loại sự kiện bất lợi. Công việc đào tạo được xây dựng bằng công cụ ước tính SageMaker PyTorch. SageMaker JumpStart cũng có một số tích hợp bổ sung với Ôm mặt giúp việc triển khai trở nên đơn giản. Trong phần này, chúng tôi mô tả các bước chính liên quan đến việc chuẩn bị dữ liệu và huấn luyện mô hình.
Chuẩn bị dữ liệu
Chúng tôi đã sử dụng Dữ liệu về Phản ứng Có hại của Thuốc (ade_corpus_v2) trong tập dữ liệu Ôm mặt với tỷ lệ phân chia huấn luyện/kiểm tra là 80/20. Cấu trúc dữ liệu cần thiết cho việc đào tạo và suy luận mô hình của chúng tôi có hai cột:
- Một cột cho nội dung văn bản làm dữ liệu đầu vào của mô hình.
- Một cột khác cho lớp nhãn. Chúng ta có hai lớp có thể áp dụng cho một văn bản:
Not_AE
vàAdverse_Event
.
Đào tạo và thử nghiệm mô hình
Để khám phá một cách hiệu quả không gian của các mô hình Ôm khuôn mặt có thể nhằm tinh chỉnh dữ liệu kết hợp về các sự kiện bất lợi, chúng tôi đã xây dựng công việc tối ưu hóa siêu tham số (HPO) của SageMaker và chuyển các mô hình Ôm khuôn mặt khác nhau dưới dạng siêu tham số, cùng với các siêu tham số quan trọng khác chẳng hạn như kích thước lô huấn luyện, độ dài chuỗi, mô hình và tốc độ học tập. Công việc đào tạo sử dụng phiên bản ml.p3dn.24xlarge và mất trung bình 30 phút cho mỗi công việc với loại phiên bản đó. Các chỉ số đào tạo đã được ghi lại mặc dù Thử nghiệm Amazon SageMaker công cụ và mỗi công việc đào tạo trải qua 10 kỷ nguyên.
Chúng tôi chỉ định những điều sau trong mã của mình:
- Kích thước lô đào tạo – Số lượng mẫu được xử lý cùng nhau trước khi cập nhật trọng số mô hình
- Độ dài trình tự – Độ dài tối đa của chuỗi đầu vào mà BERT có thể xử lý
- Tỷ lệ học – Mô hình cập nhật trọng số của nó nhanh như thế nào trong quá trình huấn luyện
- mô hình – Ôm Mặt mẫu đã được đào tạo trước
Kết quả
Mô hình hoạt động tốt nhất trong trường hợp sử dụng của chúng tôi là monologg/biobert_v1.1_pubmed
mô hình được lưu trữ trên Ôm Mặt, đây là phiên bản của kiến trúc BERT đã được đào tạo trước trên tập dữ liệu Pubmed, bao gồm 19,717 ấn phẩm khoa học. Việc đào tạo trước BERT trên tập dữ liệu này giúp mô hình này có thêm kiến thức chuyên môn khi xác định bối cảnh xung quanh các thuật ngữ khoa học liên quan đến y tế. Điều này giúp tăng hiệu suất của mô hình cho nhiệm vụ phát hiện sự kiện bất lợi vì nó đã được đào tạo trước về cú pháp cụ thể về mặt y tế thường xuất hiện trong tập dữ liệu của chúng tôi.
Bảng sau đây tóm tắt các số liệu đánh giá của chúng tôi.
Mô hình | Độ chính xác | Nhớ lại | F1 |
BERT cơ sở | 0.87 | 0.95 | 0.91 |
BioBert | 0.89 | 0.95 | 0.92 |
BioBERT với HPO | 0.89 | 0.96 | 0.929 |
BioBERT với HPO và tác dụng phụ được tạo ra tổng hợp | 0.90 | 0.96 | 0.933 |
Mặc dù đây là những cải tiến tương đối nhỏ và tăng dần so với mô hình BERT cơ sở, nhưng điều này vẫn thể hiện một số chiến lược khả thi để cải thiện hiệu suất mô hình thông qua các phương pháp này. Việc tạo dữ liệu tổng hợp bằng Falcon dường như có rất nhiều hứa hẹn và tiềm năng cải thiện hiệu suất, đặc biệt là khi các mô hình AI tổng hợp này trở nên tốt hơn theo thời gian.
Làm sạch
Để tránh phát sinh phí trong tương lai, hãy xóa mọi tài nguyên đã tạo như mô hình và điểm cuối mô hình mà bạn đã tạo bằng mã sau:
Kết luận
Nhiều công ty dược phẩm ngày nay muốn tự động hóa quy trình xác định các tác dụng phụ từ tương tác với khách hàng của họ một cách có hệ thống nhằm giúp cải thiện sự an toàn và kết quả của khách hàng. Như chúng tôi đã trình bày trong bài đăng này, LLM BioBERT đã được tinh chỉnh với các sự kiện bất lợi được tạo tổng hợp được thêm vào dữ liệu sẽ phân loại các sự kiện bất lợi có điểm F1 cao và có thể được sử dụng để xây dựng giải pháp tuân thủ HIPAA cho khách hàng của chúng tôi.
Như mọi khi, AWS hoan nghênh phản hồi của bạn. Hãy để lại suy nghĩ và câu hỏi của bạn trong phần bình luận.
Giới thiệu về tác giả
Zack Peterson là nhà khoa học dữ liệu trong Dịch vụ chuyên nghiệp của AWS. Ông đã trực tiếp cung cấp các giải pháp máy học cho khách hàng trong nhiều năm và có bằng thạc sĩ Kinh tế.
Tiến sĩ Adewale Akinfaderin là nhà khoa học dữ liệu cấp cao về Chăm sóc sức khỏe và Khoa học đời sống tại AWS. Chuyên môn của ông là về các phương pháp AI/ML có thể tái tạo và từ đầu đến cuối, triển khai thực tế và giúp khách hàng chăm sóc sức khỏe toàn cầu xây dựng và phát triển các giải pháp có thể mở rộng cho các vấn đề liên ngành. Ông có hai bằng tốt nghiệp Vật lý và bằng tiến sĩ Kỹ thuật.
Ekta Walia BhullarTiến sĩ, là cố vấn AI/ML cấp cao của đơn vị kinh doanh Dịch vụ Chuyên nghiệp của AWS Healthcare và Life Sciences (HCLS). Cô có nhiều kinh nghiệm trong việc ứng dụng AI/ML trong lĩnh vực chăm sóc sức khỏe, đặc biệt là trong lĩnh vực X quang. Ngoài công việc, khi không thảo luận về AI trong lĩnh vực X quang, cô ấy thích chạy bộ và đi bộ đường dài.
Hàn Mẫn là Nhà quản lý máy học và khoa học dữ liệu cấp cao của AWS Professional Services có trụ sở tại San Diego, CA. Ông có bằng Tiến sĩ Kỹ thuật tại Đại học Northwestern và có nhiều năm kinh nghiệm làm cố vấn quản lý cho khách hàng trong các lĩnh vực sản xuất, dịch vụ tài chính và năng lượng. Hiện nay, anh ấy đang nhiệt tình làm việc với các khách hàng quan trọng từ nhiều ngành dọc khác nhau để phát triển và triển khai các giải pháp ML và AI tổng hợp trên AWS.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/deploy-large-language-models-for-a-healthtech-use-case-on-amazon-sagemaker/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 1
- 10
- 100
- 16
- 19
- 2017
- 2018
- 2021
- 2022
- 30
- 32
- 7
- a
- truy cập
- Tài khoản
- ACM
- hành động
- hoạt động
- thêm
- địa chỉ
- thuận lợi
- bất lợi
- tư vấn
- Sau
- AI
- Mô hình AI
- AI / ML
- AL
- Tất cả
- cho phép
- dọc theo
- Ngoài ra
- luôn luôn
- đàn bà gan dạ
- Amazon SageMaker
- Amazon Web Services
- số lượng
- an
- phân tích
- và
- trả lời
- bất kì
- bất cứ nơi nào
- Các Ứng Dụng
- thích hợp
- kiến trúc
- kiến trúc
- LÀ
- khu vực
- xung quanh
- nhân tạo
- trí tuệ nhân tạo
- AS
- At
- hy vọng
- sự chú ý
- tự động hóa
- có sẵn
- Trung bình cộng
- tránh
- nhận thức
- AWS
- Dịch vụ chuyên nghiệp của AWS
- cân bằng
- cơ sở
- dựa
- BE
- bởi vì
- được
- trước
- được
- Lợi ích
- BEST
- Hơn
- giữa
- hai chiều
- Tỷ
- tăng
- cả hai
- ranh giới
- xây dựng
- Xây dựng
- xây dựng
- kinh doanh
- nhưng
- by
- CA
- Cuộc gọi
- CAN
- bị bắt
- trường hợp
- thách thức
- thách thức
- thách thức
- tải
- tốt nghiệp lớp XNUMX
- các lớp học
- phân loại
- khách hàng
- đám mây
- mã
- Cột
- Cột
- kết hợp
- đến
- đến
- Bình luận
- Các công ty
- công ty
- bổ túc
- tuân thủ
- các thành phần
- toàn diện
- bao gồm
- xây dựng
- chuyên gia tư vấn
- chứa
- nội dung
- bối cảnh
- Tiện lợi
- Phí Tổn
- Chi phí
- che
- tạo
- tạo ra
- khách hàng
- khách hàng
- dữ liệu
- Chuẩn bị dữ liệu
- khoa học dữ liệu
- nhà khoa học dữ liệu
- Cấu trúc dữ liệu
- sâu sắc hơn
- định nghĩa
- Bằng cấp
- phân phối
- đào sâu
- chứng minh
- phụ thuộc
- triển khai
- mô tả
- Phát hiện
- phát triển
- phát triển
- Phát triển
- Diego
- khác nhau
- trực tiếp
- thảo luận
- SỰ ĐA DẠNG
- miền
- dont
- thuốc
- Thuốc
- suốt trong
- E&T
- mỗi
- Kinh tế
- hiệu quả
- cho phép
- cho phép
- mã hóa
- Cuối cùng đến cuối
- năng lượng
- Kỹ Sư
- kỷ nguyên
- đặc biệt
- thiết yếu
- đánh giá
- Sự kiện
- sự kiện
- ví dụ
- ngoại lệ
- kinh nghiệm
- chuyên môn
- thăm dò
- khám phá
- mở rộng
- Trải nghiệm sâu sắc
- thêm
- f1
- Đối mặt
- thông tin phản hồi
- điền
- tài chính
- dịch vụ tài chính
- Tên
- năm
- linh hoạt
- tập trung
- tiếp theo
- Trong
- từ
- đầy đủ
- tương lai
- Tổng Quát
- tạo ra
- tạo ra
- tạo ra
- thế hệ
- thế hệ
- Trí tuệ nhân tạo
- được
- cho
- Toàn cầu
- tốt nghiệp
- xử lý
- Tay bài
- Có
- he
- cho sức khoẻ
- chăm sóc sức khỏe
- ngành chăm sóc sức khỏe
- Công nghệ y tế
- giúp đỡ
- giúp đỡ
- tại đây
- Thành viên ẩn danh
- Cao
- Đi lang thang
- của mình
- tổ chức
- Trang Chủ
- bệnh viện
- tổ chức
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTTPS
- Tối ưu hóa siêu tham số
- lý tưởng
- xác định
- thực hiện
- thực hiện
- triển khai
- thực hiện
- nhập khẩu
- quan trọng
- nâng cao
- cải tiến
- in
- bao gồm
- Bao gồm
- Hợp nhất
- Tăng lên
- tăng
- gia tăng
- ngành công nghiệp
- thông tin
- Cơ sở hạ tầng
- đầu vào
- ví dụ
- Tích hợp
- tích hợp
- Sự thông minh
- tương tác
- trong
- giới thiệu
- tham gia
- IT
- ITS
- Việc làm
- việc làm
- jpg
- Key
- Những vùng trọng điểm
- nhãn
- đặt
- cảnh quan
- Ngôn ngữ
- lớn
- LEARN
- học tập
- Rời bỏ
- Chiều dài
- Thư viện
- Cuộc sống
- Khoa học đời sống
- Lượt thích
- Lượt thích
- LLM
- Rất nhiều
- máy
- học máy
- thực hiện
- Chủ yếu
- chính
- LÀM CHO
- Làm
- người đàn ông
- quản lý
- quản lý
- giám đốc
- nhãn hiệu
- sản xuất
- nhiều
- thị trường
- lớn
- thạc sĩ
- Tối đa hóa
- tối đa
- cơ chế
- Phương tiện truyền thông
- y khoa
- dữ liệu y tế
- Gặp gỡ
- phương pháp
- Metrics
- Phút
- ML
- kiểu mẫu
- mô hình
- theo dõi
- chi tiết
- phải
- tên
- Tự nhiên
- Xử lý ngôn ngữ tự nhiên
- mạng
- thần kinh
- mạng lưới thần kinh
- Tuy nhiên
- tiếp theo
- nlp
- Không
- Không áp dụng
- Chú ý
- tiểu thuyết
- con số
- xảy ra
- of
- Cung cấp
- Cung cấp
- thường
- on
- ONE
- có thể
- tối ưu hóa
- or
- gọi món
- nguyên
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- kết quả
- đầu ra
- bên ngoài
- kết thúc
- tổng thể
- bao trùm
- Giấy
- thông qua
- mỗi
- hiệu suất
- thực hiện
- thực hiện
- Dược phẩm
- Bằng tiến sĩ
- điện thoại
- gọi điện thoại
- Vật lý
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- xin vui lòng
- Phổ biến
- có thể
- Bài đăng
- tiềm năng
- quyền lực
- mạnh mẽ
- Thực tế
- dự đoán
- chuẩn bị
- Vấn đề
- vấn đề
- quá trình
- Xử lý
- xử lý
- sản xuất
- chuyên nghiệp
- dự
- lời hứa
- cung cấp
- cung cấp
- ấn phẩm
- công khai
- ngọn đuốc
- câu hỏi
- Câu hỏi
- Mau
- phạm vi
- Tỷ lệ
- phản ứng
- thời gian thực
- xem
- biểu thức chính quy
- liên quan
- tương đối
- Báo cáo
- đại diện
- yêu cầu
- cần phải
- Yêu cầu
- Thông tin
- có trách nhiệm
- REST của
- mạnh mẽ
- chạy
- Sự An Toàn
- nhà làm hiền triết
- mẫu
- San
- thành phố San Diego
- khả năng mở rộng
- Quy mô
- Khoa học
- KHOA HỌC
- khoa học
- Nhà khoa học
- các nhà khoa học
- liền mạch
- Phần
- dường như
- bán
- ngữ nghĩa
- cao cấp
- kết án
- tình cảm
- Trình tự
- nghiêm trọng
- dịch vụ
- DỊCH VỤ
- định
- một số
- chị ấy
- hiển thị
- cho thấy
- Chương trình
- Kích thước máy
- nghiêng
- nhỏ
- So
- Mạng xã hội
- truyền thông xã hội
- giải pháp
- Giải pháp
- một số
- đôi khi
- nguồn
- Không gian
- chuyên
- riêng
- chi tiết cụ thể
- chia
- Bắt đầu
- nhà nước-of-the-art
- Bang
- Các bước
- bão
- đơn giản
- chiến lược
- cấu trúc
- như vậy
- hỗ trợ
- chắc chắn
- sức mạnh tổng hợp
- cú pháp
- sợi tổng hợp
- dữ liệu tổng hợp
- tổng hợp
- hệ thống
- bàn
- Lấy
- mất
- dùng
- Nhiệm vụ
- nhiệm vụ
- về
- thử nghiệm
- văn bản
- Phân loại văn bản
- việc này
- Sản phẩm
- thế giới
- cung cấp their dịch
- sau đó
- Kia là
- họ
- điều này
- những
- Tuy nhiên?
- Thông qua
- thời gian
- đến
- bây giờ
- bên nhau
- mất
- công cụ
- công cụ
- Chủ đề
- truyền thống
- Train
- đào tạo
- Hội thảo
- biến áp
- máy biến áp
- quá cảnh
- Dịch
- cố gắng
- kích hoạt
- hai
- kiểu
- sự hiểu biết
- đơn vị
- trường đại học
- không giống
- Cập nhật
- us
- sử dụng
- ca sử dụng
- đã sử dụng
- hữu ích
- Người sử dụng
- sử dụng
- nhiều
- khác nhau
- phiên bản
- ngành dọc
- khả thi
- muốn
- là
- Đường..
- we
- web
- các dịch vụ web
- Hoan nghênh
- là
- khi nào
- trong khi
- cái nào
- với
- ở trong
- Từ
- từ
- Công việc
- đang làm việc
- công trinh
- thế giới
- sẽ
- năm
- Bạn
- trên màn hình
- zephyrnet