Hôm nay, chúng tôi vui mừng thông báo rằng mô hình DBRX, một mô hình ngôn ngữ lớn (LLM) có mục đích chung, mở được phát triển bởi Bảng dữ liệu, có sẵn cho khách hàng thông qua Khởi động Amazon SageMaker để triển khai chỉ bằng một cú nhấp chuột để chạy suy luận. DBRX LLM sử dụng kiến trúc hỗn hợp các chuyên gia (MoE) chi tiết, được đào tạo trước trên 12 nghìn tỷ mã thông báo dữ liệu được quản lý cẩn thận và độ dài ngữ cảnh tối đa là 32,000 mã thông báo.
Bạn có thể dùng thử mô hình này với SageMaker JumpStart, một trung tâm máy học (ML) cung cấp quyền truy cập vào các thuật toán và mô hình để bạn có thể nhanh chóng bắt đầu với ML. Trong bài đăng này, chúng tôi hướng dẫn cách khám phá và triển khai mô hình DBRX.
Mô hình DBRX là gì
DBRX là LLM chỉ dành cho bộ giải mã phức tạp được xây dựng trên kiến trúc máy biến áp. Nó sử dụng kiến trúc MoE chi tiết, kết hợp tổng cộng 132 tỷ tham số, với 36 tỷ tham số này đang hoạt động cho bất kỳ đầu vào nhất định nào.
Mô hình đã trải qua quá trình đào tạo trước bằng cách sử dụng bộ dữ liệu bao gồm 12 nghìn tỷ mã thông báo văn bản và mã. Ngược lại với các mô hình MoE mở khác như Mixtral và Grok-1, DBRX có cách tiếp cận chi tiết hơn, sử dụng số lượng chuyên gia nhỏ hơn nhiều hơn để tối ưu hóa hiệu suất. So với các mẫu MoE khác, DBRX có 16 chuyên gia và chọn 4.
Mô hình này được cung cấp theo giấy phép Mô hình mở Databricks để sử dụng mà không bị hạn chế.
Khởi động SageMaker là gì
SageMaker JumpStart là một nền tảng được quản lý hoàn toàn, cung cấp các mô hình nền tảng tiên tiến cho nhiều trường hợp sử dụng khác nhau như viết nội dung, tạo mã, trả lời câu hỏi, viết quảng cáo, tóm tắt, phân loại và truy xuất thông tin. Nó cung cấp một tập hợp các mô hình được đào tạo trước mà bạn có thể triển khai nhanh chóng và dễ dàng, đẩy nhanh quá trình phát triển và triển khai các ứng dụng ML. Một trong những thành phần chính của SageMaker JumpStart là Model Hub, nơi cung cấp một danh mục lớn các mô hình được đào tạo trước, chẳng hạn như DBRX, cho nhiều nhiệm vụ khác nhau.
Bây giờ bạn có thể khám phá và triển khai các mô hình DBRX chỉ bằng vài cú nhấp chuột trong Xưởng sản xuất Amazon SageMaker hoặc lập trình thông qua SageMaker Python SDK, cho phép bạn lấy được hiệu suất mô hình và các điều khiển MLOps bằng Amazon SageMaker các tính năng như Đường ống Amazon SageMaker, Trình gỡ lỗi Amazon SageMakerhoặc nhật ký vùng chứa. Mô hình này được triển khai trong môi trường bảo mật AWS và dưới sự kiểm soát VPC của bạn, giúp cung cấp bảo mật dữ liệu.
Khám phá các mô hình trong SageMaker JumpStart
Bạn có thể truy cập mô hình DBRX thông qua SageMaker JumpStart trong giao diện người dùng SageMaker Studio và SageMaker Python SDK. Trong phần này, chúng ta sẽ tìm hiểu cách khám phá các mô hình trong SageMaker Studio.
SageMaker Studio là một môi trường phát triển tích hợp (IDE) cung cấp một giao diện trực quan dựa trên web duy nhất, nơi bạn có thể truy cập các công cụ chuyên dụng để thực hiện tất cả các bước phát triển ML, từ chuẩn bị dữ liệu đến xây dựng, đào tạo và triển khai các mô hình ML của bạn. Để biết thêm chi tiết về cách bắt đầu và thiết lập SageMaker Studio, hãy tham khảo Xưởng sản xuất Amazon SageMaker.
Trong SageMaker Studio, bạn có thể truy cập SageMaker JumpStart bằng cách chọn Khởi động trong khung điều hướng.
Từ trang đích SageMaker JumpStart, bạn có thể tìm kiếm “DBRX” trong hộp tìm kiếm. Kết quả tìm kiếm sẽ liệt kê Hướng dẫn DBRX và Cơ sở DBRX.
Bạn có thể chọn thẻ mô hình để xem thông tin chi tiết về mô hình như giấy phép, dữ liệu dùng để đào tạo và cách sử dụng mô hình. Bạn cũng sẽ tìm thấy Triển khai để triển khai mô hình và tạo điểm cuối.
Triển khai mô hình trong SageMaker JumpStart
Triển khai bắt đầu khi bạn chọn Triển khai cái nút. Sau khi quá trình triển khai kết thúc, bạn sẽ thấy điểm cuối được tạo. Bạn có thể kiểm tra điểm cuối bằng cách chuyển trọng tải yêu cầu suy luận mẫu hoặc bằng cách chọn tùy chọn kiểm tra bằng SDK. Khi chọn tùy chọn sử dụng SDK, bạn sẽ thấy mã mẫu mà bạn có thể sử dụng trong trình chỉnh sửa sổ ghi chép mà bạn chọn trong SageMaker Studio.
Cơ sở DBRX
Để triển khai bằng SDK, chúng tôi bắt đầu bằng cách chọn mô hình Cơ sở DBRX, được chỉ định bởi model_id
với giá trị ôm mặt-llm-dbrx-base. Bạn có thể triển khai bất kỳ mô hình nào đã chọn trên SageMaker bằng mã sau. Tương tự, bạn có thể triển khai DBRX Instruct bằng ID mô hình của chính nó.
Việc này sẽ triển khai mô hình trên SageMaker với các cấu hình mặc định, bao gồm loại phiên bản mặc định và cấu hình VPC mặc định. Bạn có thể thay đổi các cấu hình này bằng cách chỉ định các giá trị không mặc định trong JumpStartMô hình. Giá trị Eula phải được xác định rõ ràng là True để chấp nhận thỏa thuận cấp phép người dùng cuối (EULA). Ngoài ra, hãy đảm bảo rằng bạn có giới hạn dịch vụ cấp tài khoản để sử dụng ml.p4d.24xlarge hoặc ml.pde.24xlarge cho việc sử dụng điểm cuối dưới dạng một hoặc nhiều phiên bản. Bạn có thể làm theo hướng dẫn tại đây để yêu cầu tăng hạn ngạch dịch vụ.
Sau khi triển khai, bạn có thể chạy suy luận dựa trên điểm cuối đã triển khai thông qua bộ dự đoán SageMaker:
Lời nhắc ví dụ
Bạn có thể tương tác với mô hình DBRX Base giống như bất kỳ mô hình tạo văn bản tiêu chuẩn nào, trong đó mô hình xử lý một chuỗi đầu vào và đưa ra các từ tiếp theo được dự đoán trong chuỗi. Trong phần này, chúng tôi cung cấp một số lời nhắc ví dụ và đầu ra mẫu.
Tạo mã
Sử dụng ví dụ trước, chúng ta có thể sử dụng lời nhắc tạo mã như sau:
Sau đây là đầu ra:
Phân tích tình cảm
Bạn có thể thực hiện phân tích cảm tính bằng lời nhắc như sau với DBRX:
Sau đây là đầu ra:
Câu trả lời câu hỏi
Bạn có thể sử dụng lời nhắc trả lời câu hỏi như sau với DBRX:
Sau đây là đầu ra:
Hướng dẫn DBRX
Phiên bản DBRX được điều chỉnh theo hướng dẫn chấp nhận các hướng dẫn được định dạng trong đó vai trò hội thoại phải bắt đầu bằng lời nhắc từ người dùng và luân phiên giữa hướng dẫn người dùng và trợ lý (hướng dẫn DBRX). Định dạng hướng dẫn phải được tôn trọng nghiêm ngặt, nếu không mô hình sẽ tạo ra kết quả đầu ra dưới mức tối ưu. Mẫu để xây dựng lời nhắc cho mô hình Instruct được xác định như sau:
<|im_start|>
và <|im_end|>
là các mã thông báo đặc biệt cho đầu chuỗi (BOS) và cuối chuỗi (EOS). Mô hình có thể chứa nhiều lượt hội thoại giữa hệ thống, người dùng và trợ lý, cho phép kết hợp các ví dụ ngắn gọn để nâng cao phản hồi của mô hình.
Đoạn mã sau cho thấy cách bạn có thể định dạng lời nhắc ở định dạng hướng dẫn:
Truy xuất kiến thức
Bạn có thể sử dụng lời nhắc sau để truy xuất kiến thức:
Sau đây là đầu ra:
Tạo mã
Các mô hình DBRX thể hiện điểm mạnh chuẩn cho các tác vụ mã hóa. Ví dụ: xem đoạn mã sau:
Sau đây là đầu ra:
Toán học và lý luận
Các mô hình DBRX cũng báo cáo điểm mạnh về độ chính xác toán học. Ví dụ: xem đoạn mã sau:
DBRX có thể cung cấp khả năng hiểu như thể hiện trong kết quả đầu ra sau đây với logic toán học:
Làm sạch
Sau khi bạn chạy xong sổ ghi chép, hãy đảm bảo xóa tất cả tài nguyên mà bạn đã tạo trong quy trình để dừng thanh toán. Sử dụng mã sau đây:
Kết luận
Trong bài đăng này, chúng tôi đã hướng dẫn bạn cách bắt đầu với DBRX trong SageMaker Studio và triển khai mô hình để suy luận. Vì các mô hình nền tảng được đào tạo trước nên chúng có thể giúp giảm chi phí đào tạo và cơ sở hạ tầng, đồng thời cho phép tùy chỉnh cho trường hợp sử dụng của bạn. Hãy truy cập SageMaker JumpStart trong SageMaker Studio ngay bây giờ để bắt đầu.
Thông tin
Về các tác giả
Shikhar Kwatra là Kiến trúc sư giải pháp chuyên gia AI/ML tại Amazon Web Services, làm việc với Nhà tích hợp hệ thống toàn cầu hàng đầu. Anh đã giành được danh hiệu Một trong những Nhà phát minh bậc thầy Ấn Độ trẻ nhất với hơn 400 bằng sáng chế trong lĩnh vực AI/ML và IoT. Anh có hơn 8 năm kinh nghiệm trong ngành từ khởi nghiệp đến doanh nghiệp quy mô lớn, từ Kỹ sư nghiên cứu IoT, Nhà khoa học dữ liệu, đến Kiến trúc sư dữ liệu & AI. Shikhar hỗ trợ kiến trúc, xây dựng và duy trì môi trường đám mây có khả năng mở rộng, tiết kiệm chi phí cho các tổ chức và hỗ trợ các đối tác GSI trong việc xây dựng ngành chiến lược
Niithiyn Vijeaswaran là Kiến trúc sư giải pháp tại AWS. Lĩnh vực trọng tâm của anh ấy là AI tổng hợp và Bộ tăng tốc AI AWS. Ông có bằng Cử nhân Khoa học Máy tính và Tin sinh học. Niithiyn hợp tác chặt chẽ với nhóm Generative AI GTM để hỗ trợ khách hàng AWS trên nhiều mặt trận và đẩy nhanh việc áp dụng Generative AI. Anh ấy là một người hâm mộ cuồng nhiệt của Dallas Mavericks và thích sưu tập giày thể thao.
Sebastian Bustillo là Kiến trúc sư giải pháp tại AWS. Anh ấy tập trung vào các công nghệ AI/ML với niềm đam mê sâu sắc đối với AI tổng hợp và máy gia tốc máy tính. Tại AWS, anh giúp khách hàng khai thác giá trị kinh doanh thông qua AI sáng tạo. Khi không làm việc, anh ấy thích pha một tách cà phê đặc sản hoàn hảo và cùng vợ khám phá thế giới.
Armando Diaz là Kiến trúc sư giải pháp tại AWS. Anh ấy tập trung vào AI tổng quát, AI/ML và phân tích dữ liệu. Tại AWS, Armando giúp khách hàng tích hợp các khả năng AI tiên tiến vào hệ thống của họ, thúc đẩy sự đổi mới và lợi thế cạnh tranh. Khi không làm việc, anh ấy thích dành thời gian cho vợ và gia đình, đi bộ đường dài và du lịch khắp thế giới.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 000
- 1
- 10
- 100
- 11
- 12
- 15%
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- Có khả năng
- Giới thiệu
- ở trên
- hoàn toàn
- đẩy nhanh tiến độ
- tăng tốc
- máy gia tốc
- Chấp nhận
- Chấp nhận
- truy cập
- Theo
- cho phù hợp
- Tài khoản
- chính xác
- đạt được
- hoạt động
- hoạt động
- thêm vào
- điều chỉnh
- Nhận con nuôi
- Lợi thế
- tư vấn
- Sau
- chống lại
- Hiệp định
- AI
- AI / ML
- Hỗ trợ
- AIDS
- thuật toán
- Tất cả
- cho phép
- Cho phép
- Ngoài ra
- am
- đàn bà gan dạ
- Amazon SageMaker
- Khởi động Amazon SageMaker
- Amazon Web Services
- an
- phân tích
- phân tích
- và
- và cơ sở hạ tầng
- Thông báo
- Một
- trả lời
- trả lời
- bất kì
- Apple
- các ứng dụng
- phương pháp tiếp cận
- kiến trúc
- LÀ
- KHU VỰC
- xung quanh
- AS
- Trợ lý
- At
- có sẵn
- AWS
- Trái chuối
- cơ sở
- dựa
- cơ bản
- BE
- bởi vì
- Thịt bò
- trước
- Bắt đầu
- được
- điểm chuẩn
- giữa
- thanh toán
- Tỷ
- đậm
- cả hai
- Hộp
- Nghỉ giải lao
- nâu
- xây dựng
- Xây dựng
- xây dựng
- kinh doanh
- by
- tính toán
- phép tính
- CAN
- khả năng
- xe hơi
- thẻ
- cẩn thận
- trường hợp
- trường hợp
- Danh mục hàng
- thay đổi
- tải
- sự lựa chọn
- lựa chọn
- Chọn
- chọn
- lựa chọn
- phân loại
- Nhấp chuột
- Đóng
- chặt chẽ
- đóng cửa
- đám mây
- mã
- Lập trình
- Cà Phê
- Thu
- bộ sưu tập
- Cột
- Cột
- công ty
- so
- cạnh tranh
- các thành phần
- Tính
- máy tính
- Khoa học Máy tính
- khái niệm
- Bao gồm
- tham khảo
- chứa
- Container
- nội dung
- Viết nội dung
- bối cảnh
- Ngược lại
- điều khiển
- Conversation
- copywriting
- đúng
- Phí Tổn
- Chi phí
- có thể
- tạo
- tạo ra
- Tạo
- quan trọng
- văn hóa
- các nền văn hóa
- Cup
- lưu trữ
- Current
- khách hàng
- tùy biến
- tiên tiến
- tiền thưởng
- Dallas
- Dallas Mavericks
- dữ liệu
- Phân tích dữ liệu
- nhà khoa học dữ liệu
- bảo mật dữ liệu
- Ngày
- ngày
- Ngày
- Mặc định
- xác định
- Bằng cấp
- chứng minh
- triển khai
- triển khai
- triển khai
- triển khai
- triển khai
- lấy được
- chi tiết
- phát triển
- Phát triển
- DICT
- ĐÃ LÀM
- Chế độ ăn uống
- khác nhau
- khám phá
- Giao diện
- tài liệu
- làm
- lĩnh vực
- thực hiện
- xuống
- điều khiển
- lái xe
- kiếm được
- dễ dàng
- dễ dàng
- biên tập viên
- hiệu lực
- hiệu quả
- Trứng
- hay
- khác
- sử dụng
- cho phép
- cho phép
- cuối
- Điểm cuối
- năng lượng
- ky sư
- nâng cao
- đủ
- doanh nghiệp
- Môi trường
- môi trường
- EOS
- BAO GIỜ
- mọi người
- ví dụ
- ví dụ
- Sàn giao dịch
- kích thích
- Tập thể dục
- kinh nghiệm
- chuyên gia
- các chuyên gia
- giải thích
- rõ ràng
- Khám phá
- tạo điều kiện
- gia đình
- fan hâm mộ
- Tính năng
- vài
- Tập tin
- Các tập tin
- cuối cùng
- Cuối cùng
- Tìm kiếm
- Tên
- phòng tập thể dục
- cố định
- Tập trung
- tập trung
- theo
- tiếp theo
- sau
- thực phẩm
- thực phẩm
- Trong
- định dạng
- bồi dưỡng
- Nền tảng
- từ
- đầy đủ
- chức năng
- mục đích chung
- tạo ra
- thế hệ
- thế hệ
- Trí tuệ nhân tạo
- được
- được
- Cho
- Toàn cầu
- thương mại toàn cầu
- Go
- mục tiêu
- Các mục tiêu
- tốt
- hàng hóa
- tuyệt vời
- lớn hơn
- người Hy Lạp
- Tăng trưởng
- có
- vui mừng
- Có
- he
- cho sức khoẻ
- chăm sóc sức khỏe
- giúp đỡ
- giúp đỡ
- giúp
- tại đây
- Cao
- cao hơn
- của mình
- lịch sử
- giữ
- Độ đáng tin của
- Hướng dẫn
- HTML
- HTTPS
- Hub
- i
- ID
- ý tưởng
- ý tưởng
- if
- Va chạm
- tác động
- Tác động
- nhập khẩu
- quan trọng
- in
- bao gồm
- Bao gồm
- kết hợp
- Tăng lên
- tăng
- người Ấn Độ
- ngành công nghiệp
- thông tin
- Cơ sở hạ tầng
- sự đổi mới
- đầu vào
- đầu vào
- những hiểu biết
- ví dụ
- hướng dẫn
- tích hợp
- Tích hợp
- tương tác
- tương tác
- Giao thức
- trong
- Nhà sáng chế
- liên quan đến
- iốt
- IT
- ITS
- jpg
- chỉ
- Key
- Loại
- kiến thức
- hạ cánh
- Ngôn ngữ
- Ngôn ngữ
- lớn
- quy mô lớn
- hàng đầu
- nạc
- học tập
- Led
- Chiều dài
- cho phép
- Thư viện
- Giấy phép
- lối sống
- Lượt thích
- LIMIT
- Danh sách
- ll
- LLM
- tải
- tải
- logic
- hợp lý
- Xem
- giống như
- yêu
- thấp hơn
- máy
- học máy
- thực hiện
- Duy trì
- làm cho
- quản lý
- Thao tác
- Thánh Lễ
- chủ
- toán học
- toán học
- toán học
- matplotlib
- tối đa
- Có thể..
- me
- dặm
- hỗn hợp
- ML
- MLOps
- kiểu mẫu
- mô hình
- chi tiết
- hầu hết
- di chuyển
- phim
- nhiều
- cơ bắp
- phải
- my
- Được đặt theo tên
- tên
- THÔNG TIN
- Cần
- nhu cầu
- tiêu cực
- Neutral
- Mới
- tiếp theo
- Không áp dụng
- ghi
- máy tính xách tay
- tại
- con số
- dinh dưỡng
- of
- Cung cấp
- on
- ONE
- mở
- tối ưu hóa
- Tùy chọn
- or
- gọi món
- tổ chức
- Nền tảng khác
- nếu không thì
- ra
- đề cương
- đầu ra
- kết quả đầu ra
- kết thúc
- tổng thể
- riêng
- trang
- gấu trúc
- cửa sổ
- thông số
- đặc biệt
- Đối tác
- các bộ phận
- Đi qua
- niềm đam mê
- Bằng sáng chế
- con đường
- người
- mỗi
- hoàn hảo
- Thực hiện
- hiệu suất
- Cá nhân
- kế hoạch
- kế hoạch
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Rất nhiều
- âm mưu
- thêm
- Phổ biến
- phần
- tích cực
- có thể
- Bài đăng
- mạnh mẽ
- thực hành
- trước
- dự đoán
- Predictor
- ưu đãi
- chuẩn bị
- trình bày
- giá
- Giá
- Vấn đề
- giải quyết vấn đề
- quá trình
- Quy trình
- chuyên nghiệp
- thâm thúy
- chương trình
- Lập trình
- ngôn ngữ lập trình
- nhắc nhở
- Protein
- cho
- cung cấp
- cung cấp
- Python
- số lượng, lượng
- câu hỏi
- Mau
- nâng cao
- Tỷ lệ
- Đọc
- giới thiệu
- phục hồi
- xem
- đăng ký
- đều đặn
- liên quan
- nhớ
- thay thế
- báo cáo
- đại diện
- yêu cầu
- Yêu cầu
- nghiên cứu
- Thông tin
- tôn trọng
- Trả lời
- phản ứng
- phản ứng
- nhà hàng
- hạn chế
- Kết quả
- thu hồi
- trở lại
- Gạo
- Vai trò
- vai trò
- chạy
- chạy
- s
- nhà làm hiền triết
- mẫu
- thấy
- khả năng mở rộng
- Khoa học
- Nhà khoa học
- cái vái tai
- kịch bản
- sdk
- Tìm kiếm
- Phần
- an toàn
- an ninh
- xem
- chọn
- chọn
- lựa chọn
- tình cảm
- Trình tự
- dịch vụ
- DỊCH VỤ
- định
- nên
- hiển thị
- cho thấy
- thể hiện
- Chương trình
- có ý nghĩa
- Tương tự
- Đơn giản
- duy nhất
- Kích thước máy
- kích thước
- ngủ
- nhỏ hơn
- Giày thể thao
- So
- Phần mềm
- phát triển phần mềm
- Giải pháp
- một số
- tinh vi
- nguồn
- đặc biệt
- chuyên gia
- Đặc biệt
- riêng
- quy định
- xác định
- Chi
- Thể thao
- Tiêu chuẩn
- Bắt đầu
- bắt đầu
- Bắt đầu
- bắt đầu
- Startups
- nhà nước-of-the-art
- tĩnh
- ở lại
- Các bước
- cổ phần
- dừng lại
- Chiến lược
- sức mạnh
- thế mạnh
- Chuỗi
- cấu trúc
- phòng thu
- không tối ưu
- như vậy
- đủ
- hỗ trợ
- Hỗ trợ
- chắc chắn
- hệ thống
- hệ thống
- dùng
- nhiệm vụ
- nhóm
- kỹ thuật
- Công nghệ
- mẫu
- khủng khiếp
- thử nghiệm
- Kiểm tra
- văn bản
- hơn
- việc này
- Sản phẩm
- thế giới
- cung cấp their dịch
- sau đó
- Kia là
- họ
- điều này
- Thông qua
- khắp
- thời gian
- Yêu sách
- đến
- bây giờ
- Tokens
- công cụ
- công cụ
- Tổng số:
- thương mại
- giao thông
- Train
- Hội thảo
- biến áp
- giao thông vận tải
- đi du lịch
- Đi du lịch
- Nghìn tỷ
- đúng
- thử
- cố gắng
- XOAY
- biến
- kêu riu ríu
- kiểu
- ui
- Dưới
- trải qua
- mở khóa
- Sử dụng
- sử dụng
- ca sử dụng
- đã sử dụng
- người sử dang
- sử dụng
- sử dụng
- giá trị
- Các giá trị
- biến
- nhiều
- khác nhau
- Lớn
- Ve
- Rau
- phiên bản
- Xem
- Truy cập
- trực quan
- đi bộ
- muốn
- là
- Nước
- Đường..
- cách
- we
- Thời tiết
- web
- các dịch vụ web
- Dựa trên web
- là
- Điều gì
- khi nào
- cái nào
- toàn bộ
- tại sao
- vợ
- sẽ
- với
- không có
- từ
- Công việc
- đang làm việc
- công trinh
- thế giới
- sẽ
- viết
- viết
- năm
- Bạn
- Út
- trên màn hình
- zephyrnet