AI sáng tạo đang ở giữa thời kỳ tăng trưởng đáng kinh ngạc. Các mô hình nền tảng ngày càng có khả năng được phát hành liên tục, với các mô hình ngôn ngữ lớn (LLM) là một trong những lớp mô hình dễ thấy nhất. LLM là các mô hình bao gồm hàng tỷ tham số được đào tạo trên khối văn bản mở rộng, lên đến hàng trăm tỷ hoặc thậm chí một nghìn tỷ mã thông báo. Những mô hình này đã được chứng minh là cực kỳ hiệu quả đối với nhiều loại tác vụ dựa trên văn bản, từ trả lời câu hỏi đến phân tích cảm tính.
Sức mạnh của LLM đến từ khả năng học hỏi và khái quát hóa từ dữ liệu đào tạo phong phú và đa dạng. Việc đào tạo ban đầu của các mô hình này được thực hiện với nhiều mục tiêu khác nhau, được giám sát, không giám sát hoặc kết hợp. Hoàn thành hoặc loại bỏ văn bản là một trong những mục tiêu không được giám sát phổ biến nhất: được cung cấp một đoạn văn bản, mô hình học cách dự đoán chính xác điều gì sẽ xảy ra tiếp theo (ví dụ: dự đoán câu tiếp theo). Các mô hình cũng có thể được đào tạo theo cách được giám sát bằng cách sử dụng dữ liệu được gắn nhãn để hoàn thành một nhóm nhiệm vụ (ví dụ: đánh giá bộ phim này là tích cực, tiêu cực hay trung lập). Cho dù mô hình được đào tạo để hoàn thành văn bản hay một số nhiệm vụ khác, thì đó thường không phải là nhiệm vụ mà khách hàng muốn sử dụng mô hình.
Để cải thiện hiệu suất của LLM được đào tạo trước đối với một nhiệm vụ cụ thể, chúng ta có thể điều chỉnh mô hình bằng cách sử dụng các ví dụ về nhiệm vụ đích trong một quy trình được gọi là hướng dẫn tinh chỉnh. Tinh chỉnh hướng dẫn sử dụng một tập hợp các ví dụ được gắn nhãn ở dạng cặp {prompt, response} để đào tạo thêm mô hình được đào tạo trước trong việc dự đoán đầy đủ phản hồi cho lời nhắc. Quá trình này sửa đổi các trọng số của mô hình.
Bài đăng này mô tả cách thực hiện tinh chỉnh hướng dẫn của LLM, cụ thể là FLAN T5 XL, sử dụng Khởi động Amazon SageMaker. Chúng tôi trình bày cách thực hiện điều này bằng cách sử dụng cả giao diện người dùng Khởi động và sổ ghi chép trong Xưởng sản xuất Amazon SageMaker. Bạn có thể tìm thấy sổ tay đi kèm trong amazon-sagemaker-ví dụ Kho lưu trữ GitHub.
Tổng quan về giải pháp
Nhiệm vụ mục tiêu trong bài đăng này là đưa ra một đoạn văn bản trong lời nhắc, trả về các câu hỏi liên quan đến văn bản nhưng không thể trả lời dựa trên thông tin chứa trong đó. Đây là một nhiệm vụ hữu ích để xác định thông tin còn thiếu trong mô tả hoặc xác định xem truy vấn có cần thêm thông tin để trả lời hay không.
Các mẫu FLAN T5 được tinh chỉnh hướng dẫn cho nhiều tác vụ khác nhau để tăng hiệu suất zero-shot của các mẫu này trong nhiều tác vụ thông thường[1]. Tinh chỉnh hướng dẫn bổ sung cho một nhiệm vụ cụ thể của khách hàng có thể tăng thêm độ chính xác của các mô hình này, đặc biệt nếu nhiệm vụ mục tiêu trước đây không được sử dụng để huấn luyện mô hình FLAN T5, như trường hợp của nhiệm vụ của chúng tôi.
Trong nhiệm vụ ví dụ của chúng tôi, chúng tôi quan tâm đến việc tạo các câu hỏi có liên quan nhưng chưa được trả lời. Để làm được điều này, chúng tôi sử dụng một tập hợp con của phiên bản 2 của Bộ dữ liệu trả lời câu hỏi Stanford (SQuAD2.0)[2] để tinh chỉnh mô hình. Bộ dữ liệu này chứa các câu hỏi được đặt ra bởi những người chú thích con người trên một tập hợp các bài viết trên Wikipedia. Ngoài các câu hỏi có câu trả lời, SQuAD2.0 chứa khoảng 50,000 câu hỏi không thể trả lời. Những câu hỏi như vậy là hợp lý nhưng không thể được trả lời trực tiếp từ nội dung của bài báo. Chúng tôi chỉ sử dụng những câu hỏi không thể trả lời. Dữ liệu của chúng tôi được cấu trúc dưới dạng tệp Dòng JSON, với mỗi dòng chứa ngữ cảnh và câu hỏi.
Điều kiện tiên quyết
Để bắt đầu, tất cả những gì bạn cần là một tài khoản AWS để có thể sử dụng Studio. Bạn sẽ cần tạo hồ sơ người dùng cho Studio nếu chưa có.
Tinh chỉnh FLAN-T5 với Giao diện khởi động
Để tinh chỉnh mô hình với giao diện người dùng khởi động, hãy hoàn thành các bước sau:
- Trên bảng điều khiển SageMaker, hãy mở Studio.
- Theo Khởi động SageMaker trong ngăn điều hướng, chọn Mô hình, sổ tay, lời giải.
Bạn sẽ thấy một danh sách các mẫu móng, bao gồm cả FLAN T5 XL, được đánh dấu là có thể tinh chỉnh được.
- Chọn Xem mô hình.
- Theo Nguồn dữ liệu, bạn có thể cung cấp đường dẫn đến dữ liệu đào tạo của mình. Nguồn cho dữ liệu được sử dụng trong bài đăng này được cung cấp theo mặc định.
- Bạn có thể giữ giá trị mặc định cho cấu hình triển khai (bao gồm cả loại phiên bản), bảo mật và siêu tham số, nhưng bạn nên tăng số lượng kỷ nguyên lên ít nhất ba để có được kết quả tốt.
- Chọn Train để đào tạo mô hình.
Bạn có thể theo dõi trạng thái của công việc đào tạo trong giao diện người dùng.
- Khi quá trình đào tạo hoàn tất (trong trường hợp của chúng tôi sau khoảng 53 phút), hãy chọn Triển khai để triển khai mô hình tinh chỉnh.
Sau khi điểm cuối được tạo (một vài phút), bạn có thể mở sổ ghi chép và bắt đầu sử dụng mô hình đã tinh chỉnh của mình.
Tinh chỉnh FLAN-T5 bằng sổ ghi chép Python
Sổ ghi chép ví dụ của chúng tôi cho thấy cách sử dụng Khởi động và SageMaker để tinh chỉnh và triển khai mô hình FLAN T5 XL theo chương trình. Nó có thể được chạy trong Studio hoặc cục bộ.
Trong phần này, trước tiên chúng ta sẽ xem qua một số thiết lập chung. Sau đó, bạn tinh chỉnh mô hình bằng bộ dữ liệu SQuADv2. Tiếp theo, bạn triển khai phiên bản được đào tạo trước của mô hình phía sau điểm cuối SageMaker và thực hiện tương tự với mô hình đã tinh chỉnh. Cuối cùng, bạn có thể truy vấn các điểm cuối và so sánh chất lượng đầu ra của mô hình được đào tạo trước và tinh chỉnh. Bạn sẽ thấy rằng đầu ra của mô hình tinh chỉnh có chất lượng cao hơn nhiều.
Thiết lập điều kiện tiên quyết
Bắt đầu bằng cách cài đặt và nâng cấp các gói cần thiết. Khởi động lại kernel sau khi chạy đoạn mã sau:
Tiếp theo, lấy vai trò thực thi được liên kết với phiên bản sổ ghi chép hiện tại:
Bạn có thể xác định một menu thả xuống thuận tiện sẽ liệt kê các kích thước mô hình có sẵn để tinh chỉnh:
Khởi động tự động truy xuất các loại phiên bản đào tạo và suy luận thích hợp cho mô hình mà bạn đã chọn:
Bây giờ bạn đã sẵn sàng để bắt đầu tinh chỉnh.
Đào tạo lại mô hình trên tập dữ liệu tinh chỉnh
Sau khi thiết lập của bạn hoàn tất, hãy hoàn thành các bước sau:
Sử dụng đoạn mã sau để truy xuất URI cho các tạo phẩm cần thiết:
Dữ liệu huấn luyện được đặt ở nơi công cộng Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) xô.
Sử dụng mã sau để trỏ đến vị trí của dữ liệu và thiết lập vị trí đầu ra trong bộ chứa trong tài khoản của bạn:
Dữ liệu gốc không có định dạng tương ứng với tác vụ mà bạn đang tinh chỉnh mô hình, vì vậy bạn có thể định dạng lại:
Bây giờ bạn có thể xác định một số siêu tham số cho việc đào tạo:
Bây giờ bạn đã sẵn sàng để bắt đầu công việc đào tạo:
Tùy thuộc vào kích thước của dữ liệu tinh chỉnh và mô hình được chọn, quá trình tinh chỉnh có thể mất tới vài giờ.
Bạn có thể theo dõi các chỉ số hiệu suất chẳng hạn như mất dữ liệu đào tạo và xác thực bằng cách sử dụng amazoncloudwatch Trong quá trình huấn luyện. Để thuận tiện, bạn cũng có thể tìm nạp ảnh chụp nhanh các số liệu gần đây nhất bằng cách chạy mã sau:
Khi quá trình đào tạo hoàn tất, bạn có một mô hình được tinh chỉnh tại model_uri
. Hãy sử dụng nó!
Bạn có thể tạo hai điểm cuối suy luận: một cho mô hình được đào tạo trước ban đầu và một cho mô hình tinh chỉnh. Điều này cho phép bạn so sánh đầu ra của cả hai phiên bản của mô hình. Trong bước tiếp theo, bạn triển khai một điểm cuối suy luận cho mô hình được đào tạo trước. Sau đó, bạn triển khai một điểm cuối cho mô hình tinh chỉnh của mình.
Triển khai mô hình được đào tạo trước
Hãy bắt đầu bằng cách triển khai mô hình được đào tạo trước truy xuất URI hình ảnh Docker suy luận. Đây là hình ảnh bộ chứa Hugging Face cơ sở. Sử dụng đoạn mã sau:
Bây giờ bạn có thể tạo điểm cuối và triển khai mô hình được đào tạo trước. Lưu ý rằng bạn cần chuyển lớp Predictor khi triển khai mô hình thông qua lớp Model để có thể chạy suy luận thông qua API SageMaker. Xem đoạn mã sau:
Quá trình tạo điểm cuối và triển khai mô hình có thể mất vài phút, sau đó điểm cuối của bạn sẵn sàng nhận lệnh gọi suy luận.
Triển khai mô hình đã được tinh chỉnh
Hãy triển khai mô hình tinh chỉnh đến điểm cuối của chính nó. Quy trình này gần giống với quy trình chúng tôi đã sử dụng trước đó cho mô hình được đào tạo trước. Sự khác biệt duy nhất là chúng tôi sử dụng tên mô hình và URI được tinh chỉnh:
Khi quá trình này hoàn tất, cả mô hình được đào tạo trước và mô hình tinh chỉnh đều được triển khai phía sau điểm cuối của chính chúng. Hãy so sánh kết quả đầu ra của họ.
Tạo đầu ra và so sánh kết quả
Xác định một số hàm tiện ích để truy vấn điểm cuối và phân tích cú pháp phản hồi:
Trong đoạn mã tiếp theo, chúng tôi xác định lời nhắc và dữ liệu thử nghiệm. Mô tả nhiệm vụ mục tiêu của chúng tôi, đó là tạo ra các câu hỏi có liên quan đến văn bản được cung cấp nhưng không thể trả lời dựa trên văn bản đó.
Dữ liệu thử nghiệm bao gồm ba đoạn văn khác nhau, một đoạn về thành phố Adelaide của Úc từ hai đoạn đầu tiên của trang Wikipedia, một về Cửa hàng đàn hồi Amazon (Amazon EBS) từ Tài liệu Amazon EBS, và một trong số Amazon hiểu từ Tài liệu hiểu về Amazon. Chúng tôi hy vọng mô hình sẽ xác định các câu hỏi liên quan đến các đoạn này nhưng không thể trả lời câu hỏi đó bằng thông tin được cung cấp trong đó.
Bây giờ bạn có thể kiểm tra các điểm cuối bằng các bài viết ví dụ
Dữ liệu thử nghiệm: Adelaide
Chúng tôi sử dụng ngữ cảnh sau:
Phản hồi của mô hình được đào tạo trước như sau:
Các phản ứng mô hình tinh chỉnh như sau:
Dữ liệu thử nghiệm: Amazon EBS
Chúng tôi sử dụng ngữ cảnh sau:
Các câu trả lời của mô hình được đào tạo trước như sau:
Các phản ứng mô hình tinh chỉnh như sau:
Dữ liệu thử nghiệm: Amazon Hiểu
Chúng tôi sử dụng ngữ cảnh sau:
Các câu trả lời của mô hình được đào tạo trước như sau:
Các phản ứng mô hình tinh chỉnh như sau:
Sự khác biệt về chất lượng đầu ra giữa mô hình được đào tạo trước và mô hình tinh chỉnh là rất rõ ràng. Các câu hỏi được cung cấp bởi mô hình tinh chỉnh liên quan đến nhiều chủ đề hơn. Chúng là những câu hỏi có ý nghĩa về mặt hệ thống, không phải lúc nào cũng đúng với mô hình được đào tạo trước, như được minh họa bằng ví dụ về Amazon EBS.
Mặc dù đây không phải là một đánh giá chính thức và có hệ thống, nhưng rõ ràng quá trình tinh chỉnh đã cải thiện chất lượng phản hồi của mô hình đối với nhiệm vụ này.
Làm sạch
Cuối cùng, hãy nhớ dọn dẹp và xóa các điểm cuối:
Kết luận
Trong bài đăng này, chúng tôi đã trình bày cách sử dụng tính năng tinh chỉnh hướng dẫn với các mẫu FLAN T5 bằng Giao diện người dùng Khởi động hoặc sổ ghi chép Jupyter chạy trong Studio. Chúng tôi đã cung cấp mã giải thích cách đào tạo lại mô hình bằng cách sử dụng dữ liệu cho tác vụ đích và triển khai mô hình tinh chỉnh sau một điểm cuối. Nhiệm vụ mục tiêu trong bài đăng này là xác định các câu hỏi liên quan đến một đoạn văn bản được cung cấp trong đầu vào nhưng không thể trả lời dựa trên thông tin được cung cấp trong văn bản đó. Chúng tôi đã chứng minh rằng một mô hình được tinh chỉnh cho nhiệm vụ cụ thể này sẽ mang lại kết quả tốt hơn so với mô hình được đào tạo trước.
Bây giờ bạn đã biết cách hướng dẫn tinh chỉnh mô hình bằng Khởi động, bạn có thể tạo các mô hình mạnh mẽ được tùy chỉnh cho ứng dụng của mình. Thu thập một số dữ liệu cho trường hợp sử dụng của bạn, tải dữ liệu đó lên Amazon S3 và sử dụng Studio UI hoặc sổ ghi chép để điều chỉnh mô hình FLAN T5!
dự án
[1] Chung, Hyung Won, et al. “Mở rộng các mô hình ngôn ngữ tinh chỉnh hướng dẫn.” bản in trước arXiv arXiv:2210.11416 (2022).
[2] Rajpurkar, Pranav, Robin Jia, và Percy Liang. “Biết những gì bạn không biết: Câu hỏi không thể trả lời cho SQuAD.” Kỷ yếu Hội nghị thường niên lần thứ 56 của Hiệp hội Ngôn ngữ học tính toán (Tập 2: Bài viết ngắn). 2018.
Giới thiệu về tác giả
Callot Laurent là Nhà khoa học ứng dụng chính và là nhà quản lý tại AWS AI Labs, người đã làm việc về nhiều vấn đề về máy học, từ các mô hình nền tảng và AI tổng quát đến dự báo, phát hiện bất thường, quan hệ nhân quả và AI Ops.
Andrey Kan là Nhà khoa học ứng dụng cấp cao tại AWS AI Labs với sở thích và kinh nghiệm trong các lĩnh vực Machine Learning khác nhau. Chúng bao gồm nghiên cứu về các mô hình nền tảng, cũng như các ứng dụng ML cho biểu đồ và chuỗi thời gian.
Tiến sĩ Ashish Khetan là Nhà khoa học ứng dụng cấp cao với các thuật toán tích hợp Amazon SageMaker và giúp phát triển các thuật toán máy học. Ông lấy bằng Tiến sĩ tại Đại học Illinois Urbana Champaign. Ông là một nhà nghiên cứu tích cực về máy học và suy luận thống kê và đã xuất bản nhiều bài báo trong các hội nghị NeurIPS, ICML, ICLR, JMLR, ACL và EMNLP.
Baris Kurt là Nhà khoa học ứng dụng tại AWS AI Labs. Mối quan tâm của anh ấy là phát hiện sự bất thường theo chuỗi thời gian và các mô hình nền tảng. Anh ấy thích phát triển các hệ thống ML thân thiện với người dùng.
Jonas Kubler là Nhà khoa học ứng dụng tại AWS AI Labs. Anh ấy đang làm việc trên các mô hình nền tảng với mục tiêu tạo điều kiện thuận lợi cho các ứng dụng cụ thể trong từng trường hợp sử dụng.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoAiStream. Thông minh dữ liệu Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Đúc kết tương lai với Adryenn Ashley. Truy cập Tại đây.
- Mua và bán cổ phần trong các công ty PRE-IPO với PREIPO®. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/instruction-fine-tuning-for-flan-t5-xl-with-amazon-sagemaker-jumpstart/
- : có
- :là
- :không phải
- $ LÊN
- 000
- 1
- 10
- 100
- 11
- 12
- 13
- 17
- 1M
- 20
- 2018
- 2022
- 22
- 40
- 50
- 60
- 7
- 8
- 80
- 9
- a
- Có khả năng
- Giới thiệu
- Chấp nhận
- truy cập
- có thể truy cập
- hoàn thành
- Tài khoản
- chính xác
- chính xác
- hoạt động
- Ngoài ra
- thêm vào
- đầy đủ
- Sau
- AI
- AL
- thuật toán
- Tất cả
- cho phép
- Đã
- Ngoài ra
- luôn luôn
- đàn bà gan dạ
- Amazon hiểu
- Amazon SageMaker
- Khởi động Amazon SageMaker
- Amazon Web Services
- an
- phân tích
- phân tích
- và
- hàng năm
- phát hiện bất thường
- câu trả lời
- bất kì
- api
- API
- Các Ứng Dụng
- các ứng dụng
- áp dụng
- thích hợp
- LÀ
- KHU VỰC
- đối số
- bài viết
- bài viết
- AS
- liên kết
- Hiệp hội
- At
- Châu Úc
- Úc
- tự động
- có sẵn
- AWS
- cơ sở
- dựa
- BE
- bờ biển
- Chùm tia
- sau
- được
- phía dưới
- Hơn
- giữa
- tỷ
- Chặn
- thân hình
- đậm
- cả hai
- được xây dựng trong
- nhưng
- by
- gọi là
- Cuộc gọi
- CAN
- không thể
- khả năng
- có khả năng
- Sức chứa
- vốn
- trường hợp
- trung tâm
- thay đổi
- sự lựa chọn
- Chọn
- chọn
- lựa chọn
- City
- tốt nghiệp lớp XNUMX
- các lớp học
- phân loại
- trong sáng
- khách hàng
- Coast
- mã
- đến
- Chung
- so sánh
- hoàn thành
- hoàn thành
- sáng tác
- hiểu
- hội nghị
- Cấu hình
- An ủi
- tạo
- Container
- chứa
- nội dung
- bối cảnh
- liên tục
- liên tục
- Tiện lợi
- tương ứng
- có thể
- Couple
- tạo
- tạo ra
- Tạo
- tạo
- Current
- khách hàng
- khách hàng
- khách hàng
- tùy chỉnh
- dữ liệu
- cơ sở dữ liệu
- bộ dữ liệu
- Mặc định
- chứng minh
- chứng minh
- Tùy
- triển khai
- triển khai
- triển khai
- triển khai
- Mô tả
- Phát hiện
- Xác định
- phát triển
- phát triển
- phát triển
- thiết bị
- Thiết bị (Devices)
- sự khác biệt
- khác nhau
- trực tiếp
- Giao diện
- khác nhau
- do
- phu bến tàu
- tài liệu
- tài liệu
- làm
- Không
- có ưu thế
- dont
- lái xe
- suốt trong
- năng động
- E&T
- mỗi
- Sớm hơn
- Đông
- Hiệu quả
- hay
- các yếu tố
- khác
- cuối
- Điểm cuối
- Toàn bộ
- thực thể
- thực thể
- kỷ nguyên
- kỷ nguyên
- đặc biệt
- đánh giá
- Ngay cả
- kiểm tra
- ví dụ
- ví dụ
- thi hành
- thực hiện
- mong đợi
- kinh nghiệm
- giải thích
- tiếp xúc
- kéo dài
- mở rộng
- mở rộng
- trích xuất
- cực kỳ
- Đối mặt
- tạo điều kiện
- xa
- Thời trang
- Đặc tính
- Tính năng
- vài
- Lĩnh vực
- Tập tin
- Các tập tin
- Cuối cùng
- Tìm kiếm
- cuối
- Tên
- tiếp theo
- sau
- Trong
- hình thức
- chính thức
- định dạng
- tìm thấy
- Nền tảng
- Thứ tư
- Khung
- thường xuyên
- thân thiện
- từ
- chức năng
- xa hơn
- thu thập
- Tổng Quát
- tạo ra
- tạo ra
- tạo ra
- thế hệ
- thế hệ
- Trí tuệ nhân tạo
- được
- GitHub
- được
- mục tiêu
- tốt
- đồ thị
- tuyệt vời
- lớn hơn
- Tăng trưởng
- Cứng
- ổ cứng
- Có
- he
- giúp
- cao hơn
- Hills
- của mình
- GIỜ LÀM VIỆC
- Độ đáng tin của
- Hướng dẫn
- HTML
- http
- HTTPS
- ÔmKhuôn Mặt
- Nhân loại
- Hàng trăm
- Hỗn hợp
- i
- ID
- giống hệt nhau
- xác định
- id
- if
- Illinois
- hình ảnh
- nhập khẩu
- nâng cao
- cải thiện
- in
- bao gồm
- Bao gồm
- Tăng lên
- lên
- độc lập
- Thông tin
- thông tin
- thông tin
- ban đầu
- đầu vào
- đầu vào
- những hiểu biết
- cài đặt, dựng lên
- Cài đặt
- ví dụ
- quan tâm
- lợi ích
- Giới thiệu
- IT
- ITS
- Việc làm
- việc làm
- jpg
- json
- Giữ
- Key
- Biết
- nổi tiếng
- Phòng thí nghiệm
- Ngôn ngữ
- Ngôn ngữ
- lớn
- lớn nhất
- phóng
- LEARN
- học tập
- ít nhất
- Chiều dài
- Cấp
- Cuộc sống
- Lượt thích
- Dòng
- dòng
- Danh sách
- LLM
- tại địa phương
- nằm
- địa điểm thư viện nào
- cao
- dài
- lâu
- sự mất
- yêu
- máy
- học máy
- giám đốc
- nhiều
- đánh dấu
- tối đa
- Có thể..
- có ý nghĩa
- cuộc họp
- đề cập đến
- Menu
- Metrics
- Phút
- mất tích
- ML
- kiểu mẫu
- mô hình
- Màn Hình
- chi tiết
- hầu hết
- Gắn kết
- phim
- nhiều
- phải
- tên
- cụ thể là
- Tự nhiên
- Xử lý ngôn ngữ tự nhiên
- THÔNG TIN
- cần thiết
- Cần
- cần thiết
- nhu cầu
- tiêu cực
- mạng lưới
- Neutral
- Mới
- sản phẩm mới
- tiếp theo
- nlp
- Bắc
- máy tính xách tay
- tại
- con số
- mục tiêu
- được
- of
- on
- ONE
- có thể
- mở
- or
- nguyên
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- đầu ra
- kết thúc
- ghi đè
- riêng
- chủ sở hữu
- gói
- cặp
- cửa sổ
- giấy tờ
- thông số
- một phần
- riêng
- đặc biệt
- vượt qua
- con đường
- người
- Thực hiện
- hiệu suất
- thời gian
- kiên trì
- cụm từ
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- hợp lý
- Điểm
- dân số
- tích cực
- Bài đăng
- quyền lực
- mạnh mẽ
- dự đoán
- dự đoán
- Predictor
- trước đây
- chính
- Hiệu trưởng
- in ấn
- vấn đề
- quá trình
- xử lý
- Sản phẩm
- Hồ sơ
- Tiến độ
- đã được chứng minh
- cho
- cung cấp
- cung cấp
- công khai
- công bố
- Python
- chất lượng
- truy vấn
- câu hỏi
- Câu hỏi
- Mau
- ngẫu nhiên
- phạm vi
- Nguyên
- sẵn sàng
- thời gian thực
- nhận
- gần đây
- công nhận
- công nhận
- công nhận
- giới thiệu
- đề nghị
- về
- biểu thức chính quy
- khu
- liên quan
- phát hành
- có liên quan
- dựa
- nhớ
- kho
- yêu cầu
- cần phải
- đòi hỏi
- nghiên cứu
- nhà nghiên cứu
- cư dân
- Thông tin
- phản ứng
- phản ứng
- hạn chế
- Kết quả
- trở lại
- Trả về
- xem xét
- Robin
- Vai trò
- chạy
- chạy
- s
- nhà làm hiền triết
- tương tự
- quét
- Nhà khoa học
- Tìm kiếm
- Thứ hai
- Phần
- an ninh
- xem
- lựa chọn
- cao cấp
- kết án
- tình cảm
- Loạt Sách
- dịch vụ
- DỊCH VỤ
- Phiên
- định
- bộ
- thiết lập
- một số
- ngắn
- nên
- cho thấy
- Chương trình
- Đơn giản
- Kích thước máy
- kích thước
- nhỏ
- Ảnh chụp
- So
- Mạng xã hội
- Mạng xã hội
- một số
- nguồn
- miền Nam
- riêng
- chia
- stanford
- ngay đơ
- Bắt đầu
- bắt đầu
- Tiểu bang
- thống kê
- Trạng thái
- Bước
- Các bước
- Vẫn còn
- là gắn
- hàng
- cấu trúc
- cấu trúc
- phòng thu
- Stunning
- như vậy
- hỗ trợ
- Hỗ trợ
- Xung quanh
- hệ thống
- hệ thống
- Hãy
- Mục tiêu
- Nhiệm vụ
- nhiệm vụ
- mẫu
- thử nghiệm
- hơn
- việc này
- Sản phẩm
- Khu vực
- Thủ đô
- thông tin
- Nguồn
- Nhà nước
- Phía tây
- thế giới
- cung cấp their dịch
- Them
- sau đó
- trong đó
- Kia là
- họ
- điều này
- những
- số ba
- Thông qua
- thời gian
- Chuỗi thời gian
- đến
- Tokens
- hàng đầu
- Chủ đề
- chạm
- theo dõi
- truyền thống
- Train
- đào tạo
- Hội thảo
- Nghìn tỷ
- đúng
- hai
- kiểu
- loại
- ui
- sự hiểu biết
- trường đại học
- Cập nhật
- tải lên
- sử dụng
- ca sử dụng
- đã sử dụng
- người sử dang
- sử dụng
- tiện ích
- xác nhận
- giá trị
- Các giá trị
- nhiều
- phiên bản
- vincent
- có thể nhìn thấy
- khối lượng
- khối lượng
- W
- muốn
- là
- Đường..
- we
- web
- các dịch vụ web
- TỐT
- hướng Tây
- Điều gì
- Là gì
- khi nào
- liệu
- cái nào
- trong khi
- CHÚNG TÔI LÀ
- rộng
- Phạm vi rộng
- rộng hơn
- chiều rộng
- Wikipedia
- sẽ
- với
- ở trong
- Won
- Từ
- làm việc
- đang làm việc
- thế giới
- sẽ
- Bạn
- trên màn hình
- zephyrnet