Hôm nay, chúng tôi vui mừng thông báo bản xem trước của Trình phân tích hồ sơ Amazon SageMaker, một khả năng của Amazon SageMaker cung cấp cái nhìn chi tiết về tài nguyên điện toán AWS được cung cấp trong quá trình đào tạo các mô hình deep learning trên SageMaker. Với SageMaker Profiler, bạn có thể theo dõi tất cả hoạt động trên CPU và GPU, chẳng hạn như mức sử dụng CPU và GPU, chạy kernel trên GPU, khởi chạy kernel trên CPU, hoạt động đồng bộ hóa, hoạt động bộ nhớ trên GPU, độ trễ giữa các lần khởi chạy kernel và các lần chạy tương ứng cũng như truyền dữ liệu giữa CPU và GPU. Trong bài đăng này, chúng tôi sẽ hướng dẫn bạn các khả năng của SageMaker Profiler.
SageMaker Profiler cung cấp các mô-đun Python để chú thích các tập lệnh đào tạo PyTorch hoặc TensorFlow và kích hoạt SageMaker Profiler. Nó cũng cung cấp một giao diện người dùng (UI) trực quan hóa Hồ sơ, bản tóm tắt thống kê về các sự kiện được lập hồ sơ và dòng thời gian của công việc đào tạo để theo dõi và hiểu mối quan hệ thời gian của các sự kiện giữa GPU và CPU.
Sự cần thiết của việc lập hồ sơ đào tạo
Với sự phát triển của deep learning (DL), machine learning (ML) đã trở nên phức tạp về tính toán và dữ liệu, thường yêu cầu các cụm nhiều nút, nhiều GPU. Khi các mô hình tiên tiến tăng kích thước theo thứ tự hàng nghìn tỷ tham số, độ phức tạp tính toán và chi phí của chúng cũng tăng nhanh. Những người thực hành ML phải đối mặt với những thách thức chung về việc sử dụng tài nguyên hiệu quả khi đào tạo các mô hình lớn như vậy. Điều này đặc biệt rõ ràng trong các mô hình ngôn ngữ lớn (LLM), thường có hàng tỷ tham số và do đó yêu cầu cụm GPU nhiều nút lớn để huấn luyện chúng một cách hiệu quả.
Khi đào tạo các mô hình này trên các cụm điện toán lớn, chúng ta có thể gặp phải các thách thức tối ưu hóa tài nguyên điện toán như tắc nghẽn I/O, độ trễ khởi chạy kernel, giới hạn bộ nhớ và mức sử dụng tài nguyên thấp. Nếu cấu hình công việc đào tạo không được tối ưu hóa, những thách thức này có thể dẫn đến việc sử dụng phần cứng không hiệu quả và thời gian đào tạo dài hơn hoặc chạy đào tạo không đầy đủ, làm tăng chi phí và tiến độ chung cho dự án.
Điều kiện tiên quyết
Sau đây là những điều kiện tiên quyết để bắt đầu sử dụng SageMaker Profiler:
- Miền SageMaker trong tài khoản AWS của bạn – Để biết hướng dẫn thiết lập tên miền, hãy xem Tích hợp vào Miền Amazon SageMaker bằng cách sử dụng thiết lập nhanh. Bạn cũng cần thêm hồ sơ người dùng miền cho người dùng cá nhân để truy cập ứng dụng giao diện người dùng SageMaker Profiler. Để biết thêm thông tin, xem Thêm và xóa hồ sơ người dùng Miền SageMaker.
- Quyền – Danh sách sau đây là nhóm quyền tối thiểu cần được gán cho vai trò thực thi để sử dụng ứng dụng giao diện người dùng SageMaker Profiler:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:SearchTrainingJobs
s3:GetObject
s3:ListBucket
Chuẩn bị và thực hiện công việc đào tạo với SageMaker Profiler
Để bắt đầu ghi lại các hoạt động của kernel trên GPU trong khi tác vụ đào tạo đang chạy, hãy sửa đổi tập lệnh đào tạo của bạn bằng cách sử dụng mô-đun SageMaker Profiler Python. Nhập thư viện và thêm start_profiling()
và stop_profiling()
phương pháp để xác định sự bắt đầu và kết thúc của hồ sơ. Bạn cũng có thể sử dụng các chú thích tùy chỉnh tùy chọn để thêm điểm đánh dấu vào tập lệnh đào tạo nhằm trực quan hóa các hoạt động phần cứng trong các hoạt động cụ thể ở mỗi bước.
Có hai cách tiếp cận mà bạn có thể thực hiện để lập hồ sơ cho tập lệnh đào tạo của mình bằng SageMaker Profiler. Cách tiếp cận đầu tiên dựa trên việc lập hồ sơ đầy đủ các chức năng; cách tiếp cận thứ hai dựa trên việc lập hồ sơ các dòng mã cụ thể trong hàm.
Để cấu hình theo chức năng, hãy sử dụng trình quản lý bối cảnh smppy.annotate
để chú thích đầy đủ các chức năng. Tập lệnh mẫu sau đây cho biết cách triển khai trình quản lý bối cảnh để bao bọc vòng lặp đào tạo và các chức năng đầy đủ trong mỗi lần lặp:
Vous sử dụng pouvez aussi smppy.annotation_begin()
và smppy.annotation_end()
để chú thích các dòng mã cụ thể trong hàm. Để biết thêm thông tin, hãy tham khảo tài liệu hướng dẫn.
Định cấu hình trình khởi chạy công việc đào tạo SageMaker
Sau khi bạn hoàn tất việc chú thích và thiết lập các mô-đun khởi tạo trình lược tả, hãy lưu tập lệnh đào tạo và chuẩn bị công cụ ước tính khung SageMaker để đào tạo bằng SDK SageMaker Python.
- Thiết lập một
profiler_config
đối tượng sử dụngProfilerConfig
vàProfiler
module như sau: - Tạo công cụ ước tính SageMaker bằng
profiler_config
đối tượng được tạo ở bước trước. Đoạn mã sau đây hiển thị ví dụ về cách tạo công cụ ước tính PyTorch:
Nếu bạn muốn tạo công cụ ước tính TensorFlow, hãy nhập sagemaker.tensorflow.TensorFlow
thay vào đó, đồng thời chỉ định một trong các phiên bản TensorFlow được SageMaker Profiler hỗ trợ. Để biết thêm thông tin về các khung và loại phiên bản được hỗ trợ, hãy xem Các khung được hỗ trợ.
- Bắt đầu công việc đào tạo bằng cách chạy phương thức fit:
Khởi chạy giao diện người dùng SageMaker Profiler
Khi công việc đào tạo hoàn tất, bạn có thể khởi chạy Giao diện người dùng SageMaker Profiler để trực quan hóa và khám phá hồ sơ của công việc đào tạo. Bạn có thể truy cập ứng dụng giao diện người dùng SageMaker Profiler thông qua trang đích SageMaker Profiler trên bảng điều khiển SageMaker hoặc thông qua miền SageMaker.
Để khởi chạy ứng dụng SageMaker Profiler UI trên bảng điều khiển SageMaker, hãy hoàn thành các bước sau:
- Trên bảng điều khiển SageMaker, chọn Profiler trong khung điều hướng.
- Theo Bắt đầu, hãy chọn miền mà bạn muốn khởi chạy ứng dụng giao diện người dùng SageMaker Profiler.
Nếu hồ sơ người dùng của bạn chỉ thuộc về một tên miền, bạn sẽ không thấy tùy chọn chọn tên miền.
- Chọn hồ sơ người dùng mà bạn muốn khởi chạy ứng dụng giao diện người dùng SageMaker Profiler.
Nếu không có hồ sơ người dùng trong miền, hãy chọn Tạo hồ sơ người dùng. Để biết thêm thông tin về cách tạo hồ sơ người dùng mới, hãy xem Thêm và xóa hồ sơ người dùng.
- Chọn Mở hồ sơ.
Quý vị cũng có thể khởi chạy giao diện người dùng SageMaker Profiler từ trang chi tiết tên miền.
Nhận thông tin chuyên sâu từ SageMaker Profiler
Khi bạn mở Giao diện người dùng SageMaker Profiler, Chọn và tải hồ sơ trang sẽ mở ra, như minh họa trong ảnh chụp màn hình sau.
Bạn có thể xem danh sách tất cả các công việc đào tạo đã được gửi tới SageMaker Profiler và tìm kiếm một công việc đào tạo cụ thể theo tên, thời gian tạo và trạng thái chạy (Đang tiến hành, Đã hoàn thành, Không thành công, Đã dừng hoặc Đang dừng). Để tải hồ sơ, chọn công việc đào tạo bạn muốn xem và chọn Phụ tải. Tên công việc sẽ xuất hiện trong Hồ sơ đã tải phần ở trên cùng.
Chọn tên công việc để tạo bảng thông tin và dòng thời gian. Lưu ý khi bạn chọn công việc, giao diện người dùng sẽ tự động mở bảng thông tin. Bạn có thể tải và hiển thị từng hồ sơ một. Để tải một hồ sơ khác, trước tiên bạn phải dỡ bỏ hồ sơ đã tải trước đó. Để dỡ bỏ một hồ sơ, hãy chọn biểu tượng thùng rác trong Hồ sơ đã tải phần.
Đối với bài đăng này, chúng tôi xem hồ sơ của một ALBEF công việc đào tạo trên hai phiên bản ml.p4d.24xlarge.
Sau khi bạn tải xong và chọn công việc đào tạo, giao diện người dùng sẽ mở ra Bảng Điều Khiển (Dashboard) trang, như được hiển thị trong ảnh chụp màn hình sau.
Bạn có thể xem biểu đồ cho các số liệu chính, cụ thể là thời gian hoạt động của GPU, mức sử dụng GPU theo thời gian, thời gian hoạt động của CPU và mức sử dụng CPU theo thời gian. Biểu đồ thời gian hoạt động của GPU hiển thị phần trăm thời gian hoạt động của GPU so với thời gian không hoạt động của GPU, cho phép chúng tôi kiểm tra xem GPU có hoạt động nhiều hơn không hoạt động trong toàn bộ quá trình đào tạo hay không. Biểu đồ dòng thời gian sử dụng GPU theo thời gian hiển thị tốc độ sử dụng GPU trung bình theo thời gian trên mỗi nút, tổng hợp tất cả các nút trong một biểu đồ. Bạn có thể kiểm tra xem GPU có khối lượng công việc không cân bằng, sự cố sử dụng dưới mức, tắc nghẽn hoặc sự cố không hoạt động trong khoảng thời gian nhất định hay không. Để biết thêm chi tiết về cách giải thích các số liệu này, hãy tham khảo tài liệu hướng dẫn.
Trang tổng quan cung cấp cho bạn các biểu đồ bổ sung, bao gồm thời gian dành cho tất cả các nhân GPU, thời gian dành cho 15 nhân GPU hàng đầu, số lần khởi chạy của tất cả các nhân GPU và số lần khởi chạy của 15 nhân GPU hàng đầu, như minh họa trong ảnh chụp màn hình sau.
Cuối cùng, bảng điều khiển cho phép bạn trực quan hóa các số liệu bổ sung, chẳng hạn như phân bổ thời gian từng bước, là biểu đồ hiển thị phân bổ thời lượng bước trên GPU và biểu đồ hình tròn phân phối độ chính xác của hạt nhân, hiển thị phần trăm thời gian dành cho việc chạy hạt nhân trong các loại dữ liệu khác nhau như FP32, FP16, INT32 và INT8.
Bạn cũng có thể lấy biểu đồ hình tròn về phân bổ hoạt động GPU hiển thị phần trăm thời gian dành cho các hoạt động GPU, chẳng hạn như chạy hạt nhân, bộ nhớ (memcpy
và memset
) và đồng bộ hóa (sync
). Bạn có thể hình dung phần trăm thời gian dành cho các hoạt động của bộ nhớ GPU từ biểu đồ phân bổ các hoạt động của bộ nhớ GPU.
Bạn cũng có thể tạo biểu đồ của riêng mình dựa trên số liệu tùy chỉnh mà bạn đã chú thích theo cách thủ công như được mô tả trước đó trong bài đăng này. Khi thêm chú thích tùy chỉnh vào biểu đồ mới, hãy chọn hoặc nhập tên chú thích mà bạn đã thêm vào tập lệnh đào tạo.
Giao diện dòng thời gian
Giao diện người dùng SageMaker Profiler cũng bao gồm giao diện dòng thời gian, cung cấp cho bạn cái nhìn chi tiết về tài nguyên điện toán ở cấp độ hoạt động và hạt nhân được lên lịch trên CPU và chạy trên GPU. Dòng thời gian được sắp xếp theo cấu trúc cây, cung cấp cho bạn thông tin từ cấp máy chủ đến cấp thiết bị, như minh họa trong ảnh chụp màn hình sau.
Đối với mỗi CPU, bạn có thể theo dõi các bộ đếm hiệu suất CPU, chẳng hạn như clk_unhalted_ref.tsc
và itlb_misses.miss_causes_a_walk
. Đối với mỗi GPU trên phiên bản 2x p4d.24xlarge, bạn có thể xem dòng thời gian của máy chủ và dòng thời gian của thiết bị. Việc khởi chạy hạt nhân diễn ra trên dòng thời gian của máy chủ và các lần chạy hạt nhân diễn ra trên dòng thời gian của thiết bị.
Bạn cũng có thể phóng to từng bước riêng lẻ. Trong ảnh chụp màn hình sau, chúng tôi đã phóng to đến bước_41. Dải dòng thời gian được chọn trong ảnh chụp màn hình sau đây là AllReduce
hoạt động, một bước giao tiếp và đồng bộ hóa thiết yếu trong đào tạo phân tán, chạy trên GPU-0. Trong ảnh chụp màn hình, lưu ý rằng quá trình khởi chạy kernel trong máy chủ GPU-0 kết nối với kernel chạy trong luồng thiết bị GPU-0 1, được biểu thị bằng mũi tên màu lục lam.
Tính sẵn có và những cân nhắc
SageMaker Profiler có sẵn trong PyTorch (phiên bản 2.0.0 và 1.13.1) và TensorFlow (phiên bản 2.12.0 và 2.11.1). Bảng sau đây cung cấp các liên kết đến các trang được hỗ trợ Bộ chứa học sâu AWS dành cho SageMaker.
Khung | phiên bản | URI hình ảnh AWS DLC |
Kim tự tháp | 2.0.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
Kim tự tháp | 1.13.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker |
TensorFlow | 2.12.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.12.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
TensorFlow | 2.11.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.1-gpu-py39-cu112-ubuntu20.04-sagemaker |
SageMaker Profiler hiện có sẵn ở các Khu vực sau: Miền Đông Hoa Kỳ (Ohio, N. Virginia), Miền Tây Hoa Kỳ (Oregon) và Châu Âu (Frankfurt, Ireland).
SageMaker Profiler có sẵn trong các loại phiên bản đào tạo ml.p4d.24xlarge, ml.p3dn.24xlarge và ml.g4dn.12xlarge.
Để biết danh sách đầy đủ các khung và phiên bản được hỗ trợ, hãy tham khảo tài liệu hướng dẫn.
SageMaker Profiler phải chịu phí sau khi Bậc miễn phí của SageMaker hoặc thời gian dùng thử miễn phí của tính năng này kết thúc. Để biết thêm thông tin, xem Amazon SageMaker Giá.
Hiệu suất của SageMaker Profiler
Chúng tôi đã so sánh chi phí hoạt động của SageMaker Profiler với các trình phân tích nguồn mở khác nhau. Đường cơ sở được sử dụng để so sánh được lấy từ việc thực hiện công việc đào tạo mà không có trình lập hồ sơ.
Phát hiện quan trọng của chúng tôi cho thấy rằng SageMaker Profiler thường dẫn đến thời gian đào tạo có thể tính phí ngắn hơn vì nó có ít thời gian tiêu hao hơn cho các đợt đào tạo từ đầu đến cuối. Nó cũng tạo ra ít dữ liệu lược tả hơn (ít hơn tới 10 lần) khi so sánh với các lựa chọn thay thế nguồn mở. Các tạo phẩm hồ sơ nhỏ hơn do SageMaker Profiler tạo ra yêu cầu ít bộ nhớ hơn, do đó cũng tiết kiệm chi phí.
Kết luận
SageMaker Profiler cho phép bạn có được thông tin chi tiết về việc sử dụng tài nguyên điện toán khi đào tạo các mô hình học sâu của mình. Điều này có thể cho phép bạn giải quyết các điểm nóng và tắc nghẽn về hiệu suất để đảm bảo sử dụng tài nguyên hiệu quả, từ đó giúp giảm chi phí đào tạo và giảm thời gian đào tạo tổng thể.
Để bắt đầu với SageMaker Profiler, hãy tham khảo tài liệu hướng dẫn.
Về các tác giả
Roy Allela là Kiến trúc sư giải pháp chuyên gia AI/ML cấp cao tại AWS có trụ sở tại Munich, Đức. Roy giúp khách hàng của AWS—từ các công ty khởi nghiệp nhỏ đến các doanh nghiệp lớn—đào tạo và triển khai các mô hình ngôn ngữ lớn một cách hiệu quả trên AWS. Roy đam mê các vấn đề tối ưu hóa tính toán và cải thiện hiệu suất của khối lượng công việc AI.
Mặt Trăng Sushant là Nhà khoa học dữ liệu tại AWS, Ấn Độ, chuyên hướng dẫn khách hàng thực hiện các nỗ lực AI/ML của họ. Với kiến thức nền tảng đa dạng trải rộng trên các lĩnh vực bán lẻ, tài chính và bảo hiểm, ông cung cấp các giải pháp sáng tạo và phù hợp. Ngoài cuộc sống nghề nghiệp của mình, Sushant tìm thấy sự trẻ hóa trong môn bơi lội và tìm kiếm nguồn cảm hứng từ những chuyến du lịch đến nhiều địa phương khác nhau.
Diksha Sharma là Kiến trúc sư giải pháp chuyên gia AI/ML trong Tổ chức chuyên gia toàn cầu. Cô làm việc với các khách hàng thuộc khu vực công để giúp họ xây dựng các ứng dụng machine learning hiệu quả, an toàn và có thể mở rộng, bao gồm các giải pháp AI tổng quát trên AWS. Khi rảnh rỗi, Diksha thích đọc sách, vẽ tranh và dành thời gian cho gia đình.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- ChartPrime. Nâng cao trò chơi giao dịch của bạn với ChartPrime. Truy cập Tại đây.
- BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/announcing-the-preview-of-amazon-sagemaker-profiler-track-and-visualize-detailed-hardware-performance-data-for-your-model-training-workloads/
- : có
- :là
- :không phải
- $ LÊN
- 1
- 10
- 100
- 11
- 12
- 125
- 13
- 15%
- 17
- 20
- 7
- 9
- a
- Giới thiệu
- truy cập
- ngang qua
- kích hoạt
- hoạt động
- hoạt động
- hoạt động
- thêm vào
- thêm
- thêm
- thêm vào
- Sau
- chống lại
- tổng hợp
- AI
- AI / ML
- Tất cả
- Ngoài ra
- lựa chọn thay thế
- đàn bà gan dạ
- Amazon SageMaker
- Amazon Web Services
- an
- và
- Thông báo
- Thông báo
- Một
- bất kì
- xuất hiện
- Các Ứng Dụng
- các ứng dụng
- phương pháp tiếp cận
- cách tiếp cận
- LÀ
- AS
- giao
- At
- tự động
- có sẵn
- Trung bình cộng
- AWS
- lý lịch
- dựa
- Baseline
- BE
- bởi vì
- trở nên
- được
- Bắt đầu
- thuộc
- giữa
- Ngoài
- tỷ
- BIN
- by
- CAN
- khả năng
- khả năng
- Chụp
- nhất định
- thách thức
- tải
- Biểu đồ
- kiểm tra
- Chọn
- mã
- Chung
- Giao tiếp
- so
- sự so sánh
- hoàn thành
- Hoàn thành
- phức tạp
- Tính
- Cấu hình
- connect
- An ủi
- Container
- bối cảnh
- Tương ứng
- Phí Tổn
- Chi phí
- quầy
- tạo
- tạo ra
- Tạo
- tạo
- Hiện nay
- khách hàng
- khách hàng
- cyan
- bảng điều khiển
- dữ liệu
- nhà khoa học dữ liệu
- sâu
- học kĩ càng
- định nghĩa
- cung cấp
- triển khai
- mô tả
- chi tiết
- chi tiết
- thiết bị
- khác nhau
- phân phối
- đào tạo phân tán
- phân phối
- khác nhau
- miền
- lĩnh vực
- thực hiện
- xuống
- lái xe
- thời gian
- suốt trong
- mỗi
- Sớm hơn
- Đông
- hiệu quả
- hiệu quả
- cho phép
- cho phép
- cuối
- Cuối cùng đến cuối
- nỗ lực
- kết thúc
- đảm bảo
- đăng ký hạng mục thi
- Toàn bộ
- nhập
- kỷ nguyên
- kỷ nguyên
- thiết yếu
- Châu Âu
- sự kiện
- hiển nhiên
- ví dụ
- thực hiện
- khám phá
- thất bại
- gia đình
- Đặc tính
- tài chính
- tìm kiếm
- tìm thấy
- hoàn thành
- Tên
- phù hợp với
- tiếp theo
- sau
- Trong
- Forward
- Khung
- khung
- Miễn phí
- dùng thử miễn phí
- từ
- Full
- chức năng
- nói chung
- tạo ra
- tạo ra
- thế hệ
- Trí tuệ nhân tạo
- Nước Đức
- được
- Cho
- GPU
- GPU
- đồ thị
- Phát triển
- có
- phần cứng
- Có
- he
- giúp đỡ
- giúp
- cô
- của mình
- chủ nhà
- Độ đáng tin của
- Hướng dẫn
- HTML
- http
- HTTPS
- i
- ICON
- Nhàn rỗi
- if
- hình ảnh
- thực hiện
- nhập khẩu
- cải thiện
- in
- bao gồm
- Bao gồm
- Tăng lên
- Ấn Độ
- chỉ ra
- hệ thống riêng biệt,
- không hiệu quả
- thông tin
- sáng tạo
- đầu vào
- những hiểu biết
- Cảm hứng
- ví dụ
- thay vì
- hướng dẫn
- bảo hiểm
- Giao thức
- trong
- ireland
- các vấn đề
- IT
- sự lặp lại
- ITS
- Việc làm
- việc làm
- jpg
- Key
- Nhãn
- hạ cánh
- Ngôn ngữ
- lớn
- phóng
- ra mắt
- học tập
- ít
- Cấp
- Thư viện
- Cuộc sống
- giới hạn
- dòng
- liên kết
- Danh sách
- tải
- tải
- còn
- sự mất
- yêu
- Thấp
- máy
- học máy
- giám đốc
- thủ công
- Bộ nhớ
- phương pháp
- phương pháp
- số liệu
- Metrics
- tối thiểu
- ML
- kiểu mẫu
- mô hình
- sửa đổi
- Modules
- chi tiết
- phải
- tên
- cụ thể là
- THÔNG TIN
- Cần
- Mới
- Không
- nút
- các nút
- vật
- được
- thu được
- of
- Cung cấp
- Ohio
- on
- ONE
- có thể
- mở
- mã nguồn mở
- mở ra
- hoạt động
- Hoạt động
- tối ưu hóa
- tối ưu hóa
- Tùy chọn
- or
- gọi món
- Oregon
- cơ quan
- Tổ chức
- kết thúc
- tổng thể
- riêng
- trang
- cửa sổ
- thông số
- riêng
- đặc biệt
- đam mê
- mỗi
- tỷ lệ phần trăm
- hiệu suất
- thời gian
- quyền
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- vừa lòng
- Điểm
- Bài đăng
- Độ chính xác
- Chuẩn bị
- điều kiện tiên quyết
- Xem trước
- trước
- trước đây
- vấn đề
- chuyên nghiệp
- Hồ sơ
- Profiles
- profiling
- Tiến độ
- dự án
- cung cấp
- công khai
- Python
- ngọn đuốc
- Nhanh chóng
- nhanh chóng
- Tỷ lệ
- Đọc
- giảm
- vùng
- trẻ hóa
- mối quan hệ
- tẩy
- yêu cầu
- tài nguyên
- Thông tin
- kết quả
- bán lẻ
- Tiết lộ
- Tăng lên
- Vai trò
- roy
- chạy
- chạy
- chạy
- nhà làm hiền triết
- Lưu
- tiết kiệm
- khả năng mở rộng
- lên kế hoạch
- Nhà khoa học
- kịch bản
- sdk
- Tìm kiếm
- Thứ hai
- Phần
- ngành
- an toàn
- xem
- Tìm kiếm
- chọn
- lựa chọn
- cao cấp
- DỊCH VỤ
- định
- thiết lập
- chị ấy
- nên
- thể hiện
- Chương trình
- duy nhất
- Kích thước máy
- nhỏ
- nhỏ hơn
- Giải pháp
- nguồn
- Vôn
- chuyên gia
- chuyên
- riêng
- tiêu
- tiêu
- Bắt đầu
- bắt đầu
- Startups
- nhà nước-of-the-art
- thống kê
- Trạng thái
- Bước
- Các bước
- dừng lại
- dừng lại
- là gắn
- dòng
- cấu trúc
- trình
- như vậy
- TÓM TẮT
- Hỗ trợ
- đồng bộ hóa
- bàn
- phù hợp
- Hãy
- tensorflow
- hơn
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- Đó
- bằng cách ấy
- vì thế
- Kia là
- điều này
- Thông qua
- khắp
- tầng
- thời gian
- timeline
- dòng thời gian
- thời gian
- đến
- hàng đầu
- theo dõi
- Theo dõi
- Train
- Hội thảo
- chuyển
- chuyến đi
- cây
- thử nghiệm
- trillions
- hai
- loại
- thường
- ui
- Cuối cùng
- sự hiểu biết
- us
- sử dụng
- đã sử dụng
- người sử dang
- Giao diện người dùng
- Người sử dụng
- sử dụng
- khác nhau
- phiên bản
- phiên bản
- Xem
- virginia
- vs
- muốn
- là
- we
- web
- các dịch vụ web
- hướng Tây
- khi nào
- cái nào
- trong khi
- sẽ
- với
- không có
- công trinh
- khắp thế giới
- sẽ
- bọc
- Bạn
- trên màn hình
- zephyrnet
- thu phóng