Những phát triển gần đây trong học sâu đã dẫn đến các mô hình ngày càng lớn như GPT-3, BLOOM và OPT, một số trong số đó đã vượt quá 100 tỷ tham số. Mặc dù các mô hình lớn hơn có xu hướng mạnh hơn, nhưng việc đào tạo các mô hình như vậy đòi hỏi các tài nguyên tính toán đáng kể. Ngay cả khi sử dụng các thư viện đào tạo phân tán nâng cao như FSDP và DeepSpeed, các công việc đào tạo thường yêu cầu hàng trăm thiết bị tăng tốc trong vài tuần hoặc vài tháng mỗi lần.
Vào cuối năm 2022, AWS đã thông báo về tính khả dụng chung của Phiên bản Amazon EC2 Trn1 được hỗ trợ bởi Đào tạo AWS—một trình tăng tốc máy học (ML) được xây dựng có mục đích được tối ưu hóa để cung cấp nền tảng hiệu suất cao, tiết kiệm chi phí và có khả năng mở rộng quy mô lớn để đào tạo các mô hình học sâu trên đám mây. Các phiên bản Trn1 có sẵn ở một số kích cỡ (xem bảng sau), với tối đa 16 trình tăng tốc Trainium cho mỗi phiên bản.
Kích thước phiên bản | Máy gia tốc Trainium | Bộ nhớ tăng tốc (GB) | vCPU | Bộ nhớ phiên bản (GiB) | Băng thông mạng (Gbps) |
trn1.2xlarge | 1 | 32 | 8 | 32 | Lên đến 12.5 |
trn1.32xlarge | 16 | 512 | 128 | 512 | 800 |
trn1n.32xlarge (sắp có) | 16 | 512 | 128 | 512 | 1600 |
Các phiên bản Trn1 có thể được triển khai dưới dạng phiên bản độc lập cho các công việc đào tạo nhỏ hơn hoặc trong các siêu cụm có khả năng mở rộng cao hỗ trợ hoạt động đào tạo phân tán trên hàng chục nghìn máy gia tốc Trainium. Tất cả các phiên bản Trn1 đều hỗ trợ cấu hình độc lập, trong khi siêu cụm Trn1 yêu cầu các phiên bản trn1.32xlarge hoặc trn1n.32xlarge. Trong một siêu cụm, nhiều phiên bản Trn1 được định vị cùng trong một Vùng sẵn sàng AWS nhất định và được kết nối với mạng Bộ điều hợp vải đàn hồi (EFA) tốc độ cao, độ trễ thấp, cung cấp 800 Gbps băng thông mạng không chặn trên mỗi phiên bản cho các hoạt động điện toán tập thể . Loại phiên bản trn1n.32xlarge, ra mắt vào đầu năm 2023, sẽ tăng băng thông này lên 1600 Gbps cho mỗi phiên bản.
Nhiều khách hàng doanh nghiệp chọn triển khai khối lượng công việc học sâu của họ bằng Kubernetes—tiêu chuẩn thực tế cho việc điều phối vùng chứa trên đám mây. Khách hàng AWS thường triển khai các khối lượng công việc này bằng cách sử dụng Dịch vụ Kubernetes đàn hồi của Amazon (Amazon EKS). Amazon EKS là một dịch vụ Kubernetes được quản lý giúp đơn giản hóa việc tạo, cấu hình, vòng đời và giám sát các cụm Kubernetes trong khi vẫn cung cấp đầy đủ tính linh hoạt của Kubernetes ngược dòng.
Hôm nay, chúng tôi rất vui mừng thông báo hỗ trợ chính thức cho các công việc đào tạo phân tán bằng cách sử dụng các phiên bản Amazon EKS và EC2 Trn1. Với thông báo này, giờ đây bạn có thể dễ dàng chạy các công việc đào tạo được đóng gói trong bộ chứa quy mô lớn trong Amazon EKS đồng thời tận dụng tối đa hiệu suất giá, khả năng thay đổi quy mô và tính dễ sử dụng mà các phiên bản Trn1 mang lại.
Cùng với thông báo này, chúng tôi cũng xuất bản một hướng dẫn chi tiết hướng dẫn bạn các bước cần thiết để chạy một công việc đào tạo phân tán đa phiên bản (đào tạo trước BERT giai đoạn 1) bằng cách sử dụng các phiên bản Amazon EKS và Trn1. Trong bài đăng này, bạn sẽ tìm hiểu về kiến trúc giải pháp và xem xét một số bước chính từ hướng dẫn. Tham khảo đến kho hướng dẫn chính thức cho quy trình làm việc hoàn chỉnh từ đầu đến cuối.
Để theo dõi, hãy làm quen với các dịch vụ AWS cốt lõi như Đám mây điện toán đàn hồi Amazon (Amazon EC2) và Amazon EKS được ngụ ý và việc làm quen cơ bản với deep learning và PyTorch sẽ hữu ích.
Giải pháp xây dựng
Sơ đồ sau minh họa kiến trúc giải pháp.
Giải pháp bao gồm các thành phần chính sau:
- Một cụm EKS
- Một nhóm nút EKS bao gồm các phiên bản trn1.32xlarge
- Sản phẩm Tế bào thần kinh AWS SDK
- Plugin EKS cho Neuron và EFA
- An Đăng ký container đàn hồi Amazon (Amazon ECR) Kho lưu trữ
- Hình ảnh vùng chứa đào tạo
- An Amazon FSx cho ánh hệ thống tập tin
- Máy chủ lập lịch trình hàng loạt Volcano và máy chủ etcd
- Trình khởi chạy công việc toàn cầu TorchX
- Mô-đun TorchX DDP cho Trainium
Trọng tâm của giải pháp là cụm EKS cung cấp cho bạn chức năng quản lý Kubernetes cốt lõi thông qua điểm cuối dịch vụ EKS. Một trong những lợi ích của Amazon EKS là dịch vụ này chủ động giám sát và chia tỷ lệ mặt phẳng điều khiển dựa trên tải, đảm bảo hiệu suất cao cho khối lượng công việc lớn chẳng hạn như đào tạo phân tán. Bên trong cụm EKS là một nhóm nút bao gồm hai hoặc nhiều phiên bản dựa trên Trainium trn1.32xlarge cư trú trong cùng một Vùng sẵn sàng.
SDK Neuron là ngăn xếp phần mềm cung cấp trình điều khiển, trình biên dịch, thời gian chạy, tích hợp khung (ví dụ: PyTorch Neuron) và các công cụ người dùng cho phép bạn tiếp cận các lợi ích của máy gia tốc Trainium. Trình điều khiển thiết bị Neuron chạy trực tiếp trên các nút EKS (phiên bản Trn1) và cung cấp quyền truy cập vào các chip Trainium từ bên trong các vùng chứa đào tạo được khởi chạy trên các nút. Các plugin Neuron và EFA được cài đặt trong cụm EKS để cung cấp quyền truy cập vào chip Trainium và thiết bị mạng EFA cần thiết cho đào tạo phân tán.
Kho lưu trữ ECR được sử dụng để lưu trữ hình ảnh vùng chứa đào tạo. Những hình ảnh này chứa SDK Neuron (không bao gồm trình điều khiển Neuron chạy trực tiếp trên các phiên bản Trn1), tập lệnh đào tạo PyTorch và các thành phần phụ thuộc bắt buộc. Khi một công việc đào tạo được khởi chạy trên cụm EKS, trước tiên, các hình ảnh bộ chứa được kéo từ Amazon ECR lên các nút EKS và các bộ chứa công nhân PyTorch sau đó được khởi tạo từ các hình ảnh đó.
Bộ nhớ dùng chung được cung cấp bằng cách sử dụng hệ thống tệp FSx for Lustre hiệu suất cao tồn tại trong cùng Vùng sẵn sàng như các phiên bản trn1.32xlarge. Việc tạo và đính kèm hệ thống tệp FSx cho Lustre vào cụm EKS được trung gian bởi Trình điều khiển Amazon FSx cho Lustre CSI. Trong giải pháp này, bộ nhớ dùng chung được sử dụng để lưu trữ tập dữ liệu đào tạo và bất kỳ nhật ký hoặc thành phần lạ nào được tạo trong quá trình đào tạo.
Giải pháp sử dụng Trình khởi chạy công việc toàn cầu TorchX để triển khai các công việc đào tạo phân tán trong Amazon EKS. TorchX có hai phần phụ thuộc quan trọng: bộ lập lịch hàng loạt Volcano và máy chủ etcd. Volcano xử lý việc lên lịch và xếp hàng cho các công việc đào tạo, trong khi máy chủ etcd là kho lưu trữ khóa-giá trị được TorchElastic sử dụng để đồng bộ hóa và khám phá ngang hàng trong quá trình khởi động công việc.
Khi một công việc đào tạo được khởi chạy bằng TorchX, lệnh khởi chạy sẽ sử dụng mô-đun DDP phân tán TorchX được cung cấp cho Trainium để định cấu hình công việc đào tạo tổng thể, sau đó chạy các lệnh torchrun thích hợp trên từng nhóm công nhân PyTorch. Khi một công việc đang chạy, nó có thể được giám sát bằng các công cụ Kubernetes tiêu chuẩn (chẳng hạn như kubectl) hoặc thông qua các bộ công cụ ML tiêu chuẩn như TensorBoard.
Tổng quan về giải pháp
Hãy xem xét các bước quan trọng của giải pháp này. Trong suốt phần tổng quan này, chúng tôi đề cập đến Khởi chạy Công việc đào tạo nơ-ron PyTorch nhiều nút trên Trainium bằng TorchX và EKS hướng dẫn trên GitHub.
Tạo cụm EKS
Để bắt đầu với các công việc đào tạo phân tán trong Amazon EKS với các phiên bản Trn1, trước tiên bạn tạo một cụm EKS như được nêu trong hướng dẫn trên GitHub. Tạo cụm có thể đạt được bằng cách sử dụng các công cụ tiêu chuẩn như eksctl
và Hình thành đám mây AWS.
Tạo nhóm nút EKS
Tiếp theo, chúng ta cần tạo một nhóm nút EKS chứa hai hoặc nhiều phiên bản trn1.32xlarge trong Khu vực được hỗ trợ. Trong hướng dẫn, AWS CloudFormation được sử dụng để tạo mẫu khởi chạy EC2 dành riêng cho Trainium, đảm bảo rằng các phiên bản Trn1 được khởi chạy với Amazon Machine Image (AMI) phù hợp và cấu hình mạng EFA chính xác cần thiết để hỗ trợ đào tạo phân tán. AMI cũng bao gồm trình điều khiển thiết bị Neuron cung cấp hỗ trợ cho các chip tăng tốc Trainium. với eksctl
công cụ quản lý Amazon EKS, bạn có thể dễ dàng tạo nhóm nút Trainium bằng cách sử dụng tệp kê khai YAML cơ bản tham chiếu mẫu khởi chạy mới được tạo. Ví dụ:
Trong tệp kê khai trước đó, một số thuộc tính được định cấu hình để cho phép sử dụng các phiên bản Trn1 trong cụm EKS. Đầu tiên, metadata.region
được đặt thành một trong các Khu vực hỗ trợ phiên bản Trn1 (hiện tại us-east-1
và us-west-2
). Tiếp theo, đối với Vùng sẵn sàng, Amazon EKS yêu cầu chỉ định hai Vùng sẵn sàng. Một trong các Vùng sẵn sàng này phải hỗ trợ việc sử dụng phiên bản Trn1, trong khi vùng còn lại có thể được chọn ngẫu nhiên. Hướng dẫn cho thấy làm thế nào để xác định Vùng sẵn sàng nào sẽ cho phép các phiên bản Trn1 trong tài khoản AWS của bạn. Cũng phải chỉ định Vùng sẵn sàng hỗ trợ Trn1 bằng cách sử dụng availabiltyZones
thuộc tính được liên kết với nhóm nút EKS. efaEnabled
được thiết lập để true
để định cấu hình các nút có cấu hình mạng EFA thích hợp cần thiết cho đào tạo phân tán. Cuối cùng, launchTemplate.id
thuộc tính được liên kết với nhóm nút trỏ đến mẫu khởi chạy EC2 được tạo qua AWS CloudFormation ở bước trước đó.
Giả sử rằng bạn đã áp dụng mẫu CloudFormation và cài đặt eksctl
quản lý, bạn có thể tạo nhóm nút EKS hỗ trợ Trainium bằng cách chạy đoạn mã sau:
Cài đặt plugin Kubernetes cho thiết bị Trainium và EFA
Với nhóm nút đã sẵn sàng, bước tiếp theo là cài đặt các plugin Kubernetes cung cấp hỗ trợ cho máy gia tốc Trainium (thông qua plugin Neuron) và các thiết bị EFA (thông qua plugin EFA). Các plugin này có thể dễ dàng được cài đặt trên cụm bằng tiêu chuẩn kubectl
công cụ quản lý như trong hướng dẫn.
Để sử dụng trình khởi chạy PyTorch phổ quát TorchX để khởi chạy các công việc đào tạo phân tán, cần có hai điều kiện tiên quyết: bộ lập lịch theo lô Volcano và máy chủ etcd. Giống như các plugin Neuron và EFA, chúng ta có thể sử dụng kubectl
công cụ để cài đặt Volcano và máy chủ etcd trên cụm EKS.
Đính kèm bộ nhớ dùng chung vào cụm EKS
Trong hướng dẫn, FSx cho Lustre được sử dụng để cung cấp một hệ thống tệp dùng chung hiệu suất cao mà các nhóm công nhân EKS khác nhau có thể truy cập được. Bộ nhớ dùng chung này được sử dụng để lưu trữ tập dữ liệu đào tạo, cũng như mọi thành phần lạ và nhật ký được tạo trong quá trình đào tạo. Hướng dẫn mô tả cách tạo và đính kèm bộ nhớ dùng chung vào cụm bằng cách sử dụng Trình điều khiển Amazon FSx cho Lustre CSI.
Tạo hình ảnh vùng chứa đào tạo
Tiếp theo, chúng ta cần tạo một hình ảnh vùng chứa đào tạo bao gồm tập lệnh đào tạo PyTorch cùng với bất kỳ phần phụ thuộc nào. Một Dockerfile ví dụ được bao gồm trong hướng dẫn, kết hợp tập lệnh đào tạo trước BERT cùng với các phần phụ thuộc phần mềm của nó. Dockerfile được sử dụng để xây dựng hình ảnh bộ chứa đào tạo và hình ảnh sau đó được đẩy vào kho lưu trữ ECR mà từ đó nhân viên PyTorch có thể lấy hình ảnh khi một công việc đào tạo được khởi chạy trên cụm.
Thiết lập dữ liệu huấn luyện
Trước khi khởi chạy một công việc đào tạo, dữ liệu đào tạo trước tiên được sao chép vào ổ lưu trữ dùng chung trên FSx cho Lustre. Hướng dẫn phác thảo cách tạo một nhóm Kubernetes tạm thời có quyền truy cập vào dung lượng lưu trữ dùng chung và chỉ ra cách đăng nhập vào nhóm để tải xuống và trích xuất tập dữ liệu đào tạo bằng các lệnh shell Linux tiêu chuẩn.
Với các điều kiện tiên quyết về cơ sở hạ tầng và phần mềm khác nhau, giờ đây chúng tôi có thể tập trung vào các khía cạnh Trainium của giải pháp.
Biên dịch trước mô hình của bạn
SDK Neuron hỗ trợ PyTorch thông qua một lớp tích hợp được gọi là Thần kinh PyTorch. Theo mặc định, PyTorch Neuron hoạt động với tính năng biên dịch tức thời, trong đó các biểu đồ tính toán mạng thần kinh khác nhau trong một công việc đào tạo được biên dịch khi chúng gặp phải trong quá trình đào tạo. Đối với các mô hình lớn hơn, có thể thuận tiện hơn khi sử dụng neuron_parallel_compile
công cụ để biên dịch trước và lưu trữ trước các biểu đồ tính toán khác nhau để tránh biên dịch biểu đồ trong thời gian đào tạo. Trước khi khởi chạy công việc đào tạo trên cụm EKS, hướng dẫn chỉ ra cách khởi chạy công việc biên dịch trước thông qua TorchX bằng cách sử dụng neuron_parallel_compile
dụng cụ. Sau khi hoàn thành công việc tiền biên dịch, trình biên dịch Neuron sẽ xác định và biên dịch tất cả các biểu đồ điện toán của mạng nơ-ron, đồng thời lưu chúng vào bộ nhớ cache vào bộ nhớ chung để sử dụng sau này trong công việc tiền đào tạo BERT thực tế.
Khởi chạy công việc đào tạo phân tán
Sau khi quá trình tiền biên dịch hoàn tất, TorchX sau đó được sử dụng để khởi chạy tác vụ đào tạo phân tán gồm 64 nhân viên trên hai phiên bản trn1.32xlarge, với 32 nhân viên mỗi phiên bản. Chúng tôi sử dụng 32 công nhân cho mỗi phiên bản vì mỗi phiên bản trn1.32xlarge chứa 16 trình tăng tốc Trainium, với mỗi trình tăng tốc cung cấp 2 Tế bào thần kinhLõi. Mỗi NeuronCore có thể được truy cập dưới dạng duy nhất Thiết bị PyTorch XLA trong kịch bản đào tạo. Một lệnh khởi chạy TorchX ví dụ từ hướng dẫn trông giống như đoạn mã sau:
Các đối số dòng lệnh khác nhau trong lệnh TorchX trước đó được mô tả chi tiết trong hướng dẫn. Tuy nhiên, các đối số sau đây là quan trọng nhất trong việc định cấu hình công việc đào tạo:
- -cfg queue=kiểm tra – Chỉ định hàng đợi Volcano sẽ được sử dụng cho công việc đào tạo
- -cfg image_repo – Chỉ định kho lưu trữ ECR sẽ được sử dụng cho hình ảnh bộ chứa TorchX
- –script_args – Chỉ định bất kỳ đối số nào sẽ được chuyển đến tập lệnh đào tạo PyTorch
- –nnodes và –nproc_per_node – Số lượng phiên bản và công nhân trên mỗi phiên bản sẽ sử dụng cho công việc đào tạo
- -kịch bản – Tên của tập lệnh đào tạo PyTorch sẽ khởi chạy trong vùng chứa đào tạo
- –Hình ảnh – Đường dẫn đến hình ảnh vùng chứa đào tạo trong Amazon ECR
- –bf16 – Có bật kiểu dữ liệu BF16 hay không
Theo dõi công việc đào tạo
Sau khi công việc đào tạo được triển khai, có nhiều cách khác nhau để giám sát công việc. Hướng dẫn chỉ ra cách theo dõi các chỉ số tập lệnh đào tạo cơ bản trên dòng lệnh bằng cách sử dụng kubectl
, cách theo dõi trực quan tiến trình tập lệnh đào tạo trong TensorBoard (xem ảnh chụp màn hình sau) và cách theo dõi việc sử dụng trình tăng tốc Trainium bằng cách sử dụng neuron-top
công cụ từ Neuron SDK.
Dọn dẹp hoặc tái sử dụng môi trường
Khi công việc đào tạo hoàn tất, cụm sau đó có thể được sử dụng lại hoặc định cấu hình lại cho các công việc đào tạo bổ sung. Ví dụ: nhóm nút EKS có thể nhanh chóng được mở rộng bằng cách sử dụng eksctl
để hỗ trợ các công việc đào tạo yêu cầu các phiên bản Trn1 bổ sung. Tương tự, các lệnh khởi chạy Dockerfile và TorchX được cung cấp có thể dễ dàng được sửa đổi để hỗ trợ các mô hình học sâu bổ sung và phân phối cấu trúc liên kết đào tạo.
Nếu cụm trong không còn cần thiết, hướng dẫn cũng bao gồm tất cả các bước cần thiết để loại bỏ cơ sở hạ tầng EKS và các tài nguyên liên quan.
Kết luận
Trong bài đăng này, chúng tôi đã khám phá cách các phiên bản Trn1 và Amazon EKS cung cấp một nền tảng được quản lý để đào tạo mô hình deep learning hiệu quả cao, tiết kiệm chi phí và có quy mô mở rộng quy mô lớn. Chúng tôi cũng đã chia sẻ một hướng dẫn toàn diện về cách chạy tác vụ đào tạo phân tán đa phiên bản trong thế giới thực trong Amazon EKS bằng cách sử dụng các phiên bản Trn1, đồng thời nêu bật một số bước và thành phần chính trong giải pháp. Nội dung hướng dẫn này có thể dễ dàng điều chỉnh cho các mô hình và khối lượng công việc khác, đồng thời cung cấp cho bạn giải pháp nền tảng để đào tạo phân tán các mô hình deep learning trong AWS.
Để tìm hiểu thêm về cách bắt đầu với các phiên bản Trn1 do Trainium cung cấp, hãy tham khảo phần tài liệu thần kinh.
Về các tác giả
Scott Perry là Kiến trúc sư giải pháp trong nhóm tăng tốc Annapurna ML tại AWS. Làm việc tại Canada, anh giúp khách hàng triển khai và tối ưu hóa khối lượng công việc đào tạo deep learning và suy luận bằng AWS Inferentia và AWS Trainium. Mối quan tâm của anh ấy bao gồm các mô hình ngôn ngữ lớn, học tăng cường sâu, IoT và bộ gen.
Lorea Arrizabalaga là Kiến trúc sư giải pháp phù hợp với Khu vực công của Vương quốc Anh, nơi cô giúp khách hàng thiết kế các giải pháp ML với Amazon SageMaker. Cô cũng là thành viên của Cộng đồng lĩnh vực kỹ thuật chuyên về tăng tốc phần cứng, đồng thời trợ giúp kiểm tra và đo điểm chuẩn khối lượng công việc AWS Inferentia và AWS Trainium.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/scaling-distributed-training-with-aws-trainium-and-amazon-eks/
- 1
- 100
- 11
- 2022
- 2023
- 7
- a
- Có khả năng
- Giới thiệu
- gia tốc
- máy gia tốc
- truy cập
- truy cập
- đạt được
- ngang qua
- tích cực
- thêm vào
- tiến
- tiên tiến
- Lợi thế
- căn chỉnh
- Tất cả
- Đã
- Mặc dù
- đàn bà gan dạ
- Amazon EC2
- Amazon SageMaker
- và
- Thông báo
- công bố
- Thông báo
- áp dụng
- thích hợp
- kiến trúc
- đối số
- các khía cạnh
- liên kết
- đính kèm
- thuộc tính
- sẵn có
- có sẵn
- AWS
- Hình thành đám mây AWS
- Suy luận AWS
- Băng thông
- dựa
- cơ bản
- bởi vì
- trước
- điểm chuẩn
- Lợi ích
- Tỷ
- Hoa
- rộng
- xây dựng
- Bộ nhớ cache
- gọi là
- Canada
- Snacks
- Chọn
- lựa chọn
- đám mây
- cụm
- mã
- Tập thể
- đến
- Sắp Ra Mắt
- Chung
- cộng đồng
- hoàn thành
- hoàn thành
- các thành phần
- toàn diện
- Tính
- Cấu hình
- kết nối
- Bao gồm
- Container
- Container
- chứa
- nội dung
- điều khiển
- Tiện lợi
- Trung tâm
- chi phí-hiệu quả
- tạo
- tạo ra
- Tạo
- tạo
- CSI
- Hiện nay
- khách hàng
- dữ liệu
- DDP
- dành riêng
- sâu
- học kĩ càng
- Mặc định
- triển khai
- triển khai
- mô tả
- Thiết kế
- chi tiết
- chi tiết
- phát triển
- thiết bị
- Thiết bị (Devices)
- trực tiếp
- phát hiện
- phân phối
- đào tạo phân tán
- phân phối
- tải về
- trình điều khiển
- suốt trong
- mỗi
- Sớm hơn
- Đầu
- dễ sử dụng
- dễ dàng
- hay
- cho phép
- Cuối cùng đến cuối
- Điểm cuối
- đảm bảo
- Doanh nghiệp
- Ngay cả
- ví dụ
- kích thích
- loại trừ
- tồn tại
- Khám phá
- trích xuất
- vải
- Tính quen thuộc
- lĩnh vực
- Tập tin
- Tên
- Linh hoạt
- Tập trung
- theo
- tiếp theo
- Khung
- từ
- Full
- chức năng
- Tổng Quát
- genomics
- được
- GitHub
- được
- đồ thị
- đồ thị
- Nhóm
- Hướng dẫn
- Xử lý
- phần cứng
- Trái Tim
- hữu ích
- giúp
- Cao
- hiệu suất cao
- Nhấn mạnh
- cao
- chủ nhà
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTML
- HTTPS
- Hàng trăm
- ID
- xác định
- hình ảnh
- hình ảnh
- bao hàm
- quan trọng
- in
- bao gồm
- bao gồm
- bao gồm
- Tăng lên
- lên
- Cơ sở hạ tầng
- cài đặt, dựng lên
- cài đặt
- ví dụ
- hội nhập
- lợi ích
- iốt
- IT
- Việc làm
- việc làm
- Key
- Loại
- Ngôn ngữ
- lớn
- quy mô lớn
- lớn hơn
- Trễ, muộn
- phóng
- phát động
- ra mắt
- lớp
- LEARN
- học tập
- Led
- thư viện
- Dòng
- linux
- tải
- còn
- Xem
- NHÌN
- máy
- học máy
- Chủ yếu
- quản lý
- quản lý
- ồ ạt
- Bộ nhớ
- Siêu dữ liệu
- Metrics
- ML
- mô hình
- sửa đổi
- Mô-đun
- Màn Hình
- theo dõi
- giám sát
- màn hình
- tháng
- chi tiết
- hầu hết
- nhiều
- tên
- Cần
- mạng
- mạng lưới
- mạng lưới thần kinh
- tiếp theo
- nút
- các nút
- con số
- cung cấp
- cung cấp
- chính thức
- ONE
- hoạt động
- Hoạt động
- Tối ưu hóa
- tối ưu hóa
- dàn nhạc
- gọi món
- Nền tảng khác
- nêu
- đề cương
- tổng thể
- tổng quan
- thông số
- một phần
- thông qua
- con đường
- lê
- hiệu suất
- giai đoạn
- Nơi
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Plugin
- bổ sung
- điểm
- Bài đăng
- -
- mạnh mẽ
- điều kiện tiên quyết
- quá trình
- Tiến độ
- cho
- cung cấp
- cung cấp
- cung cấp
- công khai
- Xuất bản
- đẩy
- ngọn đuốc
- Mau
- ngẫu nhiên
- thế giới thực
- tài liệu tham khảo
- khu
- vùng
- liên quan
- tẩy
- kho
- yêu cầu
- cần phải
- đòi hỏi
- Thông tin
- xem xét
- chạy
- chạy
- nhà làm hiền triết
- tương tự
- khả năng mở rộng
- khả năng mở rộng
- quy mô
- mở rộng quy mô
- sdk
- ngành
- dịch vụ
- DỊCH VỤ
- định
- một số
- chia sẻ
- Shell
- nên
- thể hiện
- Chương trình
- có ý nghĩa
- Tương tự
- kích thước
- nhỏ hơn
- So
- Phần mềm
- giải pháp
- Giải pháp
- một số
- quy định
- ngăn xếp
- độc lập
- Tiêu chuẩn
- bắt đầu
- khởi động
- Bước
- Các bước
- Vẫn còn
- là gắn
- hàng
- như vậy
- hỗ trợ
- Hỗ trợ
- Hỗ trợ
- đồng bộ hóa
- hệ thống
- bàn
- dùng
- nhóm
- Kỹ thuật
- mẫu
- tạm thời
- Kiểm tra
- Sản phẩm
- Anh
- cung cấp their dịch
- hàng ngàn
- Thông qua
- khắp
- thời gian
- đến
- công cụ
- công cụ
- Hội thảo
- đúng
- hướng dẫn
- Uk
- độc đáo
- phổ cập
- sử dụng
- người sử dang
- khác nhau
- phiên bản
- thông qua
- khối lượng
- cách
- tuần
- liệu
- cái nào
- trong khi
- sẽ
- ở trong
- công nhân
- công nhân
- sẽ
- khoai mỡ
- Bạn
- trên màn hình
- zephyrnet
- khu vực Ace