Sản phẩm SDK Python SageMaker của Amazon là thư viện mã nguồn mở để đào tạo và triển khai các mô hình học máy (ML) trên Amazon SageMaker. Khách hàng doanh nghiệp trong các ngành được kiểm soát chặt chẽ như chăm sóc sức khỏe và tài chính thiết lập các rào chắn bảo mật để đảm bảo dữ liệu của họ được mã hóa và lưu lượng truy cập không đi qua internet. Để đảm bảo việc đào tạo và triển khai mô hình ML của SageMaker tuân theo các rào cản này, thông lệ là đặt các hạn chế đối với tài khoản hoặc Tổ chức AWS mức độ thông qua các chính sách kiểm soát dịch vụ và Quản lý truy cập và nhận dạng AWS (IAM) để thực thi việc sử dụng các vai trò IAM cụ thể, Đám mây riêng ảo Amazon (Amazon VPC) cấu hình và Dịch vụ quản lý khóa AWS (AWS KMS). Trong những trường hợp như vậy, các nhà khoa học dữ liệu phải cung cấp các tham số này cho mã triển khai và đào tạo mô hình ML của họ theo cách thủ công, bằng cách ghi lại các mạng con, nhóm bảo mật và khóa KMS. Điều này đặt ra trách nhiệm cho các nhà khoa học dữ liệu phải nhớ chỉ định các cấu hình này để thực hiện thành công công việc của họ và tránh gặp phải lỗi Truy cập bị từ chối.
Bắt đầu với SageMaker Python SDK phiên bản 2.148.0, giờ đây bạn có thể định cấu hình các giá trị mặc định cho các tham số như vai trò IAM, VPC và khóa KMS. Quản trị viên và người dùng cuối có thể khởi tạo cơ sở hạ tầng AWS nguyên thủy với các giá trị mặc định được chỉ định trong tệp cấu hình ở định dạng YAML. Sau khi được định cấu hình, SDK Python sẽ tự động kế thừa các giá trị này và truyền chúng đến các lệnh gọi API SageMaker cơ bản, chẳng hạn như CreateProcessingJob()
, CreateTrainingJob()
và CreateEndpointConfig()
, không cần thực hiện thêm hành động nào. SDK cũng hỗ trợ nhiều tệp cấu hình, cho phép quản trị viên đặt tệp cấu hình cho tất cả người dùng và người dùng có thể ghi đè tệp đó thông qua cấu hình cấp người dùng có thể được lưu trữ trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3), Hệ thống tệp đàn hồi Amazon (Amazon EFS) cho Xưởng sản xuất Amazon SageMakerhoặc hệ thống tệp cục bộ của người dùng.
Trong bài đăng này, chúng tôi sẽ hướng dẫn bạn cách tạo và lưu trữ tệp cấu hình mặc định trong Studio cũng như sử dụng tính năng mặc định SDK để tạo tài nguyên SageMaker của bạn.
Tổng quan về giải pháp
Chúng tôi chứng minh tính năng mới này bằng một bản tóm tắt từ đầu đến cuối Hình thành đám mây AWS mẫu tạo cơ sở hạ tầng cần thiết và tạo miền Studio trong VPC đã triển khai. Ngoài ra, chúng tôi tạo khóa KMS để mã hóa khối lượng được sử dụng trong công việc đào tạo và xử lý. Các bước thực hiện như sau:
- Khởi chạy ngăn xếp CloudFormation trong tài khoản của bạn. Ngoài ra, nếu bạn muốn khám phá tính năng này trên miền hoặc sổ ghi chép SageMaker hiện có, hãy bỏ qua bước này.
- Điền vào
config.yaml
tập tin và lưu tập tin ở vị trí mặc định. - Chạy một sổ ghi chép mẫu với trường hợp sử dụng ML toàn diện, bao gồm xử lý dữ liệu, đào tạo mô hình và suy luận.
- Ghi đè các giá trị cấu hình mặc định.
Điều kiện tiên quyết
Trước khi bắt đầu, hãy đảm bảo bạn có tài khoản AWS và người dùng hoặc vai trò IAM có đặc quyền của quản trị viên. Nếu bạn là nhà khoa học dữ liệu hiện đang chuyển các tham số cơ sở hạ tầng tới tài nguyên trong sổ ghi chép của mình, bạn có thể bỏ qua bước tiếp theo trong việc thiết lập môi trường của mình và bắt đầu tạo tệp cấu hình.
Để sử dụng tính năng này, hãy đảm bảo nâng cấp phiên bản SDK SageMaker của bạn bằng cách chạy pip install --upgrade sagemaker
.
Thiết lập môi trường
Để triển khai cơ sở hạ tầng hoàn chỉnh bao gồm mạng và miền Studio, hãy hoàn thành các bước sau:
- Sao chép Kho GitHub.
- Đăng nhập vào tài khoản AWS của bạn và mở bảng điều khiển AWS CloudFormation.
- Để triển khai tài nguyên mạng, hãy chọn Tạo ngăn xếp.
- Tải lên mẫu dưới
setup/vpc_mode/01_networking.yaml
. - Cung cấp tên cho ngăn xếp (ví dụ:
networking-stack
) và hoàn thành các bước còn lại để tạo ngăn xếp. - Để triển khai miền Studio, hãy chọn Tạo ngăn xếp một lần nữa.
- Tải lên mẫu dưới
setup/vpc_mode/02_sagemaker_studio.yaml
. - Cung cấp tên cho ngăn xếp (ví dụ:
sagemaker-stack
) và cung cấp tên của ngăn xếp mạng khi được nhắc vềCoreNetworkingStackName
tham số. - Tiếp tục với các bước còn lại, chọn xác nhận cho tài nguyên IAM và tạo ngăn xếp.
Khi trạng thái của cả hai ngăn xếp cập nhật thành TẠO_COMPLETE, tiến hành bước tiếp theo.
Tạo tập tin cấu hình
Để sử dụng cấu hình mặc định cho SageMaker Python SDK, bạn tạo tệp config.yaml theo định dạng mà SDK mong muốn. Để biết định dạng cho tệp config.yaml, hãy tham khảo Cấu trúc tập tin cấu hình. Tùy thuộc vào môi trường làm việc của bạn, chẳng hạn như sổ ghi chép Studio, phiên bản sổ ghi chép SageMaker hoặc IDE cục bộ của bạn, bạn có thể lưu tệp cấu hình ở vị trí mặc định hoặc ghi đè giá trị mặc định bằng cách chuyển vị trí tệp cấu hình. Để biết vị trí mặc định cho các môi trường khác, hãy tham khảo Vị trí tập tin cấu hình. Các bước sau đây trình bày cách thiết lập cho môi trường sổ ghi chép Studio.
Để dễ dàng tạo config.yaml
tệp, hãy chạy các ô sau trong thiết bị đầu cuối hệ thống Studio của bạn, thay thế phần giữ chỗ bằng tên ngăn xếp CloudFormation từ bước trước:
Tập lệnh này tự động điền vào tệp YAML, thay thế phần giữ chỗ bằng các giá trị mặc định của cơ sở hạ tầng và lưu tệp vào thư mục chính. Sau đó, nó sao chép tệp vào vị trí mặc định cho sổ ghi chép Studio. Tệp cấu hình kết quả sẽ trông giống như định dạng sau:
Nếu bạn đã thiết lập cấu hình mạng và miền hiện có, hãy tạo config.yaml
ở định dạng được yêu cầu và lưu nó vào vị trí mặc định cho sổ ghi chép Studio.
Lưu ý rằng các giá trị mặc định này chỉ tự động điền các giá trị cấu hình cho các lệnh gọi SDK SageMaker thích hợp và không buộc người dùng phải tuân theo bất kỳ VPC, mạng con hoặc vai trò cụ thể nào. Với tư cách là quản trị viên, nếu bạn muốn người dùng của mình sử dụng một cấu hình hoặc vai trò cụ thể, hãy sử dụng Khóa điều kiện IAM để thực thi các giá trị mặc định.
Ngoài ra, mỗi lệnh gọi API có thể có cấu hình riêng. Ví dụ: trong mẫu tệp cấu hình trước, bạn có thể chỉ định vpc-a
và subnet-a
đối với công việc đào tạo và nêu rõ vpc-b
và subnet-c
, subnet-d
để xử lý công việc.
Chạy một sổ ghi chép mẫu
Bây giờ bạn đã đặt tệp cấu hình, bạn có thể bắt đầu chạy sổ ghi chép đào tạo và xây dựng mô hình của mình như bình thường mà không cần phải đặt rõ ràng các tham số mạng và mã hóa cho hầu hết các chức năng SDK. Nhìn thấy API và tham số được hỗ trợ để biết danh sách đầy đủ các lệnh gọi và tham số API được hỗ trợ.
Trong Studio, chọn biểu tượng File Explorer trong ngăn điều hướng và mở 03_feature_engineering/03_feature_engineering.ipynb
, như thể hiện trong ảnh chụp màn hình sau đây.
Chạy từng ô của sổ ghi chép và nhận thấy rằng bạn không chỉ định bất kỳ cấu hình bổ sung nào. Khi tạo đối tượng bộ xử lý, bạn sẽ thấy kết quả đầu ra của ô như ví dụ sau.
Như bạn có thể thấy ở đầu ra, cấu hình mặc định sẽ tự động được áp dụng cho công việc xử lý mà không cần bất kỳ đầu vào bổ sung nào từ người dùng.
Khi chạy ô tiếp theo để chạy bộ xử lý, bạn cũng có thể xác minh các giá trị mặc định được đặt bằng cách xem công việc trên bảng điều khiển SageMaker. Chọn Xử lý công việc Dưới Chế biến trong ngăn điều hướng, như minh họa trong ảnh chụp màn hình sau.
Chọn công việc xử lý có tiền tố end-to-end-ml-sm-proc
và bạn sẽ có thể xem mạng và mã hóa đã được định cấu hình.
Bạn có thể tiếp tục chạy các sổ ghi chép còn lại để đào tạo và triển khai mô hình, đồng thời bạn sẽ nhận thấy rằng các giá trị mặc định của cơ sở hạ tầng được tự động áp dụng cho cả công việc đào tạo và mô hình.
Ghi đè tệp cấu hình mặc định
Có thể có trường hợp người dùng cần ghi đè cấu hình mặc định, chẳng hạn như để thử nghiệm truy cập Internet công cộng hoặc cập nhật cấu hình mạng nếu mạng con hết địa chỉ IP. Trong những trường hợp như vậy, SDK Python cũng cho phép bạn cung cấp vị trí tùy chỉnh cho tệp cấu hình, trên bộ nhớ cục bộ hoặc bạn có thể trỏ tới một vị trí trong Amazon S3. Trong phần này, chúng ta khám phá một ví dụ.
Mở user-configs.yaml
tập tin vào thư mục chính của bạn và cập nhật EnableNetworkIsolation
có giá trị đối với True
, Dưới sự TrainingJob
phần.
Bây giờ, hãy mở cùng một sổ ghi chép và thêm ô sau vào đầu sổ ghi chép:
Với ô này, bạn trỏ vị trí của tệp cấu hình tới SDK. Bây giờ, khi tạo đối tượng bộ xử lý, bạn sẽ nhận thấy rằng cấu hình mặc định đã bị ghi đè để kích hoạt cách ly mạng và công việc xử lý sẽ không thành công ở chế độ cách ly mạng.
Bạn có thể sử dụng cùng một biến môi trường ghi đè để đặt vị trí của tệp cấu hình nếu bạn đang sử dụng môi trường cục bộ như VSCode.
Gỡ lỗi và truy xuất mặc định
Để khắc phục sự cố nhanh chóng nếu bạn gặp phải bất kỳ lỗi nào khi chạy lệnh gọi API từ sổ ghi chép của mình, đầu ra của ô sẽ hiển thị các cấu hình mặc định được áp dụng như được hiển thị trong phần trước. Để xem lệnh gọi Boto3 chính xác được tạo nhằm xem các giá trị thuộc tính được truyền từ tệp cấu hình mặc định, bạn có thể gỡ lỗi bằng cách bật tính năng ghi nhật ký Boto3. Để bật ghi nhật ký, hãy chạy ô sau ở đầu sổ ghi chép:
Mọi cuộc gọi Boto3 tiếp theo sẽ được ghi lại với yêu cầu hoàn chỉnh, hiển thị dưới phần nội dung của nhật ký.
Bạn cũng có thể xem bộ sưu tập các cấu hình mặc định bằng cách sử dụng session.sagemaker_config
giá trị như trong ví dụ sau.
Cuối cùng, nếu bạn đang sử dụng Boto3 để tạo tài nguyên SageMaker, bạn có thể truy xuất các giá trị cấu hình mặc định bằng cách sử dụng sagemaker_config
Biến đổi. Ví dụ: để chạy công việc xử lý trong 03_feature_engineering.ipynb
bằng cách sử dụng Boto3, bạn có thể nhập nội dung của ô sau vào cùng một sổ ghi chép và chạy ô:
Tự động tạo tập tin cấu hình
Đối với quản trị viên, việc phải tạo tệp cấu hình và lưu tệp vào từng phiên bản sổ ghi chép SageMaker hoặc hồ sơ người dùng Studio có thể là một nhiệm vụ khó khăn. Mặc dù bạn có thể khuyến nghị người dùng sử dụng một tệp chung được lưu trữ ở vị trí S3 mặc định, nhưng điều đó sẽ gây thêm chi phí cho việc chỉ định ghi đè đối với các nhà khoa học dữ liệu.
Để tự động hóa việc này, quản trị viên có thể sử dụng Cấu hình vòng đời SageMaker (LCC). Đối với hồ sơ người dùng Studio hoặc phiên bản sổ ghi chép, bạn có thể đính kèm tập lệnh LCC mẫu sau làm LCC mặc định cho ứng dụng Máy chủ Jupyter mặc định của người dùng:
Xem Sử dụng Cấu hình vòng đời cho Amazon SageMaker Studio or Tùy chỉnh phiên bản Notebook để biết hướng dẫn về cách tạo và đặt tập lệnh vòng đời mặc định.
Làm sạch
Khi bạn thử nghiệm xong tính năng này, hãy dọn sạch tài nguyên của bạn để tránh phải trả thêm chi phí. Nếu bạn đã cung cấp tài nguyên mới như được chỉ định trong bài đăng này, hãy hoàn thành các bước sau để dọn sạch tài nguyên của bạn:
- Tắt ứng dụng Studio của bạn đối với hồ sơ người dùng. Nhìn thấy Tắt và cập nhật các ứng dụng Studio và SageMaker Studio để được hướng dẫn. Đảm bảo rằng tất cả các ứng dụng đã bị xóa trước khi xóa ngăn xếp.
- Xóa khối lượng EFS được tạo cho miền Studio. Bạn có thể xem khối lượng EFS được đính kèm với tên miền bằng cách sử dụng Mô tả tên miền Lệnh gọi API.
- Xóa ngăn xếp miền Studio.
- Xóa các nhóm bảo mật đã tạo cho miền Studio. Bạn có thể tìm thấy chúng trên Đám mây điện toán đàn hồi Amazon Bảng điều khiển (Amazon EC2), có tên security-group-for-inbound-nfs-d-xxx và security-group-for-outbound-nfs-d-xxx
- Xóa ngăn xếp mạng.
Kết luận
Trong bài đăng này, chúng tôi đã thảo luận về cách định cấu hình và sử dụng các giá trị mặc định cho các tham số cơ sở hạ tầng chính bằng SageMaker Python SDK. Điều này cho phép quản trị viên đặt cấu hình mặc định cho các nhà khoa học dữ liệu, từ đó tiết kiệm thời gian cho người dùng và quản trị viên, loại bỏ gánh nặng chỉ định tham số lặp đi lặp lại và tạo ra mã gọn gàng hơn và dễ quản lý hơn. Để biết danh sách đầy đủ các tham số và API được hỗ trợ, hãy xem Định cấu hình và sử dụng các giá trị mặc định với SageMaker Python SDK. Đối với bất kỳ câu hỏi và thảo luận, hãy tham gia Cộng đồng Machine Learning & AI.
Về các tác giả
Giuseppe Angelo Porcelli là Kiến trúc sư chính về Giải pháp Chuyên gia về Máy học cho Dịch vụ Web của Amazon. Với nền tảng ML nhiều năm về kỹ thuật phần mềm, anh ấy làm việc với khách hàng ở mọi quy mô để hiểu sâu sắc nhu cầu kinh doanh và kỹ thuật của họ, đồng thời thiết kế các giải pháp AI và Machine Learning để tận dụng tốt nhất Đám mây AWS và ngăn xếp Amazon Machine Learning. Anh ấy đã làm việc trong các dự án trong các lĩnh vực khác nhau, bao gồm MLOps, Computer Vision, NLP và liên quan đến một loạt các dịch vụ AWS. Khi rảnh rỗi, Giuseppe thích chơi bóng đá.
Bruno Pistone là Kiến trúc sư giải pháp chuyên gia AI/ML cho AWS có trụ sở tại Milan. Anh ấy làm việc với khách hàng ở mọi quy mô để giúp họ hiểu sâu sắc nhu cầu kỹ thuật của mình và thiết kế các giải pháp AI và Machine Learning giúp tận dụng tốt nhất Đám mây AWS và ngăn xếp Machine Learning của Amazon. Lĩnh vực chuyên môn của ông là Học máy từ đầu đến cuối, Công nghiệp hóa học máy và MLOps. Anh ấy thích dành thời gian với bạn bè và khám phá những địa điểm mới cũng như đi du lịch đến những điểm đến mới.
Durga Sury là Kiến trúc sư giải pháp ML trong nhóm Amazon SageMaker Service SA. Cô ấy đam mê làm cho máy học có thể tiếp cận được với mọi người. Trong 4 năm làm việc tại AWS, cô đã giúp thiết lập các nền tảng AI/ML cho khách hàng doanh nghiệp. Khi không làm việc, cô ấy thích cưỡi mô tô, tiểu thuyết trinh thám và đi bộ đường dài với chú chó husky 5 tuổi của mình.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoAiStream. Thông minh dữ liệu Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Đúc kết tương lai với Adryenn Ashley. Truy cập Tại đây.
- Mua và bán cổ phần trong các công ty PRE-IPO với PREIPO®. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/configure-and-use-defaults-for-amazon-sagemaker-resources-with-the-sagemaker-python-sdk/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 1
- 10
- 100
- 20
- 30
- 60
- 7
- 9
- a
- Có khả năng
- Giới thiệu
- truy cập
- có thể truy cập
- Tài khoản
- hành động
- thêm vào
- Ngoài ra
- thêm vào
- địa chỉ
- quản trị
- một lần nữa
- AI
- AI / ML
- Tất cả
- Cho phép
- cho phép
- Đã
- Ngoài ra
- Mặc dù
- đàn bà gan dạ
- Amazon EC2
- Học máy Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- và
- bất kì
- api
- API
- ứng dụng
- áp dụng
- thích hợp
- ứng dụng
- LÀ
- AS
- At
- đính kèm
- tự động hóa
- tự động
- tránh
- AWS
- Hình thành đám mây AWS
- lý lịch
- dựa
- BE
- được
- trước
- Bắt đầu
- BEST
- thân hình
- cả hai
- rộng
- Xây dựng
- gánh nặng
- kinh doanh
- by
- cuộc gọi
- Cuộc gọi
- CAN
- trường hợp
- trường hợp
- CD
- Tế bào
- Chọn
- khách hàng
- đám mây
- mã
- bộ sưu tập
- Chung
- hoàn thành
- Tính
- máy tính
- Tầm nhìn máy tính
- điều kiện
- Cấu hình
- An ủi
- nội dung
- tiếp tục
- điều khiển
- kiểm soát
- Chi phí
- có thể
- tạo
- tạo ra
- tạo ra
- Tạo
- Hiện nay
- khách hàng
- khách hàng
- dữ liệu
- xử lý dữ liệu
- nhà khoa học dữ liệu
- Mặc định
- mặc định
- chứng minh
- Tùy
- triển khai
- triển khai
- triển khai
- triển khai
- Thiết kế
- khu
- khác nhau
- thảo luận
- thảo luận
- màn hình
- Không
- miền
- lĩnh vực
- thực hiện
- dont
- xuống
- mỗi
- dễ dàng
- bỏ lỡ
- hay
- loại bỏ
- cho phép
- mã hóa
- mã hóa
- cuối
- Cuối cùng đến cuối
- Điểm cuối
- thi hành
- Kỹ Sư
- đảm bảo
- đăng ký hạng mục thi
- Doanh nghiệp
- Môi trường
- môi trường
- lỗi
- mọi người
- ví dụ
- hiện tại
- kỳ vọng
- thử nghiệm
- chuyên môn
- khám phá
- người khám phá
- Khám phá
- FAIL
- sai
- Đặc tính
- lĩnh vực
- Tập tin
- Các tập tin
- tài chính
- Tìm kiếm
- theo
- tiếp theo
- sau
- Bóng đá
- Trong
- định dạng
- Miễn phí
- bạn bè
- từ
- Full
- chức năng
- được
- nhận được
- đi
- Các nhóm
- Có
- có
- he
- chăm sóc sức khỏe
- đã giúp
- giúp đỡ
- cô
- của mình
- Trang Chủ
- Độ đáng tin của
- Hướng dẫn
- HTML
- http
- HTTPS
- ICON
- Bản sắc
- if
- nhập khẩu
- in
- Bao gồm
- các ngành công nghiệp
- Cơ sở hạ tầng
- đầu vào
- cài đặt, dựng lên
- ví dụ
- hướng dẫn
- Giao thức
- Internet
- truy cập internet
- trong
- liên quan đến
- IP
- Địa chỉ IP
- cô lập
- IT
- ITS
- Việc làm
- việc làm
- tham gia
- jpg
- Key
- phím
- lớn
- học tập
- Cấp
- Thư viện
- vòng đời
- Lượt thích
- Danh sách
- địa phương
- địa điểm thư viện nào
- . Các địa điểm
- đăng nhập
- đăng nhập
- khai thác gỗ
- dài
- Xem
- yêu
- máy
- học máy
- làm cho
- Làm
- quản lý
- thủ công
- MILAN
- ML
- MLOps
- Chế độ
- kiểu mẫu
- mô hình
- chi tiết
- hầu hết
- xe mô tô
- nhiều
- Trinh thám
- tên
- tên
- THÔNG TIN
- Cần
- cần thiết
- cần
- nhu cầu
- mạng
- mạng lưới
- Mới
- tiếp theo
- nlp
- Không
- máy tính xách tay
- Để ý..
- Lưu ý
- tại
- vật
- of
- on
- hàng loạt
- ONE
- mở
- mã nguồn mở
- or
- OS
- Nền tảng khác
- ra
- đầu ra
- ghi đè
- riêng
- cửa sổ
- tham số
- thông số
- thông qua
- Đi qua
- đam mê
- trả tiền
- Nơi
- Nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- chơi
- Điểm
- Chính sách
- Bài đăng
- thực hành
- trước
- Hiệu trưởng
- riêng
- đặc quyền
- xử lý
- Bộ xử lý
- Hồ sơ
- Profiles
- dự án
- cho
- công khai
- Puts
- Python
- Câu hỏi
- Nhanh chóng
- giới thiệu
- còn lại
- nhớ
- yêu cầu
- cần phải
- Thông tin
- phản ứng
- hạn chế
- kết quả
- Vai trò
- vai trò
- chạy
- chạy
- s
- SA
- nhà làm hiền triết
- tương tự
- Lưu
- tiết kiệm
- Nhà khoa học
- các nhà khoa học
- sdk
- Phần
- an ninh
- xem
- dịch vụ
- DỊCH VỤ
- Phiên
- định
- thiết lập
- thiết lập
- một số
- chị ấy
- nên
- hiển thị
- giới thiệu
- thể hiện
- tương tự
- Đơn giản
- đơn giản
- Kích thước máy
- Phần mềm
- kỹ thuật phần mềm
- Giải pháp
- một cái gì đó
- chuyên gia
- riêng
- quy định
- Chi
- ngăn xếp
- Stacks
- Bắt đầu
- bắt đầu
- Trạng thái
- Bước
- Các bước
- là gắn
- hàng
- lưu trữ
- phòng thu
- subnet
- mạng con
- tiếp theo
- Thành công
- như vậy
- Hỗ trợ
- Hỗ trợ
- hệ thống
- Nhiệm vụ
- nhóm
- Kỹ thuật
- mẫu
- Thiết bị đầu cuối
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- sau đó
- bằng cách ấy
- Kia là
- điều này
- Thông qua
- chặt lấy
- thời gian
- đến
- hàng đầu
- giao thông
- Train
- Hội thảo
- XOAY
- Quay
- Dưới
- cơ bản
- hiểu
- Cập nhật
- nâng cấp
- Sử dụng
- sử dụng
- ca sử dụng
- đã sử dụng
- người sử dang
- Người sử dụng
- sử dụng
- giá trị
- Các giá trị
- xác minh
- phiên bản
- thông qua
- Xem
- xem
- ảo
- có thể nhìn thấy
- tầm nhìn
- khối lượng
- khối lượng
- muốn
- we
- web
- các dịch vụ web
- TỐT
- khi nào
- sẽ
- với
- không có
- Công việc
- làm việc
- đang làm việc
- công trinh
- khoai mỡ
- năm
- Bạn
- trên màn hình
- zephyrnet