Đây là Phần 3 trong loạt bài của chúng tôi, nơi chúng tôi thiết kế và triển khai quy trình MLOps để kiểm tra chất lượng hình ảnh ở rìa. Trong bài đăng này, chúng tôi tập trung vào cách tự động hóa phần triển khai biên của quy trình MLOps end-to-end. Chúng tôi chỉ cho bạn cách sử dụng Cỏ xanh AWS IoT để quản lý suy luận mô hình ở biên và cách tự động hóa quy trình bằng cách sử dụng Chức năng bước AWS và các dịch vụ AWS khác.
Tổng quan về giải pháp
In Phần 1 Trong loạt bài này, chúng tôi đã trình bày kiến trúc cho quy trình MLOps đầu cuối giúp tự động hóa toàn bộ quy trình học máy (ML), từ ghi nhãn dữ liệu đến đào tạo và triển khai mô hình ở biên. TRONG Phần 2, chúng tôi đã trình bày cách tự động hóa các phần ghi nhãn và đào tạo mô hình của quy trình.
Trường hợp sử dụng mẫu được sử dụng cho loạt bài này là một giải pháp kiểm tra chất lượng hình ảnh có thể phát hiện các khuyết tật trên thẻ kim loại mà bạn có thể triển khai như một phần của quy trình sản xuất. Sơ đồ sau đây cho thấy kiến trúc cấp cao của đường dẫn MLOps mà chúng tôi đã xác định ở phần đầu của loạt bài này. Nếu bạn chưa đọc nó, chúng tôi khuyên bạn nên kiểm tra Phần 1.
Tự động hóa việc triển khai biên của mô hình ML
Sau khi mô hình ML được đào tạo và đánh giá, mô hình đó cần được triển khai vào hệ thống sản xuất để tạo ra giá trị kinh doanh bằng cách đưa ra dự đoán về dữ liệu đến. Quá trình này có thể nhanh chóng trở nên phức tạp trong môi trường biên nơi các mô hình cần được triển khai và chạy trên các thiết bị thường ở xa môi trường đám mây nơi các mô hình đã được đào tạo. Sau đây là một số thách thức đặc biệt đối với học máy ở biên:
- Các mô hình ML thường cần được tối ưu hóa do hạn chế về tài nguyên trên các thiết bị biên
- Không thể triển khai lại hoặc thậm chí thay thế các thiết bị Edge như máy chủ trên đám mây, vì vậy bạn cần có quy trình quản lý thiết bị và triển khai mô hình mạnh mẽ
- Giao tiếp giữa các thiết bị và đám mây cần phải hiệu quả và an toàn vì nó thường truyền qua các mạng băng thông thấp không đáng tin cậy
Hãy xem cách chúng tôi có thể giải quyết những thách thức này bằng dịch vụ AWS ngoài việc xuất mô hình ở định dạng ONNX, chẳng hạn như cho phép chúng tôi áp dụng các tối ưu hóa như lượng tử hóa để giảm kích thước mô hình cho các thiết bị ràng buộc. ONNX cũng cung cấp thời gian chạy được tối ưu hóa cho các nền tảng phần cứng biên phổ biến nhất.
Chia nhỏ quy trình triển khai biên, chúng tôi yêu cầu hai thành phần:
- Cơ chế triển khai để phân phối mô hình, bao gồm chính mô hình đó và một số logic nghiệp vụ để quản lý và tương tác với mô hình
- Một công cụ xử lý công việc có thể điều phối toàn bộ quy trình để làm cho quy trình này trở nên mạnh mẽ và có thể lặp lại
Trong ví dụ này, chúng tôi sử dụng các dịch vụ AWS khác nhau để xây dựng cơ chế triển khai biên tự động, tích hợp tất cả các thành phần bắt buộc mà chúng tôi đã thảo luận.
Đầu tiên, chúng tôi mô phỏng một thiết bị biên. Để giúp bạn dễ dàng thực hiện quy trình làm việc từ đầu đến cuối, chúng tôi sử dụng một Đám mây điện toán đàn hồi Amazon (Amazon EC2) để mô phỏng thiết bị biên bằng cách cài đặt phần mềm AWS IoT Greengrass Core trên phiên bản. Bạn cũng có thể sử dụng phiên bản EC2 để xác thực các thành phần khác nhau trong quy trình QA trước khi triển khai lên thiết bị sản xuất biên thực tế. AWS IoT Greengrass là dịch vụ đám mây và thời gian chạy biên mã nguồn mở Internet of Things (IoT) giúp bạn xây dựng, triển khai và quản lý phần mềm thiết bị biên. AWS IoT Greengrass giúp giảm nỗ lực xây dựng, triển khai và quản lý phần mềm thiết bị biên một cách an toàn và có thể mở rộng. Sau khi cài đặt phần mềm AWS IoT Greengrass Core trên thiết bị của mình, bạn có thể thêm hoặc xóa các tính năng và thành phần cũng như quản lý các ứng dụng thiết bị IoT bằng AWS IoT Greengrass. Nó cung cấp nhiều thành phần tích hợp để giúp cuộc sống của bạn dễ dàng hơn, chẳng hạn như các thành phần môi giới StreamManager và MQTT mà bạn có thể sử dụng để giao tiếp an toàn với đám mây, hỗ trợ mã hóa đầu cuối. Bạn có thể sử dụng các tính năng đó để tải lên kết quả suy luận và hình ảnh một cách hiệu quả.
Trong môi trường sản xuất, bạn thường có một máy ảnh công nghiệp cung cấp hình ảnh mà mô hình ML sẽ đưa ra dự đoán. Để thiết lập, chúng tôi mô phỏng đầu vào hình ảnh này bằng cách tải các hình ảnh cài sẵn lên một thư mục cụ thể trên thiết bị cạnh. Sau đó chúng tôi sử dụng những hình ảnh này làm đầu vào suy luận cho mô hình.
Chúng tôi đã chia quá trình triển khai và suy luận tổng thể thành ba bước liên tiếp để triển khai mô hình ML được đào tạo trên nền tảng đám mây sang môi trường biên và sử dụng mô hình đó để dự đoán:
- Chuẩn bị – Đóng gói mô hình đã huấn luyện để triển khai biên.
- Triển khai – Chuyển mô hình và các thành phần suy luận từ đám mây sang thiết bị biên.
- Sự suy luận – Load mô hình và chạy mã suy luận để dự đoán hình ảnh.
Sơ đồ kiến trúc sau đây trình bày chi tiết về quy trình ba bước này và cách chúng tôi triển khai quy trình đó bằng các dịch vụ AWS.
Trong các phần sau, chúng tôi thảo luận chi tiết về từng bước và chỉ ra cách nhúng quy trình này vào quy trình điều phối và CI/CD tự động và có thể lặp lại cho cả mô hình ML và mã suy luận tương ứng.
Chuẩn bị
Các thiết bị biên thường có khả năng tính toán và bộ nhớ hạn chế so với môi trường đám mây nơi CPU và GPU mạnh mẽ có thể chạy các mô hình ML một cách dễ dàng. Các kỹ thuật tối ưu hóa mô hình khác nhau cho phép bạn điều chỉnh mô hình cho nền tảng phần mềm hoặc phần cứng cụ thể để tăng tốc độ dự đoán mà không làm giảm độ chính xác.
Trong ví dụ này, chúng tôi đã xuất mô hình được đào tạo trong quy trình đào tạo sang định dạng ONNX để có tính di động, khả năng tối ưu hóa có thể cũng như thời gian chạy biên được tối ưu hóa và đăng ký mô hình trong Cơ quan đăng ký mô hình Amazon SageMaker. Ở bước này, chúng ta tạo thành phần mô hình Greengrass mới bao gồm mô hình đã đăng ký mới nhất để triển khai tiếp theo.
Triển khai
Cơ chế triển khai an toàn và đáng tin cậy là chìa khóa khi triển khai mô hình từ đám mây sang thiết bị biên. Vì AWS IoT Greengrass đã tích hợp hệ thống triển khai biên mạnh mẽ và an toàn nên chúng tôi sử dụng hệ thống này cho mục đích triển khai của mình. Trước khi xem xét chi tiết quy trình triển khai của mình, hãy tóm tắt nhanh về cách hoạt động của quá trình triển khai AWS IoT Greengrass. Cốt lõi của hệ thống triển khai AWS IoT Greengrass là các thành phần, xác định các mô-đun phần mềm được triển khai cho thiết bị biên chạy AWS IoT Greengrass Core. Đây có thể là các thành phần riêng tư mà bạn xây dựng hoặc các thành phần công khai được cung cấp bởi AWS hoặc rộng hơn Cộng đồng cỏ xanh. Nhiều thành phần có thể được nhóm lại với nhau như một phần của quá trình triển khai. Cấu hình triển khai xác định các thành phần có trong quá trình triển khai và các thiết bị đích của quá trình triển khai. Nó có thể được xác định trong tệp cấu hình triển khai (JSON) hoặc thông qua bảng điều khiển AWS IoT Greengrass khi tạo một triển khai mới.
Chúng tôi tạo hai thành phần Greengrass sau, sau đó được triển khai đến thiết bị biên thông qua quy trình triển khai:
- Mô hình đóng gói (thành phần riêng tư) – Thành phần này chứa mô hình ML được đào tạo ở định dạng ONNX.
- Mã suy luận (thành phần riêng tư) – Ngoài chính mô hình ML, chúng ta cần triển khai một số logic ứng dụng để xử lý các tác vụ như chuẩn bị dữ liệu, liên lạc với mô hình để suy luận và xử lý hậu kỳ các kết quả suy luận. Trong ví dụ của chúng tôi, chúng tôi đã phát triển một thành phần riêng tư dựa trên Python để xử lý các tác vụ sau:
- Cài đặt các thành phần thời gian chạy cần thiết như gói Python Ultralytics YOLOv8.
- Thay vì lấy hình ảnh từ luồng trực tiếp của camera, chúng tôi mô phỏng việc này bằng cách tải hình ảnh đã chuẩn bị sẵn từ một thư mục cụ thể và chuẩn bị dữ liệu hình ảnh theo yêu cầu đầu vào của mô hình.
- Thực hiện lệnh gọi suy luận đối với mô hình đã tải với dữ liệu hình ảnh đã chuẩn bị.
- Kiểm tra dự đoán và tải kết quả suy luận lên đám mây.
Nếu bạn muốn tìm hiểu sâu hơn về mã suy luận mà chúng tôi đã xây dựng, hãy tham khảo phần Repo GitHub.
Sự suy luận
Quá trình suy luận mô hình trên thiết bị biên sẽ tự động bắt đầu sau khi triển khai xong các thành phần nói trên. Thành phần suy luận tùy chỉnh chạy định kỳ mô hình ML với hình ảnh từ một thư mục cục bộ. Kết quả suy luận trên mỗi ảnh trả về từ mô hình là một tensor có nội dung như sau:
- Điểm tin cậy – Độ tin cậy của mô hình đối với việc phát hiện
- tọa độ đối tượng – Tọa độ đối tượng vết xước (x, y, chiều rộng, chiều cao) được mô hình trong ảnh phát hiện
Trong trường hợp của chúng tôi, thành phần suy luận sẽ đảm nhiệm việc gửi kết quả suy luận đến một chủ đề MQTT cụ thể trên AWS IoT, nơi có thể đọc kết quả suy luận đó để xử lý thêm. Bạn có thể xem những thông báo này thông qua ứng dụng khách thử nghiệm MQTT trên bảng điều khiển AWS IoT để gỡ lỗi. Trong cài đặt sản xuất, bạn có thể quyết định tự động thông báo cho một hệ thống khác phụ trách loại bỏ thẻ kim loại bị lỗi khỏi dây chuyền sản xuất.
Dàn nhạc
Như đã thấy trong các phần trước, cần có nhiều bước để chuẩn bị và triển khai mô hình ML, mã suy luận tương ứng cũng như thời gian chạy hoặc tác nhân cần thiết cho thiết bị biên. Step Functions là một dịch vụ được quản lý hoàn toàn cho phép bạn sắp xếp các bước chuyên dụng này và thiết kế quy trình làm việc dưới dạng máy trạng thái. Bản chất phi máy chủ của dịch vụ này và các khả năng gốc của Step Functions như tích hợp API dịch vụ AWS cho phép bạn thiết lập nhanh quy trình làm việc này. Các khả năng tích hợp sẵn như thử lại hoặc ghi nhật ký là những điểm quan trọng để xây dựng sự phối hợp mạnh mẽ. Để biết thêm chi tiết về bản thân định nghĩa máy trạng thái, hãy tham khảo Kho GitHub hoặc kiểm tra biểu đồ máy trạng thái trên bảng điều khiển Step Functions sau khi bạn triển khai ví dụ này trong tài khoản của mình.
Triển khai và tích hợp cơ sở hạ tầng vào CI/CD
Quy trình CI/CD để tích hợp và xây dựng tất cả các thành phần cơ sở hạ tầng cần thiết tuân theo cùng một mẫu được minh họa trong Phần 1 của loạt bài này. Chúng tôi sử dụng Bộ công cụ phát triển đám mây AWS (AWS CDK) để triển khai các quy trình cần thiết từ Đường ống dẫn mã AWS.
Học hỏi
Có nhiều cách để xây dựng kiến trúc cho hệ thống triển khai biên mô hình ML tự động, mạnh mẽ và an toàn. Hệ thống này thường phụ thuộc rất nhiều vào trường hợp sử dụng và các yêu cầu khác. Tuy nhiên, chúng tôi muốn chia sẻ với bạn một số điều sau đây:
- Đánh giá trước nếu bổ sung Yêu cầu về tài nguyên tính toán của AWS IoT Greengrass phù hợp với trường hợp của bạn, đặc biệt là với các thiết bị cạnh bị hạn chế.
- Thiết lập cơ chế triển khai tích hợp bước xác minh các tạo phẩm đã triển khai trước khi chạy trên thiết bị biên để đảm bảo không xảy ra giả mạo trong quá trình truyền.
- Cách tốt nhất là giữ các thành phần triển khai trên AWS IoT Greengrass ở dạng mô-đun và khép kín nhất có thể để có thể triển khai chúng một cách độc lập. Ví dụ: nếu bạn có một mô-đun mã suy luận tương đối nhỏ nhưng có mô hình ML lớn về kích thước, thì không phải lúc nào bạn cũng muốn triển khai cả hai mô-đun đó nếu chỉ mã suy luận đã thay đổi. Điều này đặc biệt quan trọng khi bạn có băng thông hạn chế hoặc khả năng kết nối thiết bị biên có chi phí cao.
Kết luận
Điều này kết thúc loạt bài gồm ba phần của chúng tôi về việc xây dựng quy trình MLOps từ đầu đến cuối để kiểm tra chất lượng hình ảnh ở rìa. Chúng tôi đã xem xét những thách thức bổ sung đi kèm với việc triển khai mô hình ML ở biên như đóng gói mô hình hoặc điều phối triển khai phức tạp. Chúng tôi đã triển khai quy trình theo cách hoàn toàn tự động để có thể đưa mô hình của mình vào sản xuất theo cách mạnh mẽ, an toàn, có thể lặp lại và có thể theo dõi. Vui lòng sử dụng kiến trúc và cách triển khai được phát triển trong loạt bài này làm điểm khởi đầu cho dự án hỗ trợ ML tiếp theo của bạn. Nếu bạn có bất kỳ câu hỏi nào về cách thiết kế và xây dựng một hệ thống như vậy cho môi trường của mình, vui lòng tiếp cận. Đối với các chủ đề và trường hợp sử dụng khác, hãy tham khảo Machine Learning và IOT blog.
Giới thiệu về tác giả
Michael Roth là Kiến trúc sư giải pháp cấp cao tại AWS, hỗ trợ các khách hàng Sản xuất tại Đức giải quyết các thách thức kinh doanh của họ thông qua công nghệ AWS. Ngoài công việc và gia đình, anh ấy còn quan tâm đến xe thể thao và thích cà phê Ý.
Jörg Wöhrle là Kiến trúc sư giải pháp tại AWS, làm việc với các khách hàng sản xuất ở Đức. Với niềm đam mê tự động hóa, Joerg đã từng làm việc với tư cách là nhà phát triển phần mềm, kỹ sư DevOps và Kỹ sư về độ tin cậy của trang web trong thời gian trước AWS. Ngoài đám mây, anh ấy là một người chạy bộ đầy tham vọng và tận hưởng khoảng thời gian vui vẻ bên gia đình. Vì vậy, nếu bạn có một thử thách DevOps hoặc muốn chạy bộ: hãy cho anh ấy biết.
Johannes Langer là Kiến trúc sư giải pháp cấp cao tại AWS, làm việc với các khách hàng doanh nghiệp ở Đức. Johannes đam mê áp dụng học máy để giải quyết các vấn đề kinh doanh thực tế. Trong cuộc sống cá nhân của mình, Johannes thích thực hiện các dự án cải tạo nhà cửa và dành thời gian ở ngoài trời cùng gia đình.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-for-visual-quality-inspection-at-the-edge-part-3/
- : có
- :là
- :Ở đâu
- $ LÊN
- 150
- 7
- a
- Có khả năng
- Giới thiệu
- Theo
- Tài khoản
- chính xác
- thực tế
- thêm vào
- Ngoài ra
- thêm vào
- tiến
- Sau
- chống lại
- Đại lý
- Tất cả
- cho phép
- cho phép
- Đã
- Ngoài ra
- luôn luôn
- đàn bà gan dạ
- Amazon EC2
- Amazon Web Services
- đầy tham vọng
- an
- và
- Một
- bất kì
- api
- Các Ứng Dụng
- các ứng dụng
- Đăng Nhập
- Nộp đơn
- kiến trúc
- LÀ
- AS
- qua một bên
- At
- tự động hóa
- Tự động
- tự động hóa
- tự động
- Tự động hóa
- xa
- AWS
- Cỏ xanh AWS IoT
- trở lại
- Băng thông
- BE
- bởi vì
- trở nên
- được
- trước
- Bắt đầu
- ngoài ra
- giữa
- Ngoài
- lớn
- blog
- cả hai
- rộng hơn
- người môi giới
- xây dựng
- Xây dựng
- xây dựng
- được xây dựng trong
- kèm
- kinh doanh
- nhưng
- by
- Cuộc gọi
- máy ảnh
- CAN
- khả năng
- mà
- xe ô tô
- trường hợp
- trường hợp
- thách thức
- thách thức
- thay đổi
- kiểm tra
- kiểm tra
- khách hàng
- đám mây
- mã
- Cà Phê
- Đến
- Chung
- giao tiếp
- Giao tiếp
- so
- phức tạp
- thành phần
- các thành phần
- Tính
- tự tin
- Cấu hình
- Kết nối
- liên tiếp
- An ủi
- khó khăn
- chứa
- nội dung
- Trung tâm
- phần mềm cốt lõi
- Tương ứng
- Phí Tổn
- tạo
- Tạo
- khách hàng
- khách hàng
- dữ liệu
- Chuẩn bị dữ liệu
- quyết định
- dành riêng
- sâu sắc hơn
- định nghĩa
- xác định
- Xác định
- định nghĩa
- phân phối
- giao hàng
- phụ thuộc
- triển khai
- triển khai
- triển khai
- triển khai
- triển khai
- Thiết kế
- chi tiết
- chi tiết
- phát hiện
- phát hiện
- phát triển
- Nhà phát triển
- Phát triển
- thiết bị
- Thiết bị (Devices)
- khác nhau
- thảo luận
- thảo luận
- Chia
- do
- dont
- xuống
- hai
- suốt trong
- mỗi
- dễ dàng hơn
- dễ dàng
- Cạnh
- hiệu quả
- hiệu quả
- nỗ lực
- hay
- nhúng
- mã hóa
- Cuối cùng đến cuối
- Động cơ
- ky sư
- đảm bảo
- Doanh nghiệp
- Toàn bộ
- Môi trường
- đặc biệt
- đánh giá
- Ngay cả
- ví dụ
- gia đình
- xa
- Thời trang
- bị lỗi
- Tính năng
- cảm thấy
- vài
- Tập tin
- phù hợp với
- Tập trung
- tiếp theo
- sau
- Trong
- hình thức
- định dạng
- Miễn phí
- từ
- đầy đủ
- chức năng
- xa hơn
- tạo ra
- Nước Đức
- Go
- tốt
- GPU
- đồ thị
- xử lý
- đã xảy ra
- phần cứng
- Có
- cao
- giúp
- tại đây
- Cao
- cấp độ cao
- anh ta
- của mình
- Trang Chủ
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTML
- http
- HTTPS
- if
- hình ảnh
- hình ảnh
- thực hiện
- thực hiện
- thực hiện
- quan trọng
- cải thiện
- in
- bao gồm
- bao gồm
- Bao gồm
- Incoming
- Tăng lên
- độc lập
- công nghiệp
- Cơ sở hạ tầng
- đầu vào
- cài đặt, dựng lên
- Cài đặt
- ví dụ
- tích hợp
- Tích hợp
- hội nhập
- tích hợp
- tương tác
- quan tâm
- Internet
- Internet của sự vật
- trong
- iốt
- Thiết bị IoT
- IT
- người Ý
- chính nó
- jpg
- json
- chỉ
- Giữ
- Key
- Biết
- ghi nhãn
- mới nhất
- học tập
- cho phép
- Cuộc sống
- Lượt thích
- Hạn chế
- Dòng
- sống
- tải
- tải
- địa phương
- nằm
- khai thác gỗ
- logic
- Xem
- nhìn
- mất
- Rất nhiều
- máy
- học máy
- làm cho
- Làm
- quản lý
- quản lý
- quản lý
- sản xuất
- cơ chế
- Bộ nhớ
- tin nhắn
- kim loại
- Michael
- ML
- MLOps
- kiểu mẫu
- mô hình
- mô-đun
- Mô-đun
- Modules
- chi tiết
- hầu hết
- nhiều
- tự nhiên
- Thiên nhiên
- Cần
- nhu cầu
- Mới
- tiếp theo
- Không
- vật
- of
- Cung cấp
- thường
- on
- mã nguồn mở
- tối ưu hóa
- or
- dàn nhạc
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- ngoài trời
- tổng thể
- gói
- bao bì
- một phần
- các bộ phận
- niềm đam mê
- đam mê
- Họa tiết
- mỗi
- riêng
- đường ống dẫn
- nền tảng
- Nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- xin vui lòng
- Điểm
- điểm
- tính di động
- có thể
- Bài đăng
- mạnh mẽ
- thực hành
- dự đoán
- Dự đoán
- chuẩn bị
- Chuẩn bị
- chuẩn bị
- chuẩn bị
- riêng
- vấn đề
- quá trình
- xử lý
- sản xuất
- Sản lượng
- dự án
- dự án
- cung cấp
- cung cấp
- công khai
- mục đích
- đặt
- Python
- Q & A
- chất lượng
- Câu hỏi
- Nhanh chóng
- Mau
- Đọc
- thực
- tóm tắt
- giới thiệu
- giảm
- làm giảm
- xem
- về
- đăng ký
- tương đối
- độ tin cậy
- đáng tin cậy
- tẩy
- loại bỏ
- có thể lặp lại
- thay thế
- yêu cầu
- cần phải
- Yêu cầu
- tài nguyên
- kết quả
- Kết quả
- mạnh mẽ
- chạy
- Á hậu
- chạy
- chạy
- nhà làm hiền triết
- tương tự
- khả năng mở rộng
- xước
- phần
- an toàn
- an toàn
- xem
- đã xem
- gửi
- cao cấp
- Loạt Sách
- máy chủ
- Không có máy chủ
- dịch vụ
- DỊCH VỤ
- định
- thiết lập
- thiết lập
- Chia sẻ
- nên
- hiển thị
- cho thấy
- Chương trình
- website
- Kích thước máy
- nhỏ
- So
- Phần mềm
- giải pháp
- Giải pháp
- động SOLVE
- một số
- riêng
- tốc độ
- Chi
- Thể thao
- Bắt đầu
- bắt đầu
- Tiểu bang
- Bước
- Các bước
- đơn giản
- dòng
- tiếp theo
- như vậy
- Hỗ trợ
- hệ thống
- giải quyết
- mất
- dùng
- Mục tiêu
- nhiệm vụ
- kỹ thuật
- Công nghệ
- về
- thử nghiệm
- việc này
- Sản phẩm
- Nhà nước
- cung cấp their dịch
- Them
- sau đó
- Kia là
- điều
- điều này
- những
- số ba
- ba bước
- Thông qua
- thời gian
- đến
- bên nhau
- chủ đề
- Chủ đề
- truy nguyên
- đào tạo
- Hội thảo
- chuyển
- hai
- thường
- độc đáo
- Đang tải lên
- us
- sử dụng
- ca sử dụng
- đã sử dụng
- sử dụng
- HIỆU LỰC
- giá trị
- Xác minh
- rất
- thông qua
- muốn
- Đường..
- cách
- we
- web
- các dịch vụ web
- TỐT
- khi nào
- cái nào
- toàn bộ
- chiều rộng
- với
- ở trong
- không có
- Công việc
- làm việc
- quy trình làm việc
- đang làm việc
- sẽ
- X
- nhưng
- Bạn
- trên màn hình
- zephyrnet