Sản phẩm Khung hoạt động học máy (MLOps) của AWS là một quá trình lặp đi lặp lại để phát triển các mô hình AI theo thời gian. Giống như DevOps, những người thực hành đạt được hiệu quả trong việc quảng bá sản phẩm của mình thông qua nhiều môi trường khác nhau (chẳng hạn như đảm bảo chất lượng, tích hợp và sản xuất) để kiểm soát chất lượng. Song song đó, khách hàng nhanh chóng áp dụng chiến lược đa tài khoản thông qua Tổ chức AWS và Tháp điều khiển AWS để tạo ra môi trường an toàn, biệt lập. Sự kết hợp này có thể tạo ra những thách thức khi triển khai MLOps với Dịch vụ AI được đào tạo trước của AWS, chẳng hạn như Nhãn tùy chỉnh Rekognition của Amazon. Bài đăng này thảo luận về các mẫu thiết kế để giảm độ phức tạp đó trong khi vẫn duy trì các phương pháp bảo mật tốt nhất.
Giới thiệu chung
Khách hàng ở mọi ngành dọc đều nhận ra giá trị của việc vận hành máy học (ML) một cách hiệu quả và giảm thời gian mang lại giá trị kinh doanh. Hầu hết các Dịch vụ AI được đào tạo trước của AWS đều giải quyết tình huống này thông qua các khả năng vượt trội về thị giác máy tính, dịch thuật và phát hiện gian lận, cùng với các trường hợp sử dụng phổ biến khác. Nhiều trường hợp sử dụng yêu cầu dự đoán theo miền cụ thể vượt xa các câu trả lời chung chung. Dịch vụ AI có thể tinh chỉnh kết quả mô hình dự đoán bằng cách sử dụng dữ liệu do khách hàng gắn nhãn cho các tình huống đó.
Theo thời gian, từ vựng dành riêng cho từng miền sẽ thay đổi và phát triển. Ví dụ: giả sử một nhà sản xuất công cụ tạo ra một mô hình thị giác máy tính để phát hiện các sản phẩm của họ bằng hình ảnh (chẳng hạn như búa và tua vít). Trong bản phát hành trong tương lai, doanh nghiệp sẽ bổ sung thêm tính năng hỗ trợ cho cờ lê và cưa. Những nhãn mới này yêu cầu thay đổi mã trên trang web và ứng dụng tùy chỉnh của nhà sản xuất. Bây giờ, có những phần phụ thuộc mà cả hai tạo phẩm phải phát hành đồng thời.
Khung AWS MLOps giải quyết những thách thức phát hành này thông qua các quy trình lặp đi lặp lại. Trước khi đến tay người dùng cuối trong sản xuất, các tạo phẩm mô hình phải vượt qua nhiều cổng chất lượng khác nhau như mã ứng dụng. Bạn thường triển khai các cổng chất lượng đó bằng cách sử dụng nhiều tài khoản AWS trong một tổ chức AWS. Cách tiếp cận này mang lại sự linh hoạt để quản lý tập trung các miền ứng dụng này và thực thi các biện pháp bảo vệ cũng như yêu cầu kinh doanh. Việc có hàng chục hoặc thậm chí hàng trăm tài khoản trong tổ chức của bạn ngày càng trở nên phổ biến. Tuy nhiên, bạn phải cân bằng nhu cầu tách biệt khối lượng công việc của mình với quy mô và độ phức tạp của nhóm.
Những người thực hiện MLOps có các quy trình chuẩn để quảng bá các tạo phẩm giữa các tài khoản (chẳng hạn như QA cho sản xuất). Các mẫu này dễ thực hiện, dựa vào việc sao chép mã và tài nguyên nhị phân giữa Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3). Tuy nhiên, Dịch vụ AI được đào tạo trước của AWS hiện không hỗ trợ sao chép mô hình tùy chỉnh được đào tạo trên các tài khoản AWS. Cho đến khi cơ chế như vậy tồn tại, bạn cần đào tạo lại các mô hình trong mỗi tài khoản AWS bằng cách sử dụng cùng một tập dữ liệu. Cách tiếp cận này liên quan đến thời gian và chi phí để đào tạo lại mô hình trong tài khoản mới. Cơ chế này có thể là một lựa chọn khả thi cho một số khách hàng. Tuy nhiên, trong bài đăng này, chúng tôi trình bày các phương pháp để xác định và phát triển các mô hình tùy chỉnh này một cách tập trung trong khi chia sẻ chúng một cách an toàn trên các tài khoản của tổ chức AWS.
Tổng quan về giải pháp
Bài đăng này thảo luận về các mẫu thiết kế để chia sẻ một cách an toàn các mô hình dành riêng cho miền Dịch vụ AI được đào tạo trước của AWS. Những dịch vụ này bao gồm Phát hiện gian lận Amazon, Phiên âm Amazonvà Nhận thức lại Amazon, đến tên một vài. Mặc dù các chiến lược này có thể áp dụng rộng rãi nhưng chúng tôi tập trung vào Nhãn tùy chỉnh Rekognition làm ví dụ cụ thể. Chúng tôi cố ý tránh đi quá sâu vào các sắc thái cụ thể của Nhãn tùy chỉnh Rekognition.
Kiến trúc bắt đầu bằng Tháp điều khiển AWS được cấu hình trong tài khoản quản lý. Tháp điều khiển AWS cung cấp cách dễ dàng nhất để thiết lập và quản lý môi trường AWS đa tài khoản, an toàn. Như thể hiện trong sơ đồ sau, chúng tôi sử dụng Nhà máy tài khoản trong Tháp điều khiển AWS để tạo năm tài khoản AWS:
- Tài khoản CI/CD để điều phối triển khai (ví dụ: với Ngôi sao mã AWS)
- Tài khoản sản xuất cho người dùng cuối bên ngoài (ví dụ: trang web công cộng)
- Tài khoản đảm bảo chất lượng cho các nhóm phát triển nội bộ (chẳng hạn như tiền sản xuất)
- Tài khoản ML cho các mô hình tùy chỉnh và hệ thống hỗ trợ
- Nhà bên hồ AWS tài khoản nắm giữ dữ liệu khách hàng độc quyền
Cấu hình này có thể quá chi tiết hoặc thô, tùy thuộc vào yêu cầu pháp lý, ngành và quy mô của bạn. tham khảo Quản lý môi trường nhiều tài khoản bằng AWS Organizations và AWS Control Tower để được hướng dẫn nhiều hơn.
Tạo mô hình Nhãn tùy chỉnh Rekognition
Bước đầu tiên để tạo mô hình Nhãn tùy chỉnh Rekognition là chọn tài khoản AWS để lưu trữ mô hình đó. Bạn có thể bắt đầu hành trình ML của mình bằng một tài khoản ML duy nhất. Cách tiếp cận này hợp nhất mọi công cụ và quy trình vào một nơi. Tuy nhiên, việc tập trung hóa này có thể gây ra sự phình to trong tài khoản cá nhân và dẫn đến môi trường nguyên khối. Các doanh nghiệp trưởng thành hơn phân chia tài khoản ML này theo nhóm hoặc khối lượng công việc. Bất kể mức độ chi tiết như thế nào, đối tượng đều giống nhau để xác định các mô hình tập trung và đào tạo một lần.
Bài đăng này trình bày cách sử dụng mô hình Nhãn tùy chỉnh Rekognition với một tài khoản ML duy nhất và một tài khoản hồ dữ liệu riêng biệt (xem sơ đồ sau). Khi dữ liệu nằm trong một tài khoản khác, bạn phải định cấu hình chính sách tài nguyên để cung cấp quyền truy cập nhiều tài khoản vào nhóm S3 các đối tượng. Quy trình này chia sẻ nội dung của nhóm một cách an toàn với tài khoản ML. Xem mẫu bắt đầu nhanh để biết thêm thông tin về tạo mô hình dành riêng cho miền Amazon Rekognition.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "AWSRekognitionS3AclBucketRead20191011", "Effect": "Allow", "Principal": { "Service": "rekognition.amazonaws.com" }, "Action": [ "s3:GetBucketAcl", "s3:GetBucketLocation" ], "Resource": "arn:aws:s3:::S3:" }, { "Sid": "AWSRekognitionS3GetBucket20191011", "Effect": "Allow", "Principal": { "Service": "rekognition.amazonaws.com" }, "Action": [ "s3:GetObject", "s3:GetObjectAcl", "s3:GetObjectVersion", "s3:GetObjectTagging" ], "Resource": "arn:aws:s3:::S3:/*" }, { "Sid": "AWSRekognitionS3ACLBucketWrite20191011", "Effect": "Allow", "Principal": { "Service": "rekognition.amazonaws.com" }, "Action": "s3:GetBucketAcl", "Resource": "arn:aws:s3:::S3:" }, { "Sid": "AWSRekognitionS3PutObject20191011", "Effect": "Allow", "Principal": { "Service": "rekognition.amazonaws.com" }, "Action": "s3:PutObject", "Resource": "arn:aws:s3:::S3:/*", "Condition": { "StringEquals": { "s3:x-amz-acl": "bucket-owner-full-control" } } } ]
}
Cho phép truy cập nhiều tài khoản
Sau khi bạn xây dựng và triển khai mô hình, điểm cuối chỉ khả dụng trong tài khoản ML. Không sử dụng một khóa tĩnh để chia sẻ quyền truy cập. Bạn phải ủy quyền truy cập vào tài khoản sản xuất (hoặc QA) bằng cách sử dụng Quản lý truy cập và nhận dạng AWS (IAM) vai trò. Để tạo vai trò nhiều tài khoản trong tài khoản ML, hãy hoàn thành các bước sau:
- Trên bảng điều khiển Nhãn tùy chỉnh Rekognition, hãy chọn Dự án và chọn tên dự án của bạn.
- Chọn mô hình và tên model của bạn.
- trên Sử dụng mô hình , cuộn xuống Sử dụng mô hình của bạn phần.
- Sao chép tên tài nguyên Amazon (ARN) của mô hình. Nó phải được định dạng như sau:
arn:aws:rekognition:region-name:account-id:project/model-name/version/version-id/timestamp
. - Tạo một vai trò với
rekognition:DetectCustomLabels
quyền đối với ARN mô hình và chính sách tin cậy cho phépsts:AssumeRole
từ tài khoản sản xuất (hoặc QA) (ví dụ:arn:aws:iam::PROD_ACCOUNT_ID_HERE:root
). - Bạn có thể tùy ý đính kèm các chính sách bổ sung cho mọi hành động theo khối lượng công việc cụ thể (chẳng hạn như truy cập bộ chứa S3).
- Tùy chọn, hãy cấu hình phần tử điều kiện để thực thi các yêu cầu ủy quyền bổ sung.
- Ghi lại ARN của vai trò mới để sử dụng trong phần tiếp theo.
Gọi điểm cuối
Với các chính sách bảo mật đã có, đã đến lúc kiểm tra cấu hình. Một cách tiếp cận đơn giản bao gồm việc tạo ra một Đám mây điện toán đàn hồi Amazon (Amazon EC2) và sử dụng phiên bản Giao diện dòng lệnh AWS (AWS CLI). Gọi điểm cuối bằng các bước sau:
- Trong tài khoản sản xuất (hoặc QA), hãy tạo vai trò cho Amazon EC2.
- Đính kèm chính sách cho phép
sts:AssumeRole
tới ARN vai trò chéo của tài khoản ML. - Khởi chạy phiên bản Amazon Linux 2 với vai trò từ bước trước.
- Đợi nó cung cấp rồi kết nối với phiên bản Linux bằng SSH.
- Gọi lệnh
aws iam assume-role
để chuyển sang vai trò nhiều tài khoản từ phần trước. - Bắt đầu điểm cuối mô hình, nếu chưa chạy, hãy sử dụng bảng điều khiển Rekognition hoặc phiên bản bắt đầu dự án Lệnh AWS CLI.
- Gọi lệnh aws rekognition phát hiện-nhãn tùy chỉnh để kiểm tra hoạt động.
Bạn cũng có thể thực hiện thử nghiệm này bằng AWS SDK và tài nguyên điện toán khác (ví dụ: AWS Lambda).
Tránh sử dụng internet công cộng
Trong phần trước, yêu cầu phát hiện nhãn tùy chỉnh sử dụng cổng internet của đám mây riêng ảo (VPC) và truyền qua internet công cộng. Mã hóa TLS/SSL đủ bảo mật kênh liên lạc cho nhiều khối lượng công việc. Bạn có thể dùng Liên kết riêng AWS đến cho phép kết nối giữa VPC và các dịch vụ hỗ trợ mà không cần cổng internet, thiết bị NAT, kết nối VPN, cổng chuyển tuyến hoặc Kết nối trực tiếp AWS sự liên quan. Sau đó, yêu cầu phát hiện nhãn tùy chỉnh sẽ không bao giờ để mạng AWS tiếp xúc với Internet công cộng. AWS PrivateLink hỗ trợ tất cả các dịch vụ được sử dụng trong bài đăng này. Bạn cũng có thể thực thi Dịch vụ AI được đào tạo trước sử dụng kết nối riêng tư với IAM trong chính sách vai trò chéo. Kiểm soát này bổ sung thêm một cấp độ bảo vệ khác nhằm ngăn chặn các máy khách bị định cấu hình sai sử dụng điểm cuối kết nối Internet của Dịch vụ AI đã được đào tạo trước. Để biết thêm thông tin, xem Sử dụng Amazon Rekognition với điểm cuối Amazon VPC, Liên kết riêng AWS dành cho Amazon S3và Sử dụng điểm cuối VPC giao diện AWS STS.
Sơ đồ sau minh họa cấu hình điểm cuối VPC giữa tài khoản sản xuất, tài khoản ML và tài khoản QA.
Xây dựng quy trình CI/CD để quảng bá mô hình
AWS khuyến nghị liên tục cung cấp thêm dữ liệu đào tạo và kiểm tra để gắn nhãn tùy chỉnh cho tập dữ liệu dự án Amazon Rekognition để cải tiến mô hình. Sau khi bạn thêm nhiều dữ liệu hơn vào dự án, một mô hình mới có thể nâng cao độ chính xác hoặc thay đổi nhãn.
Trong MLOps, các tạo phẩm mô hình phải nhất quán. Để thực hiện điều này với Dịch vụ AI được đào tạo trước, AWS khuyên bạn nên quảng bá điểm cuối của mô hình bằng cách cập nhật tham chiếu của mã lên ARN của phiên bản mô hình mới. Cách tiếp cận này tránh việc đào tạo lại mô hình dành riêng cho từng miền trong từng môi trường (chẳng hạn như tài khoản QA và sản xuất). Ứng dụng của bạn có thể sử dụng ARN của mô hình mới làm biến thời gian chạy bằng cách sử dụng Người quản lý hệ thống AWS trong nhiều tài khoản hoặc môi trường nhiều giai đoạn.
Ba cấp độ chi tiết giới hạn quyền truy cập vào mô hình nhiều tài khoản, cụ thể là ở cấp tài khoản, dự án và phiên bản mô hình. Các mô hình là bình thường và có ARN duy nhất ánh xạ tới quá trình đào tạo tại thời điểm cụ thể: arn:aws:rekognition:account:region:project/project_name/version/name/timestamp
.
Sơ đồ sau minh họa quá trình luân chuyển mô hình từ QA sang sản xuất.
Trong kiến trúc trước đó, các ứng dụng sản xuất và QA thực hiện lệnh gọi API để sử dụng điểm cuối mô hình v2 hoặc v3 thông qua điểm cuối VPC tương ứng của chúng. Họ nhận được ARN từ kho cấu hình của nó (ví dụ: Cửa hàng tham số của Amazon Systems Manager or Cấu hình ứng dụng AWS). Quá trình này hoạt động với n số lượng môi trường, nhưng chúng tôi chỉ trình bày bằng cách sử dụng hai tài khoản để đơn giản. Tùy chọn, việc loại bỏ các phiên bản mô hình thay thế sẽ ngăn chặn việc tiêu thụ thêm các tài nguyên đó.
Tài khoản ML có vai trò IAM cho từng môi trường cụ thể (chẳng hạn như tài khoản Sản xuất) yêu cầu quyền truy cập. Quy trình CI/CD là một phần của quá trình triển khai sẽ thay đổi chính sách nội tuyến của vai trò IAM để cho phép truy cập vào mô hình thích hợp.
Hãy xem xét kịch bản quảng bá Model-v2 từ tài khoản QA sang tài khoản sản xuất. Quá trình này yêu cầu các bước sau:
- Trên bảng điều khiển Nhãn tùy chỉnh Rekognition, chuyển điểm cuối Model-v2 sang trạng thái đang chạy.
- Cấp cho vai trò tài khoản chéo IAM trong quyền truy cập tài khoản ML vào phiên bản mới của Model-v2.
Lưu ý rằng yếu tố tài nguyên hỗ trợ các ký tự đại diện trong ARN.
- Gửi lệnh gọi thử nghiệm tới Model-v2 từ ứng dụng sản xuất bằng vai trò ủy quyền.
- Tùy chọn xóa quyền truy cập của vai trò nhiều tài khoản vào Model-v1.
- Tùy ý lặp lại các bước 2–3 cho mỗi tài khoản AWS bổ sung.
- Tùy chọn dừng điểm cuối Model-v1 để tránh phát sinh chi phí.
Việc phổ biến chính sách toàn cầu từ mặt phẳng điều khiển IAM đến mặt phẳng dữ liệu IAM ở mọi Khu vực cuối cùng là một hoạt động nhất quán. Thiết kế này có thể tạo ra độ trễ nhỏ cho cấu hình Đa khu vực.
Tạo rào chắn thông qua các chính sách kiểm soát dịch vụ
Việc sử dụng các vai trò nhiều tài khoản sẽ tạo ra cơ chế an toàn để chia sẻ tài nguyên AI được quản lý đã được đào tạo trước. Nhưng điều gì sẽ xảy ra khi chính sách của vai trò đó quá dễ dãi? Bạn có thể giảm thiểu những rủi ro này bằng cách sử dụng chính sách kiểm soát dịch vụ (SCP) để đặt rào chắn cấp phép trên các tài khoản. Lan can chỉ định quyền tối đa có sẵn cho nhận dạng IAM. Những khả năng này có thể ngăn tài khoản người tiêu dùng mô hình ngừng hoạt động, chẳng hạn như dừng điểm cuối Amazon Rekognition được chia sẻ. Sau khi xác định các yêu cầu về lan can thích hợp, đơn vị tổ chức trong Tổ chức cho phép quản lý tập trung các chính sách đó trên nhiều tài khoản.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "DenyModifyingRekgnotionProjects", "Effect": "Deny", "Action": [ "rekognition:CreateProject*", "rekognition:DeleteProject*", "rekognition:StartProject*", "rekognition:StopProject*", ], "Resource": [ “arn:aws:rekognition:*:*:project/* ] } ]
}
Bạn cũng có thể định cấu hình các điều khiển thám tử để giám sát cấu hình của chúng và đảm bảo cấu hình đó không vượt quá mức tuân thủ. Trình phân tích truy cập AWS IAM hỗ trợ đánh giá các chính sách trong toàn tổ chức và báo cáo các quyền không sử dụng. Ngoài ra, Cấu hình AWS cho phép đánh giá, kiểm tra và đánh giá cấu hình tài nguyên AWS. Khả năng này hỗ trợ các yêu cầu tuân thủ và bảo mật tiêu chuẩn, chẳng hạn như xác minh và khắc phục cài đặt mã hóa của nhóm S3.
Kết luận
Bạn cần các giải pháp sẵn dùng để bổ sung các khả năng ML như thị giác máy tính, dịch thuật và phát hiện gian lận. Bạn cũng cần các ranh giới bảo mật để tách biệt các môi trường khác nhau của mình nhằm mục đích kiểm soát chất lượng, tuân thủ và quản lý. Các dịch vụ AI được đào tạo trước của AWS và Tháp điều khiển AWS cung cấp chức năng đó theo cách dễ dàng truy cập và bảo mật.
Các dịch vụ AI được đào tạo trước của AWS hiện không hỗ trợ sao chép mô hình tùy chỉnh được đào tạo trên các tài khoản AWS. Cho đến khi cơ chế như vậy tồn tại, bạn cần đào tạo lại các mô hình trong mỗi tài khoản AWS bằng cách sử dụng cùng một tập dữ liệu. Bài đăng này trình bày một phương pháp thiết kế thay thế bằng cách sử dụng chính sách tài khoản chéo IAM để chia sẻ điểm cuối của mô hình trong khi vẫn duy trì khả năng kiểm soát bảo mật mạnh mẽ. Hơn nữa, bạn có thể ngừng trả tiền cho các công việc đào tạo dư thừa! Để biết thêm thông tin về chính sách nhiều tài khoản, hãy xem Hướng dẫn IAM: Ủy quyền quyền truy cập trên các tài khoản AWS bằng vai trò IAM.
Về các tác giả
Nate Bachmeier là Kiến trúc sư giải pháp cấp cao của AWS chuyên khám phá New York, tích hợp từng đám mây một. Anh ấy chuyên di chuyển và hiện đại hóa khối lượng công việc của khách hàng. Ngoài ra, Nate còn là sinh viên toàn thời gian và có hai con.
Mario Bourgoin là Kiến trúc sư giải pháp đối tác cấp cao của AWS, chuyên gia AI/ML và lãnh đạo công nghệ toàn cầu cho MLOps. Anh làm việc với các khách hàng doanh nghiệp và đối tác triển khai giải pháp AI trên đám mây. Ông có hơn 30 năm kinh nghiệm nghiên cứu về máy học và AI tại các công ty khởi nghiệp và doanh nghiệp, bắt đầu bằng việc tạo ra một trong những hệ thống máy học thương mại đầu tiên cho dữ liệu lớn. Mario dành thời gian cân bằng để chơi với ba chú chó Tervuren người Bỉ, nấu bữa tối cho gia đình và học về toán học và vũ trụ học.
Tim Murphy là Kiến trúc sư giải pháp cấp cao của AWS, làm việc với các khách hàng doanh nghiệp thuộc nhiều ngành khác nhau để xây dựng các giải pháp dựa trên nền tảng kinh doanh trên đám mây. Ông đã dành thập kỷ qua làm việc với các công ty khởi nghiệp, tổ chức phi lợi nhuận, doanh nghiệp thương mại và các cơ quan chính phủ, triển khai cơ sở hạ tầng trên quy mô lớn. Trong thời gian rảnh rỗi khi không mày mò nghiên cứu công nghệ, rất có thể bạn sẽ tìm thấy anh ấy ở những khu vực xa xôi trên trái đất, đi bộ đường dài trên núi, lướt sóng hoặc đạp xe qua một thành phố mới.
- Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. TRUY CẬP MIỄN PHÍ.
- CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
- Nguồn: https://aws.amazon.com/blogs/machine-learning/implement-mlops-USE-aws-pre-training-ai-services-with-aws- Organisations/
- "
- 100
- 98
- Giới thiệu
- truy cập
- Tài khoản
- ngang qua
- Hoạt động
- hành động
- thêm vào
- địa chỉ
- AI
- Dịch vụ AI
- Tất cả
- Cho phép
- Đã
- Mặc dù
- đàn bà gan dạ
- trong số
- Một
- api
- áp dụng
- Các Ứng Dụng
- các ứng dụng
- phương pháp tiếp cận
- kiến trúc
- có sẵn
- AWS
- BEST
- thực hành tốt nhất
- Dữ Liệu Lớn.
- Sưng lên
- xây dựng
- kinh doanh
- khả năng
- trường hợp
- Nguyên nhân
- thách thức
- City
- đám mây
- mã
- kết hợp
- thương gia
- Chung
- Giao tiếp
- tuân thủ
- Tính
- điều kiện
- Cấu hình
- liên quan
- Kết nối
- Kết nối
- An ủi
- người tiêu dùng
- tiêu thụ
- nội dung
- điều khiển
- Chi phí
- Tạo
- khách hàng
- dữ liệu
- thập kỷ
- sự chậm trễ
- triển khai
- triển khai
- triển khai
- Thiết kế
- Phát hiện
- Phát triển
- thiết bị
- khác nhau
- Không
- lĩnh vực
- xuống
- trái đất
- dễ dàng
- hiệu lực
- mã hóa
- Điểm cuối
- Doanh nghiệp
- Môi trường
- ví dụ
- kinh nghiệm
- gia đình
- Tên
- Linh hoạt
- Tập trung
- tiếp theo
- Khung
- gian lận
- chức năng
- tương lai
- Gates
- Toàn cầu
- Chính phủ
- HTTPS
- Hàng trăm
- Bản sắc
- thực hiện
- bao gồm
- hệ thống riêng biệt,
- các ngành công nghiệp
- ngành công nghiệp
- thông tin
- Cơ sở hạ tầng
- hội nhập
- Giao thức
- Internet
- cô lập
- IT
- trẻ em
- Nhãn
- dẫn
- học tập
- Cấp
- Dòng
- linux
- máy
- học máy
- quản lý
- giám đốc
- quản lý
- nhà chế tạo
- Maps
- toán học
- ML
- kiểu mẫu
- mô hình
- hầu hết
- mạng
- Newyork
- Hoạt động
- Tùy chọn
- dàn nhạc
- cơ quan
- tổ chức
- Nền tảng khác
- đối tác
- Đối tác
- Chính sách
- điều luật
- Dự đoán
- Hiệu trưởng
- riêng
- quá trình
- Quy trình
- Sản lượng
- Sản phẩm
- dự án
- độc quyền
- bảo vệ
- cung cấp
- công khai
- mục đích
- chất lượng
- nhận
- đề nghị
- giảm
- nhà quản lý
- phát hành
- yêu cầu
- Yêu cầu
- tài nguyên
- Thông tin
- Kết quả
- rủi ro
- chạy
- Quy mô
- sdk
- an toàn
- an ninh
- Chính sách bảo mật
- dịch vụ
- DỊCH VỤ
- định
- Chia sẻ
- chia sẻ
- cổ phiếu
- Đơn giản
- Kích thước máy
- Giải pháp
- chuyên
- đặc biệt
- Bắt đầu
- Startups
- Tiểu bang
- Tuyên bố
- là gắn
- hàng
- chiến lược
- Sinh viên
- hỗ trợ
- Hỗ trợ
- Công tắc điện
- hệ thống
- nhóm
- công nghệ cao
- Công nghệ
- thử nghiệm
- Thông qua
- thời gian
- Hội thảo
- quá cảnh
- Dịch
- NIỀM TIN
- độc đáo
- sử dụng
- giá trị
- ảo
- tầm nhìn
- VPN
- sóng biển
- Website
- trang web
- Điều gì
- ở trong
- không có
- đang làm việc
- công trinh
- năm