Amazon SageMaker là một nền tảng máy học (ML) được quản lý hoàn toàn, cung cấp một bộ dịch vụ toàn diện phục vụ khối lượng công việc ML từ đầu đến cuối. BẰNG được AWS đề xuất như một phương pháp hay nhất, khách hàng đã sử dụng các tài khoản riêng biệt để đơn giản hóa việc quản lý chính sách cho người dùng và cách ly tài nguyên theo khối lượng công việc và tài khoản. Tuy nhiên, khi có nhiều người dùng và nhóm sử dụng nền tảng ML trên đám mây, việc giám sát khối lượng công việc ML lớn trong môi trường nhiều tài khoản đang mở rộng sẽ trở nên khó khăn hơn. Để có khả năng quan sát tốt hơn, khách hàng đang tìm kiếm các giải pháp để giám sát việc sử dụng tài nguyên trên nhiều tài khoản và theo dõi các hoạt động, chẳng hạn như khởi chạy công việc và trạng thái chạy, điều cần thiết cho các yêu cầu quản lý và quản trị ML của họ.
Các dịch vụ của SageMaker, chẳng hạn như Xử lý, Đào tạo và Lưu trữ, thu thập số liệu và nhật ký từ các phiên bản đang chạy và gửi chúng tới người dùng amazoncloudwatch tài khoản. Để xem chi tiết các công việc này trong các tài khoản khác nhau, bạn cần đăng nhập vào từng tài khoản, tìm các công việc tương ứng và xem trạng thái. Không có một khung kính nào có thể dễ dàng hiển thị thông tin về nhiều tài khoản và nhiều công việc này. Ngoài ra, nhóm quản trị đám mây cần cung cấp cho các cá nhân quyền truy cập vào các tài khoản khối lượng công việc SageMaker khác nhau, điều này bổ sung thêm chi phí quản lý cho nhóm nền tảng đám mây.
Trong bài đăng này, chúng tôi trình bày bảng điều khiển khả năng quan sát nhiều tài khoản cung cấp chế độ xem tập trung để theo dõi các hoạt động và tài nguyên của người dùng SageMaker trên nhiều tài khoản. Nó cho phép người dùng cuối và nhóm quản lý đám mây giám sát hiệu quả khối lượng công việc ML nào đang chạy, xem trạng thái của những khối lượng công việc này và theo dõi lại các hoạt động tài khoản khác nhau tại các thời điểm nhất định. Với trang tổng quan này, bạn không cần điều hướng từ bảng điều khiển SageMaker và nhấp vào từng công việc để tìm chi tiết về nhật ký công việc. Thay vào đó, bạn có thể dễ dàng xem các công việc đang chạy và trạng thái công việc, khắc phục sự cố công việc và thiết lập cảnh báo khi các vấn đề được xác định trong tài khoản dùng chung, chẳng hạn như công việc thất bại, tài nguyên sử dụng không đúng mức, v.v. Bạn cũng có thể kiểm soát quyền truy cập vào bảng điều khiển giám sát tập trung này hoặc chia sẻ bảng điều khiển với các cơ quan có liên quan để kiểm tra và quản lý các yêu cầu.
Tổng quan về giải pháp
Giải pháp này được thiết kế để cho phép giám sát tập trung các công việc và hoạt động của SageMaker trên môi trường nhiều tài khoản. Giải pháp được thiết kế để không phụ thuộc vào Tổ chức AWS, nhưng có thể được áp dụng dễ dàng trong Tổ chức hoặc Tháp điều khiển AWS môi trường. Giải pháp này có thể giúp nhóm vận hành có chế độ xem cấp cao về tất cả khối lượng công việc SageMaker trải rộng trên nhiều tài khoản khối lượng công việc từ một ô kính duy nhất. Nó cũng có một tùy chọn để kích hoạt Khả năng quan sát nhiều tài khoản của CloudWatch trên các tài khoản khối lượng công việc của SageMaker để cung cấp quyền truy cập vào giám sát từ xa chẳng hạn như số liệu, nhật ký và dấu vết từ tài khoản giám sát tập trung. Một bảng điều khiển ví dụ được hiển thị trong ảnh chụp màn hình sau.
Sơ đồ sau đây cho thấy kiến trúc của giải pháp bảng điều khiển tập trung này.
SageMaker có tích hợp riêng với Sự kiện Amazon, theo dõi các sự kiện thay đổi trạng thái trong SageMaker. EventBridge cho phép bạn tự động hóa SageMaker và tự động phản hồi các sự kiện như thay đổi trạng thái công việc đào tạo hoặc thay đổi trạng thái điểm cuối. Các sự kiện từ SageMaker được gửi đến EventBridge trong thời gian gần như thực. Để biết thêm thông tin về các sự kiện SageMaker được EventBridge theo dõi, hãy tham khảo Tự động hóa Amazon SageMaker với Amazon EventBridge. Ngoài các sự kiện gốc của SageMaker, Đường mòn đám mây AWS xuất bản các sự kiện khi bạn thực hiện lệnh gọi API, lệnh này cũng truyền tới EventBridge để điều này có thể được sử dụng bởi nhiều trường hợp sử dụng giám sát hoặc tự động hóa tuyến dưới. Trong giải pháp của mình, chúng tôi sử dụng các quy tắc EventBridge trong tài khoản khối lượng công việc để truyền sự kiện dịch vụ SageMaker và sự kiện API tới xe buýt sự kiện của tài khoản giám sát để giám sát tập trung.
Trong tài khoản giám sát tập trung, các sự kiện được ghi lại theo quy tắc EventBridge và được xử lý thêm thành các mục tiêu khác nhau:
- Nhóm nhật ký CloudWatch, để sử dụng cho các mục sau:
- Mục đích kiểm toán và lưu trữ. Để biết thêm thông tin, hãy tham khảo Hướng dẫn sử dụng Nhật ký Amazon CloudWatch.
- Phân tích dữ liệu nhật ký với Thông tin chi tiết về nhật ký CloudWatch truy vấn. CloudWatch Logs Insights cho phép bạn tìm kiếm và phân tích dữ liệu nhật ký của mình trong CloudWatch Logs một cách tương tác. Bạn có thể thực hiện các truy vấn để giúp bạn phản hồi hiệu quả hơn đối với các sự cố vận hành. Nếu xảy ra sự cố, bạn có thể sử dụng CloudWatch Logs Insights để xác định các nguyên nhân tiềm ẩn và xác thực các bản sửa lỗi đã triển khai.
- Hỗ trợ tiện ích truy vấn CloudWatch Metrics Insights cho các hoạt động cấp cao trong bảng điều khiển CloudWatch, thêm Truy vấn CloudWatch Insights vào bảng điều khiển và xuất kết quả truy vấn.
- An AWS Lambda chức năng để hoàn thành các nhiệm vụ sau:
- Thực hiện logic tùy chỉnh để tăng cường các sự kiện dịch vụ SageMaker. Một ví dụ đang thực hiện truy vấn số liệu trên các số liệu về thời gian làm việc của máy chủ công việc SageMaker khi nhận được sự kiện hoàn thành công việc.
- Chuyển đổi thông tin sự kiện thành số liệu ở các định dạng nhật ký nhất định khi được nhập như EMF khúc gỗ. Để biết thêm thông tin, hãy tham khảo Nhúng số liệu trong nhật ký.
Ví dụ trong bài đăng này được hỗ trợ bởi bản địa Khả năng quan sát nhiều tài khoản của CloudWatch tính năng để đạt được số liệu, nhật ký và truy cập theo dõi nhiều tài khoản. Như được hiển thị ở cuối sơ đồ kiến trúc, nó tích hợp với tính năng này để kích hoạt nhật ký và chỉ số nhiều tài khoản. Để kích hoạt tính năng này, cần phải tạo các quyền và tài nguyên cần thiết trong cả tài khoản giám sát và tài khoản khối lượng công việc nguồn.
Bạn có thể sử dụng giải pháp này cho tài khoản AWS do Tổ chức quản lý hoặc tài khoản độc lập. Các phần sau đây giải thích các bước cho từng kịch bản. Lưu ý rằng trong mỗi kịch bản, các bước được thực hiện trong các tài khoản AWS khác nhau. Để thuận tiện cho bạn, loại tài khoản để thực hiện bước này được đánh dấu ở đầu mỗi bước.
Điều kiện tiên quyết
Trước khi bắt đầu quy trình này, hãy sao chép mã nguồn của chúng tôi từ Repo GitHub trong môi trường địa phương của bạn hoặc Đám mây AWS9. Ngoài ra, bạn cần những điều sau đây:
Triển khai giải pháp trong môi trường Tổ chức
Nếu tài khoản giám sát và tất cả tài khoản khối lượng công việc SageMaker đều thuộc cùng một tổ chức, thì cơ sở hạ tầng bắt buộc trong tài khoản khối lượng công việc nguồn sẽ được tạo tự động thông qua một Hình thành đám mây AWS StackSet từ tài khoản quản lý của tổ chức. Do đó, không cần triển khai cơ sở hạ tầng thủ công vào các tài khoản khối lượng công việc nguồn. Khi một tài khoản mới được tạo hoặc một tài khoản hiện có được chuyển vào một đơn vị tổ chức (OU) đích, ngăn xếp cơ sở hạ tầng khối lượng công việc nguồn sẽ được tự động triển khai và đưa vào phạm vi giám sát tập trung.
Thiết lập tài khoản tài khoản giám sát
Chúng tôi cần thu thập thông tin tài khoản AWS sau để thiết lập tài nguyên tài khoản giám sát mà chúng tôi sử dụng làm đầu vào cho tập lệnh thiết lập sau này.
Đầu vào | Mô tả | Ví dụ |
quê hương | Khu vực nơi khối lượng công việc chạy. | ap-southeast-2 |
Tài khoản giám sát Tên hồ sơ AWS CLI | Bạn có thể tìm thấy tên hồ sơ từ ~/.aws/config . Đây là tùy chọn. Nếu không được cung cấp, nó sẽ sử dụng thông tin xác thực AWS mặc định từ chuỗi. |
. |
Đường dẫn đơn vị tổ chức khối lượng công việc của SageMaker | Đường dẫn đơn vị tổ chức có tài khoản khối lượng công việc SageMaker. Giữ cái / ở cuối con đường. |
o-1a2b3c4d5e/r-saaa/ou-saaa-1a2b3c4d/ |
Để truy xuất đường dẫn OU, bạn có thể vào bảng điều khiển Tổ chức và bên dưới Tài khoản AWS, tìm thông tin để xây dựng đường dẫn đơn vị tổ chức. Đối với ví dụ sau, đường dẫn đơn vị tổ chức tương ứng là o-ye3wn3kyh6/r-taql/ou-taql-wu7296by/
.
Sau khi bạn truy xuất thông tin này, hãy chạy lệnh sau để triển khai các tài nguyên cần thiết trên tài khoản giám sát:
Bạn có thể nhận được các đầu ra sau từ quá trình triển khai. Ghi lại các đầu ra để sử dụng trong bước tiếp theo khi triển khai ngăn xếp tài khoản quản lý.
Thiết lập tài khoản tài khoản quản lý
Chúng tôi cần thu thập thông tin tài khoản AWS sau để thiết lập tài nguyên tài khoản quản lý mà chúng tôi sử dụng làm đầu vào cho tập lệnh thiết lập sau này.
Đầu vào | Mô tả | Ví dụ |
quê hương | Khu vực nơi khối lượng công việc chạy. Điều này phải giống như ngăn xếp giám sát. | ap-southeast-2 |
Tài khoản quản lý Tên hồ sơ AWS CLI | Bạn có thể tìm thấy tên hồ sơ từ ~/.aws/config . Đây là tùy chọn. Nếu không được cung cấp, nó sẽ sử dụng thông tin xác thực AWS mặc định từ chuỗi. |
. |
ID đơn vị khối lượng công việc của SageMaker | Ở đây chúng tôi chỉ sử dụng ID đơn vị tổ chức, không sử dụng đường dẫn. | ou-saaa-1a2b3c4d |
Giám sát ID tài khoản | ID tài khoản nơi ngăn xếp giám sát được triển khai. | . |
Tên vai trò tài khoản giám sát | Đầu ra cho MonitoringAccountRoleName từ bước trước. |
. |
Giám sát bus sự kiện tài khoản ARN | Đầu ra cho MonitoringAccountEventbusARN từ bước trước. |
. |
Theo dõi số nhận dạng chìm tài khoản | Đầu ra từ MonitoringAccountSinkIdentifier từ bước trước. |
. |
Bạn có thể triển khai tài nguyên tài khoản quản lý bằng cách chạy lệnh sau:
Triển khai giải pháp trong môi trường không thuộc Tổ chức
Nếu môi trường của bạn không sử dụng Tổ chức, thì ngăn xếp cơ sở hạ tầng tài khoản giám sát sẽ được triển khai theo cách tương tự nhưng có một vài thay đổi. Tuy nhiên, ngăn xếp cơ sở hạ tầng khối lượng công việc cần được triển khai theo cách thủ công vào từng tài khoản khối lượng công việc. Do đó, phương pháp này phù hợp với môi trường có số lượng tài khoản hạn chế. Đối với môi trường rộng lớn, bạn nên cân nhắc sử dụng Tổ chức.
Thiết lập tài khoản tài khoản giám sát
Chúng tôi cần thu thập thông tin tài khoản AWS sau để thiết lập tài nguyên tài khoản giám sát mà chúng tôi sử dụng làm đầu vào cho tập lệnh thiết lập sau này.
Đầu vào | Mô tả | Ví dụ |
quê hương | Khu vực nơi khối lượng công việc chạy. | ap-southeast-2 |
Danh sách tài khoản khối lượng công việc của SageMaker | Danh sách các tài khoản chạy khối lượng công việc SageMaker và truyền sự kiện đến tài khoản giám sát, được phân tách bằng dấu phẩy. | 111111111111,222222222222 |
Tài khoản giám sát Tên hồ sơ AWS CLI | Bạn có thể tìm thấy tên hồ sơ từ ~/.aws/config . Đây là tùy chọn. Nếu không được cung cấp, nó sẽ sử dụng thông tin xác thực AWS mặc định từ chuỗi. |
. |
Chúng tôi có thể triển khai tài nguyên tài khoản giám sát bằng cách chạy lệnh sau khi bạn thu thập thông tin cần thiết:
Chúng tôi nhận được kết quả đầu ra sau khi triển khai hoàn tất. Ghi lại các đầu ra để sử dụng trong bước tiếp theo khi triển khai ngăn xếp tài khoản quản lý.
Thiết lập cơ sở hạ tầng giám sát tài khoản khối lượng công việc
Chúng tôi cần thu thập thông tin tài khoản AWS sau đây để thiết lập cơ sở hạ tầng giám sát tài khoản khối lượng công việc mà chúng tôi sử dụng làm đầu vào cho tập lệnh thiết lập sau này.
Đầu vào | Mô tả | Ví dụ |
quê hương | Khu vực nơi khối lượng công việc chạy. Điều này phải giống như ngăn xếp giám sát. | ap-southeast-2 |
Giám sát ID tài khoản | ID tài khoản nơi ngăn xếp giám sát được triển khai. | . |
Tên vai trò tài khoản giám sát | Đầu ra cho MonitoringAccountRoleName từ bước trước. |
. |
Giám sát bus sự kiện tài khoản ARN | Đầu ra cho MonitoringAccountEventbusARN từ bước trước. |
. |
Theo dõi số nhận dạng chìm tài khoản | Đầu ra từ MonitoringAccountSinkIdentifier từ bước trước. |
. |
Tài khoản khối lượng công việc Tên hồ sơ AWS CLI | Bạn có thể tìm thấy tên hồ sơ từ ~/.aws/config . Đây là tùy chọn. Nếu không được cung cấp, nó sẽ sử dụng thông tin xác thực AWS mặc định từ chuỗi. |
. |
Chúng tôi có thể triển khai tài nguyên tài khoản giám sát bằng cách chạy lệnh sau:
Trực quan hóa các tác vụ ML trên bảng điều khiển CloudWatch
Để kiểm tra xem giải pháp có hoạt động hay không, chúng tôi cần chạy nhiều công việc xử lý SageMaker và công việc đào tạo SageMaker trên các tài khoản khối lượng công việc mà chúng tôi đã sử dụng trong các phần trước. Bảng điều khiển CloudWatch có thể tùy chỉnh dựa trên kịch bản của riêng bạn. Bảng điều khiển mẫu của chúng tôi bao gồm các tiện ích để trực quan hóa các công việc Xử lý SageMaker và các công việc Đào tạo SageMaker. Tất cả các công việc để theo dõi tài khoản khối lượng công việc được hiển thị trong bảng điều khiển này. Trong mỗi loại công việc, chúng tôi hiển thị ba vật dụng, đó là tổng số công việc, số lượng công việc không thành công và chi tiết của từng công việc. Trong ví dụ của chúng tôi, chúng tôi có hai tài khoản khối lượng công việc. Thông qua bảng điều khiển này, chúng ta có thể dễ dàng nhận thấy rằng một tài khoản khối lượng công việc có cả công việc xử lý và công việc đào tạo và một tài khoản khối lượng công việc khác chỉ có công việc đào tạo. Giống như các chức năng chúng tôi sử dụng trong CloudWatch, chúng tôi có thể đặt khoảng thời gian làm mới, chỉ định loại biểu đồ và phóng to hoặc thu nhỏ hoặc chúng tôi có thể chạy các hành động như tải xuống nhật ký trong tệp CSV.
Tùy chỉnh trang tổng quan của bạn
Giải pháp được cung cấp trong repo GitHub bao gồm cả công việc Đào tạo SageMaker và giám sát công việc Xử lý SageMaker. Nếu bạn muốn thêm nhiều bảng điều khiển hơn để giám sát các công việc khác của SageMaker, chẳng hạn như các công việc chuyển đổi hàng loạt, bạn có thể làm theo hướng dẫn trong phần này để tùy chỉnh bảng điều khiển của mình. Bằng cách sửa đổi tập tin index.py, bạn có thể tùy chỉnh các trường mà bạn muốn hiển thị trên trang tổng quan. Bạn có thể truy cập tất cả các chi tiết được CloudWatch ghi lại thông qua EventBridge. Trong chức năng Lambda, bạn có thể chọn các trường cần thiết mà bạn muốn hiển thị trên trang tổng quan. Xem đoạn mã sau:
Để tùy chỉnh bảng điều khiển hoặc tiện ích, bạn có thể sửa đổi mã nguồn trong tập tin giám sát-tài khoản-infra-stack.ts. Lưu ý rằng tên trường bạn sử dụng trong tệp này phải giống với tên trường (các khóa của job_detail
) được xác định trong tệp Lambda:
Sau khi sửa đổi bảng điều khiển, bạn cần triển khai lại giải pháp này từ đầu. Bạn có thể chạy sổ ghi chép Jupyter được cung cấp trong repo GitHub để chạy lại quy trình SageMaker, quy trình này sẽ khởi chạy lại các công việc Xử lý SageMaker. Khi công việc hoàn tất, bạn có thể chuyển đến bảng điều khiển CloudWatch và bên dưới Biểu đồ trong ngăn điều hướng, chọn Trang tổng quan tùy chỉnh. Bạn có thể tìm thấy bảng điều khiển có tên SageMaker-Monitoring-Dashboard.
Làm sạch
Nếu không cần trang tổng quan tùy chỉnh này nữa, bạn có thể dọn sạch tài nguyên. Để xóa tất cả các tài nguyên đã tạo, hãy sử dụng mã trong phần này. Quá trình dọn dẹp hơi khác đối với môi trường Tổ chức so với môi trường không thuộc Tổ chức.
Đối với môi trường Tổ chức, hãy sử dụng mã sau:
Đối với môi trường không phải Tổ chức, hãy sử dụng mã sau:
Ngoài ra, bạn có thể đăng nhập vào tài khoản giám sát, tài khoản khối lượng công việc và tài khoản quản lý để xóa ngăn xếp khỏi bảng điều khiển CloudFormation.
Kết luận
Trong bài đăng này, chúng tôi đã thảo luận về việc triển khai giải pháp báo cáo và giám sát tập trung cho SageMaker bằng CloudWatch. Bằng cách làm theo hướng dẫn từng bước được nêu trong bài đăng này, bạn có thể tạo bảng điều khiển giám sát nhiều tài khoản hiển thị các số liệu chính và hợp nhất nhật ký liên quan đến các công việc SageMaker khác nhau của họ từ các tài khoản khác nhau trong thời gian thực. Với bảng điều khiển giám sát tập trung này, bạn có thể có khả năng hiển thị tốt hơn các hoạt động của công việc SageMaker trên nhiều tài khoản, khắc phục sự cố nhanh hơn và đưa ra quyết định sáng suốt dựa trên dữ liệu thời gian thực. Nhìn chung, việc triển khai giải pháp giám sát và báo cáo tập trung bằng CloudWatch mang đến một cách hiệu quả để các tổ chức quản lý cơ sở hạ tầng ML dựa trên đám mây và việc sử dụng tài nguyên.
Vui lòng thử giải pháp và gửi phản hồi cho chúng tôi, bằng diễn đàn AWS dành cho Amazon SageMakerhoặc thông qua các địa chỉ liên hệ AWS thông thường của bạn.
Để tìm hiểu thêm về tính năng quan sát nhiều tài khoản, vui lòng tham khảo blog Khả năng quan sát nhiều tài khoản của Amazon CloudWatch
Về các tác giả
kiết đông là Kiến trúc sư đám mây AWS có trụ sở tại Sydney, Australia. Jie đam mê tự động hóa và thích phát triển các giải pháp giúp khách hàng cải thiện năng suất. Hệ thống hướng sự kiện và khuôn khổ không có máy chủ là chuyên môn của anh ấy. Trong thời gian riêng của mình, Jie thích làm việc để xây dựng nhà thông minh và khám phá các thiết bị nhà thông minh mới.
Melanie Lý, Tiến sĩ, là TAM Chuyên gia cao cấp về AI/ML tại AWS có trụ sở tại Sydney, Australia. Cô giúp các khách hàng doanh nghiệp xây dựng các giải pháp bằng cách sử dụng các công cụ AI/ML tiên tiến nhất trên AWS, đồng thời cung cấp hướng dẫn về kiến trúc và triển khai các giải pháp ML với các phương pháp hay nhất. Khi rảnh rỗi, cô thích khám phá thiên nhiên và dành thời gian cho gia đình và bạn bè.
Gordon Vương, là TAM Chuyên gia cao cấp về AI/ML tại AWS. Anh ấy hỗ trợ các khách hàng chiến lược bằng các phương pháp hay nhất về AI/ML trong nhiều ngành. Anh ấy đam mê thị giác máy tính, NLP, AI sáng tạo và MLOps. Trong thời gian rảnh rỗi, anh ấy thích chạy bộ và đi bộ đường dài.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- ChartPrime. Nâng cao trò chơi giao dịch của bạn với ChartPrime. Truy cập Tại đây.
- BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/build-a-centralized-monitoring-and-reporting-solution-for-amazon-sagemaker-using-amazon-cloudwatch/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 100
- 11
- 12
- 17
- 24
- 7
- 8
- 9
- a
- Giới thiệu
- truy cập
- Tài khoản
- Trợ Lý Giám Đốc
- Đạt được
- ngang qua
- hành động
- hoạt động
- thêm vào
- thêm
- Ngoài ra
- thêm vào
- Ngoài ra
- Thêm
- quản trị viên
- con nuôi
- Sau
- một lần nữa
- chống lại
- AI
- AI / ML
- Cảnh báo
- Tất cả
- cho phép
- Ngoài ra
- đàn bà gan dạ
- Amazon SageMaker
- Amazon Web Services
- an
- phân tích
- và
- Một
- api
- kiến trúc
- lưu trữ
- LÀ
- AS
- At
- kiểm toán
- Châu Úc
- Thẩm quyền
- tự động hóa
- tự động
- Tự động hóa
- AWS
- trở lại
- dựa
- BE
- trở thành
- Bắt đầu
- BEST
- thực hành tốt nhất
- Hơn
- Blog
- cả hai
- đáy
- xây dựng
- Xây dựng
- xe buýt
- nhưng
- by
- Cuộc gọi
- CAN
- Có thể có được
- bị bắt
- trường hợp
- nguyên nhân
- tập trung
- nhất định
- chuỗi
- thách thức
- thay đổi
- Những thay đổi
- kiểm tra
- Chọn
- Nhấp chuột
- đám mây
- Nền tảng đám mây
- mã
- thu thập
- hoàn thành
- hoàn thành
- toàn diện
- máy tính
- Tầm nhìn máy tính
- Hãy xem xét
- bao gồm
- An ủi
- Hợp nhất
- xây dựng
- Liên hệ
- bối cảnh
- điều khiển
- thuận tiện
- Tương ứng
- tạo
- tạo ra
- Credentials
- Vượt qua
- khách hàng
- khách hàng
- khách hàng
- tùy biến
- tùy chỉnh
- bảng điều khiển
- trang tổng quan
- dữ liệu
- quyết định
- Mặc định
- xác định
- giao
- Phụ thuộc
- triển khai
- triển khai
- triển khai
- triển khai
- thiết kế
- chi tiết
- chi tiết
- phát triển
- khác nhau
- thảo luận
- Giao diện
- hiển thị
- màn hình
- Không
- dont
- tải về
- thời gian
- e
- mỗi
- dễ dàng
- hiệu quả
- hiệu quả
- hiệu quả
- hay
- cho phép
- cho phép
- cuối
- Cuối cùng đến cuối
- Điểm cuối
- Doanh nghiệp
- Môi trường
- thiết yếu
- Sự kiện
- sự kiện
- ví dụ
- Trừ
- thi hành
- hiện tại
- chuyên môn
- Giải thích
- khám phá
- biểu hiện
- thất bại
- không
- Không
- sai
- gia đình
- Đặc tính
- thông tin phản hồi
- vài
- lĩnh vực
- Lĩnh vực
- Tập tin
- lọc
- Tìm kiếm
- theo
- tiếp theo
- Trong
- Diễn đàn
- Khung
- bạn bè
- từ
- đầy đủ
- chức năng
- chức năng
- xa hơn
- Hơn nữa
- Tiện ích
- thế hệ
- Trí tuệ nhân tạo
- được
- GitHub
- ly
- Go
- quản trị
- đồ thị
- Nhóm
- hướng dẫn
- Có
- he
- cao
- giúp đỡ
- giúp
- cô
- cấp độ cao
- Nhấn mạnh
- của mình
- lịch sử
- Trang Chủ
- chủ nhà
- lưu trữ
- Tuy nhiên
- HTML
- http
- HTTPS
- ID
- xác định
- xác định
- if
- thực hiện
- thực hiện
- nâng cao
- in
- bao gồm
- bao gồm
- các cá nhân
- các ngành công nghiệp
- thông tin
- thông báo
- Cơ sở hạ tầng
- đầu vào
- những hiểu biết
- thay vì
- hướng dẫn
- Tích hợp
- hội nhập
- trong
- vấn đề
- các vấn đề
- IT
- Việc làm
- việc làm
- jpg
- chỉ
- Giữ
- Key
- phím
- nhãn
- lớn
- một lát sau
- phóng
- LEARN
- học tập
- trái
- Hạn chế
- Danh sách
- địa phương
- đăng nhập
- logic
- còn
- Xem
- tìm kiếm
- yêu
- máy
- học máy
- làm cho
- quản lý
- quản lý
- quản lý
- Ban Quản Trị
- cách thức
- nhãn hiệu
- thủ công
- nhiều
- phương pháp
- số liệu
- Metrics
- ML
- MLOps
- sửa đổi
- Màn Hình
- theo dõi
- giám sát
- màn hình
- chi tiết
- chuyển
- nhiều
- tên
- Được đặt theo tên
- tên
- tự nhiên
- Thiên nhiên
- Điều hướng
- THÔNG TIN
- cần thiết
- Cần
- nhu cầu
- Mới
- tiếp theo
- nlp
- Không
- Không áp dụng
- máy tính xách tay
- con số
- of
- Cung cấp
- on
- ONE
- có thể
- hoạt động
- hoạt động
- Hoạt động
- Tùy chọn
- or
- cơ quan
- tổ chức
- tổ chức
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- nêu
- đầu ra
- tổng thể
- riêng
- cửa sổ
- thông số
- đam mê
- con đường
- Thực hiện
- thực hiện
- biểu diễn
- quyền
- Bằng tiến sĩ
- đường ống dẫn
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- xin vui lòng
- điểm
- điều luật
- Bài đăng
- tiềm năng
- thực hành
- trình bày
- trước
- thủ tục
- Xử lý
- xử lý
- năng suất
- Hồ sơ
- cho
- cung cấp
- cung cấp
- Xuất bản
- mục đích
- Đẩy
- truy vấn
- Mau
- thực
- thời gian thực
- dữ liệu theo thời gian thực
- nhận
- đề nghị
- khu
- liên quan
- có liên quan
- Báo cáo
- cần phải
- Yêu cầu
- tài nguyên
- Thông tin
- Trả lời
- Kết quả
- ngay
- Vai trò
- Quy tắc
- quy tắc
- chạy
- chạy
- nhà làm hiền triết
- tương tự
- mở rộng quy mô
- kịch bản
- kịch bản
- phạm vi
- xước
- Tìm kiếm
- Phần
- phần
- xem
- gửi
- cao cấp
- riêng biệt
- phục vụ
- Không có máy chủ
- dịch vụ
- DỊCH VỤ
- định
- thiết lập
- Chia sẻ
- chia sẻ
- chị ấy
- nên
- hiển thị
- thể hiện
- Chương trình
- tương tự
- đơn giản hóa
- duy nhất
- hơi khác nhau
- thông minh
- Nhà thông minh
- So
- giải pháp
- Giải pháp
- nguồn
- mã nguồn
- chuyên gia
- tiêu
- lan tràn
- ngăn xếp
- xếp chồng lên nhau
- Stacks
- độc lập
- Bắt đầu
- nhà nước-of-the-art
- Trạng thái
- Bước
- Các bước
- Chiến lược
- dòng
- dòng
- như vậy
- phù hợp
- Hỗ trợ
- Hỗ trợ
- sydney
- hệ thống
- bàn
- Mục tiêu
- mục tiêu
- nhiệm vụ
- nhóm
- đội
- việc này
- Sản phẩm
- Đồ thị
- thông tin
- Nguồn
- cung cấp their dịch
- Them
- Đó
- vì thế
- Kia là
- điều này
- những
- số ba
- Thông qua
- thời gian
- Yêu sách
- đến
- công cụ
- Tổng số:
- Dấu vết
- theo dõi
- Hội thảo
- Chuyển đổi
- đúng
- thử
- hai
- kiểu
- Dưới
- Bất ngờ
- đơn vị
- us
- Sử dụng
- sử dụng
- đã sử dụng
- người sử dang
- Người sử dụng
- sử dụng
- sử dụng
- tận dụng
- HIỆU LỰC
- giá trị
- khác nhau
- thông qua
- Xem
- khả năng hiển thị
- tầm nhìn
- vs
- muốn
- Đường..
- we
- web
- các dịch vụ web
- Điều gì
- khi nào
- cái nào
- chiều rộng
- sẽ
- với
- ở trong
- Công việc
- công trinh
- Bạn
- trên màn hình
- zephyrnet
- thu phóng