Đây là bài đăng thứ hai của loạt bài gồm bốn phần hướng dẫn chi tiết cách Nhóm NatWest, một tổ chức dịch vụ tài chính lớn, hợp tác với Dịch vụ chuyên nghiệp của AWS để xây dựng nền tảng hoạt động học máy (MLOps) mới. Trong bài đăng này, chúng tôi chia sẻ cách Nhóm NatWest sử dụng AWS để cho phép triển khai tự phục vụ nền tảng MLOps được tiêu chuẩn hóa, an toàn và tuân thủ của họ bằng cách sử dụng Danh mục dịch vụ AWS và Amazon SageMaker. Điều này đã dẫn đến việc giảm thời gian cung cấp môi trường mới từ vài ngày xuống chỉ còn vài giờ.
Chúng tôi tin rằng những người ra quyết định có thể được hưởng lợi từ nội dung này. CTO, CDAO, nhà khoa học dữ liệu cấp cao và kỹ sư đám mây cấp cao có thể tuân theo mô hình này để cung cấp các giải pháp sáng tạo cho nhóm kỹ thuật và khoa học dữ liệu của họ.
Đọc toàn bộ loạt bài:
|
Công nghệ tại NatWest Group
NatWest Group là một ngân hàng quan hệ cho một thế giới kỹ thuật số, cung cấp các dịch vụ tài chính cho hơn 19 triệu khách hàng trên khắp Vương quốc Anh. Tập đoàn có một danh mục công nghệ đa dạng, nơi các giải pháp cho các thách thức kinh doanh thường được cung cấp bằng cách sử dụng các thiết kế đặt trước và với các mốc thời gian dài.
Gần đây, NatWest Group đã áp dụng chiến lược ưu tiên đám mây, cho phép công ty sử dụng các dịch vụ được quản lý để cung cấp tài nguyên máy tính và lưu trữ theo yêu cầu. Động thái này đã dẫn đến sự cải thiện về độ ổn định tổng thể, khả năng mở rộng và hiệu suất của các giải pháp kinh doanh, đồng thời giảm chi phí và tăng tốc độ phân phối. Ngoài ra, việc chuyển sang đám mây cho phép NatWest Group đơn giản hóa nền tảng công nghệ của mình bằng cách thực thi một tập hợp các thiết kế giải pháp nhất quán, có thể lặp lại và được phê duyệt trước để đáp ứng các yêu cầu quy định và hoạt động một cách có kiểm soát.
Những thách thức
Các giai đoạn thí điểm của việc áp dụng phương pháp tiếp cận trên nền tảng đám mây bao gồm một số giai đoạn thử nghiệm và đánh giá sử dụng nhiều loại dịch vụ phân tích trên AWS. Các lần lặp lại đầu tiên của nền tảng đám mây của NatWest Group dành cho khối lượng công việc khoa học dữ liệu đã phải đối mặt với những thách thức với việc cung cấp các môi trường đám mây phù hợp, an toàn và tuân thủ. Quá trình tạo môi trường mới mất từ vài ngày đến vài tuần hoặc thậm chí vài tháng. Việc phụ thuộc vào các nhóm nền tảng trung tâm để xây dựng, cung cấp, bảo mật, triển khai và quản lý cơ sở hạ tầng và nguồn dữ liệu đã gây khó khăn cho việc tham gia các nhóm mới làm việc trên đám mây.
Do sự chênh lệch về cấu hình cơ sở hạ tầng giữa các tài khoản AWS, các nhóm quyết định di chuyển khối lượng công việc của họ lên đám mây phải trải qua một quy trình tuân thủ phức tạp. Mỗi thành phần cơ sở hạ tầng phải được phân tích riêng biệt, điều này làm tăng thời gian kiểm tra bảo mật.
Bắt đầu phát triển trong AWS bao gồm việc đọc một bộ hướng dẫn tài liệu do các nhóm nền tảng viết. Các bước thiết lập môi trường ban đầu bao gồm quản lý khóa công khai và khóa riêng tư để xác thực, định cấu hình kết nối với các dịch vụ từ xa bằng cách sử dụng Giao diện dòng lệnh AWS (AWS CLI) hoặc SDK từ môi trường phát triển cục bộ và chạy các tập lệnh tùy chỉnh để liên kết các IDE cục bộ với các dịch vụ đám mây. Những thách thức kỹ thuật thường gây khó khăn cho việc tiếp cận các thành viên mới trong nhóm. Sau khi các môi trường phát triển được định cấu hình, lộ trình phát hành phần mềm trong sản xuất cũng phức tạp và dài dòng.
Như được mô tả trong Phần 1 của loạt bài này, nhóm dự án chung đã thu thập một lượng lớn phản hồi về trải nghiệm người dùng và yêu cầu từ các nhóm trong NatWest Group trước khi xây dựng nền tảng MLOps và khoa học dữ liệu mới. Một chủ đề chung trong phản hồi này là nhu cầu tự động hóa và tiêu chuẩn hóa như một tiền thân của việc phân phối dự án nhanh chóng và hiệu quả trên AWS. Nền tảng mới sử dụng các dịch vụ được quản lý bởi AWS để tối ưu hóa chi phí, cắt giảm nỗ lực cấu hình nền tảng và giảm lượng khí thải carbon do chạy các công việc tính toán lớn không cần thiết. Tiêu chuẩn hóa được nhúng vào trung tâm của nền tảng, với các thành phần cơ sở hạ tầng đã được phê duyệt trước, được định cấu hình đầy đủ, an toàn, tuân thủ và có thể tái sử dụng được giữa các nhóm dữ liệu và phân tích.
Tại sao nên chọn SageMaker Studio?
Nhóm đã chọn Xưởng sản xuất Amazon SageMaker là công cụ chính để xây dựng và triển khai các đường ống ML. Studio cung cấp một giao diện dựa trên web duy nhất cho phép người dùng truy cập, kiểm soát và khả năng hiển thị đầy đủ vào từng bước cần thiết để xây dựng, đào tạo và triển khai các mô hình. Sự trưởng thành của Studio IDE (môi trường phát triển tích hợp) để phát triển mô hình, theo dõi siêu dữ liệu, quản lý cấu phần phần mềm và triển khai là một trong những tính năng thu hút mạnh mẽ nhóm NatWest Group.
Các nhà khoa học dữ liệu tại NatWest Group làm việc với máy tính xách tay SageMaker bên trong Studio trong giai đoạn phát triển mô hình ban đầu để thực hiện phân tích dữ liệu, xử lý dữ liệu và kỹ thuật tính năng. Sau khi người dùng hài lòng với kết quả của công việc ban đầu này, mã dễ dàng được chuyển đổi thành các hàm có thể kết hợp để chuyển đổi dữ liệu, đào tạo mô hình, suy luận, ghi nhật ký và kiểm tra đơn vị để nó ở trạng thái sẵn sàng sản xuất.
Các giai đoạn sau của vòng đời phát triển mô hình liên quan đến việc sử dụng Đường ống Amazon SageMaker, có thể được kiểm tra và giám sát trực quan trong Studio. Các đường ống được trực quan hóa trong một DAG (Đồ thị vòng được hướng dẫn) mã màu dựa trên trạng thái của chúng trong khi đường ống chạy. Ngoài ra, một bản tóm tắt của Nhật ký Amazon CloudWatch được hiển thị bên cạnh DAG để tạo thuận lợi cho việc gỡ lỗi các bước không thành công. Các nhà khoa học dữ liệu được cung cấp một mẫu mã bao gồm tất cả các bước cơ bản trong đường dẫn SageMaker. Điều này cung cấp một khuôn khổ tiêu chuẩn hóa (nhất quán trên tất cả người dùng nền tảng để dễ dàng cộng tác và chia sẻ kiến thức), trong đó các nhà phát triển có thể thêm logic và mã ứng dụng dành riêng cho thách thức kinh doanh mà họ đang giải quyết.
Các nhà phát triển chạy các đường ống trong Studio IDE để đảm bảo các thay đổi mã của họ tích hợp chính xác với các bước đường dẫn khác. Sau khi các thay đổi mã đã được xem xét và phê duyệt, các đường ống này được xây dựng và chạy tự động dựa trên trình kích hoạt nhánh chính của kho lưu trữ Git. Trong quá trình đào tạo mô hình, các chỉ số đánh giá mô hình được lưu trữ và theo dõi trong Thử nghiệm SageMaker, có thể được sử dụng để điều chỉnh siêu tham số. Sau khi một mô hình được đào tạo, tạo tác mô hình được lưu trữ trong Đăng ký mô hình SageMaker, cùng với siêu dữ liệu liên quan đến vùng chứa mô hình, dữ liệu được sử dụng trong quá trình đào tạo, các tính năng của mô hình và mã mô hình. Sổ đăng ký mô hình đóng một vai trò quan trọng trong quá trình triển khai mô hình vì nó đóng gói tất cả thông tin mô hình và cho phép tự động hóa việc quảng bá mô hình vào môi trường sản xuất.
Các kỹ sư MLOps triển khai được quản lý Các công việc chuyển đổi hàng loạt của SageMaker, quy mô nào để đáp ứng nhu cầu khối lượng công việc. Cả hai công việc suy luận hàng loạt ngoại tuyến và các mô hình trực tuyến được cung cấp thông qua một điểm cuối đều sử dụng chức năng suy luận được quản lý của SageMaker. Điều này mang lại lợi ích cho cả nhóm ứng dụng nền tảng và doanh nghiệp vì các kỹ sư nền tảng không còn dành thời gian định cấu hình các thành phần cơ sở hạ tầng để suy luận mô hình và nhóm ứng dụng kinh doanh không viết mã soạn sẵn bổ sung để thiết lập và tương tác với các phiên bản máy tính.
Tại sao lại sử dụng Danh mục dịch vụ AWS?
Nhóm đã chọn Danh mục dịch vụ AWS để xây dựng danh mục các mẫu cơ sở hạ tầng an toàn, tuân thủ và được phê duyệt trước. Các thành phần cơ sở hạ tầng trong sản phẩm Danh mục dịch vụ AWS được định cấu hình trước để đáp ứng các yêu cầu bảo mật của NatWest Group. Chính sách quản lý truy cập vai trò, chính sách tài nguyên, cấu hình mạng và điều khiển trung tâm được định cấu hình cho từng tài nguyên được đóng gói trong sản phẩm Danh mục dịch vụ AWS. Các sản phẩm được tạo phiên bản và chia sẻ với các nhóm ứng dụng bằng cách tuân theo quy trình tiêu chuẩn cho phép các nhóm khoa học dữ liệu và kỹ thuật tự phục vụ và triển khai cơ sở hạ tầng ngay sau khi có quyền truy cập vào tài khoản AWS của họ.
Các nhóm phát triển nền tảng có thể dễ dàng phát triển các sản phẩm Danh mục dịch vụ AWS theo thời gian để cho phép triển khai các tính năng mới dựa trên yêu cầu kinh doanh. Các thay đổi lặp đi lặp lại đối với sản phẩm được thực hiện với sự trợ giúp của phiên bản sản phẩm Danh mục dịch vụ AWS. Khi phiên bản sản phẩm mới được phát hành, nhóm nền tảng sẽ hợp nhất các thay đổi mã đối với nhánh Git chính và tăng phiên bản của sản phẩm Danh mục dịch vụ AWS. Có một mức độ tự chủ và linh hoạt trong việc cập nhật cơ sở hạ tầng vì các tài khoản ứng dụng doanh nghiệp có thể sử dụng các phiên bản sản phẩm trước đó trước khi chúng chuyển sang phiên bản mới nhất.
Tổng quan về giải pháp
Sơ đồ kiến trúc cấp cao sau đây cho thấy cách một trường hợp sử dụng ứng dụng kinh doanh điển hình được triển khai trên AWS. Các phần sau đi vào chi tiết hơn về kiến trúc tài khoản, cách cơ sở hạ tầng được triển khai, quản lý quyền truy cập của người dùng và cách các dịch vụ AWS khác nhau được sử dụng để xây dựng các giải pháp ML.
Như được hiển thị trong sơ đồ kiến trúc, các tài khoản tuân theo mô hình trung tâm và có chấu. Tài khoản nền tảng được chia sẻ đóng vai trò như một tài khoản trung tâm, trong đó tài nguyên theo yêu cầu của các tài khoản nhóm ứng dụng kinh doanh (đã nói) được lưu trữ bởi nhóm nền tảng. Các tài nguyên này bao gồm:
- Thư viện các sản phẩm cơ sở hạ tầng an toàn, được tiêu chuẩn hóa được sử dụng để triển khai cơ sở hạ tầng tự phục vụ, do AWS Service Catalog lưu trữ
- Hình ảnh Docker, được lưu trữ trong Đăng ký container đàn hồi Amazon (Amazon ECR), được sử dụng trong quá trình chạy các bước đường ống SageMaker và suy luận mô hình
- Mã AWSArtifact kho lưu trữ các gói Python đã được phê duyệt trước
Các tài nguyên này tự động được chia sẻ với các tài khoản nói chuyện thông qua tính năng nhập và chia sẻ danh mục Danh mục dịch vụ AWS, và Quản lý truy cập và nhận dạng AWS (IAM) chính sách tin cậy trong trường hợp của cả Amazon ECR và CodeArtifact.
Mỗi nhóm ứng dụng kinh doanh được cấp ba tài khoản AWS trong môi trường cơ sở hạ tầng của NatWest Group: phát triển, tiền sản xuất và sản xuất. Tên môi trường đề cập đến vai trò dự kiến của tài khoản trong vòng đời phát triển khoa học dữ liệu. Tài khoản phát triển được sử dụng để thực hiện phân tích và kết hợp dữ liệu, viết mã mô hình và mô hình đường ống, đào tạo mô hình và kích hoạt triển khai mô hình cho môi trường tiền sản xuất và sản xuất thông qua SageMaker Studio. Tài khoản tiền sản xuất phản ánh việc thiết lập tài khoản sản xuất và được sử dụng để kiểm tra việc triển khai mô hình và chuyển đổi hàng loạt công việc trước khi chúng được đưa vào sản xuất. Tài khoản sản xuất lưu trữ các mô hình và chạy khối lượng công việc kết nối sản xuất.
Quản lý người dùng
NatWest Group có các quy trình quản trị nghiêm ngặt để thực thi phân tách vai trò người dùng. Năm vai trò IAM riêng biệt đã được tạo cho mỗi cá nhân người dùng.
Nhóm nền tảng sử dụng các vai trò sau:
- Kỹ sư hỗ trợ nền tảng - Vai trò này chứa quyền đối với các tác vụ thông thường và chế độ xem chỉ đọc đối với phần còn lại của môi trường để theo dõi và gỡ lỗi nền tảng.
- Kỹ sư sửa chữa nền tảng - Vai trò này đã được tạo với các quyền cao hơn. Nó được sử dụng nếu có vấn đề với nền tảng cần can thiệp thủ công. Vai trò này chỉ được đảm nhận một cách được phê duyệt và có giới hạn thời gian.
Các nhóm phát triển ứng dụng kinh doanh có ba vai trò riêng biệt:
- Lãnh đạo kỹ thuật - Vai trò này được giao cho trưởng nhóm ứng dụng, thường là một nhà khoa học dữ liệu cấp cao. Người dùng này có quyền triển khai và quản lý các sản phẩm Danh mục dịch vụ AWS, kích hoạt các bản phát hành đi vào sản xuất và xem xét trạng thái của môi trường, chẳng hạn như Đường ống dẫn mã AWS trạng thái và nhật ký. Vai trò này không có quyền phê duyệt một mô hình trong sổ đăng ký mô hình SageMaker.
- Nhà phát triển - Vai trò này được giao cho tất cả các thành viên trong nhóm làm việc với SageMaker Studio, bao gồm các kỹ sư, nhà khoa học dữ liệu và thường là trưởng nhóm. Vai trò này có quyền mở Studio, viết mã, chạy và triển khai các đường ống dẫn của SageMaker. Giống như trưởng nhóm kỹ thuật, vai trò này không có quyền phê duyệt một mô hình trong sổ đăng ký mô hình.
- Người phê duyệt mô hình - Vai trò này có các quyền hạn chế liên quan đến việc xem, phê duyệt và từ chối các mô hình trong sổ đăng ký mô hình. Lý do cho sự tách biệt này là để ngăn bất kỳ người dùng nào có thể xây dựng và đào tạo mô hình phê duyệt và phát hành mô hình của riêng họ vào môi trường leo thang.
Hồ sơ người dùng Studio riêng biệt được tạo cho các nhà phát triển và người phê duyệt mô hình. Giải pháp sử dụng kết hợp các tuyên bố chính sách IAM và thẻ hồ sơ người dùng SageMaker để người dùng chỉ được phép mở hồ sơ người dùng phù hợp với loại người dùng của họ. Điều này đảm bảo rằng người dùng được chỉ định vai trò IAM thực thi SageMaker chính xác (và do đó là quyền) khi họ mở IDE Studio.
Triển khai tự phục vụ với Danh mục dịch vụ AWS
Người dùng cuối sử dụng Danh mục dịch vụ AWS để triển khai các sản phẩm cơ sở hạ tầng khoa học dữ liệu, chẳng hạn như các sản phẩm sau:
- Một môi trường Studio
- Hồ sơ người dùng Studio
- Đường ống triển khai mô hình
- Đường ống đào tạo
- Đường ống suy luận
- Một hệ thống giám sát và cảnh báo
Người dùng cuối triển khai các sản phẩm này trực tiếp thông qua Giao diện người dùng Danh mục dịch vụ AWS, có nghĩa là sẽ ít phụ thuộc hơn vào các nhóm nền tảng trung tâm vào môi trường cung cấp. Điều này đã làm giảm đáng kể thời gian để người dùng có quyền truy cập vào môi trường đám mây mới, từ nhiều ngày xuống chỉ còn vài giờ, điều này cuối cùng đã dẫn đến sự cải thiện đáng kể về thời gian so với giá trị. Việc sử dụng một bộ sản phẩm Danh mục dịch vụ AWS chung hỗ trợ tính nhất quán trong các dự án trong toàn doanh nghiệp và giảm bớt rào cản cho việc cộng tác và sử dụng lại.
Bởi vì tất cả cơ sở hạ tầng khoa học dữ liệu hiện được triển khai thông qua danh mục các sản phẩm cơ sở hạ tầng được phát triển tập trung, nên chúng tôi đã cẩn thận xây dựng từng sản phẩm này với tính bảo mật. Các dịch vụ đã được định cấu hình để giao tiếp bên trong Đám mây riêng ảo Amazon (Amazon VPC) để lưu lượng truy cập không qua internet công cộng. Dữ liệu được mã hóa khi chuyển tiếp và sử dụng Dịch vụ quản lý khóa AWS (AWS KMS) khóa. Các vai trò IAM cũng đã được thiết lập để tuân theo nguyên tắc ít đặc quyền nhất.
Cuối cùng, với Danh mục dịch vụ AWS, thật dễ dàng để nhóm nền tảng liên tục phát hành các sản phẩm và dịch vụ mới khi chúng có sẵn hoặc được nhóm ứng dụng kinh doanh yêu cầu. Chúng có thể ở dạng các sản phẩm cơ sở hạ tầng mới, chẳng hạn như cung cấp khả năng cho người dùng cuối triển khai Amazon EMR các cụm hoặc các bản cập nhật cho các sản phẩm cơ sở hạ tầng hiện có. Vì Danh mục dịch vụ AWS hỗ trợ lập phiên bản sản phẩm và sử dụng Hình thành đám mây AWS đằng sau hậu trường, các bản nâng cấp tại chỗ có thể được sử dụng khi phiên bản mới của các sản phẩm hiện có được phát hành. Điều này cho phép các nhóm nền tảng tập trung vào việc xây dựng và cải tiến sản phẩm, thay vì phát triển các quy trình nâng cấp phức tạp.
Tích hợp với phần mềm IaC hiện có của NatWest
Danh mục dịch vụ AWS được sử dụng để triển khai cơ sở hạ tầng khoa học dữ liệu tự phục vụ. Ngoài ra, cơ sở hạ tầng tiêu chuẩn của NatWest dưới dạng công cụ mã (IaC), Terraform, được sử dụng để xây dựng cơ sở hạ tầng trong tài khoản AWS. Terraform được các nhóm nền tảng sử dụng trong quá trình thiết lập tài khoản ban đầu để triển khai các tài nguyên cơ sở hạ tầng tiên quyết như VPC, nhóm bảo mật, Người quản lý hệ thống AWS tham số, khóa KMS và kiểm soát bảo mật tiêu chuẩn. Cơ sở hạ tầng trong tài khoản trung tâm, chẳng hạn như danh mục Danh mục dịch vụ AWS và tài nguyên được sử dụng để tạo hình ảnh Docker, cũng được xác định bằng Terraform. Tuy nhiên, bản thân các sản phẩm Danh mục dịch vụ AWS được xây dựng bằng cách sử dụng các mẫu CloudFormation tiêu chuẩn.
Cải thiện năng suất của nhà phát triển và chất lượng mã với các dự án SageMaker
Các dự án của SageMaker cung cấp cho các nhà phát triển và nhà khoa học dữ liệu quyền truy cập vào các dự án bắt đầu nhanh chóng mà không cần rời khỏi SageMaker Studio. Các dự án khởi động nhanh này cho phép bạn triển khai nhiều tài nguyên cơ sở hạ tầng cùng lúc chỉ trong vài cú nhấp chuột. Chúng bao gồm một kho lưu trữ Git chứa một mẫu dự án chuẩn hóa cho loại mô hình đã chọn, Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) nhóm để lưu trữ dữ liệu, các mô hình và hiện vật được tuần tự hóa, cũng như đào tạo mô hình và các đường dẫn CodePipeline suy luận.
Sự ra đời của công cụ và kiến trúc cơ sở mã được tiêu chuẩn hóa hiện nay giúp các nhà khoa học dữ liệu và kỹ sư dễ dàng di chuyển giữa các dự án và đảm bảo chất lượng mã vẫn cao. Ví dụ: các phương pháp hay nhất về kỹ thuật phần mềm như kiểm tra định dạng và in linting (chạy cả dưới dạng kiểm tra tự động và móc cam kết trước), kiểm tra đơn vị và báo cáo phạm vi hiện được tự động hóa như một phần của đường ống đào tạo, cung cấp tiêu chuẩn hóa trên tất cả các dự án. Điều này đã cải thiện khả năng bảo trì của các dự án ML và sẽ giúp việc chuyển các dự án này vào sản xuất dễ dàng hơn.
Tự động hóa triển khai mô hình
Quá trình đào tạo mô hình được sắp xếp bằng cách sử dụng SageMaker Pipelines. Sau khi các mô hình đã được đào tạo, chúng được lưu trữ trong sổ đăng ký mô hình SageMaker. Người dùng được chỉ định vai trò người phê duyệt mô hình có thể mở sổ đăng ký mô hình và tìm thông tin liên quan đến quá trình đào tạo, chẳng hạn như thời điểm mô hình được đào tạo, giá trị siêu tham số và số liệu đánh giá. Thông tin này giúp người dùng quyết định xem nên chấp thuận hay từ chối một mô hình. Việc từ chối một mô hình ngăn không cho mô hình được triển khai vào một môi trường leo thang, trong khi việc phê duyệt một mô hình sẽ kích hoạt một quy trình quảng bá mô hình thông qua CodePipeline tự động sao chép mô hình đó vào tài khoản AWS tiền sản xuất, sẵn sàng để kiểm tra khối lượng công việc suy luận. Sau khi nhóm đã xác nhận rằng mô hình hoạt động chính xác trong giai đoạn tiền sản xuất, một bước thủ công trong cùng một quy trình sẽ được phê duyệt và mô hình được tự động sao chép sang tài khoản sản xuất, sẵn sàng cho khối lượng công việc truyền dữ liệu sản xuất.
Kết quả
Một trong những mục tiêu chính của dự án hợp tác này giữa NatWest và AWS là giảm thời gian cung cấp và triển khai môi trường đám mây khoa học dữ liệu và mô hình ML vào sản xuất. Điều này đã đạt được — NatWest hiện có thể cung cấp môi trường AWS mới, có thể mở rộng và bảo mật trong vài giờ, so với vài ngày hoặc thậm chí vài tuần. Các nhà khoa học dữ liệu và kỹ sư hiện được trao quyền tự mình triển khai và quản lý cơ sở hạ tầng khoa học dữ liệu bằng cách sử dụng Danh mục dịch vụ AWS, giảm sự phụ thuộc vào các nhóm nền tảng tập trung. Ngoài ra, việc sử dụng các dự án SageMaker cho phép người dùng bắt đầu viết mã và đào tạo các mô hình trong vòng vài phút, đồng thời cung cấp công cụ và cấu trúc dự án được tiêu chuẩn hóa.
Vì Danh mục dịch vụ AWS đóng vai trò là phương pháp trung tâm để triển khai cơ sở hạ tầng khoa học dữ liệu, nền tảng này có thể dễ dàng được mở rộng và nâng cấp trong tương lai. Các dịch vụ AWS mới có thể nhanh chóng được cung cấp cho người dùng cuối khi có nhu cầu và các sản phẩm Danh mục dịch vụ AWS hiện có có thể được nâng cấp tại chỗ để tận dụng các tính năng mới.
Cuối cùng, việc hướng tới các dịch vụ được quản lý trên AWS có nghĩa là các tài nguyên máy tính được cung cấp và ngừng hoạt động theo yêu cầu. Điều này đã mang lại sự tiết kiệm chi phí và tính linh hoạt, đồng thời phù hợp với Tham vọng của NatWest là không có net vào năm 2050 do lượng CO ước tính giảm 75%2 khí thải.
Kết luận
Việc áp dụng chiến lược ưu tiên đám mây tại NatWest Group đã dẫn đến việc tạo ra một giải pháp AWS mạnh mẽ có thể hỗ trợ một số lượng lớn các nhóm ứng dụng kinh doanh trong toàn tổ chức. Quản lý cơ sở hạ tầng với Danh mục dịch vụ AWS đã cải thiện đáng kể quy trình tích hợp đám mây bằng cách sử dụng các khối xây dựng an toàn, tuân thủ và được phê duyệt trước của cơ sở hạ tầng có thể dễ dàng mở rộng. Các thành phần cơ sở hạ tầng được quản lý của SageMaker đã cải thiện quy trình phát triển mô hình và đẩy nhanh việc phân phối các dự án ML.
Để tìm hiểu thêm về quy trình xây dựng các mô hình ML sẵn sàng sản xuất tại NatWest Group, hãy xem phần còn lại của loạt bài bốn phần này về sự hợp tác chiến lược giữa NatWest Group và AWS Professional Services:
- Phần 1 giải thích cách NatWest Group hợp tác với AWS Professional Services để xây dựng một nền tảng MLOps có thể mở rộng, an toàn và bền vững
- Phần 3 cung cấp tổng quan về cách NatWest Group sử dụng các dịch vụ của SageMaker để xây dựng các mô hình ML có thể nghe được, có thể tái tạo và có thể giải thích được
- Phần 4 nêu chi tiết cách các nhóm khoa học dữ liệu của NatWest di chuyển các mô hình hiện có của họ sang kiến trúc SageMaker
Về các tác giả
Junaid Baba là Nhà tư vấn DevOps tại Dịch vụ chuyên nghiệp của AWS Anh ấy tận dụng kinh nghiệm của mình trong Kubernetes, điện toán phân tán, AI / MLOps để tăng tốc độ chấp nhận đám mây của các khách hàng trong ngành dịch vụ tài chính Vương quốc Anh. Junaid đã làm việc với AWS từ tháng 2018 năm XNUMX. Trước đó, Junaid đã làm việc với một số công ty khởi nghiệp tài chính thúc đẩy thực hành DevOps. Ngoài công việc, anh ấy có sở thích đi bộ xuyên rừng, nghệ thuật hiện đại và chụp ảnh tĩnh vật.
Yordanka Ivanova là Kỹ sư dữ liệu tại NatWest Group. Cô có kinh nghiệm trong việc xây dựng và cung cấp các giải pháp dữ liệu cho các công ty trong ngành dịch vụ tài chính. Trước khi gia nhập NatWest, Yordanka đã làm việc với tư cách là cố vấn kỹ thuật, nơi cô có được kinh nghiệm trong việc tận dụng nhiều loại dịch vụ đám mây và công nghệ nguồn mở để mang lại kết quả kinh doanh trên nhiều nền tảng đám mây. Khi rảnh rỗi, Yordanka thích tập thể dục, đi du lịch và chơi guitar.
Michael Anh là kỹ sư phần mềm trong nhóm Khoa học Dữ liệu và Đổi mới tại NatWest Group. Anh ấy đam mê phát triển các giải pháp để chạy khối lượng công việc Học máy quy mô lớn trên đám mây. Trước khi gia nhập NatWest Group, Michael đã làm việc và lãnh đạo các nhóm kỹ sư phần mềm phát triển các ứng dụng quan trọng trong các ngành dịch vụ tài chính và du lịch. Khi rảnh rỗi, anh thích chơi guitar, đi du lịch và khám phá vùng nông thôn trên chiếc xe đạp của mình.
- Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. TRUY CẬP MIỄN PHÍ.
- CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
- Nguồn: https://aws.amazon.com/blogs/machine-learning/part-2-how-natwest-group-built-a-secure-compliant-self-service-mlops-platform-using-aws-service- catalog-and-amazon-sagemaker /
- "
- 100
- Giới thiệu
- tăng tốc
- tăng tốc
- truy cập
- Tài khoản
- ngang qua
- Ngoài ra
- thêm vào
- Nhận con nuôi
- Lợi thế
- Tất cả
- đàn bà gan dạ
- trong số
- số lượng
- số lượng
- phân tích
- phân tích
- Các Ứng Dụng
- các ứng dụng
- phương pháp tiếp cận
- phê duyệt
- kiến trúc
- Nghệ thuật
- giao
- kiểm toán
- Xác thực
- Tự động
- Tự động hóa
- Tự động hóa và tiêu chuẩn hóa
- có sẵn
- AWS
- Ngân hàng
- trở nên
- đằng sau hậu trường
- được
- hưởng lợi
- Lợi ích
- BEST
- thực hành tốt nhất
- xây dựng
- Xây dựng
- kinh doanh
- carbon
- mà
- tập trung
- thách thức
- thách thức
- Séc
- đám mây
- Nền tảng đám mây
- dịch vụ điện toán đám mây
- mã
- Lập trình
- hợp tác
- kết hợp
- Chung
- Các công ty
- công ty
- so
- phức tạp
- tuân thủ
- compliant
- thành phần
- Tính
- máy tính
- Cấu hình
- Kết nối
- chuyên gia tư vấn
- Container
- Container
- chứa
- nội dung
- liên tục
- điều khiển
- tạo ra
- Tạo
- tạo
- quan trọng
- khách hàng
- khách hàng
- dữ liệu
- phân tích dữ liệu
- khoa học dữ liệu
- nhà khoa học dữ liệu
- giao
- phân phối
- giao hàng
- Nhu cầu
- nhu cầu
- triển khai
- triển khai
- triển khai
- triển khai
- triển khai
- mô tả
- thiết kế
- chi tiết
- chi tiết
- phát triển
- Nhà phát triển
- phát triển
- phát triển
- Phát triển
- khác nhau
- khó khăn
- kỹ thuật số
- trực tiếp
- phân phối
- phân phối máy tính
- phu bến tàu
- Không
- xuống
- lái xe
- dễ dàng
- hiệu quả
- những nỗ lực
- Kỹ lưỡng
- cho phép
- Điểm cuối
- ky sư
- Kỹ Sư
- Kỹ sư
- Doanh nghiệp
- Môi trường
- ước tính
- đánh giá
- phát triển
- ví dụ
- thực hiện
- hiện tại
- kinh nghiệm
- Đặc tính
- Tính năng
- thông tin phản hồi
- tài chính
- dịch vụ tài chính
- Tên
- Sửa chữa
- Linh hoạt
- Tập trung
- theo
- tiếp theo
- Dấu chân
- hình thức
- Khung
- chức năng
- tương lai
- đi
- quản trị
- Nhóm
- Các nhóm
- Hướng dẫn
- vui mừng
- giúp đỡ
- giúp
- Cao
- Độ đáng tin của
- HTTPS
- Bản sắc
- thực hiện
- cải thiện
- bao gồm
- bao gồm
- bao gồm
- tăng
- các ngành công nghiệp
- ngành công nghiệp
- thông tin
- Cơ sở hạ tầng
- sự đổi mới
- sáng tạo
- Tổ chức giáo dục
- tích hợp
- tích hợp
- lợi ích
- Giao thức
- Internet
- tham gia
- các vấn đề
- IT
- việc làm
- Key
- phím
- kiến thức
- lớn
- mới nhất
- dẫn
- LEARN
- học tập
- Led
- đòn bẩy
- tận dụng
- Thư viện
- Hạn chế
- Dòng
- liên kết
- địa phương
- máy
- học máy
- thực hiện
- chính
- LÀM CHO
- quản lý
- quản lý
- quản lý
- quản lý
- cách thức
- nhãn hiệu
- chất
- trưởng thành
- có nghĩa là
- Các thành viên
- Metrics
- triệu
- tâm
- ML
- kiểu mẫu
- mô hình
- giám sát
- tháng
- chi tiết
- di chuyển
- di chuyển
- nhiều
- tên
- mạng lưới
- Các tính năng mới
- Nền tảng mới
- sản phẩm mới
- sản phẩm mới
- con số
- cung cấp
- Ngoại tuyến
- Tiếp nhận nhận việc
- Trực tuyến
- mở
- Hoạt động
- Tối ưu hóa
- cơ quan
- Nền tảng khác
- tổng thể
- riêng
- riêng
- hợp tác
- đam mê
- Họa tiết
- hiệu suất
- nhiếp ảnh
- phi công
- nền tảng
- Nền tảng
- chơi
- Chính sách
- điều luật
- danh mục đầu tư
- danh mục đầu tư
- nguyên tắc
- riêng
- Khóa riêng
- quá trình
- Quy trình
- Sản phẩm
- Sản lượng
- năng suất
- Sản phẩm
- chuyên nghiệp
- Hồ sơ
- Profiles
- dự án
- dự án
- xúc tiến
- cho
- cung cấp
- cung cấp
- công khai
- chất lượng
- Nhanh chóng
- Mau
- Reading
- giảm
- giảm
- nhà quản lý
- mối quan hệ
- phát hành
- phát hành
- Phát hành
- sự phụ thuộc
- Báo cáo
- kho
- yêu cầu
- cần phải
- Yêu cầu
- tài nguyên
- Thông tin
- REST của
- Kết quả
- xem xét
- Route
- chạy
- chạy
- khả năng mở rộng
- khả năng mở rộng
- Quy mô
- cảnh
- Khoa học
- Nhà khoa học
- các nhà khoa học
- sdk
- an toàn
- an ninh
- chọn
- Loạt Sách
- dịch vụ
- DỊCH VỤ
- định
- thiết lập
- Chia sẻ
- chia sẻ
- có ý nghĩa
- Tương tự
- Đơn giản
- So
- Phần mềm
- Kỹ sư phần mềm
- kỹ thuật phần mềm
- giải pháp
- Giải pháp
- tiêu
- Tính ổn định
- ngăn xếp
- Tiêu chuẩn
- bắt đầu-up
- bắt đầu
- Tiểu bang
- báo cáo
- Trạng thái
- là gắn
- Chiến lược
- Chiến lược
- phòng thu
- hỗ trợ
- Hỗ trợ
- bền vững
- hệ thống
- hệ thống
- nhiệm vụ
- nhóm
- Kỹ thuật
- Công nghệ
- Công nghệ
- mẫu
- thử nghiệm
- Kiểm tra
- kiểm tra
- khớp
- chủ đề
- vì thế
- Thông qua
- thời gian
- công cụ
- đối với
- Theo dõi
- giao thông
- Hội thảo
- Chuyển đổi
- Chuyển đổi
- quá cảnh
- đi du lịch
- Đi du lịch
- NIỀM TIN
- ui
- Uk
- Cập nhật
- sử dụng
- Người sử dụng
- sử dụng
- Bằng cách sử dụng
- nhiều
- Xem
- ảo
- khả năng hiển thị
- Dựa trên web
- liệu
- trong khi
- CHÚNG TÔI LÀ
- ở trong
- không có
- Công việc
- làm việc
- đang làm việc
- tập thể dục
- công trinh
- thế giới