Bài đăng này được viết với sự cộng tác của Dima Zadorozhny và Fuad Babaev từ VirtuSwap.
Hoán đổi Virtu là một công ty khởi nghiệp đang phát triển công nghệ tiên tiến để trao đổi tài sản phi tập trung trên blockchain. Công nghệ của VirtuSwap cung cấp giao dịch hiệu quả hơn cho các tài sản không có cặp trực tiếp giữa chúng. Việc thiếu một cặp trực tiếp dẫn đến giao dịch gián tiếp tốn kém, nghĩa là cần có hai giao dịch trở lên để hoàn thành một giao dịch hoán đổi mong muốn, dẫn đến chi phí giao dịch tăng gấp đôi hoặc gấp ba. Công nghệ Nhóm ảo dựa trên dự trữ của VirtuSwap giải quyết vấn đề bằng cách thực hiện mọi giao dịch trực tiếp, tiết kiệm tới 50% chi phí giao dịch. Đọc thêm tại virtuswap.io.
Trong bài đăng này, chúng tôi chia sẻ cách VirtuSwap sử dụng tính năng mang container của riêng bạn vào Xưởng sản xuất Amazon SageMaker để xây dựng một môi trường mạnh mẽ để lưu trữ các mô phỏng sử dụng nhiều GPU nhằm giải quyết các vấn đề tối ưu hóa tuyến tính.
Các thách thức
Công cụ VirtuSwap Minerva tạo ra các đề xuất để phân phối thanh khoản tối ưu giữa các nhóm thanh khoản khác nhau, đồng thời tính đến nhiều thông số, chẳng hạn như khối lượng giao dịch, tính thanh khoản của thị trường hiện tại và độ biến động của tài sản được giao dịch, bị hạn chế bởi tổng lượng thanh khoản có sẵn để phân phối. Để cung cấp những đề xuất này, VirtuSwap Minerva sử dụng hàng nghìn cặp giao dịch lịch sử để mô phỏng hoạt động của chúng thông qua các cấu hình thanh khoản khác nhau nhằm tìm ra cách phân bổ thanh khoản, phí nhóm tối ưu, v.v.
Việc triển khai ban đầu được mã hóa bằng cách sử dụng các khung dữ liệu gấu trúc. Tuy nhiên, khi dữ liệu mô phỏng tăng lên, thời gian chạy gần như tăng gấp bốn lần, cùng với quy mô của vấn đề. Kết quả của việc này là các lần lặp lại bị chậm lại và hầu như không thể chạy các tác vụ có chiều lớn hơn. VirtuSwap nhận ra rằng họ cần sử dụng các phiên bản GPU cho quá trình mô phỏng để mang lại kết quả nhanh hơn.
VirtuSwap cần một thư viện giống như gấu trúc tương thích với GPU để chạy mô phỏng của họ và đã chọn cuDF, thư viện GPU DataFrame của Ghềnh của sông. cuDF được sử dụng để tải, nối, tổng hợp, lọc và thao tác dữ liệu khác trong một gấu trúc-like API giúp tăng tốc công việc trên các khung dữ liệu, sử dụng CUDA để có hiệu suất nhanh hơn đáng kể so với gấu trúc.
Tổng quan về giải pháp
VirtuSwap đã chọn SageMaker Studio để phát triển toàn diện, bắt đầu bằng việc phát triển lặp lại, tương tác trong sổ ghi chép. Do tính linh hoạt của SageMaker Studio nên họ cũng quyết định sử dụng nó cho mô phỏng của mình, tận dụng Amazon SageMaker hình ảnh tùy chỉnh, cho phép VirtuSwap mang đến các thư viện tùy chỉnh và phần mềm cần thiết của riêng họ, chẳng hạn như cuDF. Sơ đồ sau đây minh họa quy trình làm việc của giải pháp.
Trong các phần sau, chúng tôi chia sẻ hướng dẫn từng bước để xây dựng và sử dụng hình ảnh Rapids cuDF trong SageMaker.
Điều kiện tiên quyết
Để chạy hướng dẫn từng bước này, bạn cần có tài khoản AWS có quyền đối với SageMaker, Đăng ký container đàn hồi Amazon (ECR của Amazon), Quản lý truy cập và nhận dạng AWS (Tôi và Xây dựng mã AWS. Ngoài ra, bạn cần phải có một Miền SageMaker sẳn sàng.
Tạo vai trò và chính sách IAM
Đối với quá trình xây dựng sổ ghi chép tùy chỉnh SageMaker, chúng tôi đã sử dụng Đám mây AWS, cung cấp tất cả các gói cần thiết để xây dựng hình ảnh tùy chỉnh. Trong CloudShell, chúng tôi đã sử dụng Bản dựng Docker SageMaker, một CLI để xây dựng hình ảnh Docker cho và trong SageMaker Studio. CLI có thể tạo kho lưu trữ trong Amazon ECR và xây dựng vùng chứa bằng CodeBuild. Để làm được điều đó, chúng tôi cần cung cấp cho công cụ này vai trò IAM với các quyền thích hợp. Hoàn thành các bước sau:
- Đăng nhập vào Bảng điều khiển quản lý AWS và mở bảng điều khiển IAM.
- Trong ngăn điều hướng ở bên trái, chọn Điều Luật.
- Tạo một chính sách có tên
sm-build-policy
với các quyền sau:
Các quyền cung cấp khả năng sử dụng đầy đủ tiện ích: tạo kho lưu trữ, tạo công việc CodeBuild, sử dụng Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và gửi nhật ký tới amazoncloudwatch.
- Tạo một vai trò có tên
sm-build-role
với chính sách tin cậy sau đây và thêm chính sáchsm-build-policy
mà bạn đã tạo trước đó:
Bây giờ, hãy xem lại các bước trong CloudShell.
Tạo hình ảnh Docker cuDF trong CloudShell
Vì mục đích của chúng tôi, chúng tôi cần một hình ảnh Rapids CUDA, cũng bao gồm một ipykernel, để hình ảnh có thể được sử dụng trong Sổ ghi chép SageMaker Studio.
Chúng tôi sử dụng hình ảnh CUDA hiện có bằng cách RapidsAI có sẵn trong chính thức Trung tâm Docker AI của Rapidsvà thêm ipykernel
cài đặt.
Trong thiết bị đầu cuối CloudShell, hãy chạy lệnh sau:
Thao tác này sẽ tạo Dockerfile để xây dựng hình ảnh Docker tùy chỉnh của chúng tôi cho SageMaker.
Xây dựng và đẩy hình ảnh vào kho lưu trữ
Như đã đề cập, chúng tôi đã sử dụng Thư viện xây dựng Docker SageMaker, cho phép các nhà khoa học và nhà phát triển dữ liệu dễ dàng xây dựng hình ảnh vùng chứa tùy chỉnh. Để biết thêm thông tin, hãy tham khảo Sử dụng Amazon SageMaker Studio Image Build CLI để tạo hình ảnh vùng chứa từ sổ ghi chép Studio của bạn.
Lệnh sau tạo kho lưu trữ ECR (nếu kho lưu trữ không tồn tại). sm-docker sẽ tạo nó, xây dựng và đẩy hình ảnh Docker mới vào kho lưu trữ đã tạo:
Trong trường hợp bạn thiếu sm-docker
trong CloudShell của bạn, hãy chạy đoạn mã sau:
Sau khi hoàn thành, URI hình ảnh ECR sẽ được trả về.
Tạo hình ảnh tùy chỉnh SageMaker
Sau khi tạo hình ảnh Docker tùy chỉnh và đẩy hình ảnh đó vào kho lưu trữ vùng chứa (Amazon ECR), bạn có thể định cấu hình SageMaker để sử dụng hình ảnh Docker tùy chỉnh đó. Hoàn thành các bước sau:
- Trên bảng điều khiển SageMaker, chọn Hình ảnh trong khung điều hướng.
- Chọn Tạo hình ảnh.
- Nhập đầu ra URI hình ảnh từ phần trước, sau đó chọn Sau.
- Trong Tên Hình ảnh và Tên hiển thị hình ảnh, đi vào
rapids
. - Trong Mô tả, nhập mô tả.
- Trong Vai trò IAM, hãy chọn vai trò IAM thích hợp cho miền SageMaker của bạn.
- Trong Đường dẫn gắn kết EFS, đi vào
/home/sagemaker-user
(mặc định). - Mở rộng Cấu hình nâng cao.
- Trong Tên người dùng, đi vào
1000
. - Trong Id nhóm, đi vào
100
.
- Trong tạp chí Lọai hình ảnh phần, chọn Hình ảnh SageMaker Studio.
- Chọn Thêm hạt nhân.
- Trong Tên hạt nhân, đi vào
conda-env-rapids-py
. - Trong Tên hiển thị hạt nhân, đi vào
rapids
. - Chọn Gửi để tạo hình ảnh SageMaker.
Đính kèm hình ảnh mới vào miền SageMaker Studio của bạn
Bây giờ bạn đã tạo hình ảnh tùy chỉnh, bạn cần cung cấp hình ảnh đó để sử dụng bằng cách đính kèm hình ảnh vào miền của mình. Hoàn thành các bước sau:
- Trên bảng điều khiển SageMaker, chọn Tên miền trong khung điều hướng.
- Chọn tên miền của bạn. Bước này là tùy chọn; bạn có thể tạo và đính kèm hình ảnh tùy chỉnh trực tiếp từ miền và bỏ qua bước này.
- Trên trang chi tiết tên miền, chọn Môi trường tab, sau đó chọn Đính kèm hình ảnh.
- Chọn hình ảnh hiện có và chọn hình ảnh mới (
rapids
) từ danh sách. - Chọn Sau.
- Xem lại cấu hình hình ảnh tùy chỉnh và đảm bảo đặt Lọai hình ảnh as Hình ảnh SageMaker Studio, như ở bước trước, có cùng tên hạt nhân và tên hiển thị hạt nhân.
- Chọn Gửi.
Hình ảnh tùy chỉnh hiện có sẵn trong SageMaker Studio và sẵn sàng để sử dụng.
Tạo một cuốn sổ mới có hình ảnh
Để biết hướng dẫn khởi chạy một sổ ghi chép mới, hãy tham khảo Khởi chạy hình ảnh SageMaker tùy chỉnh trong Amazon SageMaker Studio. Hoàn thành các bước sau:
- Trên bảng điều khiển SageMaker Studio, chọn Mở trình khởi chạy.
- Chọn Thay đổi môi trường.
- Trong Hình ảnh, chọn hình ảnh vừa tạo,
rapids v1
. - Trong Hạt nhân, chọn
rapids
. - Trong Loại phiên bản¸ chọn trường hợp của bạn.
SageMaker Studio cung cấp tùy chọn để tùy chỉnh sức mạnh tính toán của bạn bằng cách chọn một phiên bản từ các dòng điện toán tăng tốc AWS, điện toán cho mục đích chung, tối ưu hóa điện toán hoặc tối ưu hóa bộ nhớ. Tính linh hoạt này cho phép bạn chuyển đổi liền mạch giữa CPU và GPU, cũng như tự động tăng hoặc giảm kích thước phiên bản nếu cần. Đối với máy tính xách tay của mình, chúng tôi đã sử dụng loại phiên bản ml.g4dn.2xlarge để kiểm tra hiệu suất cuDF trong khi sử dụng bộ tăng tốc GPU.
- Chọn Chọn.
- Chọn môi trường của bạn và chọn Tạo sổ ghi chép, sau đó đợi cho đến khi nhân máy tính xách tay sẵn sàng.
Xác thực hình ảnh tùy chỉnh của bạn
Để xác thực rằng hình ảnh tùy chỉnh của bạn đã được khởi chạy và cuDF đã sẵn sàng để sử dụng, hãy tạo một ô mới, nhập import cudf
và chạy nó.
Làm sạch
Tắt phiên bản Jupyter đang chạy sổ ghi chép kiểm tra trong SageMaker Studio bằng cách chọn Chạy thiết bị đầu cuối và hạt nhân và tắt nguồn phiên bản đang chạy.
Kết quả so sánh thời gian chạy
Chúng tôi đã tiến hành so sánh thời gian chạy mã bằng cả CPU và GPU trên các phiên bản SageMaker g4dn.2xlarge, với độ phức tạp về thời gian là O(N). Kết quả như minh họa trong hình dưới đây cho thấy hiệu quả của việc sử dụng GPU thay vì CPU.
Ưu điểm chính của GPU nằm ở khả năng thực hiện xử lý song song. Khi chúng ta tăng giá trị của N, thời gian chạy trên CPU sẽ tăng với tốc độ 3N. Mặt khác, với GPU, tốc độ tăng có thể được mô tả là 2N, như minh họa trong hình trước. Kích thước vấn đề càng lớn thì GPU càng hoạt động hiệu quả hơn. Trong trường hợp của chúng tôi, sử dụng GPU nhanh hơn ít nhất 20 lần so với sử dụng CPU. Điều này nhấn mạnh tầm quan trọng ngày càng tăng của GPU trong điện toán hiện đại, đặc biệt đối với các tác vụ yêu cầu xử lý nhanh chóng lượng lớn dữ liệu.
Với các phiên bản GPU SageMaker, VirtuSwap có thể tăng đáng kể tính chiều của các vấn đề đã giải quyết và tìm ra giải pháp nhanh hơn.
Kết luận
Trong bài đăng này, chúng tôi đã trình bày cách VirtuSwap tùy chỉnh SageMaker Studio bằng cách sử dụng hình ảnh tùy chỉnh để giải quyết một vấn đề phức tạp. Với khả năng dễ dàng thay đổi môi trường chạy và chuyển đổi giữa các phiên bản, kích thước và kernel khác nhau, VirtuSwap có thể thử nghiệm nhanh và tăng tốc thời gian chạy lên 15 lần cũng như cung cấp giải pháp có thể mở rộng.
Bước tiếp theo, VirtuSwap đang xem xét mở rộng việc sử dụng SageMaker và chạy quá trình xử lý của họ trong Chế biến Amazon SageMaker để xử lý lượng dữ liệu khổng lồ mà họ đang thu thập từ nhiều chuỗi khối khác nhau vào nền tảng của họ.
Về các tác giả
Adir Sharabi là Kiến trúc sư giải pháp chính của Amazon Web Services. Anh làm việc với khách hàng của AWS để giúp họ xây dựng các ứng dụng an toàn, linh hoạt, có thể mở rộng và hiệu suất cao trên đám mây. Anh ấy cũng đam mê Dữ liệu và giúp khách hàng tận dụng tối đa dữ liệu.
Omer Haim là Kiến trúc sư giải pháp khởi nghiệp cấp cao tại Amazon Web Services. Anh ấy hỗ trợ các công ty khởi nghiệp trong hành trình đám mây của họ và đam mê lĩnh vực container và ML. Khi rảnh rỗi, Omer thích đi du lịch và thỉnh thoảng chơi game cùng con trai.
Dmitry Zadorozhny là nhà phân tích dữ liệu tại virtuswap.io. Ông chịu trách nhiệm khai thác, xử lý và lưu trữ dữ liệu cũng như tích hợp các dịch vụ đám mây như AWS. Trước khi gia nhập virtuswap, anh ấy đã làm việc trong lĩnh vực khoa học dữ liệu và là trưởng đại sứ phân tích tại tổ chức dydx. Dima có bằng Thạc sĩ Khoa học Máy tính. Dima thích chơi game trên máy tính khi rảnh rỗi.
Fuad Babaev phục vụ với tư cách là Chuyên gia khoa học dữ liệu tại Virtuswap (virtuswap.io). Anh ấy mang đến kiến thức chuyên môn trong việc giải quyết các thách thức tối ưu hóa phức tạp, xây dựng các mô phỏng và xây dựng mô hình kiến trúc cho các quy trình thương mại. Ngoài sự nghiệp chuyên nghiệp của mình, Fuad còn có niềm đam mê chơi cờ.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/how-virtuswap-accelerates-their-pandas-based-trading-simulations-with-an-amazon-sagemaker-studio-custom-container-and-aws-gpu-instances/
- : có
- :là
- $ LÊN
- 100
- 11
- 20
- 7
- 804
- 9
- 91
- a
- có khả năng
- Có khả năng
- Giới thiệu
- tăng tốc
- tăng tốc
- gia tốc
- truy cập
- Tài khoản
- Hoạt động
- thêm vào
- Ngoài ra
- Lợi thế
- tổng hợp
- AI
- Tất cả
- cho phép
- cho phép
- cho phép
- gần như
- dọc theo
- Ngoài ra
- đàn bà gan dạ
- Amazon SageMaker
- Xưởng sản xuất Amazon SageMaker
- Amazon Web Services
- Đại sứ
- số lượng
- số lượng
- an
- phân tích
- phân tích
- và
- api
- các ứng dụng
- LÀ
- AS
- Tài sản
- At
- đính kèm
- có sẵn
- AWS
- Bảng điều khiển quản lý AWS
- BE
- trở thành
- giữa
- blockchains
- cả hai
- mang lại
- Mang lại
- xây dựng
- Xây dựng
- by
- CAN
- Tuyển Dụng
- trường hợp
- thách thức
- thay đổi
- Tướng
- Chọn
- lựa chọn
- chọn
- đám mây
- dịch vụ điện toán đám mây
- mã
- mã hóa
- hợp tác
- Thu
- COM
- công ty
- sự so sánh
- hoàn thành
- hoàn thành
- phức tạp
- phức tạp
- Tính
- máy tính
- Khoa học Máy tính
- máy tính
- khả năng tính toán
- điều kiện
- thực hiện
- Cấu hình
- xem xét
- An ủi
- Container
- Container
- tốn kém
- Chi phí
- tạo
- tạo ra
- tạo ra
- Current
- khách hàng
- khách hàng
- tùy chỉnh
- tùy chỉnh
- dữ liệu
- khai thác dữ liệu
- khoa học dữ liệu
- Phân quyền
- Trao đổi phi tập trung
- quyết định
- Mặc định
- cung cấp
- mô tả
- Mô tả
- mong muốn
- chi tiết
- phát triển
- phát triển
- Phát triển
- khác nhau
- trực tiếp
- trực tiếp
- Giao diện
- phân phối
- phu bến tàu
- Không
- miền
- dont
- tăng gấp đôi
- xuống
- đột ngột
- hai
- dydx
- năng động
- Sớm hơn
- dễ dàng
- hiệu lực
- hiệu quả
- hiệu quả
- Cuối cùng đến cuối
- Động cơ
- đăng ký hạng mục thi
- Môi trường
- đặc biệt
- Mỗi
- Sàn giao dịch
- tồn tại
- hiện tại
- thử nghiệm
- chuyên môn
- gia đình
- NHANH
- nhanh hơn
- Đặc tính
- Lệ Phí
- lĩnh vực
- Hình
- lọc
- Tìm kiếm
- Linh hoạt
- tiếp theo
- Trong
- Nền tảng
- từ
- Full
- trò chơi
- Trò chơi
- Tổng Quát
- được
- GPU
- GPU
- lớn
- Phát triển
- hướng dẫn
- tay
- Có
- he
- giúp đỡ
- giúp đỡ
- giúp
- Cao
- nổi bật
- của mình
- lịch sử
- chủ nhà
- Độ đáng tin của
- Tuy nhiên
- HTML
- http
- HTTPS
- Bản sắc
- if
- minh họa
- hình ảnh
- hình ảnh
- thực hiện
- tầm quan trọng
- không thể
- in
- bao gồm
- Tăng lên
- Tăng
- thông tin
- ban đầu
- sáng tạo
- công nghệ tiên tiến
- cài đặt, dựng lên
- cài đặt
- ví dụ
- hướng dẫn
- Tích hợp
- tương tác
- trong
- IT
- sự lặp lại
- Việc làm
- tham gia
- cuộc hành trình
- lớn
- lớn hơn
- phóng
- phát động
- dẫn
- hàng đầu
- Dẫn
- ít nhất
- trái
- thư viện
- Thư viện
- nằm
- Lượt thích
- Thanh khoản
- nhóm thanh khoản
- Danh sách
- tải
- Chủ yếu
- làm cho
- Làm
- quản lý
- thao túng
- thị trường
- lớn
- có nghĩa là
- Bộ nhớ
- đề cập
- Khai thác mỏ
- ML
- mô hình
- hiện đại
- chi tiết
- hiệu quả hơn
- hầu hết
- Gắn kết
- nhiều
- tên
- Được đặt theo tên
- THÔNG TIN
- gần
- Cần
- cần thiết
- Mới
- mới
- tiếp theo
- máy tính xách tay
- tại
- of
- off
- chính thức
- on
- mở
- tối ưu
- tối ưu hóa
- tối ưu hóa
- Tùy chọn
- or
- Nền tảng khác
- nếu không thì
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- đầu ra
- bên ngoài
- kết thúc
- riêng
- gói
- trang
- đôi
- cặp
- gấu trúc
- cửa sổ
- Song song
- thông số
- niềm đam mê
- đam mê
- Thực hiện
- hiệu suất
- quyền
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- chơi
- điều luật
- hồ bơi
- Hồ bơi
- Bài đăng
- quyền lực
- Chạy
- trước
- Hiệu trưởng
- Trước khi
- Vấn đề
- vấn đề
- quá trình
- Xử lý
- Quy trình
- xử lý
- chuyên nghiệp
- đúng
- cho
- cung cấp
- mục đích
- mục đích
- Đẩy
- đẩy
- Python
- bốn lần
- Mau
- Tỷ lệ
- Đọc
- sẵn sàng
- nhận ra
- khuyến nghị
- xem
- kho
- yêu cầu
- cần phải
- đàn hồi
- tài nguyên
- chịu trách nhiệm
- kết quả
- Kết quả
- tiết lộ
- xem xét
- mạnh mẽ
- Vai trò
- vai trò
- chạy
- chạy
- nhà làm hiền triết
- tương tự
- tiết kiệm
- SC
- khả năng mở rộng
- Quy mô
- Khoa học
- các nhà khoa học
- liền mạch
- Phần
- phần
- an toàn
- gửi
- cao cấp
- phục vụ
- dịch vụ
- DỊCH VỤ
- định
- Chia sẻ
- cho thấy
- thể hiện
- đáng kể
- Đơn giản
- mô phỏng
- Kích thước máy
- kích thước
- So
- Phần mềm
- giải pháp
- Giải pháp
- động SOLVE
- Giải quyết
- Con trai
- chuyên gia
- tốc độ
- Bắt đầu
- khởi động
- Startups
- Tuyên bố
- Bước
- Các bước
- là gắn
- phòng thu
- như vậy
- chắc chắn
- trao đổi
- Công tắc điện
- giải quyết
- dùng
- nhiệm vụ
- Công nghệ
- Thiết bị đầu cuối
- thử nghiệm
- hơn
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- sau đó
- Kia là
- họ
- điều này
- hàng ngàn
- Thông qua
- thời gian
- thời gian
- đến
- công cụ
- Tổng số:
- thương mại
- giao dịch
- ngành nghề
- Giao dịch
- cặp giao dịch
- khối lượng giao dịch
- quá trình chuyển đổi
- đi du lịch
- Gấp ba lần
- NIỀM TIN
- hai
- kiểu
- cho đến khi
- Sử dụng
- sử dụng
- đã sử dụng
- người sử dang
- sử dụng
- sử dụng
- tiện ích
- sử dụng
- Bằng cách sử dụng
- v1
- HIỆU LỰC
- giá trị
- khác nhau
- phiên bản
- ảo
- khối lượng
- chờ đợi
- là
- we
- web
- các dịch vụ web
- TỐT
- cái nào
- trong khi
- sẽ
- với
- Công việc
- làm việc
- quy trình làm việc
- công trinh
- viết
- Bạn
- trên màn hình
- zephyrnet