Đẩy nhanh quá trình đầu tư với các dịch vụ AWS Low Code-No Code

Vài năm gần đây đã chứng kiến ​​một sự thay đổi lớn về mô hình trong cách các nhà quản lý tài sản tổ chức tìm nguồn và tích hợp nhiều nguồn dữ liệu vào quy trình đầu tư của họ. Với sự thay đổi thường xuyên trong mối tương quan rủi ro, các nguồn biến động bất ngờ và sự cạnh tranh ngày càng tăng từ các chiến lược thụ động, các nhà quản lý tài sản đang sử dụng một tập hợp rộng hơn các nguồn dữ liệu của bên thứ ba để đạt được lợi thế cạnh tranh và cải thiện lợi nhuận được điều chỉnh theo rủi ro. Tuy nhiên, quá trình trích xuất lợi ích từ nhiều nguồn dữ liệu có thể cực kỳ khó khăn. Các nhóm kỹ thuật dữ liệu của người quản lý tài sản bị quá tải với việc thu thập và xử lý trước dữ liệu, trong khi các nhóm khoa học dữ liệu đang khai thác dữ liệu để hiểu rõ hơn về đầu tư.

Dữ liệu của bên thứ ba hoặc dữ liệu thay thế đề cập đến dữ liệu được sử dụng trong quá trình đầu tư, có nguồn gốc bên ngoài các nhà cung cấp dữ liệu thị trường truyền thống. Các nhà đầu tư tổ chức thường xuyên bổ sung các nguồn dữ liệu truyền thống của họ bằng dữ liệu của bên thứ ba hoặc dữ liệu thay thế để đạt được lợi thế trong quá trình đầu tư của họ. Các ví dụ điển hình được trích dẫn bao gồm, nhưng không giới hạn, hình ảnh vệ tinh, dữ liệu thẻ tín dụng và tình cảm trên mạng xã hội. Các nhà quản lý quỹ đầu tư gần 3 tỷ đô la hàng năm vào các bộ dữ liệu bên ngoài, với mức chi tiêu hàng năm tăng 20–30%.

Với sự tăng trưởng theo cấp số nhân của các bộ dữ liệu thay thế và bên thứ ba có sẵn, khả năng phân tích nhanh liệu một bộ dữ liệu mới có thêm thông tin chi tiết mới về đầu tư hay không là một điểm khác biệt cạnh tranh trong ngành quản lý đầu tư. Dịch vụ AI và dữ liệu mã thấp (LCNC) không mã hóa của AWS cho phép các nhóm không chuyên về kỹ thuật thực hiện sàng lọc dữ liệu ban đầu, ưu tiên đưa dữ liệu vào, tăng tốc thời gian thu thập thông tin chi tiết và giải phóng các tài nguyên kỹ thuật có giá trị—tạo ra lợi thế cạnh tranh lâu dài.

Trong bài đăng trên blog này, chúng tôi thảo luận về cách, với tư cách là người quản lý tài sản của tổ chức, bạn có thể tận dụng dữ liệu AWS LCNC và dịch vụ AI để mở rộng quy trình phân tích dữ liệu ban đầu và ưu tiên ngoài các nhóm kỹ thuật và đẩy nhanh quá trình ra quyết định của bạn. Với các dịch vụ AWS LCNC, bạn có thể nhanh chóng đăng ký và đánh giá các bộ dữ liệu đa dạng của bên thứ ba, dữ liệu tiền xử lý và kiểm tra khả năng dự đoán của chúng bằng các mô hình máy học (ML) mà không cần viết một đoạn mã nào.

Tổng quan về giải pháp

Trường hợp sử dụng của chúng tôi là phân tích khả năng dự đoán giá cổ phiếu của tập dữ liệu bên ngoài và xác định tầm quan trọng về tính năng của nó—trường nào tác động nhiều nhất đến hiệu suất giá cổ phiếu. Điều này phục vụ như một bài kiểm tra đầu tiên để xác định trường nào trong số nhiều trường trong tập dữ liệu sẽ được đánh giá chặt chẽ hơn bằng cách sử dụng các phương pháp định lượng truyền thống để phù hợp với quy trình đầu tư của bạn. Các nhà phân tích có thể thực hiện loại thử nghiệm đầu tiên này một cách nhanh chóng, tiết kiệm thời gian và cho phép bạn ưu tiên giới thiệu tập dữ liệu nhanh hơn. Ngoài ra, trong khi chúng tôi đang sử dụng giá cổ phiếu làm ví dụ mục tiêu của mình, các số liệu khác như khả năng sinh lời, tỷ lệ định giá hoặc khối lượng giao dịch cũng có thể được sử dụng. Tất cả các bộ dữ liệu được sử dụng cho trường hợp sử dụng này được xuất bản trong Trao đổi dữ liệu AWS.

Sơ đồ sau đây giải thích kiến ​​trúc đầu cuối và các dịch vụ AWS LCNC được sử dụng để đưa ra các quyết định:

Giải pháp của chúng tôi bao gồm các bước và giải pháp sau:

1. Nhập dữ liệu: AWS Data Exchange để đăng ký bộ dữ liệu thay thế đã xuất bản và tải chúng xuống Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) xô.
2. Kỹ thuật dữ liệu: AWS Keo DataBrew cho kỹ thuật dữ liệu và chuyển đổi dữ liệu được lưu trữ trong Amazon S3.
3. Máy học: Canvas SageMaker của Amazon để xây dựng mô hình dự báo theo chuỗi thời gian để dự đoán và xác định tác động của dữ liệu đối với dự báo.
4. Kinh doanh thông minh: Amazon QuickSight hoặc Amazon SageMaker Canvas để xem xét tầm quan trọng của tính năng đối với dự báo cho quá trình ra quyết định.

Nhập dữ liệu

Trao đổi dữ liệu AWS giúp dễ dàng tìm kiếm, đăng ký và sử dụng dữ liệu của bên thứ ba trên đám mây. Bạn có thể duyệt qua danh mục AWS Data Exchange và tìm các sản phẩm dữ liệu phù hợp với doanh nghiệp của mình và đăng ký đến dữ liệu từ các nhà cung cấp mà không cần xử lý thêm và không cần quy trình ETL. Lưu ý rằng nhiều nhà cung cấp cung cấp đăng ký ban đầu miễn phí, cho phép bạn phân tích dữ liệu của họ mà không phải chịu chi phí trả trước.

Đối với trường hợp sử dụng này, hãy tìm kiếm và đăng ký các bộ dữ liệu bên dưới trong AWS Data Exchange:

• Dữ liệu chứng khoán cuối ngày trong 20 năm của 10 công ty hàng đầu Hoa Kỳ theo giá trị vốn hóa thị trường được xuất bản bởi Alpha thuận lợi. Tập dữ liệu miễn phí này chứa dữ liệu lịch sử trong 20 năm đối với 10 cổ phiếu hàng đầu của Hoa Kỳ theo giá trị vốn hóa thị trường kể từ ngày 5 tháng 2020 năm 10. Tập dữ liệu chứa XNUMX ký hiệu sau—AAPL: Apple Inc.; AMZN: Amazon.com, Inc.; BRK-A: Berkshire Hathaway Inc. (Hạng A); FB: Facebook, Inc.; GOOG: Bảng chữ cái Inc.; JNJ: Johnson & Johnson; MA: Tập đoàn Mastercard; MSFT: Tập đoàn Microsoft V: Visa Inc.; và WMT: Walmart Inc.
• Các trường dữ liệu chính bao gồm
  • Mở: giá mở cửa như giao dịch trong ngày
  • Cao: giá cao như đã giao dịch trong ngày
  • Thấp: giá thấp như đã giao dịch trong ngày
  • Đóng: giá đóng cửa theo giao dịch trong ngày
  • Volume: khối lượng giao dịch trong ngày
  • Giá đóng điều chỉnh: giá đóng cửa được điều chỉnh theo tỷ lệ chia và cổ tức trong ngày
  • Tỷ lệ phân chia: tỷ lệ giữa số lượng cổ phiếu mới và cũ vào ngày hiệu lực
  • Cổ tức: số tiền chi trả cổ tức bằng tiền mặt
• Dữ liệu tài chính chứng khoán và lãi suất ngắn S3 được xuất bản bởi đối tác S3. Tập dữ liệu này chứa các trường sau:

Phần	Mô tả
Ngày làm việc	Ngày có hiệu lực của tỷ lệ
ID bảo mật	Mã định danh bảo mật chứa Sedol, ISIN, FIGI, Ticker, Bloomberg ID
Họ tên	Tên bảo mật
Tỷ lệ ưu đãi	Phí tài trợ tổng hợp thị trường được trả cho các vị thế bán hiện tại
Giá thầu	Phí cho vay tổng hợp thị trường kiếm được đối với các cổ phiếu hiện có được cho vay bởi những người nắm giữ lâu dài
tỷ lệ cuối cùng	Phí cho vay tổng hợp thị trường thu được đối với số cổ phần gia tăng được cho vay vào ngày đó (tỷ giá giao ngay)
Sự đông đúc	Chỉ báo động lượng đo lường các sự kiện bán khống và bù đắp hàng ngày liên quan đến thị trường trôi nổi
Lãi suất ngắn	Tiền lãi ngắn hạn theo thời gian thực được biểu thị bằng số lượng cổ phiếu
Ngắn lãi suất đáng chú ý	ShortInterest * Giá (USD)
Lãi suất ngắnPct	Tiền lãi ngắn hạn theo thời gian thực được biểu thị bằng tỷ lệ phần trăm của vốn chủ sở hữu thả nổi
S3phao	Số lượng cổ phiếu có thể giao dịch bao gồm cả các vị trí mua tổng hợp được tạo ra bằng cách bán khống
S3SIPctFloat	Phép chiếu lãi suất ngắn theo thời gian thực chia cho S3 float
Tính khả dụng chỉ định	Số lượng có thể cho vay khả dụng dự kiến ​​của S3
Sử dụng	Lãi ngắn thời gian thực chia cho tổng nguồn cung có thể cho vay
DaystoBìa10Ngày	Đó là thước đo thanh khoản = lãi suất ngắn / ADTV trung bình 10 ngày
DaystoBìa30Ngày	Đó là thước đo thanh khoản = lãi suất ngắn / ADTV trung bình 30 ngày
DaystoBìa90Ngày	Đó là thước đo thanh khoản = lãi suất ngắn / ADTV trung bình 90 ngày
SI ban đầu	Lãi suất ngắn hạn tại thời điểm

Để lấy dữ liệu, trước tiên bạn sẽ tìm kiếm tập dữ liệu trong AWS Data Exchange và đăng ký tập dữ liệu:

Sau khi nhà xuất bản bộ dữ liệu phê duyệt yêu cầu đăng ký của bạn, bạn sẽ có sẵn bộ dữ liệu để tải xuống bộ chứa S3 của mình:

Chọn Thêm điểm đến công việc tự động xuất, cung cấp thông tin chi tiết về bộ chứa S3 và tải tập dữ liệu xuống:

Lặp lại các bước để lấy tập dữ liệu Alpha Vantage. Sau khi hoàn tất, bạn sẽ có cả hai bộ dữ liệu trong bộ chứa S3 của mình.

Kỹ thuật dữ liệu

Sau khi tập dữ liệu nằm trong bộ chứa S3 của bạn, bạn có thể sử dụng AWS Keo DataBrew để chuyển đổi dữ liệu. AWS Glue DataBrew cung cấp hơn 350 phép biến đổi dựng sẵn để tự động hóa các tác vụ chuẩn bị dữ liệu (chẳng hạn như lọc các điểm bất thường, chuẩn hóa định dạng và sửa các giá trị không hợp lệ) mà nếu không sẽ cần nhiều ngày hoặc nhiều tuần để viết các phép biến đổi được mã hóa thủ công.

Để tạo tập dữ liệu được tuyển chọn hợp nhất để dự báo trong AWS DataBrew, hãy thực hiện các bước bên dưới. Để biết thông tin chi tiết, xin vui lòng tham khảo này Blog của chúng tôi..

1. Tạo bộ dữ liệu DataBrew.
2. Tải bộ dữ liệu DataBrew vào các dự án DataBrew.
3. Xây dựng công thức nấu ăn DataBrew.
4. Chạy các công việc DataBrew.

Tạo bộ dữ liệu DataBrew: Trong AWS Glue DataBrew, một tập dữ liệu đại diện cho dữ liệu được tải lên từ bộ chứa S3. Chúng tôi sẽ tạo hai bộ dữ liệu DataBrew—cho cả giá cổ phiếu cuối ngày và lãi suất ngắn S3. Khi bạn tạo tập dữ liệu của mình, bạn chỉ nhập chi tiết kết nối S3 một lần. Từ thời điểm đó, DataBrew có thể truy cập dữ liệu cơ bản cho bạn.

Tải bộ dữ liệu DataBrew vào các dự án DataBrew: Trong AWS Glue DataBrew, một dự án là trung tâm của các nỗ lực phân tích và chuyển đổi dữ liệu của bạn. Dự án DataBrew tập hợp các bộ dữ liệu DataBrew và cho phép bạn phát triển chuyển đổi dữ liệu (công thức DataBrew). Ở đây một lần nữa, chúng tôi sẽ tạo hai dự án DataBrew, cho giá cổ phiếu cuối ngày và lãi suất ngắn S3.

Xây dựng công thức nấu ăn DataBrew: Trong DataBrew, một công thức là một tập hợp các bước chuyển đổi dữ liệu. Bạn có thể áp dụng các bước này cho tập dữ liệu của mình. Đối với trường hợp sử dụng, chúng tôi sẽ xây dựng hai phép biến đổi. Cái đầu tiên sẽ thay đổi định dạng của cột dấu thời gian giá cổ phiếu cuối ngày để tập dữ liệu có thể được kết hợp với lãi suất ngắn S3:

Chuyển đổi thứ hai sắp xếp dữ liệu và bước cuối cùng của nó đảm bảo chúng tôi kết hợp các bộ dữ liệu thành một tập dữ liệu được quản lý duy nhất. Để biết thêm chi tiết về xây dựng công thức chuyển đổi dữ liệu, hãy tham khảo điều này Blog của chúng tôi..

Việc làm DataBrew: Sau khi tạo công thức DataBrew, trước tiên bạn có thể chạy công việc DataBrew giá cổ phiếu cuối ngày, sau đó là công thức lãi suất ngắn S3. tham khảo cái này Blog của chúng tôi. để tạo một tập dữ liệu hợp nhất duy nhất. Lưu tập dữ liệu được tuyển chọn cuối cùng vào bộ chứa S3.

Quy trình kỹ thuật dữ liệu từ đầu đến cuối sẽ như sau:

học máy

Với tập dữ liệu được quản lý đã tạo kỹ thuật hậu dữ liệu, bạn có thể sử dụng Canvas SageMaker của Amazon để xây dựng mô hình dự báo của bạn và phân tích tác động của các tính năng đối với dự báo. Canvas SageMaker của Amazon cung cấp cho người dùng doanh nghiệp giao diện trỏ và nhấp trực quan cho phép họ xây dựng các mô hình và tự tạo các dự đoán ML chính xác—mà không yêu cầu bất kỳ kinh nghiệm ML nào hoặc phải viết một dòng mã.

Để xây dựng mô hình dự báo chuỗi thời gian trong Amazon SageMaker Canvas, hãy làm theo các bước bên dưới. Để biết thông tin chi tiết, hãy tham khảo điều này Blog của chúng tôi.:

1. Chọn tập dữ liệu được tuyển chọn trong SageMaker Canvas.
2. Xây dựng mô hình dự báo chuỗi thời gian.
3. Phân tích kết quả và tầm quan trọng của tính năng.

Xây dựng mô hình dự báo chuỗi thời gian: Khi bạn đã chọn tập dữ liệu, hãy chọn cột mục tiêu sẽ được dự đoán. Trong trường hợp của chúng tôi, đây sẽ là giá đóng cửa của mã chứng khoán. SageMaker Canvas tự động phát hiện đây là tuyên bố vấn đề dự báo chuỗi thời gian.

Bạn sẽ phải định cấu hình mô hình như sau để dự báo chuỗi thời gian. Đối với ID mặt hàng, hãy chọn tên mã chứng khoán. Hãy nhớ rằng, bộ dữ liệu của chúng tôi có giá cổ phiếu của 10 cổ phiếu hàng đầu. Chọn cột dấu thời gian cho dấu thời gian và cuối cùng, nhập số ngày bạn muốn dự báo trong tương lai [Dự báo chân trời].

Bây giờ bạn đã sẵn sàng để xây dựng mô hình. SageMaker Canvas cung cấp hai tùy chọn để xây dựng mô hình: Xây dựng nhanh và Xây dựng tiêu chuẩn. Trong trường hợp của chúng tôi, chúng tôi sẽ sử dụng “Bản dựng tiêu chuẩn”.

Bản dựng tiêu chuẩn mất khoảng ba giờ để xây dựng mô hình và sử dụng Dự báo Amazon, một dịch vụ dự báo chuỗi thời gian dựa trên ML làm công cụ dự báo cơ bản. Dự báo tạo ra các dự báo có độ chính xác cao thông qua tập hợp mô hình của các mô hình học sâu và truyền thống mà không yêu cầu kinh nghiệm ML.

Sau khi mô hình được tạo, giờ đây bạn có thể xem lại hiệu suất của mô hình (độ chính xác của dự đoán) và tầm quan trọng của tính năng. Như có thể thấy từ hình bên dưới, mô hình xác định Đám đông và DaysToCover10Day là hai tính năng hàng đầu thúc đẩy giá trị dự báo. Điều này phù hợp với trực giác thị trường của chúng tôi, vì sự đông đúc là một chỉ báo động lượng đo lường các sự kiện bán khống và bù đắp hàng ngày, và lãi suất bán khống ngắn hạn là thước đo tính thanh khoản, cho biết nhà đầu tư đang định vị như thế nào đối với một cổ phiếu. Cả động lượng và thanh khoản đều có thể dẫn đến biến động giá.

Kết quả này chỉ ra rằng hai tính năng (hoặc trường) này có mối quan hệ chặt chẽ với biến động giá cổ phiếu và có thể được ưu tiên cao hơn để giới thiệu và phân tích sâu hơn.

Thông tin kinh doanh

Trong bối cảnh dự báo chuỗi thời gian, khái niệm về kiểm tra đề cập đến quá trình đánh giá độ chính xác của một phương pháp dự báo sử dụng dữ liệu lịch sử hiện có. Quá trình này thường lặp đi lặp lại qua nhiều ngày có trong dữ liệu lịch sử.

Như chúng ta đã thảo luận, SageMaker Canvas sử dụng Amazon Forecast làm công cụ dự báo chuỗi thời gian. Dự báo tạo kiểm tra ngược như một phần của quy trình xây dựng mô hình. Giờ đây, bạn có thể xem chi tiết công cụ dự báo bằng cách đăng nhập vào Amazon Forecast. Để hiểu sâu hơn về Khả năng giải thích mô hình, hãy tham khảo điều này Blog của chúng tôi..

Amazon Forecast cung cấp thêm thông tin chi tiết về các chỉ số dự đoán như lỗi phần trăm tuyệt đối có trọng số (WAPE), lỗi bình phương trung bình gốc (RMSE), lỗi phần trăm tuyệt đối trung bình (MAPE) và lỗi tỷ lệ tuyệt đối trung bình (MASE). Bạn có thể xuất điểm chất lượng của công cụ dự báo từ Amazon Forecast.

Amazon Forecast chạy một lần kiểm tra ngược cho tập dữ liệu chuỗi thời gian được cung cấp. Các kết quả kiểm tra lại có sẵn để tải xuống bằng cách sử dụng Xuất kết quả backtest cái nút. Kết quả kiểm tra ngược đã xuất được tải xuống bộ chứa S3.

Bây giờ chúng ta sẽ vẽ biểu đồ kết quả kiểm tra lại trong Amazon QuickSight. Để trực quan hóa kết quả kiểm tra ngược trong Amazon QuickSight, hãy kết nối với bộ dữ liệu trong Amazon S3 từ QuickSight và tạo trực quan hóa.

Làm sạch

Các dịch vụ AWS được tận dụng trong giải pháp này về bản chất là được quản lý và không có máy chủ. SageMaker Canvas được thiết kế để chạy chương trình đào tạo ML trong thời gian dài và sẽ luôn hoạt động. Đảm bảo bạn đăng xuất rõ ràng khỏi SageMaker Canvas. Vui lòng tham khảo trước tài liệu để biết thêm chi tiết.

Kết luận

Trong bài đăng trên blog này, chúng ta đã thảo luận về cách, với tư cách là người quản lý tài sản của tổ chức, bạn có thể tận dụng dữ liệu AWS low-code no-code (LCNC) và các dịch vụ AI để đẩy nhanh quá trình đánh giá các bộ dữ liệu bên ngoài bằng cách giảm tải quá trình sàng lọc bộ dữ liệu ban đầu cho nhân viên không có kỹ thuật. Phân tích lần đầu này có thể được thực hiện nhanh chóng để giúp bạn quyết định bộ dữ liệu nào sẽ được ưu tiên để giới thiệu và phân tích sâu hơn.

Chúng tôi đã trình bày từng bước cách một nhà phân tích dữ liệu có thể thu thập dữ liệu mới của bên thứ ba thông qua AWS Data Exchange, sử dụng các dịch vụ ETL không mã AWS Glue DataBrew để xử lý trước dữ liệu và đánh giá tính năng nào trong tập dữ liệu có tác động nhiều nhất đến dự báo của mô hình .

Khi dữ liệu đã sẵn sàng để phân tích, nhà phân tích sử dụng SageMaker Canvas để xây dựng mô hình dự đoán, đánh giá mức độ phù hợp của nó và xác định các tính năng quan trọng. Trong ví dụ của chúng tôi, MAPE (05) và WAPE (045) của mô hình cho thấy mức độ phù hợp tốt và cho thấy “Đông đúc” và “DaysToCover10Day” là các tín hiệu trong tập dữ liệu có tác động lớn nhất đối với dự báo. Phân tích này đã định lượng dữ liệu nào ảnh hưởng nhiều nhất đến mô hình và do đó có thể được ưu tiên để điều tra thêm và có khả năng đưa vào tín hiệu alpha hoặc quy trình quản lý rủi ro của bạn. Và cũng quan trọng không kém, điểm số về khả năng giải thích cho biết dữ liệu nào đóng vai trò tương đối ít trong việc xác định dự báo và do đó có thể là ưu tiên thấp hơn để điều tra thêm.

Để đánh giá nhanh hơn khả năng dữ liệu tài chính của bên thứ ba hỗ trợ quá trình đầu tư của bạn, hãy xem lại Các nguồn dữ liệu Dịch vụ tài chính có sẵn trên AWS Data Exchange, và cho dữ liệubrew và Canvas một thử ngày hôm nay.

---

Về các tác giả

Boris Litvin là Kiến trúc sư giải pháp chính, chịu trách nhiệm đổi mới ngành Dịch vụ tài chính. Anh ấy là cựu người sáng lập Quant và FinTech, đam mê đầu tư có hệ thống.

Meenakshisundaram Thandavarayan là một chuyên gia cao cấp về AI/ML của AWS. Anh ấy giúp các tài khoản chiến lược công nghệ cao trên hành trình AI và ML của họ. Anh ấy rất đam mê AI dựa trên dữ liệu.

Camillo Anania là Kiến trúc sư giải pháp khởi nghiệp cấp cao của AWS có trụ sở tại Vương quốc Anh. Anh ấy là một nhà công nghệ đam mê giúp đỡ các công ty khởi nghiệp ở mọi quy mô xây dựng và phát triển.

Dan Sinnreich là Giám đốc sản phẩm cấp cao của AWS, tập trung vào việc hỗ trợ các công ty đưa ra quyết định sáng suốt hơn với ML. Trước đây, ông đã xây dựng các nền tảng phân tích danh mục đầu tư và mô hình rủi ro nhiều loại tài sản cho các nhà đầu tư tổ chức lớn.