지난 몇 년 동안 기관 자산 관리자가 여러 데이터 소스를 소싱하고 투자 프로세스에 통합하는 방식에 엄청난 패러다임 변화가 있었습니다. 위험 상관관계의 잦은 변화, 예상치 못한 변동성 소스, 패시브 전략으로 인한 경쟁 심화로 인해 자산 관리자는 경쟁 우위를 확보하고 위험 조정 수익을 개선하기 위해 더 광범위한 제XNUMX자 데이터 소스를 사용하고 있습니다. 그러나 여러 데이터 소스에서 이점을 추출하는 프로세스는 매우 어려울 수 있습니다. 자산 관리자의 데이터 엔지니어링 팀은 데이터 수집 및 사전 처리로 과부하가 걸리는 반면 데이터 과학 팀은 투자 통찰력을 위해 데이터를 마이닝하고 있습니다.
제3자 또는 대체 데이터는 전통적인 시장 데이터 제공업체 외부에서 소싱된 투자 프로세스에 사용되는 데이터를 의미합니다. 기관 투자자는 투자 프로세스에서 우위를 점하기 위해 제20자 또는 대체 데이터로 기존 데이터 소스를 보강하는 경우가 많습니다. 일반적으로 인용되는 예로는 위성 이미지, 신용 카드 데이터 및 소셜 미디어 감정이 포함되지만 이에 국한되지 않습니다. 펀드 매니저는 외부 데이터 세트에 연간 약 30억 달러를 투자하며 연간 지출은 XNUMX~XNUMX% 증가합니다.
사용 가능한 타사 및 대체 데이터 세트가 기하급수적으로 증가함에 따라 새로운 데이터 세트가 새로운 투자 통찰력을 추가하는지 여부를 신속하게 분석하는 기능은 투자 관리 업계에서 경쟁력 있는 차별화 요소입니다. AWS LCNC(노코드 로우코드) 데이터 및 AI 서비스를 사용하면 비기술 팀이 초기 데이터 스크리닝을 수행하고, 데이터 온보딩의 우선 순위를 지정하고, 인사이트 확보 시간을 단축하고, 귀중한 기술 리소스를 확보하여 지속적인 경쟁 우위를 확보할 수 있습니다.
이 블로그 게시물에서는 기관 자산 관리자로서 AWS LCNC 데이터 및 AI 서비스를 활용하여 초기 데이터 분석 및 우선 순위 지정 프로세스를 기술 팀 이상으로 확장하고 의사 결정을 가속화하는 방법에 대해 설명합니다. AWS LCNC 서비스를 사용하면 단일 코드를 작성하지 않고도 기계 학습(ML) 모델을 사용하여 다양한 타사 데이터 세트를 빠르게 구독 및 평가하고, 데이터를 사전 처리하고, 예측력을 확인할 수 있습니다.
솔루션 개요
우리의 사용 사례는 외부 데이터 세트의 주가 예측력을 분석하고 해당 기능의 중요도를 식별하는 것입니다. 어떤 필드가 주가 성과에 가장 큰 영향을 미치는지 말입니다. 이는 투자 프로세스에 맞게 기존의 정량적 방법론을 사용하여 데이터 세트의 여러 필드 중 어떤 필드를 더 면밀히 평가해야 하는지 식별하기 위한 첫 번째 통과 테스트 역할을 합니다. 이러한 유형의 XNUMX차 통과 테스트는 분석가가 신속하게 수행할 수 있으므로 시간을 절약하고 데이터 세트 온보딩의 우선 순위를 더 빠르게 지정할 수 있습니다. 또한 우리는 주가를 목표 예로 사용하지만 수익성, 평가 비율 또는 거래량과 같은 다른 메트릭도 사용할 수 있습니다. 이 사용 사례에 사용된 모든 데이터 세트는 다음에 게시됩니다. AWS 데이터 교환.
다음 다이어그램은 결정을 내리는 데 사용되는 엔드 투 엔드 아키텍처와 AWS LCNC 서비스를 설명합니다.
당사의 솔루션은 다음 단계와 솔루션으로 구성됩니다.
- 데이터 수집: 게시된 대체 데이터 세트를 구독하고 이를 에 다운로드하기 위한 AWS Data Exchange 아마존 단순 스토리지 서비스 (Amazon S3) 버킷.
- 데이터 엔지니어링: AWS 글루 데이터브루 Amazon S3에 저장된 데이터의 데이터 엔지니어링 및 변환을 위해.
- 기계 학습: Amazon SageMaker 캔버스 예측을 위한 시계열 예측 모델을 구축하고 데이터가 예측에 미치는 영향을 식별합니다.
- 비즈니스 인텔리전스: 아마존 퀵 사이트 또는 Amazon SageMaker Canvas를 사용하여 의사 결정을 위한 예측에 대한 기능 중요도를 검토합니다.
데이터 수집
AWS 데이터 교환 클라우드에서 타사 데이터를 쉽게 찾고, 구독하고, 사용할 수 있습니다. AWS Data Exchange 카탈로그를 탐색하고 비즈니스 및 관련 데이터 제품을 찾을 수 있습니다. 가입 추가 처리 없이 공급자의 데이터에 ETL 프로세스가 필요하지 않습니다. 많은 공급자가 무료 초기 구독을 제공하므로 먼저 선불 비용을 들이지 않고도 데이터를 분석할 수 있습니다.
이 사용 사례의 경우 AWS Data Exchange에서 아래 데이터 세트를 검색하고 구독하십시오.
- 시가 총액 기준 상위 20개 미국 기업의 10년 종가 데이터 발행 알파 밴티지. 이 무료 데이터 세트에는 20년 10월 5일 현재 시가 총액 기준 상위 2020개 미국 주식에 대한 10년 간의 과거 데이터가 포함되어 있습니다. 데이터 세트에는 다음 XNUMX개의 기호가 포함되어 있습니다. AAPL: Apple Inc.; AMZN: Amazon.com, Inc.; BRK-A: Berkshire Hathaway Inc.(클래스 A); FB: 페이스북, Inc.; GOOG: 알파벳 주식회사; JNJ: 존슨앤드존슨; MA: 마스터카드 통합; MSFT: Microsoft Corporation V: Visa Inc.; 및 WMT: Walmart Inc.
- 주요 데이터 필드에는 다음이 포함됩니다.
- 시가: 당일 거래 시가
- 고가: 당일 거래 최고가
- 낮음: 당일 거래되는 낮은 가격
- 종가: 당일 종가
- 거래량 : 당일 거래량
- 조정 종가: 오늘의 분할 및 배당 조정 종가
- 분할비율 : 효력 발생일 현재 신주와 구주 수의 비율
- 배당금 : 현금 배당금 지급액
- S3 단기이자 및 증권 금융 데이터 발행 S3 파트너. 이 데이터 세트에는 다음 필드가 포함되어 있습니다.
| 분야 | 상품 설명 |
| 영업일 | 요율 적용 날짜 |
| 보안 ID | 보안 식별자에는 Sedol, ISIN, FIGI, Ticker, Bloomberg ID가 포함됩니다. |
| 성함 | 보안 이름 |
| 할인율 | 기존 매도 포지션에 대해 지불한 시장 종합 금융 수수료 |
| 입찰가 | 장기 보유자가 대출한 기존 주식에 대해 얻은 시장 종합 대출 수수료 |
| 최종 비율 | 해당 날짜에 대출된 증분 주식에 대해 얻은 시장 복합 대출 수수료(현물 금리) |
| 크라우 딩 | 모멘텀 지표는 시장 플로트와 관련된 일일 숏 및 커버링 이벤트를 측정합니다. |
| 짧은이자 | 주식 수로 표현되는 실시간 공매도 이자 |
| 단기이자명목 | ShortInterest * 가격(USD) |
| 단기이자율 | 유동 주식의 백분율로 표시되는 실시간 단기 이자 |
| S3Float | 공매도에 의해 생성된 합성 롱을 포함한 거래 가능한 주식의 수 |
| S3SIPct플로트 | S3 float로 나눈 실시간 단기 이자 예측 |
| 지표 가용성 | S3 예상 가용 대출 가능 수량 |
| 이용 | 실시간 단기 이자율을 총 대출 공급량으로 나눈 값 |
| DaystoCover10일 | 유동성측정 = 단기이자 / 10일 평균 ADTV 입니다. |
| DaystoCover30일 | 유동성측정 = 단기이자 / 30일 평균 ADTV 입니다. |
| DaystoCover90일 | 유동성측정 = 단기이자 / 90일 평균 ADTV 입니다. |
| 원본 SI | 특정 시점 짧은 관심 |
데이터를 얻으려면 먼저 AWS Data Exchange에서 데이터 세트를 검색하고 데이터 세트를 구독합니다.
데이터세트 게시자가 구독 요청을 승인하면 S3 버킷에 다운로드할 수 있는 데이터세트가 제공됩니다.
선택 자동 내보내기 작업 대상 추가, S3 버킷의 세부 정보를 제공하고 데이터 세트를 다운로드합니다.
단계를 반복하여 Alpha Vantage 데이터 세트를 가져옵니다. 완료되면 S3 버킷에 두 데이터 세트가 모두 있게 됩니다.
데이터 공학
데이터 세트가 S3 버킷에 있으면 다음을 사용할 수 있습니다. AWS 글루 데이터브루 데이터를 변환합니다. AWS Glue DataBrew는 350개 이상의 사전 구축된 변환을 제공하여 데이터 준비 작업(예: 이상 항목 필터링, 형식 표준화, 유효하지 않은 값 수정)을 자동화합니다.
AWS DataBrew에서 예측을 위한 통합 큐레이트 데이터 세트를 생성하려면 아래 단계를 수행하십시오. 자세한 내용은 여기를 참조하십시오 블로그.
- DataBrew 데이터 세트를 생성합니다.
- DataBrew 데이터세트를 DataBrew 프로젝트에 로드합니다.
- DataBrew 레시피를 빌드합니다.
- DataBrew 작업을 실행합니다.
DataBrew 데이터 세트 생성: AWS Glue DataBrew에서 데이터 세트 S3 버킷에서 업로드된 데이터를 나타냅니다. 종가와 S3 단기 이자에 대해 두 개의 DataBrew 데이터 세트를 생성합니다. 데이터 세트를 생성할 때 S3 연결 세부 정보를 한 번만 입력합니다. 이 시점부터 DataBrew는 기본 데이터에 액세스할 수 있습니다.
DataBrew 데이터 세트를 DataBrew 프로젝트에 로드: AWS Glue DataBrew에서 프로젝트 데이터 분석 및 변환 노력의 핵심입니다. DataBrew 프로젝트는 DataBrew 데이터 세트를 함께 가져와 데이터 변환(DataBrew 레시피)을 개발할 수 있도록 합니다. 여기에서도 우리는 종가 및 S3 공매도 이자에 대한 두 개의 DataBrew 프로젝트를 생성합니다.
DataBrew 레시피 빌드: DataBrew에서 조리법 일련의 데이터 변환 단계입니다. 이러한 단계를 데이터 세트에 적용할 수 있습니다. 사용 사례의 경우 두 가지 변환을 빌드합니다. 첫 번째는 데이터 세트가 S3 단기 이자에 조인될 수 있도록 종가 주가 타임스탬프 열의 형식을 변경합니다.
두 번째 변환은 데이터를 선별하고 마지막 단계에서는 데이터세트를 단일 선별된 데이터세트로 결합합니다. 데이터 변환 레시피 작성에 대한 자세한 내용은 다음을 참조하십시오. 블로그.
DataBrew 작업: DataBrew 레시피를 생성한 후 먼저 종가 DataBrew 작업을 실행한 다음 S3 단기 이자 레시피를 실행할 수 있습니다. 이것을 참조하십시오 블로그 단일 통합 데이터 세트를 생성합니다. 최종 선별된 데이터 세트를 S3 버킷에 저장합니다.
종단 간 데이터 엔지니어링 워크플로는 다음과 같습니다.
기계 학습
사후 데이터 엔지니어링으로 생성된 선별된 데이터 세트를 사용하면 다음을 사용할 수 있습니다. Amazon SageMaker 캔버스 예측 모델을 구축하고 기능이 예측에 미치는 영향을 분석합니다. Amazon SageMaker 캔버스 비즈니스 사용자에게 시각적인 포인트 앤 클릭 인터페이스를 제공하여 ML 경험이 없거나 한 줄의 코드를 작성하지 않고도 자체적으로 모델을 구축하고 정확한 ML 예측을 생성할 수 있습니다.
Amazon SageMaker Canvas에서 시계열 예측 모델을 구축하려면 아래 단계를 따르십시오. 자세한 내용은 다음을 참조하십시오. 블로그:
- SageMaker Canvas에서 선별된 데이터 세트를 선택합니다.
- 시계열 예측 모델을 구축합니다.
- 결과 및 기능 중요도를 분석합니다.
시계열 예측 모델 구축: 데이터셋을 선택했으면 예측할 대상 컬럼을 선택합니다. 우리의 경우 이것은 주식 시세 표시기의 종가가 될 것입니다. SageMaker Canvas는 이것이 시계열 예측 문제 설명임을 자동으로 감지합니다.
시계열 예측을 위해 다음과 같이 모델을 구성해야 합니다. 항목 ID로 주식 시세 표시기 이름을 선택합니다. 데이터 세트에는 상위 10개 주식에 대한 주식 시세 가격이 있음을 기억하십시오. 타임스탬프를 위한 타임스탬프 열을 선택하고 마지막으로 미래에 예측하고자 하는 일수를 입력합니다[Forecast Horizon].
이제 모델을 만들 준비가 되었습니다. SageMaker Canvas는 모델 구축을 위한 두 가지 옵션인 빠른 구축과 표준 구축을 제공합니다. 이 경우에는 "표준 빌드"를 사용합니다.
Standard Build는 모델을 구축하는 데 약 XNUMX시간이 소요되며 다음을 사용합니다. 아마존 예측, 기본 예측 엔진으로 ML을 기반으로 하는 시계열 예측 서비스입니다. Forecast는 ML 경험 없이도 기존 및 딥 러닝 모델의 모델 앙상블을 통해 매우 정확한 예측을 생성합니다.
모델이 구축되면 이제 모델 성능(예측 정확도) 및 기능 중요도를 검토할 수 있습니다. 아래 그림에서 볼 수 있듯이 모델은 Crowding과 DaysToCover10Day를 예측 값을 유도하는 두 가지 주요 기능으로 식별합니다. 크라우딩은 일일 매도 및 커버링 이벤트를 측정하는 모멘텀 지표이고 단기 단기 이자율은 투자자가 주식에 어떻게 위치하는지를 나타내는 유동성 척도이기 때문에 이는 우리의 시장 직관과 일치합니다. 모멘텀과 유동성 모두 가격 변동성을 유발할 수 있습니다.
이 결과는 이 두 기능(또는 필드)이 주가 움직임과 밀접한 관계가 있으며 온보딩 및 추가 분석을 위해 더 높은 우선 순위를 지정할 수 있음을 나타냅니다.
비즈니스 인텔리전스
시계열 예측의 맥락에서 백 테스팅 기존의 과거 데이터를 사용하여 예측 방법의 정확성을 평가하는 프로세스를 말합니다. 프로세스는 일반적으로 과거 데이터에 있는 여러 날짜에 걸쳐 반복됩니다.
이미 논의한 바와 같이 SageMaker Canvas는 Amazon Forecast를 시계열 예측용 엔진으로 사용합니다. 예측은 모델 작성 프로세스의 일부로 백테스트를 생성합니다. 이제 Amazon Forecast에 로그인하여 예측기 세부 정보를 볼 수 있습니다. Model Explainability에 대한 더 깊은 이해는 다음을 참조하십시오. 블로그.
Amazon Forecast는 WAPE(가중 절대 백분율 오차), RMSE(근 평균 제곱 오차), MAPE(절대 평균 오차) 및 MASE(평균 절대 오차)와 같은 예측 지표에 대한 추가 세부 정보를 제공합니다. Amazon Forecast에서 예측기 품질 점수를 내보낼 수 있습니다.
Amazon Forecast는 제공된 시계열 데이터 세트에 대해 하나의 백 테스트를 실행합니다. 백 테스트 결과는 다음을 사용하여 다운로드할 수 있습니다. 백 테스트 결과 내보내기 단추. 내보낸 백테스트 결과는 S3 버킷에 다운로드됩니다.
이제 Amazon QuickSight에서 백테스트 결과를 플로팅합니다. Amazon QuickSight에서 백테스트 결과를 시각화하려면 QuickSight에서 Amazon S3의 데이터 세트에 연결하고 시각화를 생성합니다.
정리
이 솔루션에서 활용되는 AWS 서비스는 본질적으로 관리형이며 서버리스입니다. SageMaker Canvas는 장기 실행 ML 교육을 실행하도록 설계되었으며 항상 켜져 있습니다. SageMaker Canvas에서 명시적으로 로그오프해야 합니다. 참조하십시오 문서 자세한 내용은.
결론
이 블로그 게시물에서는 기관 자산 관리자로서 AWS LCNC(Low-Code No-Code) 데이터 및 AI 서비스를 활용하여 초기 데이터 세트 스크리닝을 비기술 인력에게 오프로드하여 외부 데이터 세트의 평가를 가속화하는 방법에 대해 논의했습니다. 이 첫 번째 분석은 온보딩 및 추가 분석을 위해 우선 순위를 지정해야 하는 데이터 세트를 결정하는 데 도움이 되도록 신속하게 수행할 수 있습니다.
데이터 분석가가 AWS Data Exchange를 통해 새로운 타사 데이터를 획득하고, AWS Glue DataBrew 노코드 ETL 서비스를 사용하여 데이터를 사전 처리하고, 데이터 세트의 어떤 기능이 모델의 예측에 가장 큰 영향을 미치는지 평가하는 방법을 단계별로 시연했습니다. .
데이터 분석 준비가 완료되면 분석가는 SageMaker Canvas를 사용하여 예측 모델을 구축하고 적합성을 평가하며 중요한 기능을 식별합니다. 이 예에서 모델의 MAPE(.05) 및 WAPE(.045)는 적합도를 표시하고 예측에 가장 큰 영향을 미치는 데이터 세트의 신호로 "Crowding" 및 "DaysToCover10Day"를 표시했습니다. 이 분석은 어떤 데이터가 모델에 가장 영향을 미쳤는지 정량화했으며 따라서 추가 조사 및 알파 신호 또는 위험 관리 프로세스에 잠재적으로 포함되도록 우선 순위를 지정할 수 있습니다. 마찬가지로 중요한 것은 설명 가능성 점수는 예측을 결정하는 데 상대적으로 역할이 적은 데이터가 어떤 데이터인지를 나타내므로 추가 조사를 위한 우선 순위가 낮을 수 있습니다.
투자 프로세스를 지원하는 타사 재무 데이터의 기능을 보다 신속하게 평가하려면 다음을 검토하십시오. AWS Data Exchange에서 사용할 수 있는 금융 서비스 데이터 소스, 주고 데이터브루 및 캔버스 오늘 시도.
저자에 관하여
보리스 리트빈 금융 서비스 산업 혁신을 담당하는 수석 솔루션 설계자입니다. 그는 전직 Quant 및 FinTech 창립자이며 체계적인 투자에 열정적입니다.
미낙시순다람 탄다바라얀 AWS의 선임 AI/ML 전문가입니다. 그는 AI 및 ML 여정에서 하이테크 전략 계정을 돕습니다. 그는 데이터 기반 AI에 대해 매우 열정적입니다.
카밀로 아나니아 영국에 본사를 둔 AWS의 선임 스타트업 솔루션 아키텍트입니다. 그는 모든 규모의 스타트업이 구축하고 성장하도록 돕는 열정적인 기술자입니다.
댄 신라이히 AWS의 수석 제품 관리자로서 기업이 ML을 통해 더 나은 결정을 내릴 수 있도록 지원하는 데 중점을 둡니다. 그는 이전에 대규모 기관 투자자를 위해 포트폴리오 분석 플랫폼과 다중 자산 클래스 위험 모델을 구축했습니다.
