후원 기능 불, 농업, 바퀴, 인쇄기, 인터넷 등의 혁명적인 기술과 발견의 꾸준한 흐름은 인간의 발전과 문명을 심오하게 형성했습니다. 그리고 이러한 혁신의 주기는 인공 지능(AI)으로 계속되고 있습니다.
리서치 회사 IDC는 AI가 실제로 "모든 것"에 대한 해답이라는 결론을 내리기까지 했습니다. IDC의 데이터 및 분석 담당 부회장인 Rasmus Andsbjerg는 “현실은 AI가 현재 우리가 직면하고 있는 모든 것에 대한 솔루션을 제공한다는 것입니다. AI는 신속한 디지털 혁신 여정의 원천이 될 수 있고, 엄청난 인플레이션율의 시기에 비용 절감을 가능하게 하며, 노동력이 부족한 시기에 자동화 노력을 지원할 수 있습니다.”
점점 더 강력한 알고리즘과 기본 인프라가 등장하여 더 나은 의사 결정과 더 높은 생산성을 가능하게 함에 따라 확실히 모든 산업 및 기능 전반에서 최종 사용자 조직은 AI의 이점을 발견하기 시작했습니다.
AI 중심 및 AI 비중심 애플리케이션 모두를 위한 관련 소프트웨어, 하드웨어 및 서비스를 포함한 인공 지능(AI) 시장의 전 세계 매출은 383.3년 총 2021억 달러였습니다. 최근의 IDC(International Data Corporation) 전 세계 반기 인공 지능 추적기.
마찬가지로 클라우드에 대한 AI 소프트웨어 배포도 꾸준히 성장하고 있습니다. IDC는 새로 구입한 AI 소프트웨어의 클라우드 버전이 2022년에 온프레미스 배포를 능가할 것으로 예상합니다.
하늘은 AI의 한계
AI용 컴퓨팅 관리 플랫폼을 만든 AI 전문가 Run:ai의 최고 기술 책임자인 Dr Ronen Dar는 초기 엔터프라이즈 AI 부문의 한계는 무궁무진하다고 믿습니다.
“AI는 매우 빠르게 성장하고 있는 시장입니다. 그리고 기업 측면에서 우리는 머신 러닝과 AI에 대한 수요와 채택을 봅니다. 그리고 바로 지금 여기에 세상을 바꿀 새로운 기능을 제공하는 새로운 기술이 있다고 생각합니다. 비즈니스에 혁명을 일으킬 것입니다.”라고 Dar는 말합니다.
또한 AI를 탐구하고 실험하기 시작하고 AI를 비즈니스 모델에 통합하는 방법을 이해해야 할 필요성에 대한 명확한 이해가 있습니다.
Dar는 AI가 기존 기업 비즈니스 프로세스를 개선하는 데 "놀라운 이점"을 가져올 수 있다고 믿습니다. 수요와 공급을 중심으로.”
그는 신경망을 기반으로 하는 새로운 딥 러닝 모델이 프로세스, 의사 결정 및 금융 서비스 산업의 사기 적발과 같은 중요한 비즈니스 프로세스의 정확성을 향상시킬 수 있다고 지적합니다. 의료는 특히 의사가 더 나은 임상 결정을 내리고 신약을 발견하고 개발하도록 돕는 측면에서 AI의 잠재력이 "거대한" 또 다른 분야입니다.
그리고 더 멀리 내다보며 Dar는 AI 기술이 자율 주행 차량 및 몰입형 게임과 같은 분야에 현재 존재하지 않는 완전히 새로운 상업적 기회를 제공하는 데 도움이 될 것이라고 예측합니다.
극복해야 할 인프라 장애물
기업에서 AI와 기계 학습의 명백한 잠재력에도 불구하고 Dar는 인프라 제공과 관련된 문제로 인해 AI의 상업적 배포가 지연되고 있음을 인정합니다. 그는 기업이 우선적으로 AI가 조직에 들어가는 방식을 살펴볼 필요가 있다고 조언합니다.
일반적으로 여기에는 서로 다른 팀이 기술과 리소스를 독립적으로 프로비저닝하는 조율되지 않은 부서별 프로세스가 포함되어 사일로화된 배포로 이어집니다. IT는 이러한 임시 프로젝트를 효과적으로 제어할 수 없으며 진행 상황에 대한 가시성이 없습니다. 그리고 이로 인해 AI 인프라 지출에 대한 ROI를 계산하는 것이 불가능하지는 않더라도 어렵습니다.
Dar는 "고전적인 문제입니다. 예전에는 섀도우 IT였지만 지금은 섀도우 AI입니다."라고 말합니다.
또한 AI/ML에 필요한 최첨단 인프라는 기업이 매우 복잡한 데이터를 처리하고 모델을 교육하기 위해 강력한 GPU 가속 컴퓨팅 하드웨어가 필요하기 때문에 투자입니다.
Dar는 "AI 팀은 일반적으로 사일로화되고 효율적으로 사용되지 않는 프리미엄 데이터 센터 리소스인 GPU를 사용하여 모델을 교육하는 데 많은 컴퓨팅 성능이 필요합니다."라고 말합니다. "확실히 많은 돈이 낭비될 수 있습니다."
예를 들어 사일로화된 인프라는 활용도 수준이 10% 미만일 수 있습니다.
Run:ai 여론조사에 따르면, 2021년 AI 인프라 현황 설문조사, 2021년 87월에 게시된 응답자의 12%가 일정 수준의 GPU/컴퓨팅 리소스 할당 문제를 경험한다고 말했으며 83%는 이러한 문제가 자주 발생한다고 말했습니다. 그 결과, 조사 대상 기업의 61%가 GPU 및 AI 하드웨어를 충분히 활용하지 못하고 있다고 보고했습니다. 실제로 거의 XNUMX분의 XNUMX(XNUMX%)가 GPU 및 AI 하드웨어의 사용률이 대부분 "보통" 수준이라고 밝혔습니다.
AI의 중앙 집중화
이러한 문제를 해결하기 위해 Dar는 AI 리소스 제공을 중앙 집중화하는 것을 옹호합니다. Run:AI는 GPU 컴퓨팅 리소스를 중앙 집중화하고 가상화하는 AI용 컴퓨팅 관리 플랫폼을 개발했습니다. GPU를 단일 가상 레이어로 풀링하고 100% 활용을 위해 워크로드 스케줄링을 자동화함으로써 이 접근 방식은 부서 수준에서 사일로 시스템에 비해 이점을 제공합니다.
인프라를 중앙 집중화하면 데이터 과학자가 인프라 관리 오버헤드에서 벗어나 제어와 가시성을 되찾을 수 있습니다. AI 팀은 수요 증가 또는 감소에 따라 동적으로 다이얼링할 수 있는 범용 AI 컴퓨팅 리소스를 공유하여 수요 병목 현상과 활용도가 낮은 기간을 제거합니다.
Dar는 이 접근 방식을 통해 조직이 하드웨어를 최대한 활용하고 데이터 과학자가 근본적인 리소스 제한의 제약에서 벗어나도록 도울 수 있다고 주장합니다. 이 모든 것은 그들이 더 많은 작업을 실행하고 더 많은 AI 모델을 프로덕션에 가져올 수 있음을 의미합니다.
King's College London이 주도하고 St. 의료 이미지와 전자 의료 데이터를 사용하여 컴퓨터 비전 및 자연어 처리를 위한 정교한 딥 러닝 알고리즘을 훈련합니다. 이러한 알고리즘은 효과적인 스크리닝, 빠른 진단 및 맞춤형 치료를 위한 새로운 도구를 만드는 데 사용됩니다.
센터는 레거시 AI 인프라가 효율성 문제로 어려움을 겪고 있음을 깨달았습니다. 총 GPU 활용률은 30% 미만이었고 일부 구성 요소의 "상당한" 유휴 기간이 있었습니다. Run:ai의 플랫폼을 기반으로 하는 중앙 집중식 AI 컴퓨팅 프로비저닝 모델을 채택하여 이러한 문제를 해결한 후 GPU 활용도가 110% 증가했으며 동시에 실험 속도와 전반적인 연구 효율성도 향상되었습니다.
킹스 칼리지 런던(King's College London)의 AI 부교수이자 선임 강사이자 AI 센터의 CTO인 M. Jorge Cardoso 박사는 "우리의 실험은 소량의 컴퓨팅 성능 또는 전체 클러스터를 사용하여 며칠 또는 몇 분이 걸릴 수 있습니다."라고 말합니다. "결과 도출 시간을 단축하면 사람들의 건강과 삶에 대해 더 중요한 질문을 묻고 답할 수 있습니다."
AI GPU 리소스를 중앙 집중화하면 자율 주행 자동차용 AI 소프트웨어를 개발하는 런던 기반 회사인 Wayve에도 귀중한 상업적 이점을 제공했습니다. 이 기술은 감지에 의존하지 않고 밀집된 도시 지역에서 더 나은 자율 주행을 위해 더 큰 지능에 초점을 맞추도록 설계되었습니다.
Wayve의 차량 학습 루프에는 차량에 배치하기 전에 데이터 수집, 큐레이션, 모델 교육, 재시뮬레이션 및 라이선스 모델의 지속적인 주기가 포함됩니다. 회사의 기본 GPU 컴퓨팅 소비는 Fleet Learning Loop 생산 교육에서 비롯됩니다. 전체 데이터 세트로 제품 기준선을 교육하고 차량 학습 루프의 반복을 통해 새 데이터를 수집하도록 지속적으로 재교육합니다.
이 회사는 GPU 스케줄링 "공포"로 인해 어려움을 겪고 있음을 깨닫기 시작했습니다. 사용 가능한 GPU 리소스의 거의 100%가 연구원에게 할당되었지만 처음 테스트가 완료되었을 때 활용된 비율은 45% 미만이었습니다.
"GPU는 연구원들에게 정적으로 할당되었기 때문에 연구원들이 할당된 GPU를 사용하지 않을 때 다른 사람들이 GPU에 액세스할 수 없었기 때문에 많은 GPU가 유휴 상태인 경우에도 모델 훈련을 위한 GPU가 용량에 있는 것처럼 착각했습니다."라고 Wayve는 말합니다.
Run:ai를 사용하여 사일로를 제거하고 리소스의 정적 할당을 제거하여 이 문제를 해결했습니다. 팀이 더 많은 GPU에 액세스하고 더 많은 워크로드를 실행할 수 있도록 공유 GPU 풀이 생성되어 활용도가 35% 향상되었습니다.
미러 CPU 효율성 개선
VMware가 최근 몇 년 동안 서버 CPU가 최대 용량으로 사용되는 방식에 대해 상당한 효율성 개선을 가져온 방식을 미러링하여 이제 AI 컴퓨팅 워크로드에 대한 GPU 활용 효율성을 최적화하기 위한 새로운 혁신이 진행 중입니다.
"CPU 위에서 실행되는 소프트웨어 스택을 생각해보면 많은 VMware와 가상화로 구축되었습니다."라고 Dar는 설명합니다. "GPU는 데이터 센터에서 비교적 새로운 것이며 AI 및 가상화를 위한 소프트웨어입니다. NVIDIA AI Enterprise – 또한 최근에 개발되었습니다.”
“우리는 분수 GPU, 작업 교환 등과 같은 기능을 통해 해당 영역에 고급 기술을 제공합니다. 워크로드가 GPU를 효율적으로 공유할 수 있도록 합니다.
Run:ai는 NVIDIA와 긴밀히 협력하여 기업에서 GPU 사용을 개선하고 단순화합니다. 가장 최근의 협업에는 클라우드에서 GPU를 사용하는 회사를 위한 멀티 클라우드 GPU 유연성 지원 및 NVIDIA Triton 추론 서버 프로덕션에서 모델을 배포하는 프로세스를 단순화하는 소프트웨어입니다.
역사의 과정에서 주요 혁신이 인류와 세계에 지대한 영향을 미쳤던 방식에서 Dar는 잠재적인 단점을 관리하면서 잠재적인 이점을 극대화하기 위해 AI의 힘을 주의 깊게 활용해야 한다고 지적합니다. 그는 AI를 가장 원시적인 혁신인 불에 비유합니다.
“많은 위대한 일을 가져오고 인간의 삶을 변화시킨 불과 같습니다. 불은 또한 위험을 가져왔습니다. 그래서 인간은 불과 함께 사는 법을 이해했습니다.”라고 Dar는 말합니다. “요즘 AI에도 이런 게 있는 것 같아요.”
Run:ai가 후원합니다.
