인공 지능과 머신 러닝은 전 세계적으로 기술이 전 세계 부문으로 끌어들여 이익을 얻음에 따라 두 가지 혁신적인 리더입니다. 경쟁력을 유지하기 위해 많은 도구가 시장에서 인기를 얻었기 때문에 사용할 도구를 선택하는 것이 어려울 수 있습니다.
기계 학습 도구를 선택할 때 미래를 선택합니다. 인공 지능 분야의 모든 것은 매우 빠르게 발전하기 때문에 "오래된 개, 오래된 트릭"과 "어제 만들었습니다" 사이의 균형을 유지하는 것이 중요합니다.
기계 학습 도구의 수가 확장되고 있습니다. 그것으로 요구 사항은 그것들을 평가하고 최상의 것을 선택하는 방법을 이해하는 것입니다.
이 기사에서는 잘 알려진 몇 가지 기계 학습 도구를 살펴보겠습니다. 이 검토에서는 ML 라이브러리, 프레임워크 및 플랫폼을 검토합니다.
헤르미온느
Hermione이라고 하는 최신 오픈 소스 라이브러리를 사용하면 데이터 과학자가 보다 쉽고 빠르게 정렬된 스크립트를 설정할 수 있습니다. 또한 Hermione은 데이터 보기, 텍스트 벡터링, 열 정규화 및 비정규화 및 일상적인 활동에 도움이 되는 기타 주제에 대한 수업을 제공합니다. Hermione에서는 절차를 따라야 합니다. 나머지는 마법처럼 그녀가 처리합니다.
히드라
Hydra라는 오픈 소스 Python 프레임워크를 사용하면 연구 및 기타 목적을 위한 복잡한 앱을 쉽게 만들 수 있습니다. Hydra는 많은 머리를 가진 Hydra와 같이 수많은 관련 작업을 관리하는 능력을 나타냅니다. 주요 기능은 계층적 구성을 동적으로 구성하고 구성 파일 및 명령줄을 통해 재정의하는 기능입니다.
동적 명령줄 탭 완성은 또 다른 기능입니다. 다양한 소스에서 계층적으로 구성할 수 있으며 명령줄에서 구성을 지정하거나 변경할 수 있습니다. 또한 프로그램을 시작하여 원격 또는 로컬로 실행하고 단일 명령으로 다양한 인수로 수많은 작업을 수행할 수 있습니다.
코알라
방대한 양의 데이터로 작업하면서 데이터 과학자의 생산성을 높이기 위해 Koalas 프로젝트는 Apache Spark 위에 pandas DataFrame API를 통합합니다.
Pandas는 사실상의 표준(단일 노드) Python DataFrame 구현인 반면 Spark는 대규모 데이터 처리를 위한 사실상의 표준입니다. 이미 Pandas에 익숙하다면 이 패키지를 사용하여 즉시 Spark 사용을 시작하고 학습 곡선을 피할 수 있습니다. 단일 코드베이스는 Spark 및 Pandas(테스트, 더 작은 데이터 세트)(분산 데이터 세트)와 호환됩니다.
루드비히
Ludwig는 기계 학습 파이프라인을 정의하기 위한 간단하고 유연한 데이터 기반 구성 접근 방식을 제공하는 선언적 기계 학습 프레임워크입니다. Linux Foundation AI & Data는 다양한 AI 활동에 사용할 수 있는 Ludwig를 호스트합니다.
입력 및 출력 기능과 적절한 데이터 유형은 구성에서 선언됩니다. 사용자는 추가 매개변수를 지정하여 기능을 전처리, 인코딩 및 디코딩하고, 사전 학습된 모델에서 데이터를 로드하고, 내부 모델 아키텍처를 구축하고, 학습 매개변수를 조정하거나 하이퍼 매개변수 최적화를 수행할 수 있습니다.
Ludwig는 구성의 명시적 매개변수를 사용하여 종단 간 머신 러닝 파이프라인을 자동으로 생성하고 그렇지 않은 설정에 대해서는 스마트 기본값으로 되돌립니다.
ML알림
오픈 소스 프로그램 MLNotify는 하나의 가져오기 라인으로 모델 학습이 끝나면 온라인, 모바일 및 이메일 알림을 보낼 수 있습니다. 잘 알려진 ML 라이브러리의 fit() 함수에 연결되어 절차가 완료되면 사용자에게 경고하는 Python 라이브러리입니다.
모든 데이터 과학자는 수백 개의 모델을 훈련한 후 훈련이 끝날 때까지 기다리는 것이 지루하다는 것을 알고 있습니다. 시간이 좀 걸리기 때문에 Alt+Tab을 앞뒤로 수시로 확인해야 합니다. MLNotify는 학습이 시작되면 특정 추적 URL을 인쇄합니다. 코드 입력에는 QR 스캔, URL 복사 또는 https://mlnotify.aporia.com 탐색의 세 가지 옵션이 있습니다. 훈련의 발전은 그 후에 볼 수 있습니다. 교육이 끝나면 즉시 알림을 받게 됩니다. 온라인, 스마트폰 또는 이메일 알림을 활성화하여 운동이 끝나는 즉시 알림을 받을 수 있습니다.
파이 카레
기계 학습을 위한 워크플로는 오픈 소스 Python 기반 PyCaret 모듈을 통해 자동화됩니다. 짧고 이해하기 쉬운 Python 로우 코드 기계 학습 라이브러리입니다. PyCaret을 사용하면 분석에 더 많은 시간을 할애하고 개발 시간을 줄일 수 있습니다. 다양한 데이터 준비 옵션을 사용할 수 있습니다. 스케일링에 대한 엔지니어링 기능. 설계상 PyCaret은 모듈식입니다. 각 모듈에는 특정 기계 학습 작업이 있습니다.
PyCaret에서 함수는 특정 작업 흐름 활동을 수행하는 작업 모음입니다. 모든 모듈에서 동일합니다. PyCaret을 가르치는 데 사용할 수 있는 매혹적인 자료가 많이 있습니다. 지침을 사용하여 시작할 수 있습니다.
기차 발전기
Traingenerator Streamlit으로 만든 간단한 웹 UI를 사용하여 PyTorch 및 sklearn에 대한 고유한 템플릿 코드를 생성합니다. 다가오는 기계 학습 프로젝트를 시작하기 위한 이상적인 도구입니다! Traingenerator(Tensorboard 또는 comet.ml 사용)에서 다양한 전처리, 모델 구성, 교육 및 시각화 옵션을 사용할 수 있습니다. Google Colab, Jupyter Notebook 또는 .py로 내보낼 수 있습니다.
투리 만들기
앱에 제안, 개체 식별, 사진 분류, 이미지 유사성 또는 활동 분류를 추가하려면 기계 학습 전문가가 될 수 있습니다. Turi Create를 사용하면 맞춤형 기계 학습 모델 개발에 더 쉽게 접근할 수 있습니다. 여기에는 데이터를 분석하기 위한 내장형 스트리밍 그래픽이 포함되어 있으며 알고리즘보다는 작업에 중점을 둡니다. 단일 시스템에서 대규모 데이터 세트를 지원하고 텍스트, 사진, 오디오, 비디오 및 센서 데이터와 함께 작동합니다. 이를 통해 iOS, macOS, watchOS 및 tvOS용 앱에서 사용하기 위해 모델을 Core ML로 내보낼 수 있습니다.
Google Cloud의 AI Platform 및 데이터세트
모든 ML 모델에는 적절한 데이터 세트 없이는 학습할 수 없다는 근본적인 문제가 있습니다. 그들은 만드는 데 많은 시간과 돈이 든다. Google Cloud Public Datasets로 알려진 데이터 세트는 Google에서 선택하고 자주 업데이트합니다. 형식은 사진에서 오디오, 비디오 및 텍스트에 이르기까지 다양하며 모두 매우 다양합니다. 이 정보는 다양한 연구자가 다양한 목적으로 사용할 수 있도록 설계되었습니다.
Google은 또한 흥미로울 수 있는 추가 실용적인 서비스를 제공합니다.
- Vision AI(컴퓨터 비전용 모델), 자연어 처리 서비스
- 기계 학습 모델 교육 및 관리를 위한 플랫폼
- 30개 이상의 언어로 된 음성 합성 소프트웨어 등
Amazon Web Services
개발자는 AWS 플랫폼에서 인공 지능 및 기계 학습 기술에 액세스할 수 있습니다. 사전 훈련된 AI 서비스 중 하나를 선택하여 컴퓨터 비전, 언어 인식 및 음성 생성 작업을 수행하고 추천 시스템을 개발하고 예측 모델을 구축할 수 있습니다.
Amazon SageMaker를 사용하여 확장 가능한 기계 학습 모델을 쉽게 구성, 교육 및 배포하거나 잘 알려진 모든 오픈 소스 ML 플랫폼을 지원하는 고유한 모델을 구축할 수 있습니다.
Microsoft Azure
Azure Machine Learning Studio의 끌어서 놓기 기능을 사용하면 기계 학습 전문 지식이 없는 개발자가 플랫폼을 사용할 수 있습니다. 데이터 품질에 관계없이 이 플랫폼을 사용하여 신속하게 BI 앱을 만들고 "클라우드에서" 직접 솔루션을 구축할 수 있습니다.
Microsoft는 빅 데이터 및 분석을 완벽하게 관리하고 데이터를 유익한 정보 및 후속 작업으로 변환할 수 있는 플랫폼인 Cortana Intelligence를 추가로 제공합니다.
전반적으로 팀과 대기업은 Azure를 사용하여 클라우드에서 ML 솔루션에 대해 협업할 수 있습니다. 다양한 용도의 다양한 도구가 포함되어 있기 때문에 국제 기업이 좋아합니다.
래피드 마이너
데이터 과학 및 기계 학습을 위한 플랫폼을 RapidMiner라고 합니다. 사용하기 쉬운 그래픽 사용자 인터페이스를 제공하고 .csv, .txt, .xls 및 .pdf를 포함한 다양한 형식의 데이터 처리를 지원합니다. 전 세계 수많은 기업에서 단순성과 프라이버시 존중으로 인해 Rapid Miner를 활용합니다.
자동화된 모델을 신속하게 개발해야 하는 경우 이 도구가 유용합니다. 이를 사용하여 상관 관계, 누락된 값 및 안정성과 관련된 일반적인 품질 문제를 식별하고 데이터를 자동으로 분석할 수 있습니다. 그러나 보다 도전적인 연구 주제를 다루려고 시도하면서 대체 방법을 사용하는 것이 좋습니다.
IBM Watson
연구팀과 기업을 위한 다양한 기능을 갖춘 완벽하게 작동하는 플랫폼을 찾고 있다면 IBM의 Watson 플랫폼을 확인하십시오.
오픈 소스 API 세트를 Watson이라고 합니다. 사용자는 인지 검색 엔진 및 가상 에이전트를 개발할 수 있으며 시작 도구 및 예제 프로그램에 액세스할 수 있습니다. 또한 Watson은 기계 학습 초보자가 봇을 더 빠르게 훈련하는 데 활용할 수 있는 챗봇 구축을 위한 프레임워크를 제공합니다. 모든 개발자는 자신의 장치를 사용하여 클라우드에서 자신의 소프트웨어를 개발할 수 있으며 저렴한 비용으로 중소 규모의 조직에 탁월한 옵션입니다.
아나콘다
Python 및 R은 Anaconda로 알려진 오픈 소스 ML 플랫폼을 통해 지원됩니다. 다른 플랫폼에서 지원되는 모든 운영 체제에서 사용할 수 있습니다. 이를 통해 프로그래머는 라이브러리 및 환경과 1,500개 이상의 Python 및 R 데이터 과학 도구(Dask, NumPy 및 pandas 포함)를 제어할 수 있습니다. Anaconda는 탁월한 모델링 및 보고서 시각화 기능을 제공합니다. 이 도구의 인기는 하나의 도구로 여러 도구를 설치할 수 있는 기능에서 비롯됩니다.
TensorFlow
Google의 TensorFlow는 무료 딥 러닝 소프트웨어 라이브러리 모음입니다. 기계 학습 전문가는 TensorFlow 기술을 사용하여 정확하고 기능이 풍부한 모델을 구축할 수 있습니다.
이 소프트웨어는 정교한 신경망의 생성 및 사용을 간소화합니다. TensorFlow는 연구 목적으로 잠재력을 탐색할 수 있도록 Python 및 C/C++ API를 제공합니다. 또한 전 세계 기업은 저렴한 클라우드 환경에서 자체 데이터를 처리하고 처리하기 위한 견고한 도구에 액세스할 수 있습니다.
사이 킷 러닝
Scikit-learn을 사용하면 분류, 회귀, 차원 감소 및 예측 데이터 분석 알고리즘을 더 쉽게 만들 수 있습니다. Sklearn은 Python ML 개발 프레임워크인 NumPy, SciPy, pandas 및 matplotlib를 기반으로 합니다. 이 오픈 소스 라이브러리에 대한 연구 및 상업적 사용이 모두 허용됩니다.
주피터 수첩
대화형 컴퓨팅을 위한 명령 셸은 Jupyter Notebook입니다. Python과 함께 이 도구는 다른 프로그래밍 언어 중에서 Julia, R, Haskell 및 Ruby와 함께 작동합니다. 기계 학습, 통계 모델링 및 데이터 분석에 자주 사용됩니다.
본질적으로 Jupyter Notebook은 데이터 과학 이니셔티브의 대화형 시각화를 지원합니다. 코드, 시각화 및 주석을 저장하고 공유하는 것 외에도 놀라운 분석 보고서를 생성할 수 있습니다.
콜랩
Colab은 Python을 다루는 경우 유용한 도구입니다. 종종 Colab으로 알려진 Collaboratory를 사용하면 웹 브라우저에서 Python 코드를 작성하고 실행할 수 있습니다. 구성 요구 사항이 없으며 GPU 성능에 대한 액세스를 제공하고 결과를 간단하게 공유할 수 있습니다.
파이 토치
Torch를 기반으로 하는 PyTorch는 Python을 사용하는 오픈 소스 딥 러닝 프레임워크입니다. NumPy와 마찬가지로 GPU 가속으로 텐서 컴퓨팅을 수행합니다. 또한 PyTorch는 신경망 애플리케이션 개발을 위한 상당한 규모의 API 라이브러리를 제공합니다.
다른 기계 학습 서비스와 비교할 때 PyTorch는 독특합니다. TensorFlow 또는 Caffe2와 달리 정적 그래프를 사용하지 않습니다. 이에 비해 PyTorch 그래프는 동적이며 지속적으로 계산됩니다. 동적 그래프로 작업하면 일부 사람들에게는 PyTorch가 더 쉬워지고 초보자도 프로젝트에 딥 러닝을 포함할 수 있습니다.
케 라스
성공적인 Kaggle 팀 사이에서 가장 인기 있는 딥 러닝 프레임워크는 Keras입니다. 기계 학습 전문가로 경력을 시작하는 개인을 위한 최고의 도구 중 하나는 이 도구입니다. Keras라는 신경망 API는 Python용 딥 러닝 라이브러리를 제공합니다. Keras 라이브러리는 다른 라이브러리보다 훨씬 이해하기 쉽습니다. 또한 Keras는 더 높은 수준이므로 더 넓은 그림을 더 쉽게 이해할 수 있습니다. TensorFlow, CNTK 또는 Theano와 같은 잘 알려진 Python 프레임워크와 함께 사용할 수도 있습니다.
칼
보고서를 작성하고 데이터 분석 작업을 하려면 Knime이 필요합니다. 모듈식 데이터 파이프라이닝 설계를 통해 이 오픈 소스 기계 학습 도구는 다양한 기계 학습 및 데이터 마이닝 구성 요소를 통합합니다. 이 소프트웨어는 우수한 지원과 빈번한 릴리스를 제공합니다.
C, C++, R, Python, Java 및 JavaScript를 포함한 다른 프로그래밍 언어의 코드를 통합하는 이 도구의 기능은 중요한 기능 중 하나입니다. 다양한 배경을 가진 프로그래머 그룹이 빠르게 채택할 수 있습니다.
출처 :
- https://github.com/kelvins/awesome-mlops#data-validation
- https://www.spec-india.com/blog/machine-learning-tools
- https://serokell.io/blog/popular-machine-learning-tools
- https://neptune.ai/blog/best-mlops-tools
- https://www.aporia.com/blog/meet-mlnotify/
<!–
–>
