כלים מובילים לפישוט וסטנדרטיזציה של למידת מכונה

בינה מלאכותית ולמידת מכונה הם שני מובילים חדשניים שכן העולם מרוויח מהמשיכה של הטכנולוגיה למגזרים ברחבי העולם. הבחירה באיזה כלי להשתמש יכולה להיות קשה מכיוון שרבים כל כך צברו פופולריות בשוק כדי להישאר תחרותיים.

אתה בוחר את העתיד שלך כשאתה בוחר כלי למידת מכונה. מכיוון שכל דבר בתחום הבינה המלאכותית מתפתח כל כך מהר, חיוני לשמור על איזון בין "כלב זקן, טריקים ישנים" ו"רק עשה את זה אתמול".

מספר כלי למידת המכונה מתרחב; עם זה, הדרישה היא להעריך אותם ולהבין כיצד לבחור את הטוב ביותר.

נסתכל על כמה כלים ידועים ללימוד מכונה במאמר זה. סקירה זו תעבור דרך ספריות, מסגרות ופלטפורמות ML.

הרמיוני

ספריית הקוד הפתוח החדשה ביותר, הנקראת הרמיוני, תקל ומהיר יותר על מדעני נתונים להגדיר סקריפטים מסודרים יותר. בנוסף, הרמיוני מציעה שיעורים בתצוגת נתונים, וקטור טקסט, נורמליזציה ודינורמליזציה של עמודות, ונושאים אחרים המסייעים בפעילויות היום יומיות. עם הרמיוני, עליך לבצע נוהל; השאר יטופל על ידה, ממש כמו קסם.

הדרתי

מסגרת Python בקוד פתוח בשם Hydra מקלה על יצירת אפליקציות מסובכות למטרות מחקר ולמטרות אחרות. הידרה מתייחסת ליכולת שלה לנהל משימות קשורות רבות, בדומה להידרה עם ראשים רבים. הפונקציה העיקרית היא היכולת להרכיב תצורה היררכית באופן דינמי ולעקוף אותה באמצעות קבצי תצורה ושורת הפקודה.

השלמת כרטיסיות שורת פקודה דינמית היא אחרת. ניתן להגדיר אותו בצורה היררכית ממקורות שונים, וניתן לתת או לשנות את התצורה משורת הפקודה. בנוסף, הוא יכול להפעיל את התוכנית שלך להפעלה מרחוק או מקומית ולבצע משימות רבות עם ארגומנטים שונים בפקודה אחת.

קואלות

כדי להגביר את הפרודוקטיביות של מדעני נתונים תוך כדי עבודה עם כמויות אדירות של נתונים, פרויקט Koalas משלב את ה-Pandas DataFrame API על גבי Apache Spark.

Pandas הוא היישום הסטנדרטי של Python DataFrame (צומת יחיד), בעוד Spark הוא התקן דה פקטו לעיבוד נתונים בקנה מידה גדול. אם אתה כבר מרגיש בנוח עם פנדות, אתה יכול להשתמש בחבילה זו כדי להתחיל להשתמש ב-Spark באופן מיידי ולהימנע מכל עקומות למידה. בסיס קוד יחיד תואם ל-Spark ו-Pandas (בדיקות, מערכי נתונים קטנים יותר) (מערכי נתונים מבוזרים).

לודוויג

לודוויג היא מסגרת למידת מכונה הצהרתית המציעה גישת תצורה פשוטה וגמישה מונעת נתונים להגדרת צינורות למידת מכונה. Linux Foundation AI & Data מארח את לודוויג, שיכול לשמש לפעילויות בינה מלאכותית שונות.

תכונות הקלט והפלט וסוגי הנתונים המתאימים מוצהרים בתצורה. משתמשים יכולים לציין פרמטרים נוספים לעיבוד מקדים, קידוד ופענוח של תכונות, לטעון נתונים ממודלים שהוכשרו מראש, לבנות את ארכיטקטורת המודל הפנימי, להתאים פרמטרי אימון או לבצע אופטימיזציה של היפרפרמטרים.

לודוויג תיצור אוטומטית צינור למידת מכונה מקצה לקצה תוך שימוש בפרמטרים המפורשים של התצורה תוך חזרה לברירות מחדל חכמות עבור הגדרות שלא.

MLNotify 

עם שורת ייבוא ​​אחת בלבד, תוכנית הקוד הפתוח MLNotify יכולה לשלוח לך התראות מקוונות, ניידים ודוא"ל כאשר הסתיימה הכשרת מודלים. זוהי ספריית Python שמתחברת לפונקציית fit() המוכרת של ספריות ML ומתריעה למשתמש כאשר ההליך הסתיים.

כל מדען נתונים יודע שהמתין לסיום האימון שלך הוא מייגע לאחר אימון של מאות דגמים. אתה צריך Alt+Tab קדימה ואחורה כדי לבדוק את זה מדי פעם כי זה לוקח קצת זמן. MLNotify ידפיס עבורו את כתובת האתר הספציפית למעקב עם תחילת האימון. יש לך שלוש אפשרויות להזנת הקוד: סרוק את ה-QR, העתק את כתובת האתר, או דפדף אל https://mlnotify.aporia.com. התפתחות האימונים שלך תהיה גלויה לאחר מכן. תקבל הודעה מיידית כאשר ההדרכה תסתיים. אתה יכול לאפשר התראות מקוונות, סמארטפונים או דוא"ל כדי לקבל התראה ברגע שהאימון שלך מסתיים.

PyCaret

זרימות עבודה ללמידת מכונה אוטומטיות באמצעות מודול PyCaret בקוד פתוח, מבוסס Python. זוהי ספריית למידת מכונה קצרה ופשוטה להבנה, Python, בעלת קוד נמוך. אתה יכול להשקיע יותר זמן בניתוח ופחות זמן בפיתוח באמצעות PyCaret. ישנן אפשרויות רבות להכנת נתונים זמינות. תכונות הנדסיות לפי קנה מידה. לפי התכנון, PyCaret הוא מודולרי. לכל מודול יש פעולות למידת מכונה מסוימות.

ב- PyCaret, פונקציות הן אוספים של פעולות שמבצעות פעילויות מסוימות של זרימת עבודה. הם זהים בכל המודולים. יש המון חומר מרתק שילמד אותך PyCaret. אתה יכול להתחיל על ידי שימוש בהוראות שלנו.

גנרטור רכבת

Traingenerator השתמש בממשק משתמש אינטרנט פשוט שנוצר עם streamlit כדי ליצור קוד תבנית ייחודי עבור PyTorch ו-sklearn. הכלי האידיאלי להעלות את פרויקט למידת המכונה הקרוב שלך לדרך! אפשרויות רבות של עיבוד מקדים, בניית מודל, הדרכה והדמיה זמינות עם Traingenerator (באמצעות Tensorboard או comet.ml). זה יכול לייצא ל-Google Colab, Jupyter Notebook או .py.

טורי צור

כדי להוסיף הצעות, זיהוי אובייקטים, סיווג תמונות, דמיון תמונה או סיווג פעילות לאפליקציה שלך, אתה יכול להיות מומחה בלמידת מכונה. פיתוח מודל למידת מכונה בהתאמה אישית נעשה נגיש יותר עם Turi Create. הוא כולל גרפיקה זרימה מובנית לניתוח הנתונים שלך ומתמקד במשימות ולא באלגוריתמים. תומך במערכי נתונים מסיביים במערכת אחת ועובד עם טקסט, תמונות, אודיו, וידאו ונתוני חיישנים. בעזרת זה, דגמים עשויים להיות מיוצאים ל-Core ML לשימוש באפליקציות עבור iOS, macOS, watchOS ו-tvOS.

פלטפורמת AI ומערכי נתונים ב-Google Cloud

לכל מודל ML יש את הבעיה הבסיסית שלא ניתן לאמן אותו ללא מערך הנתונים המתאים. לוקח להם הרבה זמן וכסף להרוויח. מערכי הנתונים הידועים כ-Google Cloud Public Datasets נבחרים על ידי Google ומתעדכנים לעתים קרובות. הפורמטים נעים בין תמונות לשמע, וידאו וטקסט, וכולם מגוונים מאוד. המידע נועד לשמש מגוון חוקרים למגוון מטרות.

Google מספקת גם שירותים מעשיים נוספים שאולי תמצאו מסקרנים:

• Vision AI (מודלים לראייה ממוחשבת), שירותי עיבוד שפה טבעית
• פלטפורמה להדרכה וניהול מודלים של למידת מכונה
• תוכנת סינתזת דיבור ביותר מ-30 שפות וכו'.

אמזון שירותי אינטרנט

מפתחים יכולים לגשת לטכנולוגיות בינה מלאכותית ולמידת מכונה בפלטפורמת AWS. אפשר לבחור באחד משירותי הבינה המלאכותית שהוכשרו מראש לעבודה עם ראייה ממוחשבת, זיהוי שפה והפקת קול, לפתח מערכות ממליצים ולבנות מודלים של חיזוי.

אתה יכול בקלות לבנות, לאמן ולפרוס מודלים ניתנים להרחבה של למידה חישובית באמצעות Amazon SageMaker, או שאתה יכול לבנות מודלים ייחודיים התומכים בכל פלטפורמות ה-ML האהובות על קוד פתוח.

Microsoft Azure

יכולת גרירה ושחרור ב-Azure Machine Learning Studio מאפשרת למפתחים ללא מומחיות למידת מכונה להשתמש בפלטפורמה. ללא קשר לאיכות הנתונים, אתה יכול ליצור במהירות אפליקציות BI באמצעות פלטפורמה זו ולבנות פתרונות ישירות "על הענן".

מיקרוסופט מספקת בנוסף את Cortana Intelligence, פלטפורמה המאפשרת ניהול מלא של נתונים גדולים וניתוחים והפיכת נתונים למידע אינפורמטיבי ולפעולות עוקבות.

בסך הכל, צוותים וחברות גדולות יכולים לשתף פעולה בפתרונות ML בענן באמצעות Azure. תאגידים בינלאומיים מעריצים אותו מכיוון שהוא כולל כלים שונים לשימושים שונים.

RapidMiner

פלטפורמה למדעי נתונים ולמידת מכונה נקראת RapidMiner. הוא מציע ממשק משתמש גרפי קל לשימוש ותומך בעיבוד נתונים מפורמטים שונים, כולל.csv,.txt,.xls ו-pdf. עסקים רבים ברחבי העולם משתמשים ב-Rapid Miner בגלל הפשטות והכבוד לפרטיות שלו.

כאשר אתה צריך לפתח במהירות מודלים אוטומטיים, הכלי הזה שימושי. אתה יכול להשתמש בו כדי לזהות בעיות איכות טיפוסיות עם מתאמים, ערכים חסרים ויציבות ולנתח נתונים באופן אוטומטי. עם זאת, עדיף להשתמש בשיטות חלופיות תוך ניסיון להתייחס לנושאי מחקר מאתגרים יותר.

יבמ ווטסון

בדוק את פלטפורמת Watson של IBM אם אתה מחפש פלטפורמה פועלת במלואה עם יכולות שונות עבור צוותי מחקר ועסקים.

ערכת API בקוד פתוח נקראת Watson. המשתמשים שלה יכולים לפתח מנועי חיפוש קוגניטיביים וסוכנים וירטואליים, ויש להם גישה לכלי הפעלה ותוכניות לדוגמה. ווטסון מציעה גם מסגרת לבניית צ'אטבוטים, שמתחילים בלמידת מכונה יכולים להשתמש בה כדי לאמן את הבוטים שלהם מהר יותר. כל מפתח יכול להשתמש במכשירים שלו כדי לפתח תוכנה משלו בענן, ובגלל העלויות הזולות שלהם, זוהי אפשרות מצוינת עבור ארגונים קטנים ובינוניים.

האנקונדה

Python ו-R נתמכים באמצעות פלטפורמת ML בקוד פתוח המכונה Anaconda. כל מערכת הפעלה נתמכת עבור פלטפורמות אחרות יכולה להשתמש בה. זה מאפשר למתכנתים לשלוט בספריות ובסביבות וביותר מ-1,500 כלים למדעי הנתונים של Python ו-R (כולל Dask, NumPy ופנדות). Anaconda מספקת דוגמנות מצוינת ויכולות הדמיה של דוחות. הפופולריות של כלי זה נובעת מהיכולת שלו להתקין מספר כלים עם אחד בלבד.

TensorFlow

TensorFlow של גוגל הוא אוסף של ספריות תוכנות ללמידה עמוקה בחינם. מומחי למידת מכונה עשויים לבנות מודלים מדויקים ועתירי תכונות באמצעות טכנולוגיות TensorFlow.

תוכנה זו מייעלת את היצירה והשימוש ברשתות עצביות מתוחכמות. TensorFlow מספקת ממשקי API של Python ו-C/C++ כך שניתן לבחון את הפוטנציאל שלהם למטרות מחקר. בנוסף, לעסקים ברחבי העולם יש גישה לכלים מוצקים לטיפול ועיבוד הנתונים שלהם בסביבת ענן במחיר סביר.

Scikit-ללמוד

Scikit-learn מקל על יצירת אלגוריתמים של סיווג, רגרסיה, הפחתת מימד ואלגוריתמים לניתוח נתונים חזויים. Sklearn מבוססת על מסגרות הפיתוח של Python ML NumPy, SciPy, pandas ו-matplotlib. שימושים מחקריים ומסחריים מותרים עבור ספריית קוד פתוח זו.

מחברת צדק

מעטפת פקודה עבור מחשוב אינטראקטיבי היא Jupyter Notebook. יחד עם Python, הכלי הזה עובד עם ג'וליה, R, Haskell ו-Ruby, בין שפות תכנות אחרות. הוא מועסק לעתים קרובות בלמידת מכונה, מודלים סטטיסטיים וניתוח נתונים.

למעשה, Jupyter Notebook תומך בהדמיות אינטראקטיביות של יוזמות מדעיות. בנוסף לאחסון ושיתוף של קוד, הדמיות והערות, הוא מאפשר יצירת דוחות ניתוח מדהימים.

קולב

Colab הוא כלי רב ערך אם אתה מתמודד עם Python. ה-Collaboratory, הידוע לעתים קרובות בשם Colab, מאפשר לך לכתוב ולהריץ קוד Python בדפדפן אינטרנט. אין לו דרישות תצורה, מציע לך גישה לכוח GPU והופך את שיתוף התוצאות לפשוט.

PyTorch

מבוסס על Torch, PyTorch היא מסגרת למידה עמוקה בקוד פתוח המשתמשת ב-Python. כמו NumPy, הוא מבצע מחשוב טנזור עם האצת GPU. בנוסף, PyTorch מספקת ספריית API נכבדת לפיתוח יישומי רשת עצבית.

בהשוואה לשירותי למידת מכונה אחרים, PyTorch הוא ייחודי. הוא אינו משתמש בגרפים סטטיים, בניגוד ל- TensorFlow או Caffe2. לשם השוואה, גרפי PyTorch הם דינמיים ומחושבים ללא הרף. עבודה עם גרפים דינמיים מקלה על PyTorch עבור אנשים מסוימים ומאפשרת אפילו למתחילים לכלול למידה עמוקה בפרויקטים שלהם.

קרס

מסגרת הלמידה העמוקה הפופולרית ביותר בקרב צוותי Kaggle מצליחים היא Keras. אחד הכלים הטובים ביותר עבור אנשים שמתחילים קריירה כמקצוען למידת מכונה הוא זה. ה-API של הרשת העצבית בשם Keras מספק ספריית למידה עמוקה עבור Python. ספריית Keras היא משמעותית יותר פשוטה להבנה מאשר ספריות אחרות. בנוסף, Keras היא ברמה גבוהה יותר, מה שהופך אותו לפשוט יותר להבין את התמונה הרחבה יותר. זה יכול לשמש גם עם מסגרות Python ידועות כמו TensorFlow, CNTK או Theano.

אביר

Knime נדרש ליצור דוחות ולעבוד עם ניתוח נתונים. באמצעות עיצוב צנרת הנתונים המודולרי שלו, כלי למידת מכונה בקוד פתוח זה משלב מגוון רכיבי למידת מכונה וכריית נתונים. תוכנה זו מספקת תמיכה טובה ומהדורות תכופות.

היכולת של הכלי הזה לשלב קוד משפות תכנות אחרות, כולל C, C++, R, Python, Java ו-JavaScript, היא אחת התכונות המשמעותיות שלו. זה יכול להיות מאומץ במהירות על ידי קבוצה של מתכנתים עם רקע מגוון.

מקורות:

• https://github.com/kelvins/awesome-mlops#data-validation
• https://www.spec-india.com/blog/machine-learning-tools
• https://serokell.io/blog/popular-machine-learning-tools
• https://neptune.ai/blog/best-mlops-tools
• https://www.aporia.com/blog/meet-mlnotify/

<!–

->