זהו פוסט אורח מאת מריו נמטאו שיאנטי לרצ'ר, ראש חזון מחשב בחברת Enel.
Enel, שהחלה כישות הלאומית של איטליה לחשמל, היא כיום חברה רב לאומית הנוכחת ב-32 מדינות ומפעילת הרשת הפרטית הראשונה בעולם עם 74 מיליון משתמשים. הוא גם מוכר כשחקן המתחדש הראשון עם קיבולת מותקנת של 55.4 GW. בשנים האחרונות, החברה השקיעה רבות בתחום למידת המכונה (ML) על ידי פיתוח ידע פנימי חזק שאיפשר לה לממש פרויקטים שאפתניים מאוד כמו ניטור אוטומטי של רשת ההפצה שלה באורך 2.3 מיליון קילומטרים.
מדי שנה בודקת אנל את רשת חלוקת החשמל שלה במסוקים, במכוניות או באמצעים אחרים; מצלם מיליוני תמונות; ומשחזר את התמונה התלת מימדית של הרשת שלו, שהיא א ענן נקודה שחזור תלת מימדי של הרשת, המתקבל באמצעות טכנולוגיית LiDAR.
בחינת נתונים אלו היא קריטית לניטור מצב רשת החשמל, זיהוי חריגות בתשתית ועדכון מסדי נתונים של נכסים מותקנים, והיא מאפשרת בקרה גרנורית של התשתית עד לחומר ולמצב של המבודד הקטן ביותר המותקן על עמוד נתון. בהתחשב בכמות הנתונים (יותר מ-40 מיליון תמונות בכל שנה רק באיטליה), מספר הפריטים שיש לזהות והספציפיות שלהם, ניתוח ידני לחלוטין הוא יקר מאוד, הן במונחים של זמן וכסף, ונוטה לשגיאות. למרבה המזל, הודות להתקדמות עצומה בעולם הראייה הממוחשבת והלמידה העמוקה והבשלות והדמוקרטיזציה של הטכנולוגיות הללו, ניתן לבצע אוטומציה של תהליך יקר זה באופן חלקי או אפילו מלא.
כמובן, המשימה נותרה מאתגרת מאוד, וכמו כל יישומי AI מודרניים, היא דורשת כוח מחשוב ויכולת לטפל בכמויות גדולות של נתונים ביעילות.
Enel בנתה פלטפורמת ML משלה (שנקראת פנימית מפעל ML) על בסיס אמזון SageMaker, והפלטפורמה הוקמה כפתרון הסטנדרטי לבניית והדרכה של מודלים ב-Enel למקרי שימוש שונים, על פני רכזות דיגיטליות שונות (יחידות עסקיות) עם עשרות פרויקטים של ML המפותחים ב- אימון אמזון SageMaker, עיבוד אמזון SageMaker, ושירותי AWS אחרים כמו פונקציות שלב AWS.
Enel אוספת תמונות ונתונים משני מקורות שונים:
- בדיקות רשת אוויריות:
- ענני נקודות LiDAR – יש להם יתרון שהם שחזור תלת מימדי מדויק וגיאוגרפי במיוחד של התשתית, ולכן הם שימושיים מאוד לחישוב מרחקים או לקיחת מדידות בדיוק שלא ניתן להשיג מניתוח תמונה דו מימדי.
- תמונות ברזולוציה גבוהה - תמונות אלו של התשתית צולמו תוך שניות אחד מהשני. זה מאפשר לזהות אלמנטים וחריגות שקטנים מכדי לזהותם בענן הנקודות.
- תמונות לוויין - למרות שאלו יכולים להיות סבירים יותר מבדיקת קו חשמל (חלקם זמינים בחינם או בתשלום), הרזולוציה והאיכות שלהם לרוב לא משתווה לתמונות שצולמו ישירות על ידי Enel. המאפיינים של תמונות אלה הופכים אותן לשימושיות עבור משימות מסוימות כמו הערכת צפיפות יער וקטגוריית מאקרו או מציאת מבנים.
בפוסט זה, אנו דנים בפרטים של האופן שבו Enel משתמשת בשלושת המקורות הללו, ומשתפים כיצד Enel ממכנת את ניהול הערכת רשת החשמל בקנה מידה גדול ותהליך זיהוי חריגות באמצעות SageMaker.
ניתוח צילומים ברזולוציה גבוהה לזיהוי נכסים וחריגות
בדומה לנתונים לא מובנים אחרים שנאספו במהלך בדיקות, התמונות שצולמו נשמרות על שירות אחסון פשוט של אמזון (אמזון S3). חלקם מסומנים באופן ידני במטרה להכשיר מודלים שונים של למידה עמוקה למשימות ראייה ממוחשבת שונות.
מבחינה קונספטואלית, צינור העיבוד וההסקה כולל גישה היררכית עם מספר שלבים: ראשית, מזוהים אזורי העניין בתמונה, לאחר מכן חותכים אלה, מזוהים נכסים בתוכם, ולבסוף אלה מסווגים לפי החומר או נוכחות החריגות עליהם. מכיוון שאותו עמוד מופיע לעתים קרובות ביותר מתמונה אחת, יש צורך גם להיות מסוגל לקבץ את התמונות שלו כדי למנוע כפילויות, פעולה הנקראת זיהוי מחדש.
עבור כל המשימות הללו, Enel משתמשת במסגרת PyTorch ובארכיטקטורות העדכניות ביותר לסיווג תמונות וזיהוי אובייקטים, כגון EfficientNet/EfficientDet או אחרים לפילוח סמנטי של חריגות מסוימות, כגון דליפות שמן בשנאים. עבור משימת הזיהוי מחדש, אם הם לא יכולים לעשות זאת בצורה גיאומטרית כי חסרים להם פרמטרים של מצלמה, הם משתמשים SimCLRנעשה שימוש בשיטות בפיקוח עצמי או בארכיטקטורות מבוססות שנאי. זה יהיה בלתי אפשרי לאמן את כל הדגמים הללו ללא גישה למספר רב של מופעים המצוידים במעבדי GPU בעלי ביצועים גבוהים, כך שכל הדגמים הוכשרו במקביל באמצעות אימון אמזון SageMaker עבודות עם מופעי ML מואצים של GPU. להסקה יש את אותו מבנה והיא מתוזמרת על ידי מכונת מצב Step Functions השולטת במספר עבודות עיבוד והדרכה של SageMaker, שלמרות השם, הן שמישות באימון כמו בהסקה.
להלן ארכיטקטורה ברמה גבוהה של צינור ML עם השלבים העיקריים שלו.
דיאגרמה זו מציגה את הארכיטקטורה הפשוטה של צינור הסקת התמונות של ODIN, אשר מחלץ ומנתח ROIs (כגון הודעות חשמל) מתמונות מערך נתונים. הצינור מקדח עוד יותר על ROIs, מחלץ ומנתח אלמנטים חשמליים (שנאים, מבודדים וכן הלאה). לאחר סיום הרכיבים (ROIs ואלמנטים) מתחיל תהליך הזיהוי מחדש: תמונות וקטבים במפת הרשת מותאמים על סמך מטא נתונים תלת מימדיים. זה מאפשר קיבוץ של ROIs המתייחסים לאותו קוטב. לאחר מכן, חריגות מסתיימות ומופקות דוחות.
חילוץ מדידות מדויקות באמצעות ענני נקודות LiDAR
צילומים ברזולוציה גבוהה מאוד שימושיים, אבל בגלל שהם דו מימדיים, אי אפשר לחלץ מהם מדידות מדויקות. ענני נקודות LiDAR באים להצלה כאן, מכיוון שהם תלת מימדיים ולכל נקודה בענן יש מיקום עם שגיאה קשורה של פחות מקומץ סנטימטרים.
עם זאת, במקרים רבים, ענן נקודות גולמי אינו שימושי, מכיוון שאינך יכול לעשות איתו הרבה אם אינך יודע אם קבוצת נקודות מייצגת עץ, קו מתח או בית. מסיבה זו, Enel משתמשת KPConv, אלגוריתם פילוח ענן נקודות סמנטי, כדי להקצות מחלקה לכל נקודה. לאחר סיווג הענן, אפשר להבין אם הצמחייה קרובה מדי לקו החשמל במקום למדוד את הטיית העמודים. בשל הגמישות של שירותי SageMaker, הצינור של פתרון זה אינו שונה בהרבה מזה שתואר כבר, כשההבדל היחיד הוא שבמקרה זה יש צורך להשתמש גם במופעי GPU להסקת מסקנות.
להלן כמה דוגמאות לתמונות ענן נקודות.
מבט על רשת החשמל מהחלל: מיפוי צמחייה למניעת שיבושי שירות
בדיקת רשת החשמל באמצעות מסוקים ואמצעים אחרים היא בדרך כלל יקרה מאוד ואי אפשר לעשות זאת בתדירות גבוהה מדי. מצד שני, מערכת לניטור מגמות צמחייה במרווחי זמן קצרים היא שימושית ביותר לאופטימיזציה של אחד התהליכים היקרים ביותר של מפיץ אנרגיה: גיזום עצים. זו הסיבה לכך ש-Enel כללה בפתרון שלה גם ניתוח של תמונות לוויין, שמהן מזוהה בגישה מרובת משימות היכן קיימת הצמחייה, צפיפותה וסוג הצמחים המחולקים למחלקות מאקרו.
עבור מקרה שימוש זה, לאחר ניסוי ברזולוציות שונות, Enel הגיע למסקנה שהחינמי תמונות של Sentinel 2 שסופקה על ידי תוכנית קופרניקוס היה היחס הטוב ביותר בין עלות-תועלת. בנוסף לצמחייה, Enel משתמשת גם בתמונות לוויין כדי לזהות מבנים, וזה מידע שימושי כדי להבין אם יש אי התאמה בין נוכחותם לבין המקום שבו Enel מספקת חשמל ולכן כל חיבור או בעיות לא סדירות בבסיסי הנתונים. במקרה השימוש האחרון, הרזולוציה של Sentinel 2, שבה פיקסל אחד מייצג שטח של 10 מ"ר, אינה מספיקה, ולכן נרכשות תמונות בתשלום ברזולוציה של 50 ס"מ רבוע. הפתרון הזה גם לא שונה בהרבה מהקודמים מבחינת השירותים בשימוש והזרימה.
להלן תמונת אוויר עם זיהוי נכסים (עמוד ומבודדים).
אנג'לה איטליאנו, מנהלת מדעי הנתונים ב-ENEL Grid, אומרת,
"ב-Enel, אנו משתמשים במודלים של ראייה ממוחשבת כדי לבדוק את רשת חלוקת החשמל שלנו על ידי שחזור תמונות תלת-ממד של הרשת שלנו באמצעות עשרות מיליוני תמונות באיכות גבוהה וענני נקודות LiDAR. ההכשרה של דגמי ML אלה דורשת גישה למספר רב של מופעים המצוידים במעבדי GPU בעלי ביצועים גבוהים ויכולת לטפל בכמויות גדולות של נתונים ביעילות. עם Amazon SageMaker, אנו יכולים לאמן במהירות את כל הדגמים שלנו במקביל מבלי צורך לנהל את התשתית, שכן אימון אמזון SageMaker מדרג את משאבי המחשוב מעלה ומטה לפי הצורך. באמצעות Amazon SageMaker, אנו מסוגלים לבנות תמונות תלת ממדיות של המערכות שלנו, לנטר חריגות ולשרת יותר מ-3 מיליון לקוחות ביעילות."
סיכום
בפוסט זה ראינו כיצד שחקן מוביל בעולם האנרגיה כמו Enel השתמש במודלים של ראייה ממוחשבת ובעבודות הכשרה ועיבוד של SageMaker כדי לפתור את אחת הבעיות העיקריות של אלה שצריכים לנהל תשתית בסדר גודל כזה, לעקוב אחר נכסים מותקנים ולזהות חריגות ומקורות סכנה לקו מתח כמו צמחייה קרובה מדי אליו.
למידע נוסף על התכונות הקשורות של SageMaker.
על הכותבים
מריו נמטאו שיאנטי לרצ'ר הוא ראש תחום ראייה ממוחשבת בחברת Enel. יש לו רקע במתמטיקה, סטטיסטיקה ומומחיות עמוקה בלמידת מכונה וראייה ממוחשבת, הוא מוביל צוות של למעלה מעשרה אנשי מקצוע. תפקידו של מריו כרוך ביישום פתרונות מתקדמים המנצלים ביעילות את הכוח של AI וראייה ממוחשבת כדי למנף את משאבי הנתונים הנרחבים של Enel. בנוסף למאמצים המקצועיים שלו, הוא מטפח תשוקה אישית הן לאמנות מסורתית והן לאמנות שנוצרת בינה מלאכותית.
כריסטיאן גאבזני הוא ארכיטקט פתרונות בכיר בחברת Amazon Web Services. יש לו יותר מ-20 שנות ניסיון כיועץ קדם-מכירות המתמקד בניהול נתונים, תשתיות ואבטחה. בזמנו הפנוי הוא אוהב לשחק גולף עם חברים ולטייל בחו"ל עם הזמנות לטוס וסע בלבד.
ג'וזפה אנג'לו פורצ'לי הוא ארכיטקט פתרונות מומחה ללימוד מכונה ראשי עבור שירותי האינטרנט של אמזון. עם מספר שנים של הנדסת תוכנה על רקע ML, הוא עובד עם לקוחות בכל סדר גודל כדי להבין לעומק את הצרכים העסקיים והטכניים שלהם ולתכנן פתרונות בינה מלאכותית ו-Machine Learning שעושים את השימוש הטוב ביותר ב-AWS Cloud וב-Amazon Machine Learning. הוא עבד על פרויקטים בתחומים שונים, כולל MLOps, Computer Vision, NLP, וכללו מערך רחב של שירותי AWS. בזמנו הפנוי, ג'וזפה נהנה לשחק כדורגל.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/enel-automates-large-scale-power-grid-asset-management-and-anomaly-detection-using-amazon-sagemaker/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 1
- 10
- 100
- 13
- 20
- שנים 20
- 2D
- 32
- 3d
- 40
- 50
- 60
- 7
- a
- יכולת
- יכול
- אודות
- מוּאָץ
- גישה
- פי
- דיוק
- מדויק
- לרוחב
- תוספת
- מתקדם
- התקדמות
- יתרון
- מחיר סביר
- לאחר
- AI
- אַלגוֹרִיתְם
- תעשיות
- מאפשר
- כְּבָר
- גם
- למרות
- אמזון בעברית
- למידת מכונת אמזון
- אמזון SageMaker
- אמזון שירותי אינטרנט
- שאפתן
- כמות
- an
- אנליזה
- ניתוחים
- ניתוח
- ו
- גילוי חריגות
- כל
- מופיע
- יישומים
- גישה
- אדריכלי
- ארכיטקטורה
- ARE
- AREA
- אמנות
- AS
- הערכה
- נכס
- ניהול נכסים
- נכסים
- המשויך
- At
- אוטומטי
- אוטומטית
- מכני עם סלילה אוטומטית
- זמין
- לְהִמָנַע
- AWS
- רקע
- מבוסס
- BE
- כי
- להיות
- הטוב ביותר
- בֵּין
- הזמנות
- שניהם
- רחב
- לִבנוֹת
- נבנה
- עסקים
- אבל
- by
- חישוב
- נקרא
- חדר
- CAN
- קיבולת
- מכוניות
- מקרה
- מקרים
- מסוים
- אתגר
- מאפיינים
- בכיתה
- כיתות
- מיון
- מְסוּוָג
- סְגוֹר
- ענן
- קיבוץ
- איך
- חברה
- לחלוטין
- רכיבים
- לחשב
- המחשב
- ראייה ממוחשבת
- מחשוב
- - כוח מחשוב
- הגיע למסקנה
- חיבורי
- יועץ
- לִשְׁלוֹט
- יקר
- מדינות
- קורס
- קריטי
- לקוחות
- סכנה
- נתונים
- ניהול נתונים
- מדע נתונים
- מאגרי מידע
- עמוק
- למידה עמוקה
- מספק
- דמוקרטיזציה
- מְתוּאָר
- עיצוב
- למרות
- פרטים
- לאתר
- איתור
- מפותח
- מתפתח
- נבדלים
- הבדל
- אחר
- דיגיטלי
- ישירות
- מְנַהֵל
- לדון
- הפצה
- מחולק
- do
- לא
- תחומים
- עשה
- לא
- מטה
- נהיגה
- ראוי
- כפילויות
- בְּמַהֲלָך
- כל אחד
- יעילות
- יעילות
- חשמל
- אלמנטים
- מופעל
- מאמצים
- אנרגיה
- הנדסה
- עֲנָקִי
- ישות
- מְצוּיָד
- שגיאה
- נוסד
- הערכה
- אֲפִילוּ
- דוגמאות
- יקר
- ניסיון
- מומחיות
- נרחב
- תמצית
- תמציות
- מאוד
- מפעל
- תכונות
- תשלום
- תרשים
- סופית
- בסופו של דבר
- מציאת
- ראשון
- גמישות
- תזרים
- התמקדות
- הבא
- כדורגל
- בעד
- יער
- למרבה המזל
- מסגרת
- חופשי
- בתדירות גבוהה
- חברים
- החל מ-
- פונקציות
- נוסף
- בדרך כלל
- נוצר
- לקבל
- נתן
- מטרה
- גולף
- שולט
- GPU
- GPUs
- רֶשֶׁת
- קְבוּצָה
- אוֹרֵחַ
- פוסט אורח
- היה
- יד
- קומץ
- לטפל
- יש
- יש
- he
- ראש
- בִּכְבֵדוּת
- כאן
- ברמה גבוהה
- ביצועים גבוהים
- באיכות גבוהה
- רזולוציה גבוהה
- שֶׁלוֹ
- בית
- איך
- HTML
- http
- HTTPS
- הזדהות
- מזוהה
- לזהות
- זיהוי
- if
- תמונה
- סיווג תמונות
- תמונות
- יישום
- בלתי אפשרי
- in
- כלול
- כולל
- מידע
- תשתית
- מותקן
- אינטרס
- כלפי פנים
- אל תוך
- מוּשׁקָע
- מעורב
- IT
- איטליה
- פריטים
- שֶׁלָה
- מקומות תעסוקה
- jpg
- רק
- שמור
- לדעת
- חוסר
- גָדוֹל
- בקנה מידה גדול
- האחרון
- מוביל
- דליפות
- למידה
- פחות
- תנופה
- כמו
- אוהב
- קו
- מכונה
- למידת מכונה
- מאקרו
- ראשי
- לעשות
- עושה
- לנהל
- ניהול
- מדריך ל
- באופן ידני
- רב
- מַפָּה
- מיפוי
- מריו
- מתאים
- חוֹמֶר
- מתימטיקה
- בגרות
- אומר
- מידות
- מדידת
- מידע נוסף
- שיטות
- מִילִיוֹן
- מיליונים
- ML
- MLOps
- מודלים
- מודרני
- כסף
- צג
- ניטור
- יותר
- רוב
- הרבה
- רב לאומי
- מספר
- שם
- לאומי
- הכרחי
- נחוץ
- צורך
- צרכי
- רשת
- NLP
- מספר
- אובייקט
- זיהוי אובייקט
- מושג
- of
- לעתים קרובות
- שמן
- on
- ONE
- יחידות
- רק
- מבצע
- מפעיל
- מיטוב
- or
- מתוזמר
- אחר
- אחרים
- שלנו
- הַחוּצָה
- יותר
- שֶׁלוֹ
- מקביל
- פרמטרים
- תשוקה
- אישי
- תמונות
- תמונה
- צינור
- פיקסל
- צמחים
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- שחקן
- משחק
- נקודה
- נקודות
- עמדה
- אפשרי
- הודעה
- הודעות
- כּוֹחַ
- רשת חשמל
- צורך
- נוכחות
- להציג
- למנוע
- קודם
- מנהל
- פְּרָטִי
- בעיות
- תהליך
- תהליכים
- תהליך
- מקצועי
- אנשי מקצוע
- עמוק
- תָכְנִית
- פרויקטים
- ובלבד
- נרכש
- פיטורך
- איכות
- מהירות
- במקום
- יחס
- חי
- להבין
- טעם
- לאחרונה
- מוכר
- אזורים
- קָשׁוּר
- שְׂרִידִים
- מתחדשים
- דוחות לדוגמא
- מייצג
- דורש
- להציל
- החלטה
- משאבים
- תפקיד
- בעל חכמים
- אותו
- הלוויין
- ראה
- אומר
- מאזניים
- מדע
- שניות
- מגזר
- אבטחה
- פילוח
- לחצני מצוקה לפנסיונרים
- לשרת
- שרות
- שירותים
- סט
- כמה
- שיתוף
- קצר
- הופעות
- פָּשׁוּט
- פשוט
- מידה
- קטן
- So
- תוכנה
- הנדסת תוכנה
- פִּתָרוֹן
- פתרונות
- לפתור
- כמה
- מקורות
- מֶרחָב
- מומחה
- ספֵּצִיפִיוּת
- מרובע
- לערום
- תֶקֶן
- החל
- מדינה
- סטטיסטיקה
- מצב
- שלב
- צעדים
- אחסון
- מאוחסן
- חזק
- מִבְנֶה
- כזה
- מספיק
- מערכת
- מערכות
- משימות
- לוקח
- נטילת
- המשימות
- משימות
- נבחרת
- טכני
- טכנולוגיות
- טכנולוגיה
- עשר
- עשרות
- מונחים
- מֵאֲשֶׁר
- תודה
- זֶה
- השמיים
- המדינה
- העולם
- שֶׁלָהֶם
- אותם
- אז
- שם.
- לכן
- אלה
- הֵם
- זֶה
- אלה
- שְׁלוֹשָׁה
- זמן
- ל
- היום
- גַם
- חלק עליון
- לעקוב
- מסורתי
- רכבת
- מְאוּמָן
- הדרכה
- רוֹבּוֹטרִיקִים
- עץ
- מגמות
- שתיים
- סוג
- להבין
- יחידות
- עדכון
- שָׁמִישׁ
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמשים
- שימושים
- באמצעות
- לנצל
- מאוד
- חזון
- כרכים
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- היו
- אם
- אשר
- מי
- למה
- ויקיפדיה
- עם
- בתוך
- לְלֹא
- עבד
- עובד
- עוֹלָם
- היה
- שנה
- שנים
- אתה
- זפירנט