PaddleOCR מובנה עם Amazon SageMaker Projects עבור MLOps לביצוע זיהוי תווים אופטי במסמכי זהות

זיהוי תווים אופטי (OCR) הוא המשימה של המרת טקסט מודפס או בכתב יד לטקסט מקודד במכונה. נעשה שימוש נרחב ב-OCR בתרחישים שונים, כגון אלקטרון מסמכים ואימות זהות. מכיוון ש-OCR יכול להפחית במידה ניכרת את המאמץ הידני לרשום מידע מפתח ולשמש כשלב כניסה להבנת כמויות גדולות של מסמכים, מערכת OCR מדויקת ממלאת תפקיד מכריע בעידן הטרנספורמציה הדיגיטלית.

קהילת הקוד הפתוח והחוקרים מתרכזים כיצד לשפר את דיוק ה-OCR, קלות השימוש, אינטגרציה עם מודלים מאומנים מראש, הרחבה וגמישות. בין מסגרות מוצעות רבות, PaddleOCR זכה לתשומת לב גוברת לאחרונה. המסגרת המוצעת מתרכזת בהשגת דיוק גבוה תוך איזון יעילות חישובית. בנוסף, הדגמים המאומנים מראש לסינית ואנגלית הופכים אותו לפופולרי בשוק המבוסס על השפה הסינית. ראה את ריפו של PaddleOCR GitHub לקבלת פרטים נוספים.

ב-AWS, הצענו גם שירותי AI משולבים שמוכנים לשימוש ללא מומחיות למידת מכונה (ML). כדי לחלץ טקסט ונתונים מובנים כגון טבלאות וטפסים ממסמכים, אתה יכול להשתמש טקסטורה באמזון. הוא משתמש בטכניקות ML כדי לקרוא ולעבד כל סוג של מסמך, תוך חילוץ מדויק של טקסט, כתב יד, טבלאות ונתונים אחרים ללא מאמץ ידני.

עבור מדעני הנתונים שרוצים את הגמישות להשתמש במסגרת קוד פתוח כדי לפתח מודל OCR משלכם, אנו מציעים גם את שירות ה-ML המנוהל במלואו אמזון SageMaker. SageMaker מאפשרת לך ליישם שיטות עבודה מומלצות של MLOps לאורך כל מחזור החיים של ML, ומספקת תבניות וערכות כלים להפחתת ההרמה הכבדה הבלתי מובדלת כדי להכניס פרויקטי ML לייצור.

בפוסט זה, אנו מתרכזים בפיתוח מודלים מותאמים אישית במסגרת PaddleOCR ב- SageMaker. אנו עוברים על מחזור החיים של פיתוח ML כדי להמחיש כיצד SageMaker יכול לעזור לך לבנות ולהכשיר מודל, ובסופו של דבר לפרוס את המודל כשירות אינטרנט. למרות שאנו מדגים פתרון זה עם PaddleOCR, ההנחיה הכללית נכונה עבור מסגרות שרירותיות לשימוש ב- SageMaker. כדי ללוות פוסט זה, אנו מספקים גם קוד לדוגמה ב- מאגר GitHub.

מסגרת PaddleOCR

כמסגרת OCR מאומצת, PaddleOCR מכילה זיהוי טקסט עשיר, זיהוי טקסט ואלגוריתמים מקצה לקצה. היא בוחרת בבינאריזציה מבדלת (DB) וברשתות עצביות חוזרות (Convolutional Recurrent Neural Network) כמודלי הזיהוי והזיהוי הבסיסיים, ומציעה סדרה של מודלים, בשם PP-OCR, ליישומים תעשייתיים לאחר סדרה של אסטרטגיות אופטימיזציה.

מודל PP-OCR מכוון לתרחישים כלליים ויוצר ספריית מודלים של שפות שונות. הוא מורכב משלושה חלקים: זיהוי טקסט, זיהוי ותיקון תיבות וזיהוי טקסט, המודגם באיור הבא ב-PaddleOCR מאגר GitHub הרשמי. ניתן גם לעיין במאמר המחקר PP-OCR: מערכת OCR מעשית במיוחד קלת משקל לקבלת מידע נוסף.

ליתר דיוק, PaddleOCR מורכב משלוש משימות רצופות:

• זיהוי טקסט – מטרת זיהוי הטקסט היא לאתר את אזור הטקסט בתמונה. משימות כאלה יכולות להתבסס על רשת פילוח פשוטה.
• זיהוי ותיקון קופסאות - יש להפוך כל תיבת טקסט לתיבת מלבן אופקית לזיהוי טקסט לאחר מכן. לשם כך, PaddleOCR מציע לאמן סיווג כיוון טקסט (מטלת סיווג תמונה) כדי לקבוע את כיוון הטקסט.
• זיהוי טקסט - לאחר זיהוי תיבת הטקסט, מודל מזהה הטקסט מבצע הסקה על כל תיבת טקסט ומוציא את התוצאות בהתאם למיקום תיבת הטקסט. PaddleOCR מאמצת את השיטה הנפוצה CRNN.

PaddleOCR מספקת דגמים מאומנים מראש באיכות גבוהה הניתנות להשוואה לאפקטים מסחריים. אתה יכול להשתמש במודל שהוכשר מראש עבור מודל זיהוי, מסווג כיוונים או מודל זיהוי, או שאתה יכול לכוונן ולאמן מחדש כל דגם בנפרד כדי לשרת את מקרה השימוש שלך. כדי להגביר את היעילות והאפקטיביות של זיהוי סינית ואנגלית מסורתית, אנו מדגים כיצד לכוונן את מודל זיהוי הטקסט. הדגם שהוכשר מראש שאנו בוחרים הוא ch_ppocr_mobile_v2.0_rec_train, שהוא דגם קל משקל, התומך בזיהוי סינית, אנגלית ומספרים. להלן תוצאת מסקנות לדוגמה באמצעות תעודת זהות של הונג קונג.

בסעיפים הבאים, אנו עוברים דרך כיצד לכוונן את הדגם המאומן מראש באמצעות SageMaker.

MLOps שיטות עבודה מומלצות עם SageMaker

SageMaker הוא שירות ML מנוהל במלואו. עם SageMaker, מדעני נתונים ומפתחים יכולים לבנות ולאמן מודלים של ML במהירות ובקלות, ולאחר מכן לפרוס אותם ישירות לתוך סביבה מנוהלת מוכנה לייצור.

מדעני נתונים רבים משתמשים ב- SageMaker להאצת מחזור החיים של ML. בסעיף זה, אנו מדגים כיצד SageMaker יכול לעזור לך מניסוי ועד ייצור ML. בעקבות השלבים הסטנדרטיים של פרויקט ML, מהביטוי הניסיוני (פיתוח קוד וניסויים), ועד לביטוי התפעולי (אוטומציה של זרימת העבודה של בניית המודל וצינורות הפריסה), SageMaker יכולה להביא ליעילות בשלבים הבאים:

1. חקור את הנתונים ובנה איתו את קוד ה-ML סטודיו SageMaker של אמזון מחברות
2. אימון וכוונו את הדגם עם עבודת אימון של SageMaker.
3. פרוס את המודל עם נקודת קצה של SageMaker להגשת מודל.
4. תזמר את זרימת העבודה עם צינורות SageMaker של אמזון.

התרשים הבא ממחיש את הארכיטקטורה ואת זרימת העבודה.

חשוב לציין שניתן להשתמש ב- SageMaker בצורה מודולרית. לדוגמה, אתה יכול לבנות את הקוד שלך עם סביבת פיתוח משולבת מקומית (IDE) ולאמן ולפרוס את המודל שלך ב- SageMaker, או שאתה יכול לפתח ולאמן את המודל שלך במקורות מחשוב אשכול משלך, ולהשתמש בצינור של SageMaker לתזמור זרימת עבודה לפרוס בנקודת קצה של SageMaker. משמעות הדבר היא ש- SageMaker מספקת פלטפורמה פתוחה להתאמה לדרישות שלך.

ראה את הקוד שלנו מאגר GitHub ו-README כדי להבין את מבנה הקוד.

מתן פרויקט SageMaker

אתה יכול להשתמש Amazon SageMaker Projects להתחיל את המסע שלך. עם פרויקט SageMaker, אתה יכול לנהל את הגרסאות עבור מאגרי Git שלך, כך שתוכל לשתף פעולה בין צוותים בצורה יעילה יותר, להבטיח עקביות קוד ולאפשר אינטגרציה מתמשכת ואספקה ​​מתמשכת (CI/CD). למרות שמחברות מועילות לבניית מודלים ולניסויים, כאשר יש לך צוות של מדעני נתונים ומהנדסי ML שעובדים על בעיית ML, אתה צריך דרך ניתנת להרחבה כדי לשמור על עקביות קוד ולקפידה על בקרת גרסאות קפדנית יותר.

פרויקטים של SageMaker יוצרים תבנית MLOps מוגדרת מראש, הכוללת את הרכיבים החיוניים לפישוט השילוב של PaddleOCR:

• מאגר קוד לבניית תמונות מיכל מותאמות אישית לעיבוד, הדרכה והסקת מסקנות, משולב עם כלי CI/CD. זה מאפשר לנו להגדיר את תמונת ה-Docker המותאמת אישית שלנו ולדחוף אל מרשם מיכל אלסטי של אמזון (Amazon ECR) כדי להיות מוכן לשימוש.
• צינור של SageMaker המגדיר שלבים להכנת נתונים, הדרכה, הערכת מודל ורישום מודל. זה מכין אותנו להיות מוכנים ל-MLOps כשפרויקט ה-ML יעבור לייצור.
• משאבים שימושיים אחרים, כגון מאגר Git לבקרת גרסאות קוד, קבוצת מודלים המכילה גרסאות מודל, טריגר לשינוי קוד עבור צינור בניית המודל, וטריגר מבוסס אירועים עבור צינור פריסת המודל.

אתה יכול להשתמש בקוד Seed של SageMaker כדי ליצור פרויקטים סטנדרטיים של SageMaker, או תבנית ספציפית שהארגון שלך יצר עבור חברי הצוות. בפוסט זה, אנו משתמשים בתקן תבנית MLOps לבניית תמונה, בניית מודלים ופריסה של מודלים. למידע נוסף על יצירת פרויקט בסטודיו, עיין ב צור פרויקט MLOps באמצעות Amazon SageMaker Studio.

חקור נתונים ובנה קוד ML עם SageMaker Studio Notebooks

מחברות SageMaker Studio הן מחברות שיתופיות שתוכל להפעיל במהירות מכיוון שאינך צריך להגדיר מופעי מחשוב ואחסון קבצים מראש. מדעני נתונים רבים מעדיפים להשתמש ב-IDE מבוסס אינטרנט זה לפיתוח קוד ה-ML, איתור באגים מהיר של ה-API של הספרייה, והפעלת דברים עם דגימה קטנה של נתונים כדי לאמת את סקריפט ההדרכה.

במחברות Studio, אתה יכול להשתמש בסביבה בנויה מראש עבור מסגרות נפוצות כגון TensorFlow, PyTorch, Pandas ו-Skikit-Learn. אתה יכול להתקין את התלות לליבה הבנויה מראש, או לבנות תמונת ליבה מתמשכת משלך. למידע נוסף, עיין ב התקן ספריות וגרעינים חיצוניים באמזון SageMaker Studio. מחברות הסטודיו מספקות גם סביבת Python להפעלת משרות הדרכה של SageMaker, פריסה או שירותי AWS אחרים. בסעיפים הבאים, אנו מדגים כיצד להשתמש במחברות Studio כסביבה כדי להפעיל עבודות הדרכה ופריסה.

SageMaker מספק IDE רב עוצמה; זוהי פלטפורמת ML פתוחה שבה למדעני נתונים יש את הגמישות להשתמש בסביבת הפיתוח המועדפת עליהם. עבור מדעני נתונים המעדיפים IDE מקומי כגון PyCharm או Visual Studio Code, אתה יכול להשתמש בסביבת Python המקומית כדי לפתח את קוד ה-ML שלך, ולהשתמש ב-SageMaker לאימון בסביבה מנוהלת להרחבה. למידע נוסף, ראה הפעל את עבודת TensorFlow שלך ב- Amazon SageMaker עם PyCharm IDE. אחרי שיש לך מודל מוצק, תוכל לאמץ את שיטות העבודה המומלצות של MLOps עם SageMaker.

נכון לעכשיו, SageMaker מספקת גם מקרים של מחברת SageMaker כפתרון מדור קודם שלנו עבור סביבת Jupyter Notebook. יש לך את הגמישות להפעיל את פקודת ה-Docker build ו השתמש במצב מקומי של SageMaker כדי להתאמן על מופע המחברת שלך. אנו מספקים גם קוד לדוגמה עבור PaddleOCR במאגר הקודים שלנו: ./train_and_deploy/notebook.ipynb.

בנה תמונה מותאמת אישית עם תבנית פרויקט SageMaker

SageMaker עושה שימוש נרחב בקונטיינרים של Docker עבור משימות בנייה וזמן ריצה. אתה יכול להפעיל מיכל משלך עם SageMaker בקלות. ראה פרטים טכניים נוספים בכתובת השתמש באלגוריתמי אימון משלך.

עם זאת, בתור מדען נתונים, בניית מיכל עשויה להיות לא פשוטה. פרוייקטים של SageMaker מספקים לך דרך פשוטה לנהל תלות מותאמות אישית באמצעות צינור CI/CD לבניית תמונה. כאשר אתה משתמש בפרויקט SageMaker, אתה יכול לבצע עדכונים לתמונת האימון באמצעות Dockerfile המותאם אישית שלך. להוראות שלב אחר שלב, עיין ב צור פרוייקטים של Amazon SageMaker עם צינורות CI/CD לבניית תמונה. עם המבנה המסופק בתבנית, אתה יכול לשנות את הקוד שסופק במאגר זה כדי לבנות מיכל אימון PaddleOCR.

עבור פוסט זה, אנו מציגים את הפשטות של בניית תמונה מותאמת אישית לעיבוד, הדרכה והסקת מסקנות. המאגר של GitHub מכיל שלוש תיקיות:

פרויקטים אלה עוקבים אחר מבנה דומה. קח את תמונת מיכל ההדרכה כדוגמה; ה image-build-train/ המאגר מכיל את הקבצים הבאים:

• הקובץ codebuild-buildspec.yml, המשמש להגדרת התצורה בניית קוד AWS כך שניתן לבנות את התמונה ולדחוף אותה לאמזון ECR.
• ה-Dockerfile המשמש ל-Docker build, המכיל את כל התלות וקוד האימון.
• נקודת הכניסה של train.py לסקריפט האימון, עם כל ההיפרפרמטרים (כגון קצב למידה וגודל אצווה) שניתן להגדיר כארגומנט. טיעונים אלה מפורטים כאשר אתה מתחיל את עבודת ההדרכה.
• התלות.

כאשר אתה דוחף את הקוד למאגר המתאים, הוא מופעל קוד צינור AWS לבנות עבורך מיכל הדרכה. תמונת המכולה המותאמת אישית מאוחסנת במאגר ECR של אמזון, כפי שמוצג באיור הקודם. נוהל דומה מאומץ ליצירת תמונת ההסקה.

אמן את הדגם עם ה-SDK להדרכה של SageMaker

לאחר אימות קוד האלגוריתם שלך וארוז בקונטיינר, תוכל להשתמש במשימת אימון של SageMaker כדי לספק סביבה מנוהלת להכשרת המודל. סביבה זו היא ארעית, כלומר אתה יכול לקבל משאבי מחשוב נפרדים ומאובטחים (כגון GPU) או סביבה מבוזרת Multi-GPU כדי להפעיל את הקוד שלך. כאשר ההדרכה הושלמה, SageMaker שומר את חפצי המודל המתקבלים ב-an שירות אחסון פשוט של אמזון (Amazon S3) מיקום שאתה מציין. כל נתוני היומן והמטא נתונים נשארים ב- קונסולת הניהול של AWS, סטודיו ו אמזון CloudWatch.

עבודת ההדרכה כוללת מספר פיסות מידע חשובות:

• כתובת ה-URL של דלי S3 שבו אחסנת את נתוני האימון
• כתובת ה-URL של דלי S3 שבו ברצונך לאחסן את הפלט של העבודה
• משאבי המחשוב המנוהלים שבהם אתה רוצה ש-SageMaker ישתמש לאימון מודלים
• נתיב אמזון ECR שבו מאוחסן מיכל ההדרכה

למידע נוסף על משרות הדרכה, ראה דגמי רכבת. הקוד לדוגמה עבור עבודת ההדרכה זמין בכתובת experiments-train-notebook.ipynb.

SageMaker מייצר את ההיפרפרמטרים ב-a CreateTrainingJob בקשה זמינה במיכל Docker ב- /opt/ml/input/config/hyperparameters.json קובץ.

אנו משתמשים במיכל ההדרכה המותאם אישית כנקודת הכניסה ומציינים סביבת GPU עבור התשתית. כל הפרמטרים הרלוונטיים מפורטים כפרמטרים, מה שמאפשר לנו לעקוב אחר כל תצורת עבודה בודדת, ולהשוות אותם עם מעקב הניסוי.

מכיוון שתהליך מדעי הנתונים מכוון מאוד למחקר, נפוץ שמספר ניסויים פועלים במקביל. זה דורש גישה שעוקבת אחר כל הניסויים השונים, האלגוריתמים השונים וערכי נתונים והיפרפרמטרים שונים שעשויים להיות שונים. Amazon SageMaker Experiments מאפשר לך לארגן, לעקוב, להשוות ולהעריך את ניסויי ה-ML שלך. אנו מדגימים זאת גם ב experiments-train-notebook.ipynb. לפרטים נוספים, עיין ב נהל למידת מכונה עם ניסויי אמזון SageMaker.

פרוס את המודל להגשת מודל

באשר לפריסה, במיוחד עבור הגשת מודלים בזמן אמת, מדעני נתונים רבים עשויים להתקשות להסתדר ללא עזרה מצוותי תפעול. SageMaker עושה את זה פשוט לפרוס את הדגם המאומן שלך לייצור עם SageMaker Python SDK. אתה יכול לפרוס את המודל שלך לשירותי אירוח של SageMaker ולקבל נקודת קצה לשימוש להסקת מסקנות בזמן אמת.

בארגונים רבים, ייתכן שמדעני נתונים אינם אחראים לתחזוקת תשתית נקודות הקצה. עם זאת, בדיקת המודל שלך כנקודת קצה והבטחת התנהגויות הניבוי הנכונות היא אכן באחריותם של מדעני נתונים. לכן, SageMaker פישט את המשימות לפריסה על ידי הוספת סט כלים ו-SDK עבור זה.

עבור מקרה השימוש בפוסט, אנו רוצים לקבל יכולות בזמן אמת, אינטראקטיביות, עם אחזור נמוך. הסקה בזמן אמת הוא אידיאלי עבור עומס עבודה מסקנתי זה. עם זאת, ישנן אפשרויות רבות המתאימות לכל דרישה ספציפית. למידע נוסף, עיין ב פרוס מודלים להסקת מסקנות.

כדי לפרוס את התמונה המותאמת אישית, מדעני נתונים יכולים להשתמש ב-SageMaker SDK, המוצג ב

experiments-deploy-notebook.ipynb.

ב create_model בקשה, הגדרת המכולה כוללת את ModelDataUrl פרמטר, המזהה את מיקום Amazon S3 שבו מאוחסנים חפצי דגם. SageMaker משתמש במידע זה כדי לקבוע מהיכן להעתיק את חפצי הדגם. זה מעתיק את החפצים ל- /opt/ml/model ספרייה לשימוש לפי קוד ההסקת שלך. ה serve ו predictor.py הוא נקודת הכניסה להגשה, עם חפץ הדגם שנטען כאשר אתה מתחיל את הפריסה. למידע נוסף, ראה השתמש בקוד ההסקה שלך עם שירותי אירוח.

תזמר את זרימת העבודה שלך עם SageMaker Pipelines

השלב האחרון הוא לעטוף את הקוד שלך כזרימות עבודה של ML מקצה לקצה, וליישם שיטות עבודה מומלצות של MLOps. ב- SageMaker, עומס העבודה של בניית המודל, גרף א-מחזורי מכוון (DAG), מנוהל על ידי SageMaker Pipelines. Pipelines הוא שירות מנוהל במלואו התומך בתזמור ומעקב אחר שושלת נתונים. בנוסף, מכיוון ש-Pipelines משולבת עם SageMaker Python SDK, אתה יכול ליצור את הצינורות שלך באופן תוכנתי באמצעות ממשק Python ברמה גבוהה שהשתמשנו בו בעבר במהלך שלב ההדרכה.

אנו מספקים דוגמה לקוד צינור כדי להמחיש את היישום ב pipeline.py.

הצינור כולל שלב עיבוד מקדים ליצירת מערכי נתונים, שלב הדרכה, שלב מצב ושלב רישום מודל. בסוף כל ריצת צינור, מדעני נתונים עשויים לרשום את המודל שלהם עבור בקרות גרסאות ולפרוס את המודל בעל הביצועים הטובים ביותר. רישום המודלים של SageMaker מספק מקום מרכזי לניהול גרסאות מודל, דגמי קטלוג והפעלת פריסת מודל אוטומטית עם סטטוס אישור של דגם ספציפי. לפרטים נוספים, עיין ב רישום ופריסה של מודלים עם רישום מודלים.

במערכת ML, תזמור אוטומטי של זרימת עבודה עוזר למנוע ירידה בביצועי המודל, במילים אחרות סחיפה של מודל. זיהוי מוקדם ויזום של חריגות בנתונים מאפשר לך לנקוט בפעולות מתקנות, כגון מודלים להכשרה מחדש. אתה יכול להפעיל את הצינור של SageMaker כדי להכשיר מחדש גרסה חדשה של המודל לאחר זיהוי סטיות. ניתן לקבוע את הטריגר של צינור גם על ידי אמזון SageMaker דגם צג, שעוקבת באופן רציף אחר איכות הדגמים בייצור. עם יכולת לכידת נתונים להקלטת מידע, Model Monitor תומך בניטור נתונים ואיכות מודל, הטיה וניטור סחיפה של ייחוס תכונות. לפרטים נוספים, ראה מעקב אחר מודלים לאיכות נתונים ואיכות מודל, הטיה ויכולת הסבר.

סיכום

בפוסט זה, הדגמנו כיצד להפעיל את המסגרת PaddleOCR ב- SageMaker עבור משימות OCR. כדי לעזור למדעני נתונים להצטרף בקלות ל- SageMaker, עברנו את מחזור החיים של פיתוח ML, מבניית אלגוריתמים, לאימון ועד לאירוח המודל כשירות אינטרנט להסקת מסקנות בזמן אמת. אתה יכול להשתמש בקוד התבנית שסיפקנו כדי להעביר מסגרת שרירותית לפלטפורמת SageMaker. נסה זאת עבור פרויקט ה-ML שלך וספר לנו את סיפורי ההצלחה שלך.

---

על הכותבים

Junyi (ג'קי) LIU הוא מדען יישומי בכיר ב-AWS. בעלת ניסיון רב שנים בתחום למידת מכונה. בעלת ניסיון מעשי עשיר בפיתוח והטמעה של פתרונות בבניית מודלים של למידת מכונה באלגוריתמי חיזוי שרשרת אספקה, מערכות המלצות פרסום, תחום OCR ו-NLP.

Yanwei Cui, PhD, הוא אדריכל פתרונות מומחה למידת מכונה ב-AWS. הוא התחיל לחקור למידת מכונה ב-IRISA (מכון המחקר למדעי המחשב ומערכות אקראיות), ויש לו ניסיון של מספר שנים בבניית יישומים תעשייתיים מונעי בינה מלאכותית בראייה ממוחשבת, עיבוד שפה טבעית וחיזוי התנהגות משתמשים מקוונים. ב-AWS, הוא חולק את המומחיות בתחום ועוזר ללקוחות לפתוח פוטנציאלים עסקיים ולהניב תוצאות ניתנות לפעולה עם למידת מכונה בקנה מידה. מחוץ לעבודה, הוא נהנה לקרוא ולטייל.

Yi-An CHEN היא מפתחת תוכנה ב-Amazon Lab 126. יש לה יותר מ-10 שנות ניסיון בפיתוח מוצרים מונעי למידת מכונה על פני דיסציפלינות מגוונות, כולל התאמה אישית, עיבוד שפה טבעית וראייה ממוחשבת. מחוץ לעבודה, היא אוהבת לרוץ ארוכות ולרכוב על אופניים.