قم بإعداد البيانات من Databricks للتعلم الآلي باستخدام Amazon SageMaker Data Wrangler

تقضي فرق علوم البيانات وهندسة البيانات جزءًا كبيرًا من وقتهم في مرحلة إعداد البيانات في دورة حياة التعلم الآلي (ML) في أداء خطوات اختيار البيانات وتنظيفها وتحويلها. إنها خطوة ضرورية وهامة في أي سير عمل لتعلم الآلة من أجل إنشاء رؤى وتنبؤات ذات معنى، لأن البيانات السيئة أو منخفضة الجودة تقلل بشكل كبير من أهمية الرؤى المشتقة.

تكون فرق هندسة البيانات مسؤولة تقليديًا عن استيعاب البيانات الخام ودمجها وتحويلها للاستهلاك النهائي. غالبًا ما يحتاج علماء البيانات إلى إجراء معالجة إضافية للبيانات لحالات استخدام تعلم الآلة الخاصة بالمجال مثل اللغة الطبيعية والسلاسل الزمنية. على سبيل المثال، قد تكون بعض خوارزميات تعلم الآلة حساسة للقيم المفقودة أو الميزات المتفرقة أو القيم المتطرفة وتتطلب اهتمامًا خاصًا. حتى في الحالات التي تكون فيها مجموعة البيانات في حالة جيدة، قد يرغب علماء البيانات في تحويل توزيعات الميزات أو إنشاء ميزات جديدة من أجل تعظيم الرؤى التي تم الحصول عليها من النماذج. ولتحقيق هذه الأهداف، يتعين على علماء البيانات الاعتماد على فرق هندسة البيانات لاستيعاب التغييرات المطلوبة، مما يؤدي إلى التبعية والتأخير في عملية تطوير النموذج. وبدلاً من ذلك، قد تختار فرق علوم البيانات إجراء إعداد البيانات وهندسة الميزات داخليًا باستخدام نماذج برمجة مختلفة. ومع ذلك، فإنه يتطلب استثمارًا للوقت والجهد في تثبيت وتكوين المكتبات وأطر العمل، وهو أمر ليس مثاليًا لأنه يمكن قضاء هذا الوقت بشكل أفضل في تحسين أداء النموذج.

أمازون سيج ميكر داتا رانجلر يبسط عملية إعداد البيانات وهندسة الميزات، مما يقلل الوقت المستغرق لتجميع البيانات وإعدادها لتعلم الآلة من أسابيع إلى دقائق من خلال توفير واجهة مرئية واحدة لعلماء البيانات لتحديد مجموعات البيانات الخاصة بهم وتنظيفها واستكشافها. توفر Data Wrangler أكثر من 300 عملية تحويل مدمجة للبيانات للمساعدة في تطبيع الميزات وتحويلها ودمجها دون كتابة أي تعليمات برمجية. يمكنك استيراد البيانات من مصادر بيانات متعددة، مثل Amazon Simple Storage Service (Amazon S3) ، أمازون أثينا, الأمازون الأحمرو ندفة الثلج. يمكنك الآن أيضًا استخدام Databricks كمصدر بيانات في Data Wrangler لتحضير البيانات بسهولة لـ ML.

تجمع منصة Databricks Lakehouse بين أفضل عناصر بحيرات البيانات ومستودعات البيانات لتوفير الموثوقية والحوكمة القوية والأداء لمستودعات البيانات مع الانفتاح والمرونة ودعم التعلم الآلي لبحيرات البيانات. باستخدام Databricks كمصدر بيانات لـ Data Wrangler، يمكنك الآن الاتصال بـ Databricks بسرعة وسهولة، والاستعلام بشكل تفاعلي عن البيانات المخزنة في Databricks باستخدام SQL، ومعاينة البيانات قبل الاستيراد. بالإضافة إلى ذلك، يمكنك ضم بياناتك في Databricks مع البيانات المخزنة في Amazon S3، والبيانات التي تم الاستعلام عنها من خلال Amazon Athena، وAmazon Redshift، وSnowflake لإنشاء مجموعة البيانات المناسبة لحالة استخدام تعلم الآلة الخاصة بك.

في هذا المنشور، نقوم بتحويل مجموعة بيانات Lending Club Loan باستخدام Amazon SageMaker Data Wrangler لاستخدامها في التدريب على نموذج تعلم الآلة.

حل نظرة عامة

يوضح الرسم البياني التالي بنية الحلول لدينا.

تحتوي مجموعة بيانات Lending Club Loan على بيانات القروض الكاملة لجميع القروض الصادرة خلال الفترة 2007-2011، بما في ذلك حالة القرض الحالية وأحدث معلومات الدفع. يحتوي على 39,717 صفًا و22 عمودًا مميزًا و3 تسميات مستهدفة.

لتحويل بياناتنا باستخدام Data Wrangler، نقوم بإكمال الخطوات عالية المستوى التالية:

1. قم بتنزيل مجموعة البيانات وتقسيمها.
2. قم بإنشاء تدفق بيانات رانجلر.
3. استيراد البيانات من Databricks إلى Data Wrangler.
4. استيراد البيانات من Amazon S3 إلى Data Wrangler.
5. الانضمام إلى البيانات.
6. تطبيق التحولات.
7. تصدير مجموعة البيانات.

المتطلبات الأساسية المسبقة

يفترض المنشور أن لديك مجموعة Databricks قيد التشغيل. إذا كانت مجموعتك تعمل على AWS، فتأكد من تكوين ما يلي:

إعداد قوالب البيانات

• An الملف الشخصي على سبيل المثال مع الأذونات المطلوبة للوصول إلى مجموعة S3
• A سياسة الجرافة مع الأذونات المطلوبة لحاوية S3 المستهدفة

تابعني: الوصول الآمن إلى حاويات S3 باستخدام ملفات تعريف المثيلات للمطلوب إدارة الهوية والوصول AWS أدوار (IAM)، وسياسة مجموعة S3، وتكوين مجموعة Databricks. تأكد من تكوين مجموعة Databricks بالشكل المناسب Instance Profile، المحددة ضمن الخيارات المتقدمة، للوصول إلى مجموعة S3 المطلوبة.

بعد إعداد مجموعة Databricks وتشغيلها مع الوصول المطلوب إلى Amazon S3، يمكنك جلب ملف JDBC URL من مجموعة Databricks الخاصة بك لتستخدمها Data Wrangler للاتصال بها.

قم بإحضار عنوان URL الخاص بـ JDBC

لجلب عنوان URL لـ JDBC، أكمل الخطوات التالية:

1. في Databricks، انتقل إلى واجهة مستخدم المجموعات.
2. اختر مجموعتك.
3. على الاعداد علامة التبويب، اختر خيارات متقدمة.
4. تحت خيارات متقدمة، اختر ال جي دي بي سي/ODBC علامة التبويب.
5. انسخ عنوان URL الخاص بـ JDBC.
   

تأكد من استبدال وصولك الشخصي رمز في URL.

إعداد بيانات رانجلر

تفترض هذه الخطوة أن لديك حق الوصول إلى Amazon SageMaker، وهو مثيل لـ أمازون ساجميكر ستوديوومستخدم الاستوديو.

للسماح بالوصول إلى اتصال Databricks JDBC من Data Wrangler، يتطلب مستخدم الاستوديو الإذن التالي:

• secretsmanager:PutResourcePolicy

اتبع الخطوات التالية لتحديث دور تنفيذ IAM المعين لمستخدم Studio الذي لديه الإذن أعلاه، كمستخدم إداري IAM.

1. في وحدة تحكم IAM ، اختر الأدوار في جزء التنقل.
2. اختر الدور المخصص لمستخدم الاستوديو الخاص بك.
3. اختار أضف أذونات.
4. اختار إنشاء سياسة مضمنة.
5. للخدمة، اختر مدير الأسرار.
6. On الإجراءات، اختر مستوى الوصول.
7. اختار إدارة الأذونات.
8. اختار PutResourcePolicy.
9. في حالة الموارد، اختر محددة وحدد أي في هذا الحساب.
   

قم بتنزيل مجموعة البيانات وتقسيمها

يمكنك أن تبدأ من قبل تنزيل مجموعة البيانات. لأغراض العرض التوضيحي، قمنا بتقسيم مجموعة البيانات عن طريق نسخ أعمدة الميزات id, emp_title, emp_length, home_ownerو annual_inc لإنشاء ثانية القروض_2.csv ملف. نقوم بإزالة الأعمدة المذكورة أعلاه من ملف القروض الأصلي باستثناء id العمود وإعادة تسمية الملف الأصلي إلى القروض_1.csv. تحميل القروض_1.csv ملف ل Databricks لإنشاء جدول loans_1 و القروض_2.csv في دلو S3.

قم بإنشاء تدفق بيانات رانجلر

للحصول على معلومات حول المتطلبات المسبقة لـ Data Wrangler، راجع ابدأ مع داتا رانجلر.

لنبدأ بإنشاء تدفق بيانات جديد.

1. في وحدة تحكم الاستوديو ، في ملف قم بتقديم القائمة، اختر جديد.
2. اختار تدفق البيانات رانجلر.
3. أعد تسمية التدفق حسب الرغبة.
   

وبدلاً من ذلك، يمكنك إنشاء تدفق بيانات جديد من Launcher.

• في وحدة تحكم الاستوديو ، اختر أمازون ساجميكر ستوديو في جزء التنقل.
• اختار تدفق بيانات جديد.
  

يمكن أن يستغرق إنشاء تدفق جديد بضع دقائق حتى يكتمل. بعد إنشاء التدفق، ترى تواريخ الاستيراد .

استيراد البيانات من Databricks إلى Data Wrangler

بعد ذلك، قمنا بإعداد Databricks (JDBC) كمصدر بيانات في Data Wrangler. لاستيراد البيانات من Databricks، نحتاج أولاً إلى إضافة Databricks كمصدر بيانات.

1. على تواريخ الاستيراد علامة التبويب الخاصة بتدفق بيانات رانجلر، اختر أضف مصدر البيانات.
2. في القائمة المنسدلة ، اختر قوالب البيانات (JDBC).
   

على استيراد البيانات من Databricks الصفحة، تقوم بإدخال تفاصيل المجموعة الخاصة بك.

3. في حالة اسم مجموعة البيانات، أدخل الاسم الذي تريد استخدامه في ملف التدفق.
4. في حالة سائق، اختر برنامج التشغيل com.simba.spark.jdbc.Driver.
5. في حالة عنوان URL لـ JDBC، أدخل عنوان URL لمجموعة Databricks التي حصلت عليها مسبقًا.

يجب أن يشبه عنوان URL التنسيق التالي jdbc:spark://<serve- hostname>:443/default;transportMode=http;ssl=1;httpPath=<http- path>;AuthMech=3;UID=token;PWD=<personal-access-token>.

4. في محرر استعلام SQL، حدد عبارة SQL SELECT التالية:

   select * from loans_1

إذا اخترت اسم جدول مختلفًا أثناء تحميل البيانات إلى Databricks، فاستبدل القروض_1 في استعلام SQL أعلاه وفقًا لذلك.

في مجلة استعلام SQL في Data Wrangler، يمكنك الاستعلام عن أي جدول متصل بقاعدة بيانات JDBC Databricks. المحدد مسبقا تمكين أخذ العينات يقوم الإعداد باسترداد أول 50,000 صف من مجموعة البيانات الخاصة بك بشكل افتراضي. اعتمادًا على حجم مجموعة البيانات، يتم إلغاء التحديد تمكين أخذ العينات قد يؤدي إلى وقت استيراد أطول.

5. اختار يجري.

يؤدي تشغيل الاستعلام إلى الحصول على معاينة لمجموعة بيانات Databricks مباشرةً في Data Wrangler.

6. اختار استيراد.
   

يوفر Data Wrangler المرونة اللازمة لإعداد اتصالات متزامنة متعددة لمجموعة Databricks واحدة أو مجموعات متعددة إذا لزم الأمر، مما يتيح التحليل والتحضير لمجموعات البيانات المجمعة.

قم باستيراد البيانات من Amazon S3 إلى Data Wrangler

بعد ذلك، دعونا استيراد loan_2.csv ملف من أمازون S3.

1. في علامة التبويب استيراد، اختر الأمازون S3 كمصدر للبيانات.
   
2. انتقل إلى دلو S3 لـ loan_2.csv ملف.

عند تحديد ملف CSV، يمكنك معاينة البيانات.

3. في مجلة التفاصيل جزء ، اختر التكوين المتقدم للتأكد تمكين أخذ العينات تم تحديد و فقرة تم اختياره ل محدد.
4. اختار استيراد.
   

بعد loans_2.csv تم استيراد مجموعة البيانات بنجاح، وتعرض واجهة تدفق البيانات مصادر بيانات Databricks JDBC وAmazon S3.

الانضمام إلى البيانات

الآن بعد أن قمنا باستيراد البيانات من Databricks وAmazon S3، فلننضم إلى مجموعات البيانات باستخدام عمود معرف فريد مشترك.

1. على تدفق البيانات علامة التبويب ، لـ أنواع البيانات، اختر علامة الزائد لـ loans_1.
2. اختار انضم.
   
3. اختيار loans_2.csv الملف باسم حق مجموعة البيانات.
4. اختار ضبط لإعداد معايير الانضمام.
   
5. في حالة الاسم، أدخل اسمًا للانضمام.
6. في حالة نوع الانضمام، اختر داخلي لهذا المنصب.
7. اختيار id عمود للانضمام إليه.
8. اختار التقديم لمعاينة مجموعة البيانات المنضمة.
9. اختار أضف لإضافته إلى تدفق البيانات.
   

تطبيق التحولات

يأتي Data Wrangler مزودًا بأكثر من 300 تحويل مدمج، والتي لا تتطلب أي تعليمات برمجية. دعونا نستخدم التحويلات المضمنة لإعداد مجموعة البيانات.

عمود الإسقاط

أولاً نقوم بإسقاط عمود المعرف الزائد.

1. في العقدة المرتبطة، اختر علامة الزائد.
2. اختار أضف التحويل.
   
3. تحت التحولات، اختر + أضف خطوة.
4. اختار إدارة الأعمدة.
5. في حالة تحول، اختر عمود الإسقاط.
6. في حالة أعمدة لإسقاطها، اختر العمود id_0.
7. اختار أرسال.
   
8. اختار أضف.

تنسيق السلسلة

دعونا نطبق تنسيق السلسلة لإزالة رمز النسبة المئوية من int_rate و revol_util الأعمدة.

1. على البيانات علامة التبويب ، تحت التحويلات، اختر + أضف خطوة.
   
2. اختار تنسيق السلسلة.
3. في حالة تحول، اختر تجريد الأحرف من اليمين.

يتيح لك Data Wrangler تطبيق التحويل الذي اخترته على أعمدة متعددة في وقت واحد.

4. في حالة أعمدة الإدخال، اختر int_rate و revol_util.
5. في حالة الشخصيات المراد إزالتها، أدخل %.
6. اختار أرسال.
   
7. اختار أضف.

تمييز النص

دعونا الآن نتجه verification_status، عمود ميزة النص. نقوم بتحويل عمود النص إلى متجهات تردد المصطلح - تردد المستند العكسي (TF-IDF) من خلال تطبيق ناقل العدد ورمز مميز كما هو موضح أدناه. يوفر Data Wrangler أيضًا خيار إحضار رمز مميز خاص بك، إذا رغبت في ذلك.

1. تحت ترانسفورمرس، اختر + أضف خطوة.
2. اختار تمييز النص.
3. في حالة تحول، اختر فيكتور.
4. في حالة أعمدة الإدخال، اختر verification_status.
5. اختار أرسال.
   
6. اختار أضف.

تصدير مجموعة البيانات

بعد أن قمنا بتطبيق تحويلات متعددة على أنواع أعمدة مختلفة، بما في ذلك النص والفئوية والرقمية، أصبحنا جاهزين لاستخدام مجموعة البيانات المحولة للتدريب على نموذج تعلم الآلة. الخطوة الأخيرة هي تصدير مجموعة البيانات المحولة إلى Amazon S3. في Data Wrangler، لديك خيارات متعددة للاختيار من بينها للاستهلاك النهائي للتحويلات:

• اختار خطوة التصدير لإنشاء دفتر ملاحظات Jupyter تلقائيًا باستخدام كود معالجة SageMaker لمعالجة مجموعة البيانات المحولة وتصديرها إلى حاوية S3. لمزيد من المعلومات، راجع ابدأ مهام المعالجة ببضع نقرات باستخدام Amazon SageMaker Data Wrangler.
• قم بتصدير دفتر ملاحظات Studio الذي يقوم بإنشاء ملف خط أنابيب SageMaker مع تدفق البيانات الخاصة بك، أو دفتر الملاحظات الذي ينشئ متجر ميزات Amazon SageMaker مجموعة الميزات وإضافة ميزات إلى متجر ميزات غير متصل بالإنترنت أو عبر الإنترنت.
• اختار تصدير البيانات للتصدير مباشرة إلى Amazon S3.

في هذه التدوينة نستفيد من تصدير البيانات الخيار في تحول عرض لتصدير مجموعة البيانات المحولة مباشرة إلى Amazon S3.

1. اختار تصدير البيانات.
   
2. في حالة موقع S3، اختر تصفح واختر دلو S3 الخاص بك.
3. اختار تصدير البيانات.
   

تنظيف

إذا اكتمل عملك مع Data Wrangler ، قم بإيقاف تشغيل مثيل Data Wrangler الخاص بك لتجنب تكبد رسوم إضافية.

وفي الختام

في هذا المنشور، تناولنا كيف يمكنك إعداد Databricks وتوصيلها بسرعة وسهولة كمصدر بيانات في Data Wrangler، والاستعلام بشكل تفاعلي عن البيانات المخزنة في Databricks باستخدام SQL، ومعاينة البيانات قبل الاستيراد. بالإضافة إلى ذلك، نظرنا في كيفية دمج بياناتك في Databricks مع البيانات المخزنة في Amazon S3. قمنا بعد ذلك بتطبيق تحويلات البيانات على مجموعة البيانات المدمجة لإنشاء خط أنابيب لإعداد البيانات. لاستكشاف المزيد من إمكانات تحليل Data Wrangler، بما في ذلك تسرب الهدف وإنشاء تقارير التحيز، راجع منشور المدونة التالي تسريع إعداد البيانات باستخدام Amazon SageMaker Data Wrangler للتنبؤ بإعادة قبول مرضى السكري.

لتبدأ مع Data Wrangler ، انظر قم بإعداد بيانات ML مع Amazon SageMaker Data Wrangler، واطلع على أحدث المعلومات حول Data Wrangler صفحة المنتج.

---

حول المؤلف

روب باينز هو مهندس حلول في AWS يركز على AI / ML. إنه متحمس لمساعدة العملاء على الابتكار وتحقيق أهداف أعمالهم باستخدام الذكاء الاصطناعي والتعلم الآلي. في أوقات فراغه ، يستمتع Roop بالقراءة والمشي لمسافات طويلة.

Igor Alekseev هو مهندس حلول شريك في AWS في البيانات والتحليلات. يعمل Igor مع شركاء استراتيجيين لمساعدتهم على بناء بنى معقدة ومحسّنة لـ AWS. قبل انضمامه إلى AWS ، كمهندس بيانات / حلول ، قام بتنفيذ العديد من المشاريع في البيانات الضخمة ، بما في ذلك العديد من بحيرات البيانات في نظام Hadoop البيئي. كمهندس بيانات ، شارك في تطبيق AI / ML لاكتشاف الاحتيال وأتمتة المكاتب. كانت مشاريع إيغور في مجموعة متنوعة من الصناعات بما في ذلك الاتصالات والتمويل والسلامة العامة والتصنيع والرعاية الصحية. في وقت سابق ، عمل إيغور كمهندس / قائد تقني كامل.

هوونج نجوين هو مدير منتج رئيسي في AWS. إنها تقود تجربة المستخدم لـ SageMaker Studio. لديها 13 عامًا من الخبرة في إنشاء منتجات مهووسة بالعميل وقائمة على البيانات لكل من مساحات المؤسسات والمستهلكين. في أوقات فراغها ، تستمتع بالقراءة والتواجد في الطبيعة وقضاء الوقت مع أسرتها.

هنري وانج هو مهندس تطوير البرمجيات في AWS. انضم مؤخرًا إلى فريق Data Wrangler بعد تخرجه من جامعة كاليفورنيا في ديفيس. لديه اهتمام بعلوم البيانات والتعلم الآلي ويقوم بالطباعة ثلاثية الأبعاد كهواية.

• كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
• كريبتوهوك. الرادار. تجربة مجانية.
• المصدر: https://aws.amazon.com/blogs/machine-learning/prepare-data-from-databricks-for-machine-learning-using-amazon-sagemaker-data-wrangler/