จากการสำรวจนักวิทยาศาสตร์ข้อมูลที่ดำเนินการโดย Anaconda ในปี 2020 การเตรียมข้อมูลเป็นหนึ่งในขั้นตอนที่สำคัญในแมชชีนเลิร์นนิง (ML) และเวิร์กโฟลว์การวิเคราะห์ข้อมูล และมักใช้เวลานานมากสำหรับนักวิทยาศาสตร์ข้อมูล นักวิทยาศาสตร์ข้อมูลใช้เวลาประมาณ 66% ไปกับการเตรียมข้อมูลและงานวิเคราะห์ รวมถึงการโหลด (19%) การทำความสะอาด (26%) และการแสดงข้อมูลด้วยภาพ (21%)
สตูดิโอ Amazon SageMaker เป็นสภาพแวดล้อมการพัฒนาแบบครบวงจร (IDE) แรกสำหรับ ML ด้วยการคลิกเพียงครั้งเดียว นักวิทยาศาสตร์ข้อมูลและนักพัฒนาสามารถทำงานได้อย่างรวดเร็ว โน๊ตบุ๊คสตูดิโอ เพื่อสำรวจชุดข้อมูลและสร้างแบบจำลอง หากคุณต้องการอินเทอร์เฟซแบบ GUI และอินเตอร์แอคทีฟ คุณสามารถใช้ Amazon SageMaker ข้อมูล Wranglerด้วยการสร้างภาพข้อมูล การวิเคราะห์ และการแปลงมากกว่า 300 รายการในตัว เพื่อประมวลผลข้อมูลที่สนับสนุนโดย Spark อย่างมีประสิทธิภาพโดยไม่ต้องเขียนโค้ดแม้แต่บรรทัดเดียว
ดาต้าแรงเลอร์ ขณะนี้มีความสามารถในการเตรียมข้อมูลในตัวใน สมุดบันทึก Amazon SageMaker Studio ที่ช่วยให้ผู้ปฏิบัติงาน ML สามารถตรวจสอบลักษณะข้อมูลด้วยสายตา ระบุปัญหา และแก้ไขปัญหาด้านคุณภาพข้อมูลได้ด้วยการคลิกเพียงไม่กี่ครั้งโดยตรงภายในโน้ตบุ๊ก
ในโพสต์นี้ เราจะแสดงให้คุณเห็นว่า ดาต้าแรงเลอร์ วิดเจ็ตการเตรียมข้อมูลจะสร้างการแสดงภาพหลักโดยอัตโนมัติที่ด้านบนสุดของเฟรมข้อมูล Pandas เพื่อทำความเข้าใจการกระจายข้อมูล ตรวจหาปัญหาด้านคุณภาพของข้อมูล และแสดงข้อมูลเชิงลึกของข้อมูล เช่น ค่าผิดปกติสำหรับแต่ละฟีเจอร์ ช่วยโต้ตอบกับข้อมูลและค้นพบข้อมูลเชิงลึกที่อาจไม่มีใครสังเกตเห็นด้วยการค้นหาแบบเฉพาะกิจ นอกจากนี้ยังแนะนำการแปลงเพื่อแก้ไข ทำให้คุณสามารถใช้การแปลงข้อมูลบน UI และสร้างโค้ดในเซลล์โน้ตบุ๊กโดยอัตโนมัติ คุณลักษณะนี้มีให้บริการในทุกภูมิภาคที่มี SageMaker Studio ให้บริการ
ภาพรวมโซลูชัน
มาทำความเข้าใจเพิ่มเติมว่าวิดเจ็ตใหม่นี้ทำให้การสำรวจข้อมูลง่ายขึ้นอย่างมากและมอบประสบการณ์ที่ราบรื่นเพื่อปรับปรุงประสบการณ์การเตรียมข้อมูลโดยรวมสำหรับวิศวกรข้อมูลและผู้ปฏิบัติงานได้อย่างไร สำหรับกรณีการใช้งานของเรา เราใช้เวอร์ชันแก้ไขของ ชุดข้อมูลไททานิคซึ่งเป็นชุดข้อมูลยอดนิยมในชุมชน ML ซึ่งขณะนี้ได้รับการเพิ่มเป็น ชุดข้อมูลตัวอย่าง คุณจึงสามารถเริ่มต้นใช้งาน SageMaker Data Wrangler ได้อย่างรวดเร็ว ชุดข้อมูลเดิมได้รับจาก โอเพนเอ็มแอลและแก้ไขเพื่อเพิ่มปัญหาคุณภาพข้อมูลสังเคราะห์โดย Amazon สำหรับการสาธิตนี้ คุณสามารถดาวน์โหลดชุดข้อมูลเวอร์ชันแก้ไขได้จากพาธ S3 สาธารณะ s3://sagemaker-sample-files/datasets/tabular/dirty-titanic/titanic-dirty-4.csv
.
เบื้องต้น
หากต้องการรับประสบการณ์ตรงจากคุณสมบัติทั้งหมดที่อธิบายไว้ในโพสต์นี้ ให้ปฏิบัติตามข้อกำหนดเบื้องต้นต่อไปนี้:
- ตรวจสอบให้แน่ใจว่าคุณมีบัญชี AWS รักษาความปลอดภัยในการเข้าถึงเพื่อเข้าสู่ระบบบัญชีผ่านทาง คอนโซลการจัดการ AWSและ AWS Identity และการจัดการการเข้าถึง (IAM) สิทธิ์ในการใช้งาน อเมซอน SageMaker และ บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) แหล่งข้อมูล
- ใช้ชุดข้อมูลตัวอย่างจากเส้นทาง S3 สาธารณะ
s3://sagemaker-sample-files/datasets/tabular/dirty-titanic/titanic-dirty-4.csv
หรืออีกทางหนึ่ง อัปโหลดไปยังถัง S3 บัญชีของคุณ - เข้าสู่โดเมน SageMaker และเข้าถึง Studio เพื่อใช้โน้ตบุ๊ก สำหรับคำแนะนำ โปรดดูที่ ออนบอร์ดไปยังโดเมน Amazon SageMaker. หากคุณกำลังใช้ Studio ที่มีอยู่ ให้อัปเกรดเป็น Studio เวอร์ชันล่าสุด.
เปิดใช้งานวิดเจ็ตการสำรวจข้อมูล
เมื่อคุณใช้เฟรมข้อมูลของ Pandas ผู้ใช้โน้ตบุ๊ก Studio สามารถเปิดใช้วิดเจ็ตการสำรวจข้อมูลได้ด้วยตนเอง เพื่อให้การแสดงภาพใหม่แสดงตามค่าเริ่มต้นที่ด้านบนของแต่ละคอลัมน์ วิดเจ็ตแสดงฮิสโตแกรมสำหรับข้อมูลตัวเลขและแผนภูมิแท่งสำหรับข้อมูลประเภทอื่นๆ การแสดงข้อมูลเหล่านี้ช่วยให้คุณเข้าใจการกระจายข้อมูลได้อย่างรวดเร็ว และค้นหาค่าที่ขาดหายไปและค่าผิดปกติโดยไม่ต้องเขียนวิธีการสำเร็จรูปสำหรับแต่ละคอลัมน์ คุณสามารถวางเมาส์เหนือแถบในแต่ละภาพเพื่อทำความเข้าใจอย่างรวดเร็วเกี่ยวกับการกระจาย
เปิด Studio และสร้างโน้ตบุ๊ก Python 3 ใหม่ ตรวจสอบให้แน่ใจว่าได้เลือก วิทยาศาสตร์ข้อมูล 3.0 ภาพจากภาพ SageMaker โดยคลิก เปลี่ยนสิ่งแวดล้อม ปุ่ม
วิดเจ็ตการสำรวจข้อมูลมีอยู่ในรูปภาพต่อไปนี้ สำหรับรายการอิมเมจเริ่มต้นของ SageMaker โปรดดูที่ อิมเมจของ Amazon SageMaker ที่มีจำหน่าย.
- Python 3 (วิทยาศาสตร์ข้อมูล) กับ Python 3.7
- Python 3 (วิทยาศาสตร์ข้อมูล 2.0) กับ Python 3.8
- Python 3 (วิทยาศาสตร์ข้อมูล 3.0) กับ Python 3.10
- Spark Analytics 1.0 และ 2.0
หากต้องการใช้วิดเจ็ตนี้ ให้นำเข้าไฟล์ SageMaker_DataWrangler
ห้องสมุด. โหลดชุดข้อมูล Titanic เวอร์ชันแก้ไขจาก S3://sagemaker-sample-files/datasets/tabular/dirty-titanic/titanic-dirty-4.csv
และอ่าน CSV ด้วยไลบรารี Pandas:
เห็นภาพข้อมูล
หลังจากโหลดข้อมูลในเฟรมข้อมูล Pandas แล้ว คุณสามารถดูข้อมูลได้โดยใช้ df
or display(df)
. นอกจากการแสดงแถวแล้ว วิดเจ็ตการเตรียมข้อมูลยังสร้างข้อมูลเชิงลึก การแสดงภาพ และคำแนะนำเกี่ยวกับคุณภาพข้อมูล คุณไม่จำเป็นต้องเขียนโค้ดเพิ่มเติมใดๆ เพื่อสร้างคุณลักษณะและข้อมูลเชิงลึกของเป้าหมาย ข้อมูลการแจกจ่าย หรือการแสดงการตรวจสอบคุณภาพข้อมูล คุณสามารถเลือกส่วนหัวของตารางเฟรมข้อมูลเพื่อดูข้อมูลสรุปทางสถิติที่แสดงคำเตือนเกี่ยวกับคุณภาพของข้อมูล หากมี
แต่ละคอลัมน์จะแสดงแผนภูมิแท่งหรือฮิสโตแกรมตามประเภทข้อมูล ตามค่าเริ่มต้น วิดเจ็ตจะสุ่มตัวอย่างการสังเกตมากถึง 10,000 รายการเพื่อสร้างข้อมูลเชิงลึกที่มีความหมาย นอกจากนี้ยังมีตัวเลือกในการเรียกใช้การวิเคราะห์เชิงลึกในชุดข้อมูลทั้งหมด
ดังที่แสดงในภาพหน้าจอต่อไปนี้ วิดเจ็ตนี้ระบุว่าคอลัมน์มีข้อมูลเชิงหมวดหมู่หรือเชิงปริมาณ
สำหรับข้อมูลที่เป็นหมวดหมู่ วิดเจ็ตจะสร้างแผนภูมิแท่งที่มีหมวดหมู่ทั้งหมด ในภาพหน้าจอต่อไปนี้ เช่น คอลัมน์ Sex
ระบุหมวดหมู่บนข้อมูล คุณสามารถวางเมาส์เหนือแถบ (ชาย ในกรณีนี้) เพื่อดูรายละเอียดของหมวดหมู่เหล่านี้ เช่น จำนวนแถวทั้งหมดที่มีค่า male
และการกระจายในชุดข้อมูลที่เป็นภาพทั้งหมด (64.07% ในตัวอย่างนี้) นอกจากนี้ยังเน้นเปอร์เซ็นต์รวมของค่าที่ขาดหายไปในสีที่ต่างกันสำหรับข้อมูลเชิงหมวดหมู่ สำหรับข้อมูลเชิงปริมาณเช่น ticket
คอลัมน์จะแสดงการกระจายพร้อมกับเปอร์เซ็นต์ของค่าที่ไม่ถูกต้อง
หากคุณต้องการดูการแสดงภาพของ Pandas มาตรฐานในโน้ตบุ๊ก คุณสามารถเลือกได้ ดูตารางแพนด้า และสลับไปมาระหว่างวิดเจ็ตและการแสดงแพนด้าดังที่แสดงในภาพหน้าจอต่อไปนี้
หากต้องการรับข้อมูลเชิงลึกโดยละเอียดเพิ่มเติมเกี่ยวกับข้อมูลในคอลัมน์ ให้เลือกส่วนหัวของคอลัมน์เพื่อเปิดแผงด้านข้างสำหรับคอลัมน์โดยเฉพาะ ที่นี่คุณสามารถสังเกตสองแท็บ: ข้อมูลเชิงลึก และ ข้อมูลที่มีคุณภาพ.
ในส่วนต่อไปนี้ เราจะสำรวจตัวเลือกทั้งสองนี้โดยละเอียดยิ่งขึ้น
ข้อมูลเชิงลึก
พื้นที่ ข้อมูลเชิงลึก แท็บให้รายละเอียดพร้อมคำอธิบายสำหรับแต่ละคอลัมน์ ส่วนนี้แสดงรายการสถิติแบบรวม เช่น โหมด จำนวนที่ไม่ซ้ำกัน อัตราส่วนและการนับสำหรับค่าที่ขาดหายไป/ไม่ถูกต้อง เป็นต้น รวมทั้งแสดงภาพการกระจายข้อมูลโดยใช้ฮิสโตแกรมหรือแผนภูมิแท่ง ในภาพหน้าจอต่อไปนี้ คุณสามารถตรวจสอบข้อมูลเชิงลึกและข้อมูลการกระจายที่แสดงด้วยการแสดงภาพที่เข้าใจได้ง่ายซึ่งสร้างขึ้นสำหรับคอลัมน์ที่เลือก survived
.
ข้อมูลที่มีคุณภาพ
วิดเจ็ตเตรียมข้อมูลสตูดิโอไฮไลต์ระบุปัญหาด้านคุณภาพข้อมูลพร้อมสัญญาณเตือนในส่วนหัว วิดเจ็ตสามารถระบุสเปกตรัมทั้งหมดของปัญหาคุณภาพข้อมูลตั้งแต่พื้นฐาน (ค่าที่ขาดหายไป คอลัมน์คงที่ ฯลฯ) ไปจนถึง ML ที่เฉพาะเจาะจงมากขึ้น (การรั่วไหลของเป้าหมาย คุณลักษณะคะแนนการคาดการณ์ต่ำ ฯลฯ) วิดเจ็ตเน้นเซลล์ที่ก่อให้เกิดปัญหาด้านคุณภาพข้อมูลและจัดระเบียบแถวใหม่เพื่อให้เซลล์ที่มีปัญหาอยู่ด้านบนสุด เพื่อแก้ไขปัญหาคุณภาพของข้อมูล วิดเจ็ตมีตัวแปลงหลายตัว ใช้งานได้ด้วยการคลิกเพียงปุ่มเดียว
หากต้องการสำรวจส่วนคุณภาพของข้อมูล ให้เลือกส่วนหัวของคอลัมน์ และในแผงด้านข้าง ให้เลือก ข้อมูลที่มีคุณภาพ แท็บ คุณควรเห็นสิ่งต่อไปนี้ในสภาพแวดล้อมสตูดิโอของคุณ
มาดูตัวเลือกต่างๆ ที่มีอยู่ใน ข้อมูลที่มีคุณภาพ แท็บ สำหรับตัวอย่างนี้ เราเลือกคอลัมน์อายุ ซึ่งตรวจพบว่าเป็นคอลัมน์เชิงปริมาณตามข้อมูล ดังที่เราเห็นในภาพหน้าจอต่อไปนี้ วิดเจ็ตนี้แนะนำการแปลงประเภทต่างๆ ที่คุณสามารถนำไปใช้ได้ รวมถึงการดำเนินการทั่วไป เช่น แทนที่ด้วยค่าใหม่, หล่นหาย, แทนที่ด้วยค่ามัธยฐาน,หรือ แทนที่ด้วยค่าเฉลี่ย. คุณสามารถเลือกสิ่งเหล่านี้สำหรับชุดข้อมูลของคุณตามกรณีการใช้งาน (ปัญหา ML ที่คุณกำลังพยายามแก้ไข) นอกจากนี้ยังช่วยให้คุณ วางคอลัมน์ ตัวเลือกถ้าคุณต้องการลบคุณลักษณะทั้งหมด
เมื่อคุณเลือก สมัครและส่งออกรหัสการแปลงจะใช้กับสำเนาเชิงลึกของ data frame หลังจากใช้การแปลงสำเร็จแล้ว ตารางข้อมูลจะถูกรีเฟรชด้วยข้อมูลเชิงลึกและการแสดงภาพ รหัสการแปลงถูกสร้างขึ้นหลังจากเซลล์ที่มีอยู่ในสมุดบันทึก คุณสามารถเรียกใช้โค้ดที่ส่งออกนี้ในภายหลังเพื่อใช้การแปลงกับชุดข้อมูลของคุณ และขยายตามความต้องการของคุณ คุณสามารถปรับแต่งการแปลงโดยการแก้ไขรหัสที่สร้างขึ้นโดยตรง หากเรานำ หล่นหาย ตัวเลือกในคอลัมน์อายุ โค้ดการแปลงต่อไปนี้ใช้กับชุดข้อมูล และโค้ดจะถูกสร้างขึ้นในเซลล์ด้านล่างวิดเจ็ตด้วย:
ต่อไปนี้เป็นอีกตัวอย่างหนึ่งของข้อมูลโค้ดสำหรับ แทนที่ด้วยค่ามัธยฐาน:
ตอนนี้ มาดูความสามารถเชิงลึกเป้าหมายของวิดเจ็ตการเตรียมข้อมูล สมมติว่าคุณต้องการใช้ survived
ฟีเจอร์ทำนายว่าผู้โดยสารจะรอดชีวิตหรือไม่ เลือก survived
ส่วนหัวของคอลัมน์ ในแผงด้านข้าง เลือก เลือกเป็นคอลัมน์เป้าหมาย. การกระจายข้อมูลในอุดมคติสำหรับ survived
คุณลักษณะควรมีเพียงสองคลาส: ใช่ (1
) หรือไม่ (0
) ซึ่งช่วยจัดประเภทโอกาสรอดจากการชนของเรือไททานิค อย่างไรก็ตาม เนื่องจากความไม่สอดคล้องกันของข้อมูลในคอลัมน์เป้าหมายที่เลือก คุณลักษณะที่เหลือจึงมี 0
, 1
, ?
, unknown
และ yes
.
เลือกประเภทปัญหาตามคอลัมน์เป้าหมายที่เลือก ซึ่งสามารถเป็นได้ทั้ง การจัดหมวดหมู่ or การถอยหลัง. สำหรับคอลัมน์ที่รอดชีวิต ประเภทของปัญหาคือการจำแนกประเภท เลือก วิ่ง เพื่อสร้างข้อมูลเชิงลึกสำหรับคอลัมน์เป้าหมาย
วิดเจ็ตการเตรียมข้อมูลแสดงรายการข้อมูลเชิงลึกของคอลัมน์เป้าหมายพร้อมคำแนะนำและคำอธิบายตัวอย่างเพื่อแก้ปัญหาเกี่ยวกับคุณภาพข้อมูลของคอลัมน์เป้าหมาย นอกจากนี้ยังเน้นข้อมูลที่ผิดปกติในคอลัมน์โดยอัตโนมัติ
เราเลือกการแปลงที่แนะนำ ลดค่าเป้าหมายที่หายากเนื่องจากมีการสังเกตน้อยกว่าสำหรับค่าเป้าหมายที่หายาก
การแปลงที่เลือกใช้กับเฟรมข้อมูลของ Pandas และค่าเป้าหมายที่ผิดปกติจะถูกตัดออกจากคอลัมน์ที่รอด ดูรหัสต่อไปนี้:
ผลลัพธ์ของการแปลงที่ใช้จะปรากฏให้เห็นทันทีบน data frame ในการติดตามกิจกรรมการเตรียมข้อมูลที่นำไปใช้โดยใช้วิดเจ็ตการเตรียมข้อมูล รหัสที่แปลงแล้วจะถูกสร้างขึ้นในเซลล์สมุดบันทึกต่อไปนี้ด้วย
สรุป
ในโพสต์นี้ เราได้ให้คำแนะนำเกี่ยวกับวิธีที่วิดเจ็ตการเตรียมข้อมูล Studio สามารถช่วยคุณวิเคราะห์การกระจายข้อมูล สำรวจข้อมูลเชิงลึกเชิงลึกด้านคุณภาพข้อมูลที่สร้างขึ้นโดยเครื่องมือ และเปิดเผยปัญหาที่อาจเกิดขึ้น เช่น ค่าผิดปกติสำหรับฟีเจอร์สำคัญแต่ละรายการ ซึ่งจะช่วยปรับปรุงคุณภาพข้อมูลโดยรวมเพื่อช่วยให้คุณฝึกโมเดลคุณภาพสูง และช่วยขจัดความหนักเบาที่ไม่แตกต่างออกไปด้วยการอนุญาตให้คุณแปลงข้อมูลบนอินเทอร์เฟซผู้ใช้และสร้างโค้ดสำหรับเซลล์โน้ตบุ๊กได้โดยอัตโนมัติ จากนั้นคุณสามารถใช้โค้ดนี้ในไปป์ไลน์ MLOps ของคุณเพื่อสร้างความสามารถในการทำซ้ำ หลีกเลี่ยงการเสียเวลากับงานซ้ำๆ และลดปัญหาความเข้ากันได้โดยเร่งการสร้างและปรับใช้ไปป์ไลน์การโต้แย้งข้อมูล
หากคุณยังใหม่กับ SageMaker Data Wrangler หรือ Studio โปรดดูที่ เริ่มต้นใช้งาน SageMaker Data Wrangler. หากคุณมีคำถามใด ๆ เกี่ยวกับโพสต์นี้ โปรดเพิ่มในส่วนความคิดเห็น
เกี่ยวกับผู้เขียน
พาร์ธ พาเทล เป็นสถาปนิกโซลูชันที่ AWS ในบริเวณอ่าวซานฟรานซิสโก Parth แนะนำลูกค้าให้เร่งการเดินทางสู่ระบบคลาวด์และช่วยให้พวกเขาปรับใช้และเติบโตบน AWS Cloud ได้สำเร็จ เขามุ่งเน้นไปที่แมชชีนเลิร์นนิง ความยั่งยืนด้านสิ่งแวดล้อม และความทันสมัยของแอปพลิเคชัน
อิชา ดุอา เป็นสถาปนิกโซลูชันอาวุโสที่ตั้งอยู่ในบริเวณอ่าวซานฟรานซิสโก เธอช่วยให้ลูกค้า AWS Enterprise เติบโตโดยเข้าใจเป้าหมายและความท้าทายของพวกเขา และแนะนำพวกเขาเกี่ยวกับวิธีที่พวกเขาสามารถออกแบบแอปพลิเคชันในลักษณะแบบเนทีฟบนคลาวด์ ในขณะเดียวกันก็ต้องแน่ใจว่าพวกเขามีความยืดหยุ่นและปรับขนาดได้ เธอหลงใหลเกี่ยวกับเทคโนโลยีแมชชีนเลิร์นนิงและความยั่งยืนของสิ่งแวดล้อม
หริฮารัน สุเรศ เป็นสถาปนิกโซลูชันอาวุโสที่ AWS เขาหลงใหลเกี่ยวกับฐานข้อมูล แมชชีนเลิร์นนิง และการออกแบบโซลูชันที่เป็นนวัตกรรมใหม่ ก่อนที่จะร่วมงานกับ AWS Hariharan เป็นสถาปนิกผลิตภัณฑ์ ผู้เชี่ยวชาญด้านการใช้งานธนาคารหลัก และนักพัฒนา และทำงานร่วมกับองค์กร BFSI มานานกว่า 11 ปี นอกเหนือจากเทคโนโลยีแล้ว เขาชอบเล่นร่มร่อนและปั่นจักรยาน
แดนี มิตเชลล์ เป็นสถาปนิก AI/ML Specialist Solutions ที่ Amazon Web Services เขามุ่งเน้นไปที่กรณีการใช้งาน Computer Vision และช่วยเหลือลูกค้าทั่ว EMEA เพื่อเร่งการเดินทาง ML ของพวกเขา
- AI
- ไอ อาร์ต
- เครื่องกำเนิดไออาร์ท
- หุ่นยนต์ไอ
- อเมซอน SageMaker
- Amazon SageMaker ข้อมูล Wrangler
- ปัญญาประดิษฐ์
- ใบรับรองปัญญาประดิษฐ์
- ปัญญาประดิษฐ์ในการธนาคาร
- หุ่นยนต์ปัญญาประดิษฐ์
- หุ่นยนต์ปัญญาประดิษฐ์
- ซอฟต์แวร์ปัญญาประดิษฐ์
- AWS Machine Learning AWS
- blockchain
- การประชุม blockchain ai
- เหรียญอัจฉริยะ
- ปัญญาประดิษฐ์สนทนา
- การประชุม crypto ai
- ดัล-อี
- การเรียนรู้ลึก ๆ
- google ai
- ระดับกลาง (200)
- เรียนรู้เครื่อง
- เพลโต
- เพลโตไอ
- เพลโตดาต้าอินเทลลิเจนซ์
- เกมเพลโต
- เพลโตดาต้า
- เพลโตเกม
- ขนาดไอ
- วากยสัมพันธ์
- ลมทะเล