ทุกวันนี้ นักวิทยาศาสตร์ข้อมูลที่กำลังฝึกอบรมโมเดลการเรียนรู้เชิงลึกจำเป็นต้องระบุและแก้ไขปัญหาการฝึกอบรมโมเดลเพื่อให้บรรลุเป้าหมายความแม่นยำสำหรับการปรับใช้การผลิต และต้องการวิธีการใช้เครื่องมือมาตรฐานสำหรับการดีบักการฝึกอบรมโมเดล ท่ามกลางชุมชนนักวิทยาศาสตร์ข้อมูล TensorBoard เป็นชุดเครื่องมือยอดนิยมที่ช่วยให้นักวิทยาศาสตร์ข้อมูลเห็นภาพและวิเคราะห์แง่มุมต่างๆ ของโมเดลแมชชีนเลิร์นนิง (ML) และกระบวนการฝึกอบรม โดยมีชุดเครื่องมือสำหรับการแสดงภาพเมตริกการฝึกอบรม การตรวจสอบสถาปัตยกรรมแบบจำลอง การสำรวจการฝัง และอื่นๆ โครงการ TensorFlow และ PyTorch ต่างก็ให้การรับรองและใช้ TensorBoard ในเอกสารและตัวอย่างอย่างเป็นทางการ
อเมซอน SageMaker ด้วย TensorBoard เป็นความสามารถที่นำเครื่องมือสร้างภาพของ TensorBoard มาสู่ SageMaker เมื่อรวมเข้ากับงานและโดเมนการฝึกอบรมของ SageMaker ทำให้ผู้ใช้โดเมน SageMaker สามารถเข้าถึงข้อมูล TensorBoard และช่วยให้ผู้ใช้โดเมนดำเนินการแก้ไขข้อบกพร่องของโมเดลโดยใช้ปลั๊กอินการแสดงภาพ SageMaker TensorBoard เมื่อพวกเขาสร้างงานฝึกอบรม SageMaker ผู้ใช้โดเมนสามารถใช้ TensorBoard โดยใช้ SageMaker Python SDK หรือ Boto3 API SageMaker ที่มี TensorBoard ได้รับการสนับสนุนโดยปลั๊กอิน SageMaker Data Manager ซึ่งผู้ใช้โดเมนสามารถเข้าถึงงานฝึกอบรมจำนวนมากได้ในที่เดียวภายในแอปพลิเคชัน TensorBoard
ในโพสต์นี้ เราจะสาธิตวิธีตั้งค่างานการฝึกอบรมด้วย TensorBoard ใน SageMaker โดยใช้ SageMaker Python SDK เข้าถึง SageMaker TensorBoard สำรวจข้อมูลเอาต์พุตการฝึกอบรมที่แสดงภาพใน TensorBoard และลบแอปพลิเคชัน TensorBoard ที่ไม่ได้ใช้
ภาพรวมโซลูชัน
งานฝึกอบรมทั่วไปสำหรับการเรียนรู้เชิงลึกใน SageMaker ประกอบด้วยสองขั้นตอนหลัก: การเตรียมสคริปต์การฝึกอบรมและการกำหนดค่าตัวเรียกใช้งานการฝึกอบรม SageMaker ในโพสต์นี้ เราจะแนะนำคุณเกี่ยวกับการเปลี่ยนแปลงที่จำเป็นเพื่อรวบรวมข้อมูลที่เข้ากันได้กับ TensorBoard จากการฝึกอบรม SageMaker
เบื้องต้น
หากต้องการเริ่มใช้ SageMaker กับ TensorBoard คุณต้องตั้งค่าโดเมน SageMaker ด้วย Amazon VPC ภายใต้บัญชี AWS โปรไฟล์ผู้ใช้โดเมนสำหรับผู้ใช้แต่ละรายจำเป็นต้องเข้าถึง TensorBoard บน SageMaker และ AWS Identity และการจัดการการเข้าถึง บทบาทการดำเนินการ (IAM) ต้องการชุดสิทธิ์ขั้นต่ำ ซึ่งรวมถึงสิ่งต่อไปนี้:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:Search
s3:GetObject
s3:ListBucket
สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีตั้งค่าโดเมน SageMaker และโปรไฟล์ผู้ใช้ โปรดดูที่ ออนบอร์ดไปยังโดเมน Amazon SageMaker โดยใช้การตั้งค่าด่วน และ เพิ่มและลบโปรไฟล์ผู้ใช้.
โครงสร้างไดเร็กทอรี
เมื่อใช้ สตูดิโอ Amazon SageMakerสามารถจัดระเบียบโครงสร้างไดเร็กทอรีได้ดังนี้:
ที่นี่ script/train.py
เป็นสคริปต์การฝึกอบรมของคุณและ simple_tensorboard.ipynb
เปิดตัวงานฝึกอบรม SageMaker
แก้ไขสคริปต์การฝึกอบรมของคุณ
คุณสามารถใช้เครื่องมือใดๆ ต่อไปนี้เพื่อรวบรวมเทนเซอร์และสเกลาร์: TensorBoardX, TensorFlow Summary Writer, PyTorch Summary Writer หรือ ดีบักเกอร์ Amazon SageMakerและระบุพาธเอาต์พุตข้อมูลเป็นไดเร็กทอรีบันทึกในคอนเทนเนอร์การฝึก (log_dir
). ในโค้ดตัวอย่างนี้ เราใช้ TensorFlow เพื่อฝึกโครงข่ายประสาทเทียมที่เรียบง่ายและเชื่อมต่ออย่างสมบูรณ์สำหรับงานจำแนกประเภท สำหรับตัวเลือกอื่นๆ โปรดดูที่ เตรียมงานฝึกอบรมด้วยการกำหนดค่าข้อมูลเอาต์พุต TensorBoard. ใน train()
ฟังก์ชันเราใช้ tensorflow.keras.callbacks
ระบุเครื่องมือ .TensorBoard เพื่อรวบรวมเทนเซอร์และสเกลาร์ /opt/ml/output/tensorboard
เป็นไดเร็กทอรีบันทึกในคอนเทนเนอร์การฝึก และส่งต่อไปยังอาร์กิวเมนต์ callbacks การฝึกโมเดล ดูรหัสต่อไปนี้:
สร้างตัวเรียกใช้การฝึกอบรม SageMaker ด้วยการกำหนดค่าข้อมูล TensorBoard
ใช้ sagemaker.debugger.TensorBoardOutputConfig ขณะกำหนดค่าตัวประมาณเฟรมเวิร์ก SageMaker ซึ่งแมป บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon ที่เก็บข้อมูล (Amazon S3) ที่คุณระบุสำหรับการบันทึกข้อมูล TensorBoard ด้วยเส้นทางในเครื่องในคอนเทนเนอร์การฝึก (เช่น /opt/ml/output/tensorboard
). คุณสามารถใช้พาธเอาต์พุตโลคัลคอนเทนเนอร์ที่แตกต่างกัน แต่ทั้งนี้จะต้องสอดคล้องกับมูลค่าของ LOG_DIR
ตามที่ระบุไว้ในขั้นตอนก่อนหน้านี้ เพื่อให้ SageMaker ค้นหาเส้นทางโลคัลในคอนเทนเนอร์การฝึกได้สำเร็จ และบันทึกข้อมูล TensorBoard ลงในบัคเก็ตเอาต์พุต S3
ถัดไป ส่งวัตถุของโมดูลไปที่ tensorboard_output_config
พารามิเตอร์ของคลาสตัวประมาณค่า ข้อมูลโค้ดต่อไปนี้แสดงตัวอย่างการเตรียมตัวประมาณค่า TensorFlow ด้วยพารามิเตอร์การกำหนดค่าเอาต์พุต TensorBoard
ต่อไปนี้เป็นรหัสต้นแบบ:
รหัสต่อไปนี้ใช้สำหรับคอนเทนเนอร์การฝึกอบรม:
รหัสต่อไปนี้คือการกำหนดค่า TensorBoard:
เริ่มงานการฝึกอบรมด้วยรหัสต่อไปนี้:
เข้าถึง TensorBoard บน SageMaker
คุณสามารถเข้าถึง TensorBoard ได้สองวิธี: โดยใช้โปรแกรม sagemaker.interactive_apps.tensorboard
โมดูลที่สร้าง URL หรือใช้หน้า Landing Page ของ TensorBoard บนคอนโซล SageMaker หลังจากที่คุณเปิด TensorBoard แล้ว SageMaker จะเรียกใช้ปลั๊กอิน TensorBoard และค้นหาและโหลดข้อมูลเอาต์พุตงานฝึกอบรมทั้งหมดโดยอัตโนมัติในรูปแบบไฟล์ที่เข้ากันได้กับ TensorBoard จากบัคเก็ต S3 ที่จับคู่กับงานฝึกอบรมระหว่างหรือหลังการฝึกอบรม
รหัสต่อไปนี้สร้าง URL ไปยังหน้า Landing Page ของคอนโซล TensorBoard โดยอัตโนมัติ:
ส่งคืนข้อความต่อไปนี้พร้อม URL ที่เปิดหน้า Landing Page ของ TensorBoard
สำหรับการเปิด TensorBoard จากคอนโซล SageMaker โปรดดูที่ วิธีเข้าถึง TensorBoard บน SageMaker.
เมื่อคุณเปิดแอปพลิเคชัน TensorBoard TensorBoard จะเปิดขึ้นพร้อมกับ ผู้จัดการข้อมูล SageMaker แท็บ ภาพหน้าจอต่อไปนี้แสดงมุมมองแบบเต็มของ ผู้จัดการข้อมูล SageMaker แท็บในแอปพลิเคชัน TensorBoard
เกี่ยวกับ ผู้จัดการข้อมูล SageMaker คุณสามารถเลือกงานฝึกอบรมและโหลดข้อมูลเอาต์พุตการฝึกอบรมที่เข้ากันได้กับ TensorBoard จาก Amazon S3
- ตัว Vortex Indicator ได้ถูกนำเสนอลงในนิตยสาร เพิ่มงานฝึกอบรม ส่วน ใช้กล่องกาเครื่องหมายเพื่อเลือกงานการฝึกอบรมที่คุณต้องการดึงข้อมูลและแสดงภาพสำหรับการดีบัก
- Choose เพิ่มงานที่เลือก.
งานที่เลือกควรปรากฏใน ติดตามงานฝึกอบรม มาตรา.
รีเฟรชตัวแสดงโดยเลือกไอคอนรีเฟรชที่มุมขวาบน และแท็บการแสดงภาพควรปรากฏขึ้นหลังจากโหลดข้อมูลงานสำเร็จ
สำรวจข้อมูลเอาต์พุตการฝึกอบรมที่แสดงภาพใน TensorBoard
เกี่ยวกับ อนุกรมเวลา แท็บและแท็บที่ใช้กราฟิกอื่น ๆ คุณสามารถดูรายการ ติดตามงานฝึกอบรม ในบานหน้าต่างด้านซ้าย คุณยังสามารถใช้กล่องกาเครื่องหมายของงานการฝึกอบรมเพื่อแสดงหรือซ่อนการแสดงภาพ ปลั๊กอินแบบไดนามิกของ TensorBoard เปิดใช้งานแบบไดนามิกโดยขึ้นอยู่กับว่าคุณตั้งค่าสคริปต์การฝึกอบรมของคุณอย่างไรให้รวมผู้เขียนสรุปและเรียกกลับผ่านสำหรับการรวบรวมเทนเซอร์และสเกลาร์ และแท็บกราฟิกยังปรากฏแบบไดนามิกอีกด้วย ภาพหน้าจอต่อไปนี้แสดงมุมมองตัวอย่างของแต่ละแท็บพร้อมการแสดงภาพของเมตริกที่รวบรวมของงานฝึกอบรมสองงาน เมตริกประกอบด้วยอนุกรมเวลา สเกลาร์ กราฟ การแจกแจง และปลั๊กอินฮิสโตแกรม
ภาพหน้าจอต่อไปนี้คือ อนุกรมเวลา มุมมองแท็บ
ภาพหน้าจอต่อไปนี้คือ สเกลาร์ มุมมองแท็บ
ภาพหน้าจอต่อไปนี้คือ กราฟ มุมมองแท็บ
ภาพหน้าจอต่อไปนี้คือ การกระจาย มุมมองแท็บ
ภาพหน้าจอต่อไปนี้คือ histograms มุมมองแท็บ
ทำความสะอาด
หลังจากที่คุณตรวจสอบและทดลองงานใน TensorBoard เสร็จแล้ว ให้ปิดแอปพลิเคชัน TensorBoard ลง:
- บนคอนโซล SageMaker ให้เลือก โดเมน ในบานหน้าต่างนำทาง
- เลือกโดเมนของคุณ
- เลือกโปรไฟล์ผู้ใช้ของคุณ
- ภายใต้ แอปเลือก ลบแอป สำหรับแถว TensorBoard
- Choose ใช่ ลบแอพ.
- ป้อนลบในกล่องข้อความ จากนั้นเลือก ลบ.
ข้อความควรปรากฏที่ด้านบนของหน้า: “ค่าเริ่มต้นกำลังถูกลบ”
สรุป
TensorBoard เป็นเครื่องมืออันทรงพลังสำหรับการแสดงภาพ วิเคราะห์ และดีบักโมเดลการเรียนรู้เชิงลึก ในโพสต์นี้ เราให้คำแนะนำเกี่ยวกับการใช้ SageMaker กับ TensorBoard รวมถึงวิธีตั้งค่า TensorBoard ในงานฝึกอบรม SageMaker โดยใช้ SageMaker Python SDK เข้าถึง SageMaker TensorBoard สำรวจข้อมูลเอาต์พุตการฝึกอบรมที่แสดงใน TensorBoard และลบแอปพลิเคชัน TensorBoard ที่ไม่ได้ใช้ เมื่อทำตามขั้นตอนเหล่านี้ คุณสามารถเริ่มใช้ TensorBoard ใน SageMaker สำหรับงานของคุณได้
เราสนับสนุนให้คุณทดลองใช้ฟีเจอร์และเทคนิคต่างๆ
เกี่ยวกับผู้แต่ง
ดร.ไป่ชวน ซุน เป็นนักวิทยาศาสตร์ข้อมูลอาวุโสที่ AWS AI/ML เขาหลงใหลในการแก้ปัญหาทางธุรกิจเชิงกลยุทธ์กับลูกค้าโดยใช้วิธีการที่ขับเคลื่อนด้วยข้อมูลบนคลาวด์ และเขาได้เป็นผู้นำโครงการในพื้นที่ที่ท้าทาย ซึ่งรวมถึงการมองเห็นด้วยคอมพิวเตอร์หุ่นยนต์ การพยากรณ์อนุกรมเวลา การเพิ่มประสิทธิภาพราคา การบำรุงรักษาเชิงคาดการณ์ การพัฒนายา ระบบแนะนำผลิตภัณฑ์ ฯลฯ ในเวลาว่างเขาชอบการเดินทางและไปเที่ยวกับครอบครัว
มาโนช ราวี เป็นผู้จัดการผลิตภัณฑ์อาวุโสของ Amazon SageMaker เขามีความกระตือรือร้นเกี่ยวกับการสร้างผลิตภัณฑ์ AI ยุคหน้า และทำงานเกี่ยวกับซอฟต์แวร์และเครื่องมือเพื่อทำให้แมชชีนเลิร์นนิงขนาดใหญ่ง่ายขึ้นสำหรับลูกค้า เขาสำเร็จการศึกษา MBA จาก Haas School of Business และปริญญาโทด้านการจัดการระบบสารสนเทศจากมหาวิทยาลัย Carnegie Mellon ในเวลาว่าง มาโนชชอบเล่นเทนนิสและถ่ายภาพทิวทัศน์
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- เพลโตไอสตรีม. ข้อมูลอัจฉริยะ Web3 ขยายความรู้ เข้าถึงได้ที่นี่.
- การสร้างอนาคตโดย Adryenn Ashley เข้าถึงได้ที่นี่.
- ซื้อและขายหุ้นในบริษัท PRE-IPO ด้วย PREIPO® เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-with-tensorboard-overview-of-a-hosted-tensorboard-experience/
- :มี
- :เป็น
- $ ขึ้น
- 1
- 10
- 100
- 11
- 15%
- 26%
- 28
- 7
- 8
- 9
- a
- เกี่ยวกับเรา
- เข้า
- ลงชื่อเข้าใช้
- ความถูกต้อง
- อาดัม
- หลังจาก
- AI
- AI / ML
- ทั้งหมด
- ช่วยให้
- ด้วย
- อเมซอน
- อเมซอน SageMaker
- ในหมู่
- an
- วิเคราะห์
- วิเคราะห์
- และ
- ใด
- API
- app
- ปรากฏ
- การใช้งาน
- การใช้งาน
- เป็น
- พื้นที่
- อาร์กิวเมนต์
- AS
- ด้าน
- At
- อัตโนมัติ
- AWS
- BE
- รับ
- กำลัง
- ทั้งสอง
- กล่อง
- ในกล่องสี่เหลี่ยม
- นำ
- การก่อสร้าง
- ธุรกิจ
- by
- CAN
- Carnegie Mellon
- ท้าทาย
- การเปลี่ยนแปลง
- ตรวจสอบ
- Choose
- เลือก
- ชั้น
- เมฆ
- รหัส
- รวบรวม
- ชุด
- ชุมชน
- คอมพิวเตอร์
- วิสัยทัศน์คอมพิวเตอร์
- องค์ประกอบ
- งานที่เชื่อมต่อ
- คงเส้นคงวา
- ปลอบใจ
- ภาชนะ
- มุม
- สร้าง
- ลูกค้า
- ข้อมูล
- นักวิทยาศาสตร์ข้อมูล
- ที่ขับเคลื่อนด้วยข้อมูล
- ชุดข้อมูล
- วันเวลา
- ลึก
- การเรียนรู้ลึก ๆ
- สาธิต
- ทั้งนี้ขึ้นอยู่กับ
- การใช้งาน
- พัฒนาการ
- การกระจาย
- เอกสาร
- โดเมน
- โดเมน
- ทำ
- ลง
- ในระหว่าง
- พลวัต
- แบบไดนามิก
- แต่ละ
- ง่ายดาย
- อื่น
- ส่งเสริม
- รับรอง
- ยุค
- ฯลฯ
- ประเมิน
- การตรวจสอบ
- ตัวอย่าง
- ตัวอย่าง
- การปฏิบัติ
- ประสบการณ์
- การทดลอง
- สำรวจ
- สำรวจ
- ครอบครัว
- คุณสมบัติ
- พอดี
- ดังต่อไปนี้
- ดังต่อไปนี้
- สำหรับ
- รูป
- กรอบ
- ราคาเริ่มต้นที่
- เต็ม
- อย่างเต็มที่
- ฟังก์ชัน
- สร้าง
- กราฟ
- กราฟิก
- ให้คำแนะนำ
- มี
- he
- จะช่วยให้
- ซ่อน
- ของเขา
- ถือ
- เป็นเจ้าภาพ
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- อย่างไรก็ตาม
- HTML
- ที่ http
- HTTPS
- ICON
- แยกแยะ
- เอกลักษณ์
- if
- นำเข้า
- in
- ประกอบด้วย
- รวมทั้ง
- เป็นรายบุคคล
- ข้อมูล
- ระบบสารสนเทศ
- แบบบูรณาการ
- เข้าไป
- ปัญหา
- IT
- การสัมภาษณ์
- งาน
- jpg
- JSON
- Keras
- เชื่อมโยงไปถึง
- ภูมิประเทศ
- ขนาดใหญ่
- การเปิดตัว
- ชั้น
- ชั้นนำ
- การเรียนรู้
- ซ้าย
- รายการ
- โหลด
- โหลด
- ในประเทศ
- เข้าสู่ระบบ
- ปิด
- เครื่อง
- เรียนรู้เครื่อง
- หลัก
- การบำรุงรักษา
- ทำ
- การจัดการ
- ผู้จัดการ
- หลาย
- แผนที่
- พบ
- เมลลอน
- ข่าวสาร
- ระเบียบวิธี
- วิธีการ
- ตัวชี้วัด
- ขั้นต่ำ
- ML
- แบบ
- โมเดล
- โมดูล
- การตรวจสอบ
- ข้อมูลเพิ่มเติม
- ต้อง
- นำทาง
- การเดินเรือ
- จำเป็นต้อง
- ความต้องการ
- เครือข่าย
- เครือข่ายประสาท
- จำนวน
- วัตถุ
- of
- on
- ONE
- เปิด
- การเปิด
- เปิด
- การเพิ่มประสิทธิภาพ
- Options
- or
- Organized
- OS
- อื่นๆ
- ออก
- เอาท์พุต
- ภาพรวม
- หน้า
- จับคู่
- บานหน้าต่าง
- พารามิเตอร์
- ส่ง
- หลงใหล
- เส้นทาง
- ดำเนินการ
- สิทธิ์
- เภสัชกรรม
- การถ่ายภาพ
- สถานที่
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- เล่น
- กรุณา
- เสียบเข้าไป
- ปลั๊กอิน
- ยอดนิยม
- โพสต์
- ที่มีประสิทธิภาพ
- การเตรียมความพร้อม
- ก่อน
- ราคา
- ปัญหาที่เกิดขึ้น
- กระบวนการ
- ผลิตภัณฑ์
- ผู้จัดการผลิตภัณฑ์
- การผลิต
- ผลิตภัณฑ์
- โครงการ
- ให้
- ให้
- หลาม
- ไฟฉาย
- รวดเร็ว
- แนะนำ
- ภูมิภาค
- เอาออก
- ต้องการ
- จำเป็นต้องใช้
- กลับ
- รับคืน
- หุ่นยนต์
- บทบาท
- แถว
- sagemaker
- ลด
- ประหยัด
- โรงเรียน
- นักวิทยาศาสตร์
- นักวิทยาศาสตร์
- ภาพหน้าจอ
- SDK
- ค้นหา
- เห็น
- เลือก
- ระดับอาวุโส
- ชุด
- เซสชั่น
- ชุด
- การติดตั้ง
- น่า
- โชว์
- แสดงให้เห็นว่า
- ง่าย
- ซอฟต์แวร์
- การแก้
- มาตรฐาน
- เริ่มต้น
- ขั้นตอน
- ขั้นตอน
- การเก็บรักษา
- จัดเก็บ
- ยุทธศาสตร์
- ธุรกิจเชิงกลยุทธ์
- โครงสร้าง
- สตูดิโอ
- ประสบความสำเร็จ
- ชุด
- สรุป
- ที่สนับสนุน
- ระบบ
- ระบบ
- เป้าหมาย
- งาน
- งาน
- เทคนิค
- tensorflow
- การทดสอบ
- ที่
- พื้นที่
- ของพวกเขา
- แล้วก็
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- นี้
- ตลอด
- เวลา
- อนุกรมเวลา
- ไปยัง
- เครื่องมือ
- เครื่องมือ
- เครื่องมือ
- ด้านบน
- รถไฟ
- การฝึกอบรม
- การเดินทาง
- สอง
- ชนิด
- ตามแบบฉบับ
- ภายใต้
- มหาวิทยาลัย
- ไม่ได้ใช้
- URL
- ใช้
- ผู้ใช้งาน
- ผู้ใช้
- การใช้
- นำไปใช้
- ความคุ้มค่า
- ต่างๆ
- รายละเอียด
- ยอดวิว
- วิสัยทัศน์
- การสร้างภาพ
- ต้องการ
- ทาง..
- we
- เมื่อ
- ที่
- ในขณะที่
- WHO
- กับ
- ภายใน
- งาน
- โรงงาน
- นักเขียน
- คุณ
- ของคุณ
- ลมทะเล