ติดตามตำแหน่งลูกบนคลาวด์ด้วย PGA TOUR | อเมซอนเว็บเซอร์วิส

PGA TOUR ยังคงยกระดับประสบการณ์การเล่นกอล์ฟด้วยข้อมูลแบบเรียลไทม์ที่ช่วยให้แฟน ๆ ใกล้ชิดกับเกมมากขึ้น เพื่อมอบประสบการณ์ที่สมบูรณ์ยิ่งขึ้น พวกเขากำลังพัฒนาระบบติดตามตำแหน่งลูกรุ่นใหม่ที่จะติดตามตำแหน่งของลูกบนกรีนโดยอัตโนมัติ

ปัจจุบัน TOUR ใช้ ShotLink ที่ขับเคลื่อนโดย CDW ซึ่งเป็นระบบการให้คะแนนชั้นนำที่ใช้ระบบกล้องที่ซับซ้อนพร้อมการประมวลผลในสถานที่ เพื่อติดตามตำแหน่งเริ่มต้นและสิ้นสุดของทุกช็อตอย่างใกล้ชิด TOUR ต้องการสำรวจเทคนิคคอมพิวเตอร์วิทัศน์และการเรียนรู้ของเครื่อง (ML) เพื่อพัฒนาระบบคลาวด์ยุคใหม่เพื่อค้นหาลูกกอล์ฟบนกรีน

Amazon Generative AI Innovation Center (GAIIC) สาธิตประสิทธิภาพของเทคนิคเหล่านี้ในชุดข้อมูลตัวอย่างจากงาน PGA TOUR ล่าสุด GAIIC ได้ออกแบบท่อส่งแบบโมดูลาร์ที่เรียงซ้อนชุดของโครงข่ายประสาทเทียมแบบบิดลึกที่ประสบความสำเร็จในการแปลผู้เล่นภายในขอบเขตการมองเห็นของกล้อง กำหนดว่าผู้เล่นคนใดกำลังพัตต์ และติดตามลูกบอลในขณะที่เคลื่อนที่ไปยังถ้วย

ในโพสต์นี้ เราจะอธิบายการพัฒนาไปป์ไลน์นี้ ข้อมูลดิบ การออกแบบโครงข่ายประสาทเทียมที่ประกอบด้วยไปป์ไลน์ และการประเมินประสิทธิภาพของไปป์ไลน์

ข้อมูล

ทัวร์จัดให้มีวิดีโอต่อเนื่อง 3 วันจากทัวร์นาเมนต์ล่าสุดจากกล้อง 4K สามตัวที่วางอยู่รอบกรีนในหลุมเดียว รูปภาพต่อไปนี้แสดงกรอบจากกล้องตัวหนึ่งที่ครอบตัดและซูมเพื่อให้มองเห็นการพัตต์ของผู้เล่นได้ง่าย โปรดทราบว่าแม้กล้องจะมีความละเอียดสูง แต่เนื่องจากระยะห่างจากกรีน ลูกบอลจึงดูเล็ก (ปกติคือ 3×3, 4×4 หรือ 5×5 พิกเซล) และเป้าหมายขนาดนี้อาจเป็นเรื่องยากที่จะระบุตำแหน่งได้อย่างแม่นยำ

นอกเหนือจากฟีดของกล้องแล้ว TOUR ยังให้ข้อมูลการให้คะแนนที่มีคำอธิบายประกอบในแต่ละช็อตแก่ GAIIC รวมถึงตำแหน่งโลกของตำแหน่งพักและการประทับเวลา สิ่งนี้ทำให้เห็นภาพทุกพัตต์บนกรีน เช่นเดียวกับความสามารถในการดึงคลิปวิดีโอทั้งหมดของผู้เล่นพัตต์ ซึ่งสามารถติดป้ายกำกับด้วยตนเองและใช้ในการฝึกโมเดลการตรวจจับที่ประกอบกันเป็นไปป์ไลน์ รูปภาพต่อไปนี้แสดงมุมมองจากกล้องทั้งสามตัวพร้อมเส้นทางพัตโดยประมาณซ้อนทับกัน ทวนเข็มนาฬิกาจากซ้ายบน หมุดจะถูกย้ายในแต่ละวัน โดยวันที่ 1 ตรงกับสีน้ำเงิน วันที่ 2 เป็นสีแดง และวันที่ 3 เป็นสีส้ม

ภาพรวมไปป์ไลน์

ระบบโดยรวมประกอบด้วยทั้งไปป์ไลน์การฝึกอบรมและไปป์ไลน์การอนุมาน แผนภาพต่อไปนี้แสดงสถาปัตยกรรมของไปป์ไลน์การฝึกอบรม จุดเริ่มต้นคือการนำเข้าข้อมูลวิดีโอ ไม่ว่าจะจากโมดูลการสตรีมเช่น อเมซอน Kinesis สำหรับวิดีโอสดหรือตำแหน่งโดยตรงใน บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) สำหรับวิดีโอประวัติศาสตร์ ไปป์ไลน์การฝึกอบรมต้องมีการประมวลผลวิดีโอล่วงหน้าและการติดป้ายกำกับรูปภาพด้วยมือ ความจริงของ Amazon SageMaker. สามารถฝึกโมเดลได้ด้วย อเมซอน SageMaker และอาร์ติแฟกต์ที่จัดเก็บไว้กับ Amazon S3

ไปป์ไลน์การอนุมานที่แสดงในแผนภาพต่อไปนี้ ประกอบด้วยโมดูลจำนวนหนึ่งที่ดึงข้อมูลจากวิดีโอ Raw อย่างต่อเนื่อง และทำนายพิกัดโลกของลูกบอลที่อยู่นิ่งในท้ายที่สุด ในตอนแรก สีเขียวจะถูกครอบตัดจากมุมมองที่ใหญ่ขึ้นจากกล้องแต่ละตัว เพื่อลดพื้นที่พิกเซลที่โมเดลจะต้องค้นหาผู้เล่นและลูกบอล จากนั้น โครงข่ายประสาทเทียมเชิงลึก (CNN) จะถูกนำมาใช้เพื่อค้นหาตำแหน่งของผู้คนในขอบเขตการมองเห็น ซีเอ็นเอ็นอีกรายการหนึ่งใช้ในการทำนายว่าคนประเภทใดที่พบเพื่อพิจารณาว่ามีใครกำลังจะพัตต์หรือไม่ หลังจากที่มีแนวโน้มว่าพัตเตอร์จะถูกแปลเป็นภาษาท้องถิ่นในขอบเขตการมองเห็น เครือข่ายเดียวกันนี้จะถูกใช้เพื่อทำนายตำแหน่งของลูกใกล้กับพัตเตอร์ CNN แห่งที่สามติดตามลูกบอลระหว่างการเคลื่อนที่ และสุดท้าย มีการใช้ฟังก์ชันการแปลงจากตำแหน่งพิกเซลของกล้องไปเป็นพิกัด GPS

การตรวจจับผู้เล่น

แม้ว่าจะสามารถเรียกใช้ CNN เพื่อการตรวจจับลูกบอลในเฟรม 4K ทั้งหมดในช่วงเวลาที่กำหนดได้ เมื่อพิจารณาจากขนาดเชิงมุมของลูกบอลที่ระยะห่างจากกล้องเหล่านี้ วัตถุสีขาวขนาดเล็กใดๆ จะกระตุ้นการตรวจจับ ซึ่งส่งผลให้เกิดการเตือนที่ผิดพลาดจำนวนมาก เพื่อหลีกเลี่ยงการค้นหาลูกบอลทั้งกรอบภาพ คุณสามารถใช้ประโยชน์จากความสัมพันธ์ระหว่างท่าทางของผู้เล่นและตำแหน่งของลูกบอลได้ ลูกบอลที่กำลังจะวางจะต้องอยู่ข้างๆ ผู้เล่น ดังนั้นการค้นหาผู้เล่นในมุมมองจะจำกัดพื้นที่พิกเซลอย่างมากซึ่งอุปกรณ์ตรวจจับจะต้องค้นหาลูกบอล

เราสามารถใช้ CNN ที่ได้รับการฝึกอบรมล่วงหน้าเพื่อคาดการณ์กรอบล้อมรอบทุกคนในฉาก ดังแสดงในรูปต่อไปนี้ น่าเสียดายที่มักจะมีลูกบอลมากกว่าหนึ่งลูกบนกรีน ดังนั้นจึงจำเป็นต้องมีตรรกะเพิ่มเติมนอกเหนือจากการค้นหาคนทั้งหมดและค้นหาลูกบอล ต้องใช้ CNN อื่นเพื่อค้นหาผู้เล่นที่กำลังพัตต์อยู่

การจัดประเภทผู้เล่นและการตรวจจับลูกบอล

เพื่อจำกัดขอบเขตตำแหน่งของลูกบอลให้แคบลง เราได้ปรับแต่ง CNN (YOLO v7) การตรวจจับวัตถุที่ได้รับการฝึกมาล่วงหน้าเพื่อแยกประเภทผู้คนทั้งหมดบนกรีน องค์ประกอบที่สำคัญของกระบวนการนี้คือการติดป้ายกำกับชุดรูปภาพด้วยตนเองโดยใช้ SageMaker Ground Truth ป้ายกำกับดังกล่าวทำให้ CNN สามารถจำแนกผู้เล่นพัตต์ที่มีความแม่นยำสูงได้ ในกระบวนการติดฉลาก ลูกบอลยังถูกร่างไว้พร้อมกับการพัตต์ของผู้เล่น ดังนั้น CNN นี้จึงสามารถทำการตรวจจับลูกบอลได้เช่นกัน โดยวาดกรอบขอบเขตเริ่มต้นรอบลูกบอลก่อนพัตต์ และป้อนข้อมูลตำแหน่งลงในการติดตามบอลดาวน์สตรีม CNN .

เราใช้ป้ายกำกับที่แตกต่างกันสี่ป้ายเพื่อใส่คำอธิบายประกอบวัตถุในรูปภาพ:

• ผู้เล่นวาง – ผู้เล่นที่ถือไม้กอล์ฟและอยู่ในตำแหน่งพัตต์
• ผู้เล่นไม่วาง – ผู้เล่นไม่อยู่ในตำแหน่งพัตต์ (อาจจะถือไม้กอล์ฟด้วย)
• คนอื่น ๆ – บุคคลอื่นที่ไม่ใช่ผู้เล่น
• ลูกกอล์ฟ – ลูกกอล์ฟ

รูปต่อไปนี้แสดงให้เห็นว่า CNN ได้รับการปรับแต่งอย่างละเอียดโดยใช้ป้ายกำกับจาก SageMaker Ground Truth เพื่อแยกประเภทบุคคลในขอบเขตการมองเห็นแต่ละคน นี่เป็นเรื่องยากเนื่องจากมีรูปลักษณ์ที่หลากหลายของผู้เล่น แคดดี้ และแฟนๆ หลังจากที่ผู้เล่นถูกจัดประเภทเป็นการพัตต์แล้ว CNN ที่ได้รับการปรับแต่งอย่างละเอียดสำหรับการตรวจจับลูกบอลจะถูกนำไปใช้กับพื้นที่เล็กๆ รอบๆ ผู้เล่นคนนั้นทันที

การติดตามเส้นทางลูก

CNN แห่งที่สาม ซึ่งเป็นสถาปัตยกรรม ResNet ที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการติดตามการเคลื่อนไหว ถูกนำมาใช้เพื่อติดตามลูกบอลหลังจากวางแล้ว การติดตามความเคลื่อนไหวเป็นปัญหาที่ได้รับการวิจัยอย่างละเอียด ดังนั้นเครือข่ายนี้จึงทำงานได้ดีเมื่อรวมเข้ากับไปป์ไลน์โดยไม่ต้องปรับแต่งเพิ่มเติม

เอาท์พุทไปป์ไลน์

การเรียงซ้อนของ CNN วางกรอบล้อมรอบผู้คน แยกประเภทผู้คนบนกรีน ตรวจจับตำแหน่งเริ่มต้นของลูกบอล และติดตามลูกบอลทันทีที่ลูกบอลเริ่มเคลื่อนที่ รูปภาพต่อไปนี้แสดงเอาต์พุตวิดีโอที่มีป้ายกำกับของไปป์ไลน์ ตำแหน่งพิกเซลของลูกบอลขณะเคลื่อนที่จะถูกติดตามและบันทึก โปรดทราบว่าผู้คนบนกรีนกำลังถูกติดตามและกำหนดกรอบด้วยกรอบขอบเขต พัตเตอร์ที่อยู่ด้านล่างมีป้ายกำกับอย่างถูกต้องว่า “ผู้เล่นพัตต์” และลูกบอลที่กำลังเคลื่อนที่จะถูกติดตามและล้อมรอบด้วยกล่องขอบสีน้ำเงินเล็กๆ

ประสิทธิภาพ

เพื่อประเมินประสิทธิภาพของส่วนประกอบของไปป์ไลน์ จำเป็นต้องมีข้อมูลที่มีป้ายกำกับ แม้ว่าเราจะได้รับตำแหน่งของโลกของลูกบอล แต่เราไม่มีจุดกึ่งกลางสำหรับความจริงของพื้นดิน เช่น ตำแหน่งพิกเซลสุดท้ายของลูกบอล หรือตำแหน่งพิกเซลของผู้เล่นที่วาง ด้วยงานติดฉลากที่เราดำเนินการ เราได้พัฒนาข้อมูลความเป็นจริงภาคพื้นดินสำหรับเอาท์พุตขั้นกลางของไปป์ไลน์ที่ช่วยให้เราสามารถวัดประสิทธิภาพได้

การจัดหมวดหมู่ผู้เล่นและความแม่นยำในการตรวจจับลูกบอล

สำหรับการตรวจจับการพัตต์ของผู้เล่นและตำแหน่งลูกเริ่มต้น เราได้ติดป้ายกำกับชุดข้อมูลและปรับแต่งโมเดล YOLO v7 CNN ตามที่อธิบายไว้ก่อนหน้านี้ แบบจำลองแบ่งเอาท์พุตจากโมดูลการตรวจจับบุคคลก่อนหน้าออกเป็นสี่คลาส: ผู้เล่นที่พัตต์ ผู้เล่นที่ไม่ได้พัตต์ บุคคลอื่น และลูกกอล์ฟ ดังแสดงในรูปต่อไปนี้

ประสิทธิภาพของโมดูลนี้ได้รับการประเมินด้วยเมทริกซ์ความสับสน ดังแสดงในรูปต่อไปนี้ ค่าในกล่องแนวทแยงแสดงให้เห็นว่าคลาสที่ทำนายตรงกับคลาสจริงจากป้ายกำกับความจริงภาคพื้นดินบ่อยเพียงใด แบบจำลองนี้มีการเรียกคืน 89% หรือดีกว่าสำหรับแต่ละคลาส และ 79% สำหรับลูกกอล์ฟ (ซึ่งคาดว่าจะเกิดขึ้นเนื่องจากแบบจำลองนี้ได้รับการฝึกอบรมล่วงหน้ากับตัวอย่างกับบุคคล แต่ไม่ใช่ในตัวอย่างกับลูกกอล์ฟ ซึ่งสามารถปรับปรุงได้ด้วย ลูกกอล์ฟที่มีป้ายกำกับเพิ่มเติมในชุดฝึกซ้อม)

ขั้นตอนต่อไปคือการทริกเกอร์ตัวติดตามลูกบอล เนื่องจากเอาต์พุตการตรวจจับลูกบอลคือความน่าจะเป็นของความเชื่อมั่น จึงยังสามารถกำหนดเกณฑ์สำหรับ "ลูกบอลที่ตรวจพบ" และสังเกตว่าการเปลี่ยนแปลงผลลัพธ์นั้นเปลี่ยนแปลงไปอย่างไร โดยสรุปในรูปต่อไปนี้ วิธีการนี้มีข้อดีข้อเสีย เนื่องจากเกณฑ์ที่สูงกว่าจำเป็นต้องมีการแจ้งเตือนที่ผิดพลาดน้อยลง แต่ยังพลาดตัวอย่างลูกบอลบางส่วนที่มีความแน่นอนน้อยกว่าด้วย เราทดสอบเกณฑ์ความเชื่อมั่น 20% และ 50% และพบว่าการตรวจจับลูกบอลที่ 78% และ 61% ตามลำดับ จากมาตรการนี้เกณฑ์ 20% จะดีกว่า ข้อเสียที่เห็นได้ชัดเจนคือสำหรับเกณฑ์ความเชื่อมั่น 20% นั้น 80% ของการตรวจจับทั้งหมดเป็นลูกบอลจริงๆ (ผลบวกลวง 20%) ในขณะที่สำหรับเกณฑ์ความเชื่อมั่น 50% นั้น 90% เป็นลูกบอล (ผลบวกลวง 10%) หากผลบวกลวงน้อยลง เกณฑ์ความเชื่อมั่น 50% จะดีกว่า มาตรการทั้งสองนี้สามารถปรับปรุงได้ด้วยข้อมูลที่มีป้ายกำกับมากขึ้นสำหรับชุดการฝึกอบรมที่ใหญ่ขึ้น

ทรูพุตไปป์ไลน์การตรวจจับอยู่ที่ 10 เฟรมต่อวินาที ดังนั้นในรูปแบบปัจจุบัน อินสแตนซ์เดียวจึงไม่เร็วพอที่จะทำงานอย่างต่อเนื่องบนอินพุตที่ 50 เฟรมต่อวินาที การบรรลุเครื่องหมาย 7 วินาทีสำหรับเอาต์พุตหลังจากขั้นตอนบอลจะต้องมีการปรับให้เหมาะสมเพิ่มเติมสำหรับเวลาแฝง อาจโดยการรันไปป์ไลน์หลายเวอร์ชันขนานกันและบีบอัดโมเดล CNN ผ่านการหาปริมาณ (ตัวอย่าง)

ความแม่นยำในการติดตามเส้นทางลูกบอล

โมเดล CNN ที่ได้รับการฝึกอบรมล่วงหน้าจาก MMTracking ทำงานได้ดี แต่ก็มีกรณีความล้มเหลวที่น่าสนใจอยู่บ้าง รูปภาพต่อไปนี้แสดงกรณีที่ตัวติดตามเริ่มต้นบนลูกบอล ขยายขอบเขตขอบเขตให้ครอบคลุมทั้งหัวพัตเตอร์และลูก แล้วน่าเสียดายที่ติดตามหัวพัตเตอร์และลืมลูกบอล ในกรณีนี้ หัวพัตเตอร์จะปรากฏเป็นสีขาว (อาจเกิดจากการสะท้อนแสงแบบ Specular) ดังนั้นจึงเข้าใจความสับสนได้ ข้อมูลที่มีป้ายกำกับสำหรับการติดตามและการปรับแต่งการติดตาม CNN อย่างละเอียดสามารถช่วยปรับปรุงสิ่งนี้ได้ในอนาคต

สรุป

ในโพสต์นี้ เราได้พูดคุยถึงการพัฒนาไปป์ไลน์แบบโมดูลาร์ที่จำกัดตำแหน่งของผู้เล่นภายในขอบเขตการมองเห็นของกล้อง กำหนดว่าผู้เล่นคนใดกำลังพัตต์ และติดตามลูกบอลในขณะที่มันเคลื่อนเข้าหาถ้วย

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการทำงานร่วมกันของ AWS กับ PGA TOUR โปรดดูที่ PGA TOUR ร่วมมือกับ AWS เพื่อพลิกโฉมประสบการณ์ของแฟนๆ.

---

เกี่ยวกับผู้เขียน

เจมส์ โกลเด้น เป็นนักวิทยาศาสตร์ประยุกต์ที่ Amazon Bedrock ซึ่งมีพื้นฐานด้านแมชชีนเลิร์นนิงและประสาทวิทยาศาสตร์

เฮนรี่หวาง เป็นนักวิทยาศาสตร์ประยุกต์ที่ Amazon Generative AI Innovation Center ซึ่งเขาค้นคว้าและสร้างโซลูชัน AI เชิงสร้างสรรค์สำหรับลูกค้า AWS เขามุ่งเน้นไปที่อุตสาหกรรมกีฬาและสื่อและความบันเทิง และเคยร่วมงานกับลีกกีฬา ทีม และผู้ออกอากาศต่างๆ ในอดีต ในเวลาว่าง เขาชอบเล่นเทนนิสและกอล์ฟ

ตรียัมบัก กังโกปัทยา เป็นนักวิทยาศาสตร์ประยุกต์ที่ AWS Generative AI Innovation Center ซึ่งเขาทำงานร่วมกับองค์กรต่างๆ ในอุตสาหกรรมที่หลากหลาย บทบาทของเขาเกี่ยวข้องกับการทำการวิจัยและพัฒนาโซลูชัน Generative AI เพื่อรับมือกับความท้าทายทางธุรกิจที่สำคัญและเร่งการนำ AI ไปใช้

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/ball-position-tracking-in-the-cloud-with-the-pga-tour/