Palli asukoha jälgimine pilves PGA TOUR | abil Amazoni veebiteenused

PGA TOUR jätkab golfikogemuse täiustamist reaalajas andmetega, mis toovad fännid mängule lähemale. Veelgi rikkalikumate kogemuste pakkumiseks arendavad nad järgmise põlvkonna palli asukoha jälgimissüsteemi, mis jälgib automaatselt palli asukohta griinil.

TOUR kasutab praegu CDW-l töötavat ShotLinki, mis on peamine punktisüsteem, mis kasutab keerukat kaamerasüsteemi koos kohapealse arvutusega, et jälgida iga võtte algus- ja lõppasendit. TOUR soovis uurida arvutinägemise ja masinõppe (ML) tehnikaid, et töötada välja järgmise põlvkonna pilvepõhine torujuhe golfipallide asukoha leidmiseks golfiväljakul.

Amazoni generatiivne tehisintellekti innovatsioonikeskus (GAIIC) demonstreeris nende tehnikate tõhusust hiljutise PGA TOURi sündmuse andmestiku näites. GAIIC kavandas modulaarse torujuhtme, mis hõlmab mitmeid sügavaid konvolutsioonilisi närvivõrke, mis edukalt lokaliseerib mängijad kaamera vaateväljas, määrab, milline mängija paneb mängu, ja jälgib palli, kui see liigub tassi poole.

Selles postituses kirjeldame selle torujuhtme arendust, algandmeid, torujuhtmest koosnevate konvolutsiooniliste närvivõrkude disaini ja selle toimivuse hindamist.

kuupäev

TOUR andis kolm päeva pidevat videot hiljutisest turniirist kolmest 3K-kaamerast, mis paiknesid ümber ühe augu. Järgmisel joonisel on ühe kaamera kaader kärbitud ja suumitud, nii et mängija laskmine on hästi nähtav. Pange tähele, et vaatamata kaamerate kõrgele eraldusvõimele tundub pall griinist kauguse tõttu väike (tavaliselt 4 × 3, 3 × 4 või 4 × 5 pikslit) ja selle suurusega sihtmärke võib olla raske täpselt lokaliseerida.

Lisaks kaamera voogudele andis TOUR GAIIC-ile iga võtte kohta märkustega hindeandmeid, sealhulgas puhkeasendi maailma asukoha ja ajatempli. See võimaldas visualiseerida iga greenil aset leidvat putti, samuti oli võimalik tõmmata kõik mängijate putitamise videoklipid, mida sai käsitsi sildistada ja kasutada torujuhtme moodustavate tuvastamismudelite treenimiseks. Järgmisel joonisel on kolm kaameravaadet koos ligikaudsete puttitee ülekatetega, vasakust ülaosas vastupäeva. Nõela liigutatakse iga päev, kus päev 1 vastab sinisele, päev 2 punasele ja päev 3 oranžile.

Torujuhtme ülevaade

Üldine süsteem koosneb nii õppekonveierist kui ka järelduste torustikust. Järgmine diagramm illustreerib koolituse torujuhtme arhitektuuri. Lähtepunktiks on videoandmete allaneelamine, kas näiteks voogesitusmoodulist Amazon kinesis reaalajas video või paigutuse jaoks otse Amazoni lihtne salvestusteenus (Amazon S3) ajaloolise video jaoks. Treeningtorustik nõuab video eeltöötlust ja piltide käsitsi märgistamist Amazon SageMaker Ground Truth. Modellidega saab treenida Amazon SageMaker ja nende artefaktid, mis on salvestatud Amazon S3-ga.

Järelduskonveier, mis on näidatud järgmisel diagrammil, koosneb mitmest moodulist, mis eraldavad järjest toorvideost teavet ja ennustavad lõpuks puhkeolekus oleva palli maailma koordinaate. Esialgu kärbitakse rohelist iga kaamera suuremast vaateväljast, et kärpida pikslite ala, kust modellid peavad mängijaid ja palle otsima. Järgmisena kasutatakse inimeste asukohtade leidmiseks vaateväljas sügavat konvolutsioonilist närvivõrku (CNN). Teist CNN-i kasutatakse selleks, et ennustada, millist tüüpi inimene on leitud, et teha kindlaks, kas keegi hakkab putitama. Pärast seda, kui tõenäoline putter on vaateväljas lokaliseeritud, kasutatakse sama võrku ennustamaks palli asukohta putteri lähedal. Kolmas CNN jälgib palli liikumise ajal ja lõpuks rakendatakse teisendusfunktsiooni kaamera piksli asukohast GPS-koordinaatideks.

Mängija tuvastamine

Ehkki CNN-i oleks võimalik käivitada palli tuvastamiseks kogu 4K kaadri ulatuses teatud intervalliga, võttes arvesse palli nurga suurust nendel kaamerakaugustel, käivitab iga väike valge objekt tuvastamise, mille tulemuseks on palju valehäireid. Selleks, et vältida palli otsimist kogu pildiraamist, on võimalik ära kasutada mängija poosi ja palli asukoha vahelisi seoseid. Pall, mida hakatakse panema, peab asuma mängija kõrval, nii et mängijate leidmine vaateväljast piirab oluliselt pikslite ala, millest detektor peab palli otsima.

Saime kasutada CNN-i, mis oli eelkoolitatud, et ennustada kõigi stseenis olevate inimeste ümber olevaid piirdekaste, nagu on näidatud järgmisel joonisel. Kahjuks on griinil sageli rohkem kui üks pall, nii et lisaks kõigi inimeste leidmisele ja palli otsimisele on vaja täiendavat loogikat. Selleks on vaja teist CNN-i, et leida mängija, kes parajasti mängu pani.

Mängijate klassifikatsioon ja palli tuvastamine

Et veelgi kitsendada, kus pall võiks olla, viimistlesime eelkoolitatud objektituvastuse CNN-i (YOLO v7), et liigitada kõik griinil olevad inimesed. Selle protsessi oluline komponent oli piltide komplekti käsitsi märgistamine, kasutades SageMaker Ground Truthi. Sildid võimaldasid CNN-il mängija putinguid suure täpsusega klassifitseerida. Sildistamise protsessis joonistati ka pall välja koos mängija putkamisega, nii et see CNN suutis samuti palli tuvastada, tõmmates enne putti palli ümber esialgse piirdekasti ja sisestades asukohateabe allavoolu palli jälgivasse CNN-i. .

Kasutame piltidel olevate objektide märkimiseks nelja erinevat silti:

• mängija-putting – Mängija, kes hoiab nuia ja on putetamispositsioonil
• mängija ei pane – mängija, kes ei ole laskmispositsioonil (võib ka käes hoida nui).
• teine ​​isik – Iga teine ​​isik, kes ei ole mängija
• golfipall - Golfipall

Järgmisel joonisel on näidatud, et CNN-i peenhäälestus kasutati ettevõtte SageMaker Ground Truth siltide abil, et klassifitseerida iga inimene vaateväljas. See on keeruline, kuna mängijad, mängurid ja fännid on väga erinevad. Pärast seda, kui mängija oli klassifitseeritud putetavaks, rakendati palli tuvastamiseks peenhäälestatud CNN seda mängijat ümbritsevale väikesele alale.

Palli tee jälgimine

Kolmandat CNN-i, ResNeti arhitektuuri, mis on eelnevalt treenitud liikumise jälgimiseks, kasutati palli jälgimiseks pärast selle laskmist. Liikumise jälgimine on põhjalikult uuritud probleem, nii et see võrk toimis hästi, kui see integreeriti torujuhtmesse ilma täiendava peenhäälestuseta.

Torujuhtme väljund

CNN-ide kaskaad asetab inimeste ümber piiravad kastid, liigitab inimesed griinil, tuvastab palli algse asukoha ja jälgib palli, kui see hakkab liikuma. Järgmisel joonisel on kujutatud torujuhtme märgistatud videoväljund. Palli pikslite asukohti selle liikumisel jälgitakse ja salvestatakse. Pange tähele, et griinil olevaid inimesi jälgitakse ja piiritletakse piirdekastidega; allosas olev putter on õigesti märgistatud kui "mängija puter" ning liikuvat palli jälgitakse ja selle piirjooni tähistab väike sinine piirdekast.

jõudlus

Torujuhtme komponentide toimivuse hindamiseks on vaja märgistatud andmeid. Kuigi meile anti teada palli maapealse tõesuse maailmapositsioon, ei olnud meil maapinna tõe jaoks vahepunkte, nagu palli lõplik piksli asukoht või mängija laskmise piksli asukoht. Läbiviidud märgistamistööga töötasime välja torujuhtme vaheväljundite jaoks põhitõeandmed, mis võimaldavad meil jõudlust mõõta.

Mängijate klassifikatsioon ja palli tuvastamise täpsus

Mängija laskmise ja palli algse asukoha tuvastamiseks märgistasime andmestiku ja viimistlesime YOLO v7 CNN-i mudelit, nagu varem kirjeldatud. Mudel liigitas eelmise isikutuvastusmooduli väljundi nelja klassi: mängija puter, mängija, kes ei pane, teised inimesed ja golfipall, nagu on näidatud järgmisel joonisel.

Selle mooduli jõudlust hinnatakse segadusmaatriksiga, mis on näidatud järgmisel joonisel. Diagonaalkastides olevad väärtused näitavad, kui sageli vastas ennustatud klass tegeliku klassi tõesuse siltide põhjal. Mudelil on 89% või parem meeldetuletus iga inimese klassi kohta ja 79% golfipallide meeldejätmine (mis on ootuspärane, kuna mudelit on eelnevalt koolitatud inimestega, kuid mitte golfipallidega; seda saaks parandada rohkem märgistatud golfipalle treeningkomplektis).

Järgmine samm on pallijälgija käivitamine. Kuna palli tuvastamise väljund on usalduse tõenäosus, on võimalik määrata ka "tuvastatud palli" lävi ja jälgida, kuidas see tulemusi muudab, mis on kokku võetud järgmisel joonisel. Selle meetodi puhul on kompromiss, sest kõrgem lävi annab ilmtingimata vähem valehäireid, kuid jätab vahele ka mõned ebakindlamad pallinäited. Testisime 20% ja 50% usaldusläve ning leidsime palli tuvastamise vastavalt 78% ja 61%. Selle meetme järgi on 20% künnis parem. Kompromiss ilmneb selles, et 20% usaldusläve korral olid 80% kõigist tuvastamistest tegelikult kuulid (20% valepositiivsed), samas kui 50% usaldusläve puhul olid 90% pallid (10% valepositiivsed). Kui valepositiivseid tulemusi on vähem, on 50% usalduslävi parem. Mõlemaid meetmeid saaks parandada suurema koolituskomplekti jaoks rohkem märgistatud andmetega.

Tuvastamiskonveieri läbilaskevõime on suurusjärgus 10 kaadrit sekundis, nii et praegusel kujul ei ole üks eksemplar piisavalt kiire, et seda sisendil pidevalt käitada kiirusega 50 kaadrit sekundis. Väljundi 7-sekundilise märgi saavutamine pärast kuuli etappe nõuaks latentsuse täiendavat optimeerimist, võib-olla käivitades paralleelselt mitu torujuhtme versiooni ja tihendades CNN-i mudeleid kvantimise teel (näiteks).

Palli tee jälgimise täpsus

MMTrackingu eelkoolitatud CNN-mudel töötab hästi, kuid on huvitavaid ebaõnnestumise juhtumeid. Järgmisel joonisel on kujutatud juhtum, kus jälgija alustab palliga, laiendab oma piirdekasti nii, et see hõlmaks nii putteripead kui ka kuuli ning seejärel jälgib kahjuks putteri pead ja unustab palli. Sel juhul näib putteripea valge (võimalik, et peegelduse tõttu), seega on segadus arusaadav; märgistatud andmed jälgimise CNN-i jälgimiseks ja peenhäälestamiseks võivad aidata seda tulevikus parandada.

Järeldus

Selles postituses arutasime modulaarse torujuhtme väljatöötamist, mis lokaliseerib mängijad kaamera vaateväljas, määrab, milline mängija lööb, ja jälgib palli, kui see tassi poole liigub.

Lisateavet AWS-i koostöö kohta PGA TOURiga leiate aadressilt PGA TOUR ühineb AWS-iga, et kujutleda fännikogemust uuesti.

---

Autoritest

James Golden on Amazon Bedrocki rakendusteadlane, kellel on masinõppe ja neuroteaduste taust.

Henry Wang on rakendusteadlane Amazon Generative AI Innovation Centeris, kus ta uurib ja ehitab generatiivseid AI lahendusi AWS-i klientidele. Ta keskendub spordile ning meedia- ja meelelahutustööstusele ning on varem töötanud erinevate spordiliigade, meeskondade ja ringhäälinguorganisatsioonidega. Vabal ajal meeldib talle tennist ja golfi mängida.

Tryambak Gangopadhyay on rakendusteadlane AWS Generative AI Innovation Centeris, kus ta teeb koostööd organisatsioonidega erinevatest tööstusharudest. Tema roll hõlmab teadusuuringute läbiviimist ja generatiivsete AI-lahenduste väljatöötamist, et lahendada olulisi äriprobleeme ja kiirendada tehisintellekti kasutuselevõttu.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/ball-position-tracking-in-the-cloud-with-the-pga-tour/