Identifisere forsvarsdekningsordninger i NFLs Next Gen Stats

Dette innlegget er skrevet sammen med Jonathan Jung, Mike Band, Michael Chi og Thompson Bliss i National Football League.

A dekningsordning refererer til reglene og ansvaret til hver fotballforsvarer som har i oppgave å stoppe en offensiv pasning. Det er kjernen i å forstå og analysere enhver defensiv fotballstrategi. Klassifisering av dekningsordningen for hvert pasningsspill vil gi innsikt i fotballkampen til både lag, kringkastere og fans. For eksempel kan det avsløre preferansene til spillere som ringer, tillate en dypere forståelse av hvordan respektive trenere og lag kontinuerlig justerer sine strategier basert på motstanderens styrker, og muliggjøre utvikling av nye defensiv-orienterte analyser som unike dekninger (Seth et al.). Manuell identifisering av disse dekningene på per-play-basis er imidlertid både arbeidskrevende og vanskelig fordi det krever at fotballspesialister nøye inspiserer spillopptakene. Det er behov for en automatisert dekningsklassifiseringsmodell som kan skaleres effektivt og effektivt for å redusere kostnader og behandlingstid.

NFL-ene Neste generasjonsstatistikk fanger opp sanntidsposisjon, hastighet og mer for hver spiller og spill av NFL-fotballkamper, og utleder ulike avanserte statistikker som dekker forskjellige aspekter av spillet. Gjennom et samarbeid mellom Next Gen Stats-teamet og Amazon ML Solutions Lab, har vi utviklet den maskinlæringsbaserte (ML)-drevne dekningsklassifiseringen som nøyaktig identifiserer forsvarsdekningsordningen basert på spillersporingsdata. Dekningsklassifiseringsmodellen er opplært vha Amazon SageMaker, og statistikken har vært lansert for 2022 NFL-sesongen.

I dette innlegget dykker vi dypt ned i de tekniske detaljene til denne ML-modellen. Vi beskriver hvordan vi utformet en nøyaktig, forklarbar ML-modell for å lage dekningsklassifisering fra spillersporingsdata, etterfulgt av vår kvantitative evaluering og modellforklaringsresultater.

Problemformulering og utfordringer

Vi definerer den defensive dekningsklassifiseringen som en flerklasses klassifiseringsoppgave, med tre typer mannedekning (der hver forsvarsspiller dekker en bestemt offensiv spiller) og fem typer sonedekning (hver forsvarsspiller dekker et bestemt område på banen). Disse åtte klassene er visuelt avbildet i følgende figur: Cover 0 Man, Cover 1 Man, Cover 2 Man, Cover 2 Zone, Cover 3 Zone, Cover 4 Zone, Cover 6 Zone og Prevent (også sonedekning). Sirkler i blått er defensive spillerne lagt ut i en bestemt type dekning; sirkler i rødt er de offensive spillerne. En fullstendig liste over spillerens akronymer er gitt i vedlegget på slutten av dette innlegget.

Følgende visualisering viser et eksempelspill, med plasseringen av alle offensive og defensive spillere ved starten av spillet (venstre) og midt i det samme spillet (høyre). For å gjøre den riktige dekningsidentifikasjonen, må en mengde informasjon over tid tas i betraktning, inkludert måten forsvarere stilte opp før snappet og justeringer av offensive spillerbevegelser når ballen er snappet. Dette utgjør utfordringen for modellen å fange romlig-temporal, og ofte subtil bevegelse og interaksjon mellom spillerne.

En annen viktig utfordring partnerskapet vårt står overfor er den iboende tvetydigheten rundt de utplasserte dekningsordningene. Utover de åtte kjente dekningsordningene, identifiserte vi justeringer i mer spesifikke dekningsoppkall som fører til tvetydighet blant de åtte generelle klassene for både manuell kartlegging og modellklassifisering. Vi takler disse utfordringene ved å bruke forbedrede treningsstrategier og modellforklaring. Vi beskriver våre tilnærminger i detalj i den følgende delen.

Forklarlig dekningsklassifiseringsramme

Vi illustrerer vårt overordnede rammeverk i den følgende figuren, med inndata fra spillersporingsdata og dekningsetiketter som starter øverst i figuren.

Funksjonsteknikk

Spillsporingsdata fanges med 10 bilder per sekund, inkludert spillerens plassering, hastighet, akselerasjon og orientering. Vår funksjonsteknikk konstruerer sekvenser av lekefunksjoner som input for modellfordøyelse. For en gitt ramme er funksjonene våre inspirert av 2020 Big Data Bowl Kaggle Zoo-løsningen (Gordeev et al.): vi konstruerer et bilde for hvert tidstrinn med defensive spillerne på radene og offensive spillere ved kolonnene. Pikselen i bildet representerer derfor funksjonene for det kryssende spillerparet. Annerledes enn Gordeev et al., trekker vi ut en sekvens av rammerepresentasjonene, som effektivt genererer en minivideo for å karakterisere stykket.

Den følgende figuren visualiserer hvordan funksjonene utvikler seg over tid i samsvar med to øyeblikksbilder av et eksempelspill. For visuell klarhet viser vi bare fire funksjoner av alle de vi hentet ut. "LOS" i figuren står for scrimmage-linjen, og x-aksen refererer til den horisontale retningen til høyre for fotballbanen. Legg merke til hvordan funksjonsverdiene, angitt av fargelinjen, utvikler seg over tid i samsvar med spillerbevegelsen. Til sammen konstruerer vi to sett med funksjoner som følger:

• Forsvarsfunksjoner som består av forsvarerens posisjon, hastighet, akselerasjon og orientering, på x-aksen (horisontal retning til høyre for fotballbanen) og y-aksen (vertikal retning til toppen av fotballbanen)
• Forsvarer-angreps relative egenskaper som består av de samme egenskapene, men beregnet som forskjellen mellom defensive og offensive spillere

CNN-modul

Vi bruker et konvolusjonelt nevralt nettverk (CNN) for å modellere de komplekse spillerinteraksjonene som ligner på Open Source Football (Baldwin et al.) og Big Data Bowl Kaggle Zoo-løsning (Gordeev et al.). Bildet oppnådd fra funksjonsteknikk gjorde det lettere å modellere hver lekeramme gjennom en CNN. Vi modifiserte konvolusjonsblokken (Conv) brukt av Zoo-løsningen (Gordeev et al.) med en forgreningsstruktur som består av et grunt ettlags CNN og et dypt trelags CNN. Konvolusjonslaget bruker en 1×1-kjerne internt: å ha kjernen se på hvert spillerpar individuelt sikrer at modellen er invariant i forhold til spillerens bestilling. For enkelhets skyld bestiller vi spillerne basert på deres NFL ID for alle spillprøver. Vi får rammeinnbyggingene som utgang fra CNN-modulen.

Temporal modellering

Innenfor den korte spilleperioden som varer bare noen få sekunder, inneholder den rik tidsdynamikk som nøkkelindikatorer for å identifisere dekningen. Den rammebaserte CNN-modelleringen, som brukt i Zoo-løsningen (Gordeev et al.), har ikke redegjort for den tidsmessige progresjonen. For å takle denne utfordringen designer vi en selvoppmerksomhetsmodul (Vaswani et al.), stablet på toppen av CNN, for tidsmessig modellering. Under trening lærer den å samle de individuelle rammene ved å veie dem forskjellig (Alammar et al.). Vi vil sammenligne det med en mer konvensjonell, toveis LSTM-tilnærming i den kvantitative evalueringen. De lærte oppmerksomhetsinnleiringene som utdata blir deretter gjennomsnittet for å oppnå innebyggingen av hele stykket. Til slutt kobles et fullstendig sammenkoblet lag for å bestemme dekningsklassen til stykket.

Modellensemble og etikettutjevning

Tvetydighet mellom de åtte dekningsordningene og deres ubalanserte fordeling gjør det klare skillet mellom dekningene utfordrende. Vi bruker modellensemblet til å takle disse utfordringene under modelltrening. Vår studie finner at et stemmebasert ensemble, en av de mest forenklede ensemblemetodene, faktisk utkonkurrerer mer komplekse tilnærminger. I denne metoden har hver basismodell den samme CNN-oppmerksomhetsarkitekturen og trenes uavhengig av forskjellige tilfeldige frø. Den endelige klassifiseringen tar gjennomsnittet over resultatene fra alle basismodeller.

Vi inkluderer videre etikettutjevning (Müller et al.) inn i kryssentropitapet for å håndtere potensiell støy i manuelle kartetiketter. Etikettutjevning styrer den kommenterte dekningsklassen litt mot de resterende klassene. Tanken er å oppmuntre modellen til å tilpasse seg den iboende tvetydigheten i dekningen i stedet for å tilpasse seg forutinntatte merknader.

Kvantitativ evaluering

Vi bruker sesongdata for 2018–2020 for modelltrening og validering, og sesongdata for 2021 for modellevaluering. Hver sesong består av rundt 17,000 XNUMX avspillinger. Vi utfører en femdobbel kryssvalidering for å velge den beste modellen under trening, og utfører hyperparameteroptimalisering for å velge de beste innstillingene på flere modellarkitektur og treningsparametere.

For å evaluere modellytelsen beregner vi dekningsnøyaktigheten, F1-poengsum, topp-2-nøyaktighet og nøyaktigheten for den enklere mann vs. sone-oppgaven. Den CNN-baserte Zoo-modellen brukt i Baldwin et al. er den mest relevante for dekningsklassifisering og vi bruker den som baseline. I tillegg vurderer vi forbedrede versjoner av grunnlinjen som inkluderer de tidsmessige modelleringskomponentene for komparativ studie: en CNN-LSTM-modell som bruker en toveis LSTM for å utføre den tidsmessige modelleringen, og en enkelt CNN-oppmerksomhetsmodell uten ensemblet og etiketten utjevning av komponenter. Resultatene er vist i følgende tabell.

Modell	Test nøyaktighet 8 dekninger (%)	Topp 2-nøyaktighet 8 dekninger (%)	F1-poengsum 8 Dekninger	Test nøyaktighet Mann vs. sone (%)
Grunnlinje: Zoo-modell	68.8 0.4 ±	87.7 0.1 ±	65.8 0.4 ±	88.4 0.4 ±
CNN-LSTM	86.5 0.1 ±	93.9 0.1 ±	84.9 0.2 ±	94.6 0.2 ±
CNN-oppmerksomhet	87.7 0.2 ±	94.7 0.2 ±	85.9 0.2 ±	94.6 0.2 ±
Vårt: Ensemble av 5 CNN-oppmerksomhetsmodeller	88.9 0.1 ±	97.6 0.1 ±	87.4 0.2 ±	95.4 0.1 ±

Vi observerer at inkorporering av den tidsmessige modelleringsmodulen betydelig forbedrer baseline Zoo-modellen som var basert på en enkelt ramme. Sammenlignet med den sterke grunnlinjen til CNN-LSTM-modellen, gir våre foreslåtte modelleringskomponenter, inkludert selvoppmerksomhetsmodulen, modellensemblet og merkeutjevning kombinert betydelig ytelsesforbedring. Den endelige modellen er presterende som demonstrert av evalueringstiltakene. I tillegg identifiserer vi svært høy topp-2-nøyaktighet og et betydelig gap til topp-1-nøyaktigheten. Dette kan tilskrives dekningstvetydigheten: når toppklassifiseringen er feil, samsvarer ofte den andre gjetningen med menneskelig merknad.

Modellforklaringer og resultater

For å belyse dekningstvetydigheten og forstå hva modellen brukte for å komme frem til en gitt konklusjon, utfører vi analyser ved hjelp av modellforklaringer. Den består av to deler: globale forklaringer som analyserer alle lærte innebygginger i fellesskap, og lokale forklaringer som zoomer inn i individuelle skuespill for å analysere de viktigste signalene som fanges opp av modellen.

Globale forklaringer

På dette stadiet analyserer vi de lærte lekeinnbyggingene fra dekningsklassifiseringsmodellen globalt for å oppdage eventuelle mønstre som krever manuell gjennomgang. Vi bruker t-distribuert stokastisk naboinnebygging (t-SNE) (Maaten et al.) som projiserer lekeinnbyggingene inn i 2D-rom, for eksempel et par lignende innebygginger har høy sannsynlighet for distribusjon. Vi eksperimenterer med de interne parameterne for å trekke ut stabile 2D-projeksjoner. Innebyggingene fra stratifiserte prøver av 9,000 avspillinger er visualisert i følgende figur (til venstre), med hver prikk som representerer et bestemt spill. Vi finner at flertallet av hver dekningsordning er godt atskilt, noe som viser klassifiseringsevnen som modellen oppnår. Vi observerer to viktige mønstre og undersøker dem videre.

Noen skuespill er blandet inn i andre dekningstyper, som vist i følgende figur (til høyre). Disse skuespillene kan potensielt være feilmerket og fortjener manuell inspeksjon. Vi designer en K-Nearest Neighbors (KNN) klassifisering for automatisk å identifisere disse skuespillene og sende dem til ekspertvurdering. Resultatene viser at de fleste av dem faktisk ble merket feil.

Deretter observerer vi flere overlappende regioner blant dekningstypene, noe som viser dekningstvetydighet i visse scenarier. Som et eksempel, i den følgende figuren, skiller vi Cover 3 Zone (grønn klynge til venstre) og Cover 1 Man (blå klynge i midten). Dette er to forskjellige enkelt-høydekningskonsepter, hvor hovedskillet er mann vs. sonedekning. Vi designer en algoritme som automatisk identifiserer tvetydigheten mellom disse to klassene som den overlappende regionen til klyngene. Resultatet er visualisert som de røde prikkene i følgende figur til høyre, med 10 tilfeldig samplede avspillinger merket med en svart "x" for manuell gjennomgang. Vår analyse avslører at de fleste lekeeksemplene i denne regionen involverer en slags mønstertilpasning. I disse spillene er dekningsansvaret avhengig av hvordan de offensive mottakernes ruter fordeles, og justeringer kan få spillet til å se ut som en blanding av sone- og manndekning. En slik justering vi identifiserte gjelder for Cover 3 Zone, når hjørneryggen (CB) på den ene siden er låst til manndekning (“Man Everywhere he Goes” eller MEG) og den andre har en tradisjonell sonefall.

Forekomstforklaringer

I det andre trinnet zoomer instansforklaringer inn på det individuelle interessespillet, og trekker ut bilde-for-bilde spillerinteraksjonshøydepunkter som bidrar mest til den identifiserte dekningsordningen. Dette oppnås gjennom Guided GradCAM-algoritmen (Ramprasaath et al.). Vi bruker forekomstforklaringene på modellprediksjoner med lav konfidens.

For stykket vi illustrerte i begynnelsen av innlegget, spådde modellen Cover 3 Zone med 44.5 % sannsynlighet og Cover 1 Man med 31.3 % sannsynlighet. Vi genererer forklaringsresultatene for begge klassene som vist i følgende figur. Linjetykkelsen angir interaksjonsstyrken som bidrar til modellens identifikasjon.

Det øverste plottet for Cover 3 Zone-forklaringen kommer rett etter ballsnappen. CB-en til høyre for forseelsen har de sterkeste interaksjonslinjene, fordi han vender mot QB og holder seg på plass. Han ender opp med å kvadre og matche med mottakeren på siden, som truer ham dypt.

Den nederste handlingen for Cover 1 Man-forklaringen kommer et øyeblikk senere, ettersom den falske handlingen skjer. En av de sterkeste interaksjonene er med CB til venstre for forseelsen, som faller med WR. Spilleopptak avslører at han holder øynene på QB-en før han blar rundt og løper med WR-en som truer ham dypt. SS på forseelsens høyre side har også en sterk interaksjon med TE på sin side, da han begynner å stokke når TE bryter inn. Han ender opp med å følge ham på tvers av formasjonen, men TE begynner å blokkere ham, noe som indikerer at spillet sannsynligvis var et run-pass-alternativ. Dette forklarer usikkerheten til modellens klassifisering: TE holder seg til SS ved design, og skaper skjevheter i dataene.

konklusjonen

Amazon ML Solutions Lab og NFLs Next Gen Stats-team utviklet sammen klassifiseringsstatistikken for forsvarsdekning som nylig ble lansert for 2022 NFL fotballsesongen. Dette innlegget presenterte de tekniske detaljene for denne statistikken for ML, inkludert modellering av den raske temporale progresjonen, treningsstrategier for å håndtere tvetydigheten i dekningsklassen og omfattende modellforklaringer for å fremskynde ekspertgjennomgangen på både globalt nivå og instansnivå.

Løsningen gjør live defensive dekningstendenser og splitter tilgjengelig for kringkastere i spillet for første gang noensinne. På samme måte gjør modellen det mulig for NFL å forbedre analysen av resultater etter kampen og bedre identifisere viktige matchups som fører til spill.

Hvis du vil ha hjelp til å fremskynde bruken av ML, vennligst kontakt Amazon ML Solutions Lab program.

Vedlegg

Akronymer for spillerposisjon
Defensive posisjoner
W	“Will” Linebacker, eller den svake siden LB
M	"Mike" Linebacker, eller den midtre LB
S	"Sam" Linebacker, eller den sterke siden LB
CB	corner
DE	Defensiv slutt
DT	Defensiv takling
NT	Nesetakling
FS	Gratis sikkerhet
SS	Sterk sikkerhet
S	Sikkerhet
LB	linebacker
HAN B	Inside Linebacker
OLB	Utenfor linebacker
MLB	Midtlinjebacker
Offensive stillinger
X	Vanligvis nummer 1 bred mottaker i en lovbrudd, de justerer på LOS. I tripsformasjoner er denne mottakeren ofte justert isolert på baksiden.
Y	Vanligvis starter tight end, denne spilleren vil ofte justere på linje og til motsatt side som X.
Z	Vanligvis mer av en spilleautomatmottaker, vil denne spilleren ofte stille seg utenfor banen og på samme side av banen som tight-enden.
H	Tradisjonelt en back, er denne spilleren oftere en tredje wide receiver eller en andre tight end i den moderne ligaen. De kan justere over hele formasjonen, men er nesten alltid utenfor linjen. Avhengig av laget kan denne spilleren også bli utpekt som en F.
T	Den omtalte running back. Bortsett fra tomme formasjoner, vil denne spilleren stille inn på bakfeltet og være en trussel mot å motta overleveringen.
QB	Quarterback
C	sentrum
G	Guard
RB	Løper tilbake
FB	fullback
WR	Bred mottaker
TE	Stram slutt
LG	Venstrevakt
RG	Høyre vakt
T	takle
LT	Venstre takling
RT	Høyre takling

Referanser

• Tej Seth, Ryan Weisman, "PFF Data Study: Dekningsskjemaets unikhet for hvert lag og hva det betyr for trenerendringer", https://www.pff.com/news/nfl-pff-data-study-coverage-scheme-uniqueness-for-each-team-and-what-that-means-for-coaching-changes
• Ben Baldwin. "Computer Vision med NFL-spillersporingsdata ved bruk av lommelykt for R: Dekningsklassifisering ved bruk av CNN-er." https://www.opensourcefootball.com/posts/2021-05-31-computer-vision-in-r-using-torch/
• Dmitry Gordeev, Philipp Singer. “1. plass løsning The Zoo.” https://www.kaggle.com/c/nfl-big-data-bowl-2020/discussion/119400
• Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser og Illia Polosukhin. "Oppmerksomhet er alt du trenger." Fremskritt i nevrale informasjonsbehandlingssystemer 30 (2017).
• Jay Alammar. "Den illustrerte transformatoren." https://jalammar.github.io/illustrated-transformer/
• Müller, Rafael, Simon Kornblith og Geoffrey E. Hinton. "Når hjelper etikettutjevning?" Fremskritt i nevrale informasjonsbehandlingssystemer 32 (2019).
• Van der Maaten, Laurens og Geoffrey Hinton. "Visualisere data ved hjelp av t-SNE." Tidsskrift for maskinlæringsforskning 9, nr. 11 (2008).
• Selvaraju, Ramprasaath R., Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh og Dhruv Batra. "Grad-cam: Visuelle forklaringer fra dype nettverk via gradientbasert lokalisering." I Proceedings fra IEEE internasjonale konferanse om datasyn, s. 618-626. 2017.

---

Om forfatterne

Huan sang er en anvendt vitenskapsmann ved Amazon Machine Learning Solutions Lab, hvor han jobber med å levere tilpassede ML-løsninger for brukertilfeller med stor innflytelse fra en rekke industrivertikaler. Hans forskningsinteresser er grafiske nevrale nettverk, datasyn, tidsserieanalyse og deres industrielle anvendelser.

Mohamad Al Jazaery er en anvendt vitenskapsmann ved Amazon Machine Learning Solutions Lab. Han hjelper AWS-kunder med å identifisere og bygge ML-løsninger for å møte deres forretningsutfordringer innen områder som logistikk, personalisering og anbefalinger, datasyn, svindelforebygging, prognoser og forsyningskjedeoptimalisering. Før AWS tok han MCS fra West Virginia University og jobbet som datasynsforsker ved Midea. Utenom jobben liker han fotball og videospill.

Haibo Ding er senior anvendt vitenskapsmann ved Amazon Machine Learning Solutions Lab. Han er bredt interessert i dyp læring og naturlig språkbehandling. Forskningen hans fokuserer på å utvikle nye forklarbare maskinlæringsmodeller, med mål om å gjøre dem mer effektive og pålitelige for problemer i den virkelige verden. Han oppnådde sin Ph.D. fra University of Utah og jobbet som seniorforsker ved Bosch Research North America før han begynte i Amazon. Bortsett fra jobb liker han å gå tur, løpe og tilbringe tid med familien.

Lin Lee Cheong er en anvendt vitenskapsleder med Amazon ML Solutions Lab-teamet ved AWS. Hun jobber med strategiske AWS-kunder for å utforske og bruke kunstig intelligens og maskinlæring for å oppdage ny innsikt og løse komplekse problemer. Hun fikk sin Ph.D. fra Massachusetts Institute of Technology. Utenom jobben liker hun å lese og gå på tur.

Jonathan Jung er senior programvareingeniør ved National Football League. Han har vært med Next Gen Stats-teamet de siste syv årene og hjulpet til med å bygge ut plattformen fra å strømme rådata, bygge ut mikrotjenester for å behandle dataene, til å bygge API-er som eksponerer de behandlede dataene. Han har samarbeidet med Amazon Machine Learning Solutions Lab for å gi rene data de kan jobbe med, samt gi domenekunnskap om selve dataene. Utenom jobben liker han å sykle i Los Angeles og gå på fotturer i Sierras.

Mike Band er seniorleder for forskning og analyse for neste generasjonsstatistikk ved National Football League. Siden han begynte på laget i 2018, har han vært ansvarlig for ideer, utvikling og kommunikasjon av nøkkelstatistikk og innsikt hentet fra spillersporingsdata for både fans, NFL-kringkastingspartnere og de 32 klubbene. Mike bringer et vell av kunnskap og erfaring til teamet med en mastergrad i analyse fra University of Chicago, en bachelorgrad i sportsledelse fra University of Florida, og erfaring fra både speideravdelingen til Minnesota Vikings og rekrutteringsavdelingen fra Florida Gator Football.

Michael Chi er seniordirektør for teknologi som fører tilsyn med Next Gen Stats og Data Engineering ved National Football League. Han har en grad i matematikk og informatikk fra University of Illinois i Urbana Champaign. Michael begynte først i NFL i 2007 og har først og fremst fokusert på teknologi og plattformer for fotballstatistikk. På fritiden liker han å tilbringe tid med familien sin utendørs.

Thompson Bliss er Manager, Football Operations, Data Scientist ved National Football League. Han begynte ved NFL i februar 2020 som dataforsker og ble forfremmet til sin nåværende rolle i desember 2021. Han fullførte sin mastergrad i datavitenskap ved Columbia University i New York i desember 2019. Han mottok en Bachelor of Science i fysikk og astronomi med bifag i matematikk og informatikk ved University of Wisconsin – Madison i 2018.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/identifying-defense-coverage-schemes-in-nfls-next-gen-stats/