Oggi, la NFL sta continuando il suo viaggio per aumentare il numero di statistiche fornite dal Piattaforma di statistiche di nuova generazione a tutte le 32 squadre e ai tifosi. Con l'analisi avanzata derivata dall'apprendimento automatico (ML), la NFL sta creando nuovi modi per quantificare il calcio e per fornire ai fan gli strumenti necessari per aumentare la loro conoscenza del giochi all'interno del gioco del calcio. Per la stagione 2022, la NFL mirava a sfruttare i dati di tracciamento dei giocatori e le nuove tecniche di analisi avanzate per capire meglio le squadre speciali.
L'obiettivo del progetto era prevedere quante yard avrebbe guadagnato un giocatore che rispondeva su un punt o su un calcio d'inizio. Una delle sfide durante la creazione di modelli predittivi per i rendimenti di punt e kickoff è la disponibilità di eventi molto rari, come i touchdown, che hanno un'importanza significativa nelle dinamiche di un gioco. Una distribuzione dei dati con code grasse è comune nelle applicazioni del mondo reale, in cui eventi rari hanno un impatto significativo sulle prestazioni complessive dei modelli. L'utilizzo di un metodo affidabile per modellare accuratamente la distribuzione su eventi estremi è fondamentale per migliorare le prestazioni complessive.
In questo post, dimostriamo come utilizzare la distribuzione Spliced Binned-Pareto implementata in GluonTS per modellare in modo affidabile tali distribuzioni fat-tailed.
Per prima cosa descriviamo il set di dati utilizzato. Successivamente, presentiamo la preelaborazione dei dati e altri metodi di trasformazione applicati al set di dati. Spieghiamo quindi i dettagli della metodologia ML e delle procedure di addestramento del modello. Infine, presentiamo i risultati delle prestazioni del modello.
dataset
In questo post, abbiamo utilizzato due set di dati per creare modelli separati per i ritorni punt e kickoff. I dati di tracciamento del giocatore contengono la posizione, la direzione, l'accelerazione e altro del giocatore (in coordinate x, y). Ci sono circa 3,000 e 4,000 giocate da quattro stagioni NFL (2018-2021) rispettivamente per punt e kickoff play. Inoltre, nei set di dati ci sono pochissimi touchdown relativi a punt e kickoff, rispettivamente solo lo 0.23% e lo 0.8%. La distribuzione dei dati per punt e kickoff è diversa. Ad esempio, la vera distribuzione delle yard per kickoff e punt è simile ma spostata, come mostrato nella figura seguente.
Preelaborazione dei dati e ingegneria delle funzionalità
Innanzitutto, i dati di tracciamento sono stati filtrati solo per i dati relativi ai punt e ai rendimenti del calcio d'inizio. I dati del giocatore sono stati utilizzati per derivare le caratteristiche per lo sviluppo del modello:
- X – Posizione del giocatore lungo l'asse lungo del campo
- Y – Posizione del giocatore lungo l'asse corto del campo
- S – Velocità in iarde/secondo; sostituito da Dis*10 per renderlo più preciso (Dis è la distanza negli ultimi 0.1 secondi)
- Voi – Angolo di movimento del giocatore (gradi)
Dai dati precedenti, ogni giocata è stata trasformata in 10X11X14 di dati con 10 attaccanti (escluso il portatore di palla), 11 difensori e 14 caratteristiche derivate:
- sX – x velocità di un giocatore
- sY – y velocità di un giocatore
- s – Velocità di un giocatore
- aX – x accelerazione di un giocatore
- aY – y accelerazione di un giocatore
- relX – x distanza del giocatore rispetto al portatore di palla
- fare affidamento – y distanza del giocatore rispetto al portatore di palla
- relSx – x velocità del giocatore rispetto al portatore di palla
- relSy – y velocità del giocatore rispetto al portatore di palla
- relDist – Distanza euclidea del giocatore rispetto al portatore di palla
- oppX – x distanza dell'attaccante rispetto al difensore
- oppY – y distanza dell'attaccante rispetto al difensore
- oppSx –x velocità del giocatore in attacco rispetto al giocatore in difesa
- oppSy – y velocità dell'attaccante rispetto al difensore
Per aumentare i dati e tenere conto delle posizioni destra e sinistra, anche i valori delle posizioni X e Y sono stati rispecchiati per tenere conto delle posizioni del campo destro e sinistro. La preelaborazione dei dati e l'ingegnerizzazione delle funzionalità sono state adattate dal vincitore del Big Data Bowl della NFL competizione su Kaggle.
Metodologia ML e formazione del modello
Poiché siamo interessati a tutti i possibili risultati del gioco, inclusa la probabilità di un touchdown, non possiamo semplicemente prevedere le yard guadagnate medie come problema di regressione. Dobbiamo prevedere l'intera distribuzione di probabilità di tutti i possibili guadagni in yard, quindi abbiamo inquadrato il problema come una previsione probabilistica.
Un modo per implementare le previsioni probabilistiche consiste nell'assegnare le iarde guadagnate a diversi bin (come meno di 0, da 0–1, da 1–2, …, da 14–15, più di 15) e prevedere il bin come classificazione problema. Lo svantaggio di questo approccio è che vogliamo che i bin piccoli abbiano un'immagine ad alta definizione della distribuzione, ma i bin piccoli significano meno punti dati per bin e la nostra distribuzione, in particolare le code, potrebbe essere stimata male e irregolare.
Un altro modo per implementare le previsioni probabilistiche consiste nel modellare l'output come una distribuzione di probabilità continua con un numero limitato di parametri (ad esempio, una distribuzione gaussiana o gamma) e prevedere i parametri. Questo approccio fornisce una definizione molto alta e un quadro regolare della distribuzione, ma è troppo rigido per adattarsi alla vera distribuzione dei cantieri guadagnati, che è multimodale e pesante.
Per ottenere il meglio da entrambi i metodi, utilizziamo Distribuzione giuntata Binned-Pareto (SBP), che ha contenitori per il centro della distribuzione in cui sono disponibili molti dati, e Distribuzione paretiana generalizzata (GPD) ad entrambe le estremità, dove possono accadere eventi rari ma importanti, come un touchdown. Il GPD ha due parametri: uno per la scala e uno per la pesantezza della coda, come si vede nel grafico seguente (fonte: Wikipedia).
Unendo il GPD con la distribuzione binning (vedi il seguente grafico a sinistra) su entrambi i lati, otteniamo il seguente SBP a destra. Le soglie inferiore e superiore in cui viene eseguito lo splicing sono iperparametri.
Come linea di base, abbiamo utilizzato il modello che ha vinto il nostro Big Data Bowl della NFL competizione su Kaggle. Questo modello utilizza i layer CNN per estrarre le caratteristiche dai dati preparati e prevede il risultato come un problema di classificazione "1 yard per bin". Per il nostro modello, abbiamo mantenuto i livelli di estrazione delle caratteristiche dalla linea di base e abbiamo modificato solo l'ultimo livello per generare i parametri SBP anziché le probabilità per ciascun bin, come mostrato nella figura seguente (immagine modificata dal post Soluzione al 1° posto Lo zoo).
Abbiamo utilizzato la distribuzione SBP fornita da GluonTS. GluonTS è un pacchetto Python per la modellazione probabilistica di serie temporali, ma la distribuzione SBP non è specifica per le serie temporali e siamo stati in grado di riutilizzarla per la regressione. Per ulteriori informazioni su come utilizzare GluonTS SBP, vedere la seguente demo taccuino.
I modelli sono stati addestrati e sottoposti a convalida incrociata nelle stagioni 2018, 2019 e 2020 e testati nella stagione 2021. Per evitare perdite durante la convalida incrociata, abbiamo raggruppato tutte le giocate dello stesso gioco nella stessa piega.
Per la valutazione, abbiamo mantenuto la metrica utilizzata nella competizione Kaggle, il punteggio di probabilità classificato continuo (CRPS), che può essere vista come un'alternativa alla verosimiglianza logaritmica che è più robusta per i valori anomali. Abbiamo usato anche il Coefficiente di correlazione di Pearson e la RMSE come metriche di accuratezza generali e interpretabili. Inoltre, abbiamo esaminato la probabilità di un touchdown e i grafici di probabilità per valutare la calibrazione.
Il modello è stato addestrato sulla perdita di CRPS utilizzando Media stocastica del peso e l'arresto anticipato.
Per affrontare l'irregolarità della parte cestinata delle distribuzioni di output, abbiamo utilizzato due tecniche:
- Una penalità di uniformità proporzionale alla differenza al quadrato tra due contenitori consecutivi
- Modelli di aggregazione addestrati durante la convalida incrociata
Risultati delle prestazioni del modello
Per ogni set di dati, abbiamo eseguito una ricerca in griglia sulle seguenti opzioni:
- Modelli probabilistici
- La linea di base era una probabilità per yard
- SBP era una probabilità per yard al centro, SBP generalizzato nelle code
- Livellamento della distribuzione
- Nessun livellamento (penalità di levigatezza = 0)
- Penalità di levigatezza = 5
- Penalità di levigatezza = 10
- Procedura di addestramento e inferenza
- Convalida incrociata di 10 volte e inferenza di insieme (k10)
- Addestramento su treno e validazione dati per 10 epoche o 20 epoche
Quindi abbiamo esaminato le metriche per i primi cinque modelli ordinati per CRPS (più basso è meglio).
Per i dati di kickoff, il modello SBP ha prestazioni leggermente superiori in termini di CRPS ma, soprattutto, stima meglio la probabilità di touchdown (la probabilità reale è dello 0.80% nel set di test). Vediamo che i migliori modelli usano l'assemblaggio di 10 pieghe (k10) e nessuna penalità di levigatezza, come mostrato nella tabella seguente.
Training | Modello | levigatezza | CRPS | RMSE | CORR% | P(atterraggio)% |
k10 | SBP | 0 | 4.071 | 9.641 | 47.15 | 0.78 |
k10 | Linea di base | 0 | 4.074 | 9.62 | 47.585 | 0.306 |
k10 | Linea di base | 5 | 4.075 | 9.626 | 47.43 | 0.274 |
k10 | SBP | 5 | 4.079 | 9.656 | 46.977 | 0.682 |
k10 | Linea di base | 10 | 4.08 | 9.621 | 47.519 | 0.265 |
Il seguente grafico delle frequenze osservate e delle probabilità previste indica una buona calibrazione del nostro miglior modello, con un RMSE di 0.27 tra le due distribuzioni. Notare le occorrenze di yardage elevate (ad esempio, 100) che si verificano nella coda della vera distribuzione empirica (blu), le cui probabilità sono più catturabili dal SBP rispetto al metodo della linea di base.
Per i dati sul punt, la linea di base supera l'SBP, forse perché le code di yardage estreme hanno meno realizzazioni. Pertanto, è un compromesso migliore acquisire la modalità tra i picchi di 0-10 yard; e contrariamente ai dati di kickoff, il modello migliore utilizza una penalità di levigatezza. La tabella seguente riassume i nostri risultati.
Training | Modello | levigatezza | CRPS | RMSE | CORR% | P(atterraggio)% |
k10 | Linea di base | 5 | 3.961 | 8.313 | 35.227 | 0.547 |
k10 | Linea di base | 0 | 3.972 | 8.346 | 34.227 | 0.579 |
k10 | Linea di base | 10 | 3.978 | 8.351 | 34.079 | 0.555 |
k10 | SBP | 5 | 3.981 | 8.342 | 34.971 | 0.723 |
k10 | SBP | 0 | 3.991 | 8.378 | 33.437 | 0.677 |
Il seguente grafico delle frequenze osservate (in blu) e delle probabilità previste per i due migliori modelli punt indica che il modello non livellato (in arancione) è leggermente più calibrato rispetto al modello livellato (in verde) e potrebbe essere una scelta migliore in generale.
Conclusione
In questo post, abbiamo mostrato come costruire modelli predittivi con distribuzione dei dati a coda grassa. Abbiamo utilizzato la distribuzione Spliced Binned-Pareto, implementata in GluonTS, che può modellare in modo affidabile tali distribuzioni dalla coda grassa. Abbiamo utilizzato questa tecnica per costruire modelli per i ritorni punt e kickoff. Possiamo applicare questa soluzione a casi d'uso simili in cui sono presenti pochissimi eventi nei dati, ma tali eventi hanno un impatto significativo sulle prestazioni complessive dei modelli.
Se desideri assistenza per accelerare l'uso del machine learning nei tuoi prodotti e servizi, contatta il Laboratorio di soluzioni Amazon ML .
Informazioni sugli autori
Tesfagabir Meharizghi è un Data Scientist presso il Laboratorio di soluzioni Amazon ML dove aiuta i clienti AWS in vari settori come la sanità e le scienze della vita, la produzione, l'automotive, lo sport e i media, ad accelerare l'uso dell'apprendimento automatico e dei servizi cloud AWS per risolvere le loro sfide aziendali.
Marc van Oudheusden è un Senior Data Scientist con il team Amazon ML Solutions Lab di Amazon Web Services. Collabora con i clienti AWS per risolvere i problemi aziendali con l'intelligenza artificiale e l'apprendimento automatico. Al di fuori del lavoro potresti trovarlo in spiaggia, giocare con i suoi figli, fare surf o kitesurf.
Panpan Xu è un Senior Applied Scientist e Manager con Amazon ML Solutions Lab presso AWS. Sta lavorando alla ricerca e allo sviluppo di algoritmi di Machine Learning per applicazioni dei clienti ad alto impatto in una varietà di verticali industriali per accelerare la loro adozione di intelligenza artificiale e cloud. Il suo interesse di ricerca include l'interpretazione dei modelli, l'analisi causale, l'intelligenza artificiale umana e la visualizzazione interattiva dei dati.
Kyeong Hoon (Jonathan) Jung è un ingegnere informatico senior presso la National Football League. È stato con il team Next Gen Stats negli ultimi sette anni aiutando a costruire la piattaforma dallo streaming dei dati grezzi, creando microservizi per elaborare i dati, alla creazione di API che espongono i dati elaborati. Ha collaborato con l'Amazon Machine Learning Solutions Lab fornendo loro dati puliti con cui lavorare, oltre a fornire conoscenze di dominio sui dati stessi. Al di fuori del lavoro, ama andare in bicicletta a Los Angeles e fare escursioni nelle Sierras.
Michele Chi è un Senior Director of Technology che supervisiona le statistiche di nuova generazione e l'ingegneria dei dati presso la National Football League. Si è laureato in Matematica e Informatica presso l'Università dell'Illinois a Urbana Champaign. Michael è entrato per la prima volta nella NFL nel 2007 e si è concentrato principalmente sulla tecnologia e sulle piattaforme per le statistiche del calcio. Nel tempo libero ama stare all'aria aperta con la sua famiglia.
Mike Banda è un Senior Manager di ricerca e analisi per le statistiche di nuova generazione presso la National Football League. Da quando è entrato a far parte del team nel 2018, è stato responsabile dell'ideazione, dello sviluppo e della comunicazione di statistiche chiave e approfondimenti derivati dai dati di tracciamento dei giocatori per i fan, i partner di trasmissione della NFL e i 32 club. Mike porta una vasta conoscenza ed esperienza al team con un master in analisi presso l'Università di Chicago, una laurea in gestione dello sport presso l'Università della Florida ed esperienza sia nel dipartimento di scouting dei Minnesota Vikings che nel dipartimento di reclutamento del Florida Gator Football.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/predict-football-punt-and-kickoff-return-yards-with-fat-tailed-distribution-using-gluonts/
- 000
- 1
- 10
- 100
- 11
- 2018
- 2019
- 2020
- 2021
- 2022
- 7
- a
- capace
- WRI
- accelerare
- accelerando
- Il mio account
- precisione
- preciso
- con precisione
- operanti in
- aggiunta
- Adozione
- Avanzate
- AI
- Algoritmi
- Tutti
- alternativa
- Amazon
- Apprendimento automatico di Amazon
- Laboratorio di soluzioni Amazon ML
- Amazon Web Services
- .
- analitica
- ed
- Angeles
- applicazioni
- applicato
- APPLICA
- approccio
- architettura
- in giro
- artificiale
- intelligenza artificiale
- Intelligenza artificiale e apprendimento automatico
- settore automobilistico
- disponibilità
- disponibile
- media
- AWS
- Axis
- palla
- Linea di base
- Beach
- perché
- MIGLIORE
- Meglio
- fra
- Big
- Big Data
- Blu
- Entrambe le parti
- Porta
- BROADCAST
- costruire
- Costruzione
- affari
- catturare
- casi
- centro
- sfide
- Chicago
- Bambini
- scegliere
- classificazione
- Cloud
- adozione del cloud
- servizi cloud
- club
- CNN
- collaborato
- Uncommon
- Comunicazione
- concorrenza
- computer
- Informatica
- consecutivo
- contatti
- contiene
- continua
- continuo
- contrario
- Correlazione
- Creazione
- cruciale
- cliente
- Clienti
- dati
- punti dati
- scienziato di dati
- visualizzazione dati
- dataset
- affare
- Difensori
- Difesa
- Laurea
- dimostrare
- Shirts Department
- derivato
- descrivere
- dettagli
- Mercato
- differenza
- diverso
- direzione
- Direttore
- distanza
- distribuzione
- distribuzioni
- dominio
- svantaggio
- durante
- dinamica
- ogni
- Presto
- finisce
- ingegnere
- Ingegneria
- epoche
- particolarmente
- stimato
- stime
- valutare
- valutazione
- eventi
- esempio
- esclusa
- esperienza
- Spiegare
- estratto
- estremo
- famiglia
- fan
- Grasso
- caratteristica
- Caratteristiche
- pochi
- campo
- figura
- Infine
- Trovate
- Nome
- in forma
- Florida
- concentrato
- i seguenti
- Calcio
- da
- pieno
- Inoltre
- Guadagno
- Guadagni
- gioco
- Gen
- Generale
- ottenere
- dà
- scopo
- buono
- GPD
- grafico
- Green
- Griglia
- accadere
- assistenza sanitaria
- Aiuto
- aiutare
- aiuta
- Alta
- Come
- Tutorial
- HTTPS
- Illinois
- Immagine
- Impact
- realizzare
- implementato
- importanza
- importante
- in
- inclusi
- Compreso
- Aumento
- indica
- industriale
- industrie
- informazioni
- intuizioni
- invece
- Intelligence
- interattivo
- interesse
- interessato
- IT
- stessa
- congiunto
- accoppiamento
- viaggio
- Le
- conoscenze
- laboratorio
- Cognome
- strato
- galline ovaiole
- Campionati
- apprendimento
- Leva
- Vita
- Life Sciences
- Limitato
- Lunghi
- guardò
- dei
- Los Angeles
- spento
- lotto
- macchina
- machine learning
- make
- gestione
- direttore
- consigliato per la
- molti
- master
- matematica
- Media
- metodo
- Metodologia
- metodi
- metrico
- Metrica
- Michael
- microservices
- ML
- modello
- modelli
- modificato
- Scopri di più
- movimento
- il
- Bisogno
- New
- GENERAZIONE
- next gen
- NFL
- numero
- ottenere
- offensivo
- ONE
- Opzioni
- Arancio
- Altro
- Risultato
- all'aperto
- Sorpassa
- al di fuori
- complessivo
- pacchetto
- parametri
- parte
- partner
- passato
- performance
- Forse
- immagine
- posto
- piattaforma
- Piattaforme
- Platone
- Platone Data Intelligence
- PlatoneDati
- Giocare
- giocatore
- giocatori
- gioco
- per favore
- punti
- posizione
- posizioni
- possibile
- Post
- predire
- previsto
- predizione
- Previsioni
- predice
- preparato
- presenti
- principalmente
- Problema
- problemi
- procedure
- processi
- Elaborato
- Prodotti
- Programma
- progetto
- fornire
- purché
- fornitura
- Python
- classificato
- RARO
- Crudo
- mondo reale
- recruiting
- Basic
- relazionato
- sostituito
- riparazioni
- ricerca e sviluppo
- responsabile
- Risultati
- ritorno
- problemi
- rigido
- robusto
- stesso
- Scala
- Scienze
- SCIENZE
- Scienziato
- Cerca
- Stagione
- stagioni
- secondo
- anziano
- separato
- Serie
- Servizi
- set
- Sette
- alcuni
- Corti
- mostrato
- lati
- significativa
- simile
- semplicemente
- da
- piccole
- So
- Software
- Software Engineer
- soluzione
- Soluzioni
- RISOLVERE
- Fonte
- la nostra speciale
- specifico
- velocità
- Spendere
- Gli Sport
- Sports
- Squared
- statistica
- stats
- sosta
- Streaming
- tale
- tavolo
- team
- le squadre
- tecniche
- Tecnologia
- condizioni
- test
- Il
- loro
- perciò
- tempo
- Serie storiche
- a
- pure
- strumenti
- top
- Tracking
- Treni
- allenato
- Training
- Trasformazione
- trasformato
- vero
- capire
- Università
- University of Chicago
- uso
- convalida
- Valori
- varietà
- vario
- verticali
- Vikings
- visualizzazione
- modi
- Ricchezza
- sito web
- servizi web
- peso
- quale
- wikipedia
- entro
- Ha vinto
- Lavora
- lavoro
- lavori
- sarebbe
- X
- anni
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro