Progettazione metrica per data scientist e leader aziendali

Qual è la parte più difficile della progettazione metrica?

Per fare del bene decisioni basate sui dati, hai bisogno di 3 cose:

1. Criteri decisionali basati su un design ben progettato metrica.
2. La capacità di raccogliere il dati su cui si baseranno tali metriche.
3. Statistiche competenze per calcolare tali parametri e interpretare i risultati di seguito incertezza.

I requisiti n. 2 e n. 3 sono stati scritti in abbondanza (incluso by me), ma per quanto riguarda il requisito n. 1?

Ora che dati la raccolta è più semplice che mai, molti leader sentono la pressione di trascinare i numeri a ogni riunione. Sfortunatamente, nel mezzo della frenesia alimentare, molti di loro non riescono a donare disegno metrico la quantità di pensiero che merita. Tra coloro che sono disposti a impegnarsi, la maggior parte lo inventa man mano che procede, come se fosse nuovo di zecca.

Non lo è.

La psicologia – lo studio scientifico della mente e del comportamento – ha avuto più di un secolo per battere il piede sui pericoli derivanti dal tentativo di misurare quantità vaghe che non sono state adeguatamente definite, quindi il settore ha imparato alcune solide pepite d'oro che i leader aziendali e data scientist sarebbe saggio prendere in prestito quando si progettano le metriche.

Se non sei convinto che la progettazione metrica sia difficile, prendi carta e penna. Ti sfido a scrivere una definizione di felicità è così inflessibile che nessuno potrebbe contestare il tuo modo di misurarlo...

Difficile, vero? Ora provalo con altri nomi astratti che le persone usano quotidianamente, come “memoria” e “intelligenza” e “amore” e “attenzione” e così via. È dannatamente quasi miracoloso che qualcuno di noi comprenda se stesso, per non parlare degli altri.

Eppure, questo è proprio il primo ostacolo che i ricercatori psicologici devono superare per poter compiere progressi scientifici. Per studiare i processi mentali, devono creare proxy precisi e misurabili – metriche – con cui lavorare. Quindi, come pensano gli psicologi e gli altri scienziati sociali della progettazione metrica?

Come studi in modo rigoroso e scientifico concetti che non puoi definire facilmente? Concetti come attenzione, soddisfazionee la creatività? La risposta è... non lo fai! Invece tu Rendere operativo. Ai fini di questo esempio, supponiamo che tu sia interessato a misurare felicità dell'utente.

Cos’è l’operazionalizzazione?

Cos’è l’operazionalizzazione? Ho scritto un articolo introduttivo ad esso qui per te, ma il risultato è che quando rendi operativo, per prima cosa dici a te stesso, "Non misurerò mai la felicità e ho fatto pace con questo." I filosofi si occupano di questo da migliaia di anni, quindi non è che all'improvviso ti ritroverai con un'unica definizione che soddisfi tutti.

Successivamente, distilli l'essenza misurabile del tuo concetto in un proxy.

Ricorda sempre che in realtà non stai misurando la felicità. O memoria. O attenzione. O intelligenza. O qualsiasi altra parola fuzz poetica, non importa quanto grandiosa ti sembri.

Ora che siamo d’accordo con il fatto che non misureremo mai la felicità e i suoi amici, è tempo di chiederci perché abbiamo preso in considerazione quella parola in primo luogo. Cosa c’è in questo concetto – nella sua forma confusa – che sembra rilevante e pertinente alla decisione che vogliamo prendere? Quali informazioni concrete (e ottenibili!) ci porterebbero a preferire una linea d’azione rispetto ad un’altra? (La progettazione metrica è molto più semplice quando si ha azioni in mente prima di iniziare. Se possibile, pensa alle potenziali decisioni prima di tentare di progettare una metrica.)

Quindi distilliamo l'idea centrale che stiamo cercando per creare un proxy misurabile, una metrica che catturi questa essenza fondamentale a cui teniamo.

Definisci la tua metrica prima di darle un nome.

E ora arriva la parte divertente! Possiamo nominare la nostra metrica come vogliamo: "blorktibork" o "felicità dell'utente" o "X" o qualsiasi altra cosa.

Il motivo per cui non ha senso essere arrestati dalla polizia linguistica è che non importa quanto duramente lavoriamo per progettarlo, il nostro proxy lo farà *non* essere la forma platonica della felicità dell'utente.

Anche se può andar bene nostro esigenze, è importante ricordare che è improbabile che il nostro parametro si adatti anche i bisogni di tutti gli altri. Ecco perché sarebbe sciocco intromettersi in inutili dibattiti sul fatto se il nostro sistema di misura riesca o meno a catturare la Vera Felicità. Non è così. Se sei alla disperata ricerca di una sorta di metrica che li governi tutti, ce n'è una Canzone Disney per te.

Qualsiasi metrica che creiamo è semplicemente un proxy che si adatta alle nostre esigenze (e forse a quelle di nessun altro). È il nostro mezzo personale per raggiungere un fine personale: prendere una decisione informata o riassumere un concetto in modo da non dover scrivere un intero paragrafo ogni volta che lo menzioniamo. Possiamo andare d'accordo senza coinvolgere la polizia linguistica in nessuno dei due.

Fin qui tutto bene. Devi semplicemente determinare di quali informazioni avrai bisogno per la tua decisione, quindi trovare un modo per riassumere tali informazioni in un modo che abbia senso per le tue esigenze (ta-da, questo è la tua metrica), quindi chiamalo come preferisci. Giusto? Giusto, ma...

Ci is la parte più difficile di tutto questo. Qualche ipotesi su cosa potrebbe essere? Domani condividerò la risposta con te: non dimenticare di iscriverti qui su Medium o sui social media (Twitter, LinkedIn) per non perderlo. Nel frattempo, condividi le tue opinioni su quale sia la parte più difficile della progettazione metrica qui or qui.

Se vuoi saperne di più, guarda le lezioni 039–047 dal mio corso Fare amicizia con il machine learning. Sono tutti brevi video della durata di un paio di minuti. Inizia qui e continua nella playlist allegata:

Se ti sei divertito qui e stai cercando un corso di intelligenza artificiale applicata pensato per essere divertente sia per principianti che per esperti, eccone uno che ho realizzato per il tuo divertimento:

PS Hai mai provato a premere il pulsante clap qui su Medium più di una volta per vedere cosa succede? ❤️

Diventiamo amici! Puoi trovarmi su Twitter, YouTube, substacke LinkedIn. Sei interessato a farmi parlare al tuo evento? Utilizzo questa forma per farti sentire.

Metric Design per data scientist e leader aziendali Ripubblicato dalla fonte https://towardsdatascience.com/metric-design-for-data-scientists-and-business-leaders-b8adaf46c00?source=rss—-7f60cf5620c9—4 tramite https:// versodatascience.com/feed

<!–

->