Varför genomsnittlig tid att reparera är inte alltid ett användbart säkerhetsmått

Säkerhetsteam har traditionellt använt genomsnittlig tid att reparera (MTTR) som ett sätt att mäta hur effektivt de hanterar säkerhetsincidenter. Men variationer i incidentens svårighetsgrad, teamflexibilitet och systemkomplexitet kan göra det säkerhetsmåttet mindre användbart, säger Courtney Nash, ledande forskningsanalytiker på Verica och huvudförfattare till Öppna Incident Database (VOID) rapport.

MTTR har sitt ursprung i tillverkande organisationer och var ett mått på den genomsnittliga tid som krävs för att reparera en felaktig fysisk komponent eller enhet. Dessa enheter hade enklare, förutsägbara operationer med slitage som lämpade sig för rimligt standardiserade och konsekventa uppskattningar av MTTR. Med tiden har användningen av MTTR utökats till mjukvarusystem, och mjukvaruföretag började använda det som en indikator på systemets tillförlitlighet och teamets smidighet eller effektivitet.

Tyvärr, säger Nash, innebär dess variation att MTTR antingen kan leda till falskt förtroende eller orsaka onödig oro.

"Det är inte ett lämpligt mått för komplexa programvarusystem, delvis på grund av den skeva fördelningen av varaktighetsdata och för att fel i sådana system inte kommer enhetligt över tiden", säger Nash. "Varje fel är i sig olika, till skillnad från problem med fysiska tillverkningsenheter."

Flytta bort från MTTR

"[MTTR] berättar lite om hur en incident egentligen är för organisationen, som kan variera kraftigt vad gäller antalet personer och team som är involverade, stressnivån, vad som behövs tekniskt och organisatoriskt för att fixa det, och vad laget lärde sig som ett resultat, säger Nash.

MTTR faller offer för förenklingen av incidenter eftersom den beräknar ett medelvärde — medeltiden, säger Nora Jones, VD och medgrundare av Jeli. Att helt enkelt mäta detta enstaka genomsnitt av rapporterade tider (och dessa rapporterade tider har också visat sig inte vara tillförlitliga i första hand) hindrar organisationer från att se och ta itu med vad som händer inom infrastrukturen, vad som bidrar till den återkommande incidenten och hur människor är reagera på incidenter.

"Incidenter kommer i alla former och storlekar – du kommer att se att de sträcker sig över hela intervallet när det gäller svårighetsgrad, påverkan på kunder och upplösningskomplexitet, allt inom en organisation", förklarar Jones. "Du måste verkligen titta på människorna och verktygen tillsammans och ta ett kvalitativt förhållningssätt till incidentanalys."

Men Nash säger att det inte är ett övernattningsskift att flytta bort från MTTR – det är inte så enkelt som att bara byta ut ett mått mot ett annat.

"I slutändan handlar det om att vara ärlig om de bidragande faktorerna och vilken roll människor spelar för att komma på lösningar", säger hon. "Det låter enkelt, men det tar tid, och det här är de konkreta aktiviteterna som kommer att bygga bättre mätvärden."

Bredda användningen av mått

säger Nash analysera och lära av incidenter är den idealiska vägen för att hitta mer insiktsfulla data och mätvärden. Ett team kan samla in saker som antalet personer som är involverade praktiskt i en incident; hur många unika team var inblandade; vilka verktyg människor använde; hur många chattkanaler det fanns; och om det inträffade samtidiga incidenter.

Som en organisation blir bättre på att bedriva incidentrecensioner och lär sig av dem kommer det att börja se dragkraft i saker som antalet personer som deltar i granskningsmöten efter incidenten, ökad läsning och delning av rapporter efter incidenten och att använda dessa rapporter i saker som kodgranskning, utbildning och onboarding.

David Severski, senior säkerhetsdataforskare vid Cyentia Institute, säger när Cyentia arbetade med Verizon DBIR, skapade och släppte Cyentia Vocabulary for Event Reporting and Incident Sharing för att utöka de typer av mätvärden som används för att mäta en incident.

"Den definierar datapunkter som vi tycker är viktiga att samla in om säkerhetsincidenter", säger han. "Vi använder fortfarande denna grundläggande mall i Cyentia-forskningen med vissa uppdateringar, till exempel identifiera ATT&CK TTP:er som används."

Mätvärdena för att mäta en incident är inte en enda storlek för alla organisationers storlekar och typer. "Team förstår var de är idag, bedömer var deras prioriteringar ligger inom deras nuvarande begränsningar och förstår att deras fokusmått till och med kan utvecklas över tiden när deras organisation utvecklas och skalas", säger Jones.

Dessutom handlar det om att flytta fokus till lärande och sedan kontinuerligt förbättra baserat på dessa lärdomar, till exempel att övergå till att bedöma trender och om saker trendar i rätt riktning över tid, i motsats till mätvärden för en enda punkt i tid.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. Tillgång här.
• Källa: https://www.darkreading.com/edge-articles/why-mean-time-to-repair-no-longer-serves-as-a-useful-security-metric