Die Zustellung bestimmt den Nenner aller Quoten
Unterscheiden Sie vor der Auswertung zwischen vorgesehenen Empfängern und Empfängern mit bestätigter Zustellung. Eine blockierte oder zurückgewiesene Nachricht bietet nicht dieselbe Chance zu reagieren wie eine zugestellte. Eine bestätigte Zustellung bedeutet außerdem nicht, dass die Person die Nachricht gelesen hat.
In diesem Leitfaden versendet jede Kampagne höchstens eine simulierte Nachricht pro Empfänger, und der Nenner ist die Zahl der eindeutigen Empfänger mit bestätigter Zustellung. Wenn eine Kampagne mehrere Nachrichten pro Person versendet, entscheiden Sie vorab, ob Sie Personen oder Nachrichten messen, und verwenden Sie in Zähler und Nenner dieselbe Einheit. Addieren Sie wiederholte Interaktionen nicht, als wären es verschiedene Personen.
Zustellrate (%) = eindeutige Empfänger mit bestätigter Zustellung ÷ eindeutige vorgesehene Empfänger × 100
Wenn 500 Empfänger geplant sind und die Zustellung bei 400 bestätigt wird, beträgt die Zustellrate 80%. Die Klick- und Melderaten in diesem Beispiel werden auf Basis dieser 400 Empfänger berechnet, nicht der 500 geplanten.
Dokumentieren Sie, wie die Zustellung bestätigt wird, was mit unbekannten Zustellungen geschieht und welche Ereignisse Sie ausschließen. Behandeln Sie eine unbestätigte Zustellung weder als fehlgeschlagene Zustellung noch als beobachtete Gelegenheit.
Die Melderate misst die Nutzung des Meldewegs
Melderate (%) = eindeutige Empfänger, die die Simulation innerhalb des Beobachtungszeitraums gemeldet haben ÷ eindeutige Empfänger mit bestätigter Zustellung × 100
Wenn 80 der 400 Empfänger die Nachricht innerhalb des festgelegten Zeitraums melden, beträgt die Quote 20%. Zählen Sie jede Person nur einmal, auch wenn sie mehrere Meldungen sendet. Der Zähler muss zur selben Gruppe gehören wie der Nenner.
Legen Sie fest, welche Kanäle zählen, wie eine Meldung der Kampagne zugeordnet wird und wann der Zeitraum endet. Wenn das Protokoll nur den Meldebutton erfasst, kann eine Meldung per Telefon oder Chat unberücksichtigt bleiben. Eine niedrige Quote kann auf Schwierigkeiten beim Erkennen der Simulation, einen wenig bekannten Meldeweg oder eine unvollständige Erfassung zurückgehen.
Das britische NCSC empfiehlt, nicht nur die Klicks, sondern auch die Zahl der Meldenden zu erfassen, damit Melden als Erfolg gilt (NCSC, überarbeitet im Februar 2024). Wie wir in unserer Analyse zu Phishing-Awareness-Trainings und Meldewegen erklären, sind Melderate und Zeit bis zur Meldung operative Kennzahlen. Wir lesen sie gemeinsam mit der Zustellung und den übrigen Kampagnenergebnissen.
Die Klickrate erfasst nicht die gesamte Reaktion
Klickrate (%) = eindeutige Empfänger mit mindestens einem erfassten Klick innerhalb des Beobachtungszeitraums ÷ eindeutige Empfänger mit bestätigter Zustellung × 100
Wenn 60 der 400 Empfänger klicken, beträgt die Quote 15%, und eine Person, die zweimal klickt, zählt einmal. Legen Sie fest, was als Klick gilt und wie Sie automatische Klicks von Sicherheitswerkzeugen nach Möglichkeit ausschließen. Technische Protokolle erlauben es nicht immer, sie sicher zu unterscheiden.
Melden und Klicken schließen sich nicht aus. Eine Person kann klicken und danach melden, also addieren Sie beide Quoten nicht, als beschrieben sie getrennte Gruppen. Wenn Sie die Reihenfolge der Handlungen kennen müssen, definieren Sie sie und prüfen Sie, ob das Protokoll sie nachvollziehbar abbildet.
Die Zeit bis zur Meldung braucht einen Startpunkt
Berechnen Sie für jeden Empfänger, der innerhalb des Zeitraums meldet, die Zeit zwischen der bestätigten Zustellung seiner Nachricht und seiner ersten erfassten Meldung. Fassen Sie die Zeiten anschließend mit dem Median zusammen, dem mittleren Wert der sortierten Dauern.
Wenn zum Beispiel fünf Personen 2, 5, 8, 30 und 60 Minuten nach der Zustellung melden, liegt der Median bei 8 Minuten. Ergänzen Sie die Zahl der gültigen Meldungen und die Länge des Zeitraums. Gibt es keine Meldungen, schreiben Sie „keine Daten“ statt null.
Der Median beschreibt nur diejenigen, die gemeldet haben und deren Zeiten sich der Zustellung zuordnen ließen. Ein kürzerer Median bedeutet nicht automatisch eine bessere Gesamtreaktion, wenn sich die Melderate oder die Abdeckung der Protokolle geändert hat. Wenn Sie nur die Sendezeit kennen, geben Sie sie nicht als Zustellzeit aus.
Kampagnen unter bekannten Bedingungen vergleichen
Halten Sie vor der Interpretation einer Veränderung Kanal, Empfänger, Ausschlüsse, Zustellrate, Szenario, Schwierigkeitsgrad, Laufzeit und Beobachtungszeitraum fest. Prüfen Sie auch, ob sich der Meldeprozess, die Sicherheitswerkzeuge oder die Art der Protokollierung geändert haben.
Im folgenden hypothetischen Beispiel erreicht Kampagne A eine Melderate von 20% und eine Klickrate von 15%. Kampagne B erreicht 24% und 10%.
In diesem Beispiel steigt die Melderate um 4 Prozentpunkte, die Klickrate sinkt um 5, und die Zustellung steigt von 80% auf 90%. Diese Unterschiede beschreiben das Erfasste, belegen aber nicht, dass eine Maßnahme die Verbesserung verursacht hat. Es können sich die Personen, der Schwierigkeitsgrad der Nachricht, der Zeitpunkt oder das Erfassungssystem geändert haben.
Für eine bessere Einordnung des Trends:
- Halten Sie Definitionen und Zeiträume konstant. Wenn sie sich ändern, dokumentieren Sie die Änderung und vermeiden Sie es, die Quoten als direkt gleichwertig darzustellen.
- Beschreiben Sie die Gruppe. Dieselbe Kohorte erleichtert den Vergleich, doch Abwesenheiten, Neueintritte und unterschiedliche Zustellungen spielen weiterhin eine Rolle.
- Erfassen Sie den Schwierigkeitsgrad. Notieren Sie Sprache, Thema, Verdachtsmerkmale, Dringlichkeit und Kanal. Klassifizieren Sie die Szenarien nach vorab vereinbarten Kriterien, bevor Sie Ergebnisse interpretieren.
- Zeigen Sie absolute Zahlen zusätzlich zu Prozentwerten. Bei kleinen Stichproben verschieben wenige Ereignisse die Quote stark. Vermeiden Sie feste Schlüsse aus einer einzelnen Kampagne.
- Nutzen Sie nach Möglichkeit Vergleichsgruppen und Zufallszuteilung. Halten Sie die Bedingungen möglichst ähnlich und prüfen Sie das Design, bevor Sie einen Unterschied der Schulung zuschreiben. Ein Vorher-nachher-Vergleich allein begründet keine Kausalität.
Ergebnisse nutzen, um Prozesse zu verbessern, nicht um Personen zu etikettieren
Aggregierte Ergebnisse können eine Überprüfung des Meldewegs, der Schulungsinhalte oder der Szenarien anstoßen. Prüfen Sie vor einer Aufschlüsselung nach Team oder Funktion, dass die Gruppen groß genug sind, um das Identifikationsrisiko zu senken, und dass die vorgesehene Nutzung zulässig ist. Aggregation allein garantiert keine Anonymität.
Vermeiden Sie es, einen einzelnen Klick zu einem dauerhaften Etikett zu machen oder die Simulation als Strafe zu nutzen, und legen Sie fest, wer auf identifizierbare Daten zugreifen darf, wie lange und zu welchem Zweck. Beziehen Sie Datenschutz, Rechtsabteilung und Personalabteilung ein, bevor Sie personenbezogene Aufschlüsselungen einführen.
Das NIST hat im September 2024 seinen Leitfaden für Lernprogramme zu Cybersicherheit und Datenschutz veröffentlicht (NIST SP 800-50 Rev. 1, September 2024). Er schlägt vor, das Programm anhand von Kennzahlen zu bewerten und zu verbessern, in einem Ansatz, der Verhaltensänderung sowie eine Sicherheits- und Datenschutzkultur fördert. Die operativen Definitionen auf dieser Seite sind ein praktischer Vorschlag, keine vom NIST vorgeschriebenen Formeln.
Was Simulationen aussagen können und was nicht
Simulationen zeigen Reaktionen, die in simulierten Szenarien und unter den Bedingungen der Kampagne beobachtet wurden. Ein Rückgang der Klicks oder ein Anstieg der Meldungen hilft dabei, zu untersuchen, was sich geändert hat, und zu entscheiden, was als Nächstes getestet wird. Er belegt nicht für sich allein, dass reale Angriffe vermieden, Sicherheitsverletzungen verringert oder eine Verbesserung durch eine bestimmte Maßnahme verursacht wurden.
Die ökonomische Messung wirft eine andere Frage auf, nämlich wie sich die Investition in ein Programm bewerten lässt, was unser Leitfaden zum ROI von Security-Awareness-Programmen behandelt. Um anhand dieser Kennzahlen zu entscheiden, welche Unterstützung sinnvoll ist, nutzen Sie die Signalmatrix zur Priorisierung von Schulungen. Um sie mit realen Erkennungsdaten zu verbinden, lesen Sie den Leitfaden zum Zyklus aus Erkennung und Schulung.
So bewerten Sie eine Messplattform
Fordern Sie bei der Bewertung einer Plattform eine Demo mit einer Testkampagne an. Prüfen Sie, wie sie Zustellung und Meldung definiert, welchen Nenner sie verwendet und wer auf identifizierbare Daten zugreifen kann.
Bei Zepo verbinden wir Bedrohungserkennung, Simulationen und adaptive Schulung. Die Definitionen in diesem Leitfaden sind ein allgemeiner Vorschlag, und die Kennzahlen und Nenner in Dashboards können je nach Produkt und Konfiguration abweichen.
Häufige Fragen
Wie berechnet man die Phishing-Melderate?In diesem Leitfaden teilt man die eindeutigen Empfänger, die innerhalb des Beobachtungszeitraums gemeldet haben, durch die eindeutigen Empfänger mit bestätigter Zustellung und multipliziert mit 100. Jede Person zählt einmal.
Welchen Nenner sollte man verwenden?Um Reaktionen pro Person zu vergleichen, schlagen wir vor, die eindeutigen Empfänger mit bestätigter Zustellung zu verwenden und im Zähler nur Personen aus derselben Gruppe zu zählen. Wenn Sie Nachrichten statt Personen messen, müssen beide Teile der Formel Nachrichten verwenden. Dokumentieren Sie die unbestätigten Zustellungen.
Was zeigt die Zeit bis zur Meldung?Sie zeigt, wie viel Zeit zwischen der bestätigten Zustellung und der ersten erfassten Meldung einer Person verging. Der Median fasst die Zeiten derjenigen zusammen, die gemeldet haben, nicht die der gesamten Gruppe.
Belegen Simulationen, dass reale Angriffe vermieden wurden?Nein. Simulationen zeigen Reaktionen auf simulierte Szenarien. Um reale Vorfälle zu bewerten oder Veränderungen einer Maßnahme zuzuschreiben, braucht es weitere Belege und ein geeignetes Design.