← Weitere Blogs

Phishing-Verhalten messen und vergleichen

Um das Verhalten bei Phishing zu messen, kombinieren Sie die Melderate, die Klickrate und die Zeit bis zur Meldung über vergleichbare Simulationen hinweg. Legen Sie für jeden Indikator fest, welche Personen oder Nachrichten einbezogen werden und wie lange die Reaktion beobachtet wird. Eine Verbesserung in einer Simulation zeigt eine Veränderung in diesem Test, nicht vermiedene reale Vorfälle. Die Formeln in diesem Leitfaden sind ein Messvorschlag für Sicherheitsteams und keine Beschreibung der Berechnungen einer bestimmten Plattform. Die Daten in den Beispielen sind hypothetisch.
Human risk management
Phishing

Die Zustellung bestimmt den Nenner aller Quoten

Unterscheiden Sie vor der Auswertung zwischen vorgesehenen Empfängern und Empfängern mit bestätigter Zustellung. Eine blockierte oder zurückgewiesene Nachricht bietet nicht dieselbe Chance zu reagieren wie eine zugestellte. Eine bestätigte Zustellung bedeutet außerdem nicht, dass die Person die Nachricht gelesen hat.

In diesem Leitfaden versendet jede Kampagne höchstens eine simulierte Nachricht pro Empfänger, und der Nenner ist die Zahl der eindeutigen Empfänger mit bestätigter Zustellung. Wenn eine Kampagne mehrere Nachrichten pro Person versendet, entscheiden Sie vorab, ob Sie Personen oder Nachrichten messen, und verwenden Sie in Zähler und Nenner dieselbe Einheit. Addieren Sie wiederholte Interaktionen nicht, als wären es verschiedene Personen.

Zustellrate (%) = eindeutige Empfänger mit bestätigter Zustellung ÷ eindeutige vorgesehene Empfänger × 100

Wenn 500 Empfänger geplant sind und die Zustellung bei 400 bestätigt wird, beträgt die Zustellrate 80%. Die Klick- und Melderaten in diesem Beispiel werden auf Basis dieser 400 Empfänger berechnet, nicht der 500 geplanten.

Dokumentieren Sie, wie die Zustellung bestätigt wird, was mit unbekannten Zustellungen geschieht und welche Ereignisse Sie ausschließen. Behandeln Sie eine unbestätigte Zustellung weder als fehlgeschlagene Zustellung noch als beobachtete Gelegenheit.

Die Melderate misst die Nutzung des Meldewegs

Melderate (%) = eindeutige Empfänger, die die Simulation innerhalb des Beobachtungszeitraums gemeldet haben ÷ eindeutige Empfänger mit bestätigter Zustellung × 100

Wenn 80 der 400 Empfänger die Nachricht innerhalb des festgelegten Zeitraums melden, beträgt die Quote 20%. Zählen Sie jede Person nur einmal, auch wenn sie mehrere Meldungen sendet. Der Zähler muss zur selben Gruppe gehören wie der Nenner.

Legen Sie fest, welche Kanäle zählen, wie eine Meldung der Kampagne zugeordnet wird und wann der Zeitraum endet. Wenn das Protokoll nur den Meldebutton erfasst, kann eine Meldung per Telefon oder Chat unberücksichtigt bleiben. Eine niedrige Quote kann auf Schwierigkeiten beim Erkennen der Simulation, einen wenig bekannten Meldeweg oder eine unvollständige Erfassung zurückgehen.

Das britische NCSC empfiehlt, nicht nur die Klicks, sondern auch die Zahl der Meldenden zu erfassen, damit Melden als Erfolg gilt (NCSC, überarbeitet im Februar 2024). Wie wir in unserer Analyse zu Phishing-Awareness-Trainings und Meldewegen erklären, sind Melderate und Zeit bis zur Meldung operative Kennzahlen. Wir lesen sie gemeinsam mit der Zustellung und den übrigen Kampagnenergebnissen.

Die Klickrate erfasst nicht die gesamte Reaktion

Klickrate (%) = eindeutige Empfänger mit mindestens einem erfassten Klick innerhalb des Beobachtungszeitraums ÷ eindeutige Empfänger mit bestätigter Zustellung × 100

Wenn 60 der 400 Empfänger klicken, beträgt die Quote 15%, und eine Person, die zweimal klickt, zählt einmal. Legen Sie fest, was als Klick gilt und wie Sie automatische Klicks von Sicherheitswerkzeugen nach Möglichkeit ausschließen. Technische Protokolle erlauben es nicht immer, sie sicher zu unterscheiden.

Melden und Klicken schließen sich nicht aus. Eine Person kann klicken und danach melden, also addieren Sie beide Quoten nicht, als beschrieben sie getrennte Gruppen. Wenn Sie die Reihenfolge der Handlungen kennen müssen, definieren Sie sie und prüfen Sie, ob das Protokoll sie nachvollziehbar abbildet.

Die Zeit bis zur Meldung braucht einen Startpunkt

Berechnen Sie für jeden Empfänger, der innerhalb des Zeitraums meldet, die Zeit zwischen der bestätigten Zustellung seiner Nachricht und seiner ersten erfassten Meldung. Fassen Sie die Zeiten anschließend mit dem Median zusammen, dem mittleren Wert der sortierten Dauern.

Wenn zum Beispiel fünf Personen 2, 5, 8, 30 und 60 Minuten nach der Zustellung melden, liegt der Median bei 8 Minuten. Ergänzen Sie die Zahl der gültigen Meldungen und die Länge des Zeitraums. Gibt es keine Meldungen, schreiben Sie „keine Daten“ statt null.

Der Median beschreibt nur diejenigen, die gemeldet haben und deren Zeiten sich der Zustellung zuordnen ließen. Ein kürzerer Median bedeutet nicht automatisch eine bessere Gesamtreaktion, wenn sich die Melderate oder die Abdeckung der Protokolle geändert hat. Wenn Sie nur die Sendezeit kennen, geben Sie sie nicht als Zustellzeit aus.

Kampagnen unter bekannten Bedingungen vergleichen

Halten Sie vor der Interpretation einer Veränderung Kanal, Empfänger, Ausschlüsse, Zustellrate, Szenario, Schwierigkeitsgrad, Laufzeit und Beobachtungszeitraum fest. Prüfen Sie auch, ob sich der Meldeprozess, die Sicherheitswerkzeuge oder die Art der Protokollierung geändert haben.

Im folgenden hypothetischen Beispiel erreicht Kampagne A eine Melderate von 20% und eine Klickrate von 15%. Kampagne B erreicht 24% und 10%.

Hypothetisches Beispiel Kampagne A Kampagne B
Vorgesehene Empfänger 500 500
Bestätigte Zustellungen 400 450
Zustellrate 80% 90%
Personen, die gemeldet haben 80 108
Melderate bezogen auf Zugestellte 20% 24%
Personen, die geklickt haben 60 45
Klickrate bezogen auf Zugestellte 15% 10%

In diesem Beispiel steigt die Melderate um 4 Prozentpunkte, die Klickrate sinkt um 5, und die Zustellung steigt von 80% auf 90%. Diese Unterschiede beschreiben das Erfasste, belegen aber nicht, dass eine Maßnahme die Verbesserung verursacht hat. Es können sich die Personen, der Schwierigkeitsgrad der Nachricht, der Zeitpunkt oder das Erfassungssystem geändert haben.

Für eine bessere Einordnung des Trends:

  1. Halten Sie Definitionen und Zeiträume konstant. Wenn sie sich ändern, dokumentieren Sie die Änderung und vermeiden Sie es, die Quoten als direkt gleichwertig darzustellen.
  2. Beschreiben Sie die Gruppe. Dieselbe Kohorte erleichtert den Vergleich, doch Abwesenheiten, Neueintritte und unterschiedliche Zustellungen spielen weiterhin eine Rolle.
  3. Erfassen Sie den Schwierigkeitsgrad. Notieren Sie Sprache, Thema, Verdachtsmerkmale, Dringlichkeit und Kanal. Klassifizieren Sie die Szenarien nach vorab vereinbarten Kriterien, bevor Sie Ergebnisse interpretieren.
  4. Zeigen Sie absolute Zahlen zusätzlich zu Prozentwerten. Bei kleinen Stichproben verschieben wenige Ereignisse die Quote stark. Vermeiden Sie feste Schlüsse aus einer einzelnen Kampagne.
  5. Nutzen Sie nach Möglichkeit Vergleichsgruppen und Zufallszuteilung. Halten Sie die Bedingungen möglichst ähnlich und prüfen Sie das Design, bevor Sie einen Unterschied der Schulung zuschreiben. Ein Vorher-nachher-Vergleich allein begründet keine Kausalität.

Ergebnisse nutzen, um Prozesse zu verbessern, nicht um Personen zu etikettieren

Aggregierte Ergebnisse können eine Überprüfung des Meldewegs, der Schulungsinhalte oder der Szenarien anstoßen. Prüfen Sie vor einer Aufschlüsselung nach Team oder Funktion, dass die Gruppen groß genug sind, um das Identifikationsrisiko zu senken, und dass die vorgesehene Nutzung zulässig ist. Aggregation allein garantiert keine Anonymität.

Vermeiden Sie es, einen einzelnen Klick zu einem dauerhaften Etikett zu machen oder die Simulation als Strafe zu nutzen, und legen Sie fest, wer auf identifizierbare Daten zugreifen darf, wie lange und zu welchem Zweck. Beziehen Sie Datenschutz, Rechtsabteilung und Personalabteilung ein, bevor Sie personenbezogene Aufschlüsselungen einführen.

Das NIST hat im September 2024 seinen Leitfaden für Lernprogramme zu Cybersicherheit und Datenschutz veröffentlicht (NIST SP 800-50 Rev. 1, September 2024). Er schlägt vor, das Programm anhand von Kennzahlen zu bewerten und zu verbessern, in einem Ansatz, der Verhaltensänderung sowie eine Sicherheits- und Datenschutzkultur fördert. Die operativen Definitionen auf dieser Seite sind ein praktischer Vorschlag, keine vom NIST vorgeschriebenen Formeln.

Was Simulationen aussagen können und was nicht

Simulationen zeigen Reaktionen, die in simulierten Szenarien und unter den Bedingungen der Kampagne beobachtet wurden. Ein Rückgang der Klicks oder ein Anstieg der Meldungen hilft dabei, zu untersuchen, was sich geändert hat, und zu entscheiden, was als Nächstes getestet wird. Er belegt nicht für sich allein, dass reale Angriffe vermieden, Sicherheitsverletzungen verringert oder eine Verbesserung durch eine bestimmte Maßnahme verursacht wurden.

Die ökonomische Messung wirft eine andere Frage auf, nämlich wie sich die Investition in ein Programm bewerten lässt, was unser Leitfaden zum ROI von Security-Awareness-Programmen behandelt. Um anhand dieser Kennzahlen zu entscheiden, welche Unterstützung sinnvoll ist, nutzen Sie die Signalmatrix zur Priorisierung von Schulungen. Um sie mit realen Erkennungsdaten zu verbinden, lesen Sie den Leitfaden zum Zyklus aus Erkennung und Schulung.

So bewerten Sie eine Messplattform

Fordern Sie bei der Bewertung einer Plattform eine Demo mit einer Testkampagne an. Prüfen Sie, wie sie Zustellung und Meldung definiert, welchen Nenner sie verwendet und wer auf identifizierbare Daten zugreifen kann.

Bei Zepo verbinden wir Bedrohungserkennung, Simulationen und adaptive Schulung. Die Definitionen in diesem Leitfaden sind ein allgemeiner Vorschlag, und die Kennzahlen und Nenner in Dashboards können je nach Produkt und Konfiguration abweichen.

Häufige Fragen

Wie berechnet man die Phishing-Melderate?In diesem Leitfaden teilt man die eindeutigen Empfänger, die innerhalb des Beobachtungszeitraums gemeldet haben, durch die eindeutigen Empfänger mit bestätigter Zustellung und multipliziert mit 100. Jede Person zählt einmal.

Welchen Nenner sollte man verwenden?Um Reaktionen pro Person zu vergleichen, schlagen wir vor, die eindeutigen Empfänger mit bestätigter Zustellung zu verwenden und im Zähler nur Personen aus derselben Gruppe zu zählen. Wenn Sie Nachrichten statt Personen messen, müssen beide Teile der Formel Nachrichten verwenden. Dokumentieren Sie die unbestätigten Zustellungen.

Was zeigt die Zeit bis zur Meldung?Sie zeigt, wie viel Zeit zwischen der bestätigten Zustellung und der ersten erfassten Meldung einer Person verging. Der Median fasst die Zeiten derjenigen zusammen, die gemeldet haben, nicht die der gesamten Gruppe.

Belegen Simulationen, dass reale Angriffe vermieden wurden?Nein. Simulationen zeigen Reaktionen auf simulierte Szenarien. Um reale Vorfälle zu bewerten oder Veränderungen einer Maßnahme zuzuschreiben, braucht es weitere Belege und ein geeignetes Design.

Autor:
Zepo Intelligence
Newsletter abonnieren
Blog-Inhalt:
Jetzt handeln bevor es Angreifer tun
Vereinen Sie Deepfake-Simulationen, personalisierte Schulungen und Risikoanalysen auf einer einzigen Plattform, die messbare Sicherheit schafft.
Mit einem Experten sprechen

Wie Zepo Unternehmen unterstützt

Wenn alles vernetzt ist, folgen die Ergebnisse

Paula Pereira

Manager für digitale Informationssicherheit

“Ich würde Zepo jederzeit an Kollegen in anderen Unternehmen weiterempfehlen, da das Tool all unsere Anforderungen erfüllt. Wir konnten damit drei Kampagnentypen umsetzen, an denen andere Lösungen, die wir zuvor getestet haben, gescheitert sind. Und über das Produkt hinaus hat uns der Support des gesamten Teams dabei geholfen, das Beste aus der Plattform herauszuholen.”

+9K

Mitarbeiterschutz

–10%

Klickrate bei Angriffen

+18%

Abschlussquote der Schulung

Ramon Fernandez Blanco

Cybersecurity & Digital Product Manager

“Seit der Einführung von Zepo ist das Sicherheitsbewusstsein unserer Mitarbeiter deutlich gestiegen. Das Thema Cybersicherheit und Phishing-Kampagnen wird nun aktiv im Team diskutiert, und verdächtige E-Mails werden umgehend gemeldet, anstatt sie zu ignorieren.”

+600

Mitarbeiterschutz

–15%

Anmeldedaten übermittelt

+26%

Abschlussquote der Schulung

Jonathan Nelson

Leiter Risikointelligenz

“Die Vision von Zepo für eine echtzeitbasierte, hyper-personalisierte und plattformübergreifende Cybersicherheitslösung ist absolut einzigartig und hebt sich deutlich vom Wettbewerb ab.”

+100

Mitarbeiterschutz

Handeln Sie klüger Bevor Angreifer zuschlagen.