Anomalie-Erkennung: das passende Verfahren finden
Anomalie-Erkennung fragt, welche Fälle aus dem Rahmen fallen, ohne dass vorher jemand sagt, wie eine Anomalie aussieht (ob es Betrugsversuche, ausfallende Maschinen, fehlerhafte Bauteile oder Lieferrouten sind, die nicht ins Muster passen). Anders als bei der Klassifikation gibt es meist keine oder kaum gelabelte Anomalien zum Lernen: Die Verfahren müssen mit dem Normalfall auskommen. Nur gibt es kein bestes Verfahren: Jedes trifft eine eigene Annahme darüber, wie Anomalien aussehen (einzelne Ausreißer, eine dichte Gruppe, ein gebrochenes Zusammenspiel der Merkmale), und wo die Annahme nicht stimmt, liefert es plausibel aussehende, aber falsche Warnungen.
Mit Anomalie-Erkennung bin ich bisher vor allem am Rand in Berührung gekommen, beim Spike-Sorting meiner Dissertation (mehr unter Über mich), wo überlappende oder untypische Signalformen von der Masse getrennt werden mussten. Diese Seite zeigt, welche Annahmen die gängigen Verfahren treffen und wann eines versagt, teils überraschend: Bei zwei der neun Stücke schneidet das untrainierte Netz besser ab als das trainierte. Die neun Demos bilden die Anomalie-Erkennungs-Linie der Reihe Konzepte: Schritt-für-Schritt-Erklärungen an erzeugten Lieferrouten-Kennzahlen, gedacht zum Verstehen, keine Projekte mit Kundendaten.
Hinweis: Alle Demos rechnen mit synthetischen oder frei verfügbaren Beispieldaten und laufen auf einem externen Anbieter (Datenschutz). Bitte geben Sie darin keine vertraulichen oder personenbezogenen Daten ein. Die Ergebnisse gelten für die jeweilige Demo-Instanz und lassen sich nicht ungeprüft auf reale Fälle übertragen; für darauf gestützte Entscheidungen übernehme ich keine Gewähr.
Zuletzt aktualisiert:
Vier Fragen entscheiden über das Verfahren
Wie sehen die Anomalien aus?
Einzelne Ausreißer lassen sich mit der robusten Ellipse, dem Isolation Forest oder ECOD finden, eine dichte Gruppe abseits mit ECOD oder einem LOF mit großem k, ein gebrochenes Zusammenspiel der Merkmale mit der robusten Ellipse, dem LOF oder dem Autoencoder. Eine Lücke zwischen zwei Betriebsarten trägt kein Verfahren sicher.
Ist der Anteil der Anomalien bekannt?
Isolation Forest und die One-Class SVM brauchen ihn für eine nutzbare Schwelle (ν muss größer sein als der tatsächliche Anteil). ECOD und die robuste Ellipse kommen ohne aus, bis zu einer Grenze: Ab 45 % Anomalien versagt auch die robuste Ellipse.
Wie viele unwichtige Merkmale?
LOF und Feature Bagging mit Standard-Teilmengen finden bei 40 Rauschmerkmalen an der Schwelle nichts mehr (Recall 0,00). Die One-Class SVM bleibt mit passendem γ robust (F1 0,92).
Wie viele Fälle liegen vor?
Bei kleinen Stichproben gewinnt der Extended Isolation Forest deutlich (F1 0,97 statt 0,67 bei 30 Fällen), an der Rangfolge selbst ändert sich fast nichts.
Kein Sieger, kein Zusammenfluss
Die robuste Ellipse ist der Ausgangspunkt: Sie nimmt an, dass die normalen Fälle eine einzige Gauß'sche Wolke bilden. Drei unabhängige Äste ersetzen diese Annahme auf verschiedene Weise: der Isolation Forest trennt Anomalien durch zufällige Schnitte ab, der LOF vergleicht lokale Dichte, die One-Class SVM lernt eine nichtlineare Grenze. Jeder hat eine Fortsetzung, die eine gemessene Schwäche behebt: schräge statt achsenparalleler Schnitte, ein Ensemble auf zufälligen Merkmalen, eine gelernte statt einer festen Abbildung. ECOD ist ein Kontrast, kein Fix: kein einziger Parameter, aber blind für das Zusammenspiel der Merkmale. Anders als bei der Clusteranalyse gibt es hier keinen Sieger und keinen Zusammenfluss: Jedes Verfahren hat sein eigenes Einsatzfeld und seine eigene, gemessene Grenze. Der Abhängigkeitsgraph auf der Seite Anomalie-Erkennung der Reihe Konzepte zeigt alle neun Stücke im Zusammenhang.
Wo Training schadet statt hilft
Bei zwei der neun Verfahren, Deep SVDD und dem Autoencoder, schadet das Training: Das untrainierte Zufallsnetz von Deep SVDD erreicht AUC 0,995 und F1 0,90; nach 100 Trainings-Epochen sind es nur noch 0,92 und 0,62, nach 1000 Epochen noch 0,89 (AUC). „Die Kugel verkleinern“ ist nicht dasselbe wie „Anomalien finden“. Nur wo die Abbildung selbst erst gelernt werden muss, etwa bei einem gebrochenen Zusammenspiel der Merkmale, hilft das Training überhaupt.
Der Autoencoder ist außerdem blind für Anomalien, die auf der gelernten Struktur liegen statt sie zu verlassen: In der Ebene der beiden versteckten Faktoren erkennt der Autoencoder Sonderfahrten nur schwach. Dort ist er, in der linearen Variante, genau das Residuum der Hauptkomponentenanalyse, also Zufallsniveau. Wer ein Verfahren einsetzt, sollte also nicht nur wissen, was es findet, sondern auch, was es prinzipiell nicht finden kann.
Wie ich Anomalie-Erkennung angehe
Anomalie-Form klären
Wie könnte eine Anomalie aussehen: ein einzelner Ausreißer, eine dichte Gruppe, ein gebrochenes Zusammenspiel der Merkmale? Und ist der ungefähre Anteil bekannt? Daraus folgt, welche Verfahren überhaupt in Frage kommen.
Verfahren wählen und vergleichen
Mehrere Verfahren im Vergleich zeigen, wie stabil die gefundenen Fälle sind, und an vorhandenen bekannten Fällen lässt sich die Trefferquote wirklich messen statt nur schätzen.
In Überwachung einbinden
Ein Score ist noch keine Entscheidung: Schwelle, Kosten von Fehlalarm gegen übersehenem Fall und die Anbindung an Monitoring oder Alerting entscheiden, ob die Erkennung im Betrieb etwas bringt.
Umgesetzt in Scala oder Python, auf Wunsch als eigener Webservice mit API für Ihre Systeme (mehr unter Leistungen).
Neun Verfahren zum Nachvollziehen
Jede Demo zeigt ein Verfahren an denselben erzeugten Lieferrouten-Kennzahlen und macht seine typische Schwäche live sichtbar. Sie laufen als eigenständige Anwendungen mit erzeugten Beispieldaten.
- Elliptic Envelope — Robuste Kovarianzschätzung (MCD) statt der klassischen, die von Anomalien selbst verdreht wird: findet 97 % statt 43 %. Scheitert bei gekrümmtem Normalbereich und ab 45 % Anomalien. (Demo)
- ECOD — Ohne jeden Parameter: addiert je Merkmal die Tail-Wahrscheinlichkeit. Fast perfekt bei verstreuten Anomalien (AUC 0,99), blind für gebrochene Abhängigkeiten (0,40). (Demo)
- Isolation Forest — Trennt Anomalien durch zufällige Schnitte ab, ohne den Normalfall zu beschreiben. Perfekte Rangfolge (AUC 1,00), fällt aber bei einer dichten Gruppe von 0,95 auf 0,40. (Demo)
- Extended Isolation Forest — Schräge statt achsenparalleler Schnitte: gewinnt bei kleinen Stichproben deutlich (F1 0,97 statt 0,67 bei 30 Fällen), sonst kaum ein Unterschied. (Demo)
- Local Outlier Factor — Vergleicht lokale Dichte mit der Nachbarschaft. Neben der One-Class SVM der einzige Detektor, der eine Lücke zwischen Betriebsarten findet (AUC 0,84 bis 0,86), aber empfindlich auf den Nachbarschaftsparameter k. (Demo)
- Feature Bagging — Ensemble aus LOF-Detektoren auf zufälligen Merkmal-Teilmengen. Hilft bei vielen Rauschmerkmalen nur mit winzigen Teilmengen, dann als Zufallszug (Recall streut mit 0,37). (Demo)
- One-Class SVM — Lernt eine nichtlineare Grenze um die Normalfälle. F1 0,95 bei passendem γ, mit der Voreinstellung nur 0,67, und ν muss größer sein als der tatsächliche Anteil. (Demo)
- Deep SVDD — Gelernte Abbildung statt festem Kernel. Das Training schadet: Das untrainierte Zufallsnetz schlägt das trainierte (AUC 0,995 gegen 0,89 nach 1000 Epochen). (Demo)
- Autoencoder — Der Rekonstruktionsfehler verrät, was die gelernte Struktur verlässt, aber nicht, was auf ihr liegt. Wie bei Deep SVDD schadet auch hier das Training. (Demo)
Anomalie-Erkennung: kurze Antworten
Was ist Anomalie-Erkennung?
Anomalie-Erkennung sucht Fälle, die aus dem Rahmen fallen, ohne dass vorher jemand festlegt, wie eine Anomalie aussieht: Das Modell lernt fast nur den Normalfall, alles, was stark davon abweicht, gilt als auffällig. Was „stark abweichend“ heißt, hängt vom Verfahren ab: ein einzelner Ausreißer, eine dichte Gruppe für sich oder ein gebrochenes Zusammenspiel der Merkmale.
Welches Verfahren ist das beste?
Keines. Jedes Verfahren trifft eine eigene Annahme darüber, wie eine Anomalie aussieht, und liefert bei verletzter Annahme plausibel aussehende, aber falsche Warnungen. Entscheidend ist, die Form der Anomalien, den ungefähren Anteil, die Zahl unwichtiger Merkmale und die Stichprobengröße zu kennen und danach das Verfahren zu wählen.
Woher weiß ich den Anteil der Anomalien vorab?
Meist gar nicht genau. Deshalb kommen die parameterfreie ECOD und die robuste Ellipse ohne feste Vorgabe aus, bis zu einer Grenze von etwa 30 bis 45 % je nach Form. Isolation Forest und One-Class SVM brauchen für eine nutzbare Schwelle einen ungefähren Wert; ein zu niedriger führt bei der SVM sogar zu einer schlechteren Rangfolge, nicht nur zu einer falschen Schwelle.
Wofür braucht man Anomalie-Erkennung?
Zum Beispiel für Betrugs- und Ausreißererkennung, Zustandsüberwachung von Maschinen und Fahrzeugen (Predictive Maintenance), Qualitätssicherung in der Fertigung oder zur Prüfung von Messdaten auf Fehler, bevor sie in eine Planung einfließen.
Wann bringt Trainieren nichts oder schadet sogar?
Bei den beiden lernenden Verfahren dieser Linie, Deep SVDD und dem Autoencoder, schneidet das untrainierte Netz teils besser ab als das trainierte: Deep SVDD erreicht untrainiert AUC 0,995, nach 1000 Epochen noch 0,89. Training hilft nur dort, wo die Abbildung selbst erst gelernt werden muss, etwa bei einem gebrochenen Zusammenspiel der Merkmale, nicht bei einfachen Ausreißern, die schon die Zufallsinitialisierung von den Normalfällen trennt.
Wo kommt Anomalie-Erkennung in der Logistik vor?
In dieser Demolinie an Lieferrouten, deren zwölf Kennzahlen aus dem Muster der übrigen Touren fallen: Sonderfahrten neben den beiden versteckten Faktoren, die die normalen Touren erklären (dieselben wie in der PCA-Demo der Dimensionsreduktions-Linie). Genauso lässt sich das Vorgehen auf Sensordaten von Fahrzeugen oder auf Messwerte in einer Planung übertragen.
Lassen sich die Demos mit meinen Daten nutzen?
Die Demos arbeiten mit erzeugten Beispieldaten und sind zum Verstehen der Verfahren gedacht, nicht als Auswertung Ihrer Daten. Welches Verfahren für Ihre Daten in Frage kommt, lässt sich im kostenlosen Erstgespräch meist schnell einschätzen; die Umsetzung kann als eigene Software oder als Webservice mit API erfolgen.
Das könnte Sie auch interessieren
Tourenplanung optimieren
Nah- und Fernverkehr, Elektro-Lkw und der Anschluss an Netz, Hof und Lager: 7 Demos.
Netzwerkdesign optimieren
Warenflüsse und Linien gestalten: Der Fluss ist einfach, das Design ist schwer.
ÖPNV und Fernverkehr optimieren
Liniennetz, Rufbus, Tarif und Takt im Betrieb: 4 Demos.
Schienenverkehr optimieren
Vom Takt bis zur Zugbildung: 7 Demos, jede mit einem gemessenen Befund.
Packen und Zuschnitt optimieren
Container, Paletten und Rollen: weniger Leerraum und Verschnitt, mit mathematischen Untergrenzen.
Lagerlogistik optimieren
Kommissionierung, Tor-Zuordnung, Umschlagpunkte und Wellenfreigabe als Gesamtsystem: 4 Demos.
Hof- und Yard-Management optimieren
Fahraufträge für Wechselbrücken und Ankunftstermine: Fristen halten, Leerfahrten sparen.
Hafenlogistik optimieren
Die ganze Prozesskette vom Kai bis zum Gate: 11 Demos, jede mit einem gemessenen Befund.
Seefracht optimieren
Die Prozesskette einer Reise vom Buchen bis zur Leercontainer-Rückführung: 7 Demos, jede mit einem gemessenen Befund.
Schichtplanung optimieren
Personalbedarf stundengenau decken, und wann eine einfache Rechnung schon exakt ist.
Clusteranalyse
Punkte ohne Vorgaben gruppieren: welches Verfahren zu Ihren Daten passt, von k-Means bis HDBSCAN.
Bestandsmanagement optimieren
Nachschub, Lieferkette, Losgrößen und Sicherheitsbestand: 2 Demos, dazu vorab gerechnete Anwendungsfälle.
Luftfracht optimieren
ULD-Beladung, Beladeplan, Gefahrgut-Trennung und Buchungsannahme: 4 Demos, jede mit einem gemessenen Befund.
Was in Ihren Daten fällt aus dem Rahmen?
Schildern Sie mir kurz, welche Art von Anomalie Sie interessiert (Betrug, Ausfall, Qualität oder etwas anderes) und ob es schon Beispiele gibt. Welches Verfahren in Frage kommt, lässt sich meist schon im kostenlosen Erstgespräch einschätzen.