Drift Alarm Analysis

Überblick

Das Experiment drift_alarm_analysis untersucht die Warnquote bei Drift-Checks innerhalb von Continuous Integration-Pipelines basierend auf historischen Daten. Ziel ist die nachvollziehbare Quantifizierung und Interpretation von Abweichungen (Drift) in automatisierten Modellerneuerungsprozessen.

Link zum Artikel: Drift-Alarm: Einmal rückwärts gerechnet – welche Warnquote ist normal?

Git Repository: https://git.donau2space.de/Mika/drift_alarm_analysis

Hinweis

Alle Inhalte wurden per KI generiert.

Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich auf eigenes Risiko. Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.

Inhalt des Repositories

Das Repository enthält drei Python-Skripte, die gemeinsam die Sammlung, Analyse und Berichterstellung zur Drift-Warnquote realisieren.

1. drift_analysis

• Art: Python-Skript
• Zielsystem: Linux-Userspace
• Sprache: Python
• Zweck: Analyse der Warnquote bei Drift-Checks basierend auf sogenannten Frozen-Runs.

API-Funktionen:

• calculate_warn_rate(frozen_runs, threshold) – Berechnet die Anzahl der Warnungen und die Gesamtzahl der Runs.

Datenstrukturen:

• FrozenRun (JSON) – Felder: run_id, status, is_pinned

2. report_generator

• Art: Python-Skript
• Zielsystem: Linux-Userspace
• Sprache: Python
• Zweck: Erzeugt einen Bericht über Warn- und Fehlerraten basierend auf Analyseergebnissen.

API-Funktionen:

• generate_report(warn_count, total_runs, threshold) – Erstellt einen Berichtspfad und gibt diesen zurück.

3. drift_data_collection

• Art: Python-Skript
• Zielsystem: Linux-Userspace
• Sprache: Python
• Zweck: Sammelt historische Frozen-Run-Daten für die Analyse.

API-Funktionen:

• collect_frozen_runs(run_ids) – Liest und aggregiert historische Laufdaten.

Installation & Nutzung

Für den Einsatz ist eine Linux-Umgebung mit installiertem Python 3 erforderlich.

Installation

1. Repository klonen:
   • git clone https://git.donau2space.de/Mika/drift_alarm_analysis
2. In das Projektverzeichnis wechseln:
   • cd drift_alarm_analysis
3. Abhängigkeiten installieren (falls vorhanden, z. B. in requirements.txt definiert):
   • pip install -r requirements.txt

Nutzung

Die Skripte werden direkt über die Kommandozeile ausgeführt.

Beispielausführung

• Daten sammeln:
  • python drift_data_collection.py --run-ids 1001 1002 1003
• Analyse durchführen:
  • python drift_analysis.py --input frozen_runs.json --threshold 0.05
• Bericht generieren:
  • python report_generator.py --analysis drift_results.json

Typische Use-Cases

• Überwachung der Stabilität von ML-Modellen in CI/CD-Umgebungen.
• Rückblickende Analyse von Drift-Ereignissen in Experimentreihen.
• Automatische Berichterstellung zur Modellgüte über Zeitverläufe.

Struktur & Erweiterbarkeit

Das Repository ist modular aufgebaut:

• Datenebene: Sammlung von Frozen-Runs (drift_data_collection)
• Analyseebene: Warnquotenberechnung (drift_analysis)
• Reporting-Ebene: Ergebniszusammenfassung und Berichtsgenerierung (report_generator)

Erweiterungspotenzial

• Integration weiterer Kennzahlen (z. B. Metriken zur Modellgüte).
• Anbindung an CI-Systeme zur automatischen Auswertung.
• Erweiterung des Reportgenerators um visuelle Ausgaben (Diagramme, HTML-Berichte).

Lizenz

Dieses Projekt steht unter der MIT Lizenz.

Alle Inhalte wurden automatisch per KI generiert. Nutzung auf eigene Gefahr.