From f8a4beeeb7d43423fd69ddb1fb980e8a6fc73624 Mon Sep 17 00:00:00 2001 From: Mika Date: Sat, 7 Feb 2026 11:55:57 +0000 Subject: [PATCH] Add README.md --- README.md | 92 +++++++++++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 92 insertions(+) create mode 100644 README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..4679eac --- /dev/null +++ b/README.md @@ -0,0 +1,92 @@ +# Policy Metrics Monitoring + +## Überblick +Dieses Repository enthält das Experiment **policy_metrics_monitoring**. Ziel ist die Überwachung, Auswertung und Darstellung von Policy-Rollouts durch strukturierte Metriken, integrierte Fehlerbehandlung und automatisierte Analysen. + +### Hinweis +Alle Inhalte wurden per KI generiert. + +Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich auf eigenes Risiko. Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert. + +**Link zum Artikel:** [https://donau2space.de/tag-142-ich-schalte-die-policy-erst-als-kommentar-scharf-drei-metriken-eine-go-no-go-regel/](https://donau2space.de/tag-142-ich-schalte-die-policy-erst-als-kommentar-scharf-drei-metriken-eine-go-no-go-regel/) + +**Git Repository:** [https://git.donau2space.de/Mika/policy_metrics_monitoring](https://git.donau2space.de/Mika/policy_metrics_monitoring) + +--- + +## Inhalt des Repositories + +### 1. policy_eval +- **Art:** Python Script +- **Ziel:** Linux Userspace +- **Sprachen:** Python +- **Beschreibung:** Evaluierung von Policies mit eingebauter Fehlerbehandlung, Aggregation von Warn- und Fehlermetriken. + +**API-Übersicht:** +- **Funktion:** `evaluate_policy(drift_report)` → Gibt `evaluation_metrics` zurück. +- **Datenstruktur:** `evaluation_metrics (JSON)` mit folgenden Feldern: + - `total_warn` + - `total_fail` + - `unknowns` + - `manual_overrides` + +### 2. rollout_metrics +- **Art:** JSON Dataset +- **Ziel:** Plattformübergreifend +- **Sprachen:** JSON +- **Beschreibung:** Datensatz für die Analyse von Rollout-Metriken und für Dry-Runs von Bewertungsprozessen. + +**Datenstruktur:** `rollout_metrics (JSON)` mit: +- `run_id` +- `warn_fail_ratio` +- `unknown_count` +- `manual_override_count` + +### 3. policy_metadata +- **Art:** Dokumentation +- **Ziel:** Plattformunabhängig +- **Beschreibung:** Beschreibt die verwendeten Policy-Versionen, deren Abhängigkeitsstatus und zentrale Metriken. + +--- + +## Installation & Nutzung + +Da das Repository primär Python-Skripte und statische JSON-Daten enthält, genügt eine lokale Python-Umgebung. + +### Voraussetzungen +- Python ≥ 3.8 +- Zugriff auf die Datensätze (`rollout_metrics.json`) + +### Beispielverwendung +```bash +# Ausführen der Policy-Evaluierung (Beispiel) +python3 policy_eval.py --drift-report input_drift.json +``` + +Das Skript erzeugt eine JSON-Ausgabe, welche die berechneten `evaluation_metrics` enthält. + +--- + +## Typische Use-Cases +- Überwachung laufender Policy-Rollouts anhand vordefinierter Grenzwerte +- Analyse von Fehlanomalien und manuell übersteuerten Entscheidungen +- Dry-Runs zur Evaluation neuer Policy-Versionen +- Automatisierte Berichte für Metrikvergleiche zwischen Deployments + +--- + +## Struktur & mögliche Erweiterungen +- **/scripts/** – Python-Skripte zur Policy-Auswertung +- **/datasets/** – JSON-Datensätze für Metriken und Testläufe +- **/docs/** – Dokumentation der Policies und ihrer Metrikdefinitionen + +Erweiterungen können Policy-Definitionen für neue Systembereiche oder zusätzliche Evaluationsmetriken umfassen. Integration in CI/CD-Pipelines ist möglich, um automatisierte Metrikanalysen durchzuführen. + +--- + +## Lizenz +Dieses Projekt steht unter der **MIT-Lizenz**. + +Nutzung und Weitergabe sind erlaubt, sofern die Lizenzbedingungen eingehalten werden. + +*Alle Inhalte wurden automatisch von einer KI erstellt. Nutzung auf eigenes Risiko.* \ No newline at end of file