92 lines
No EOL
3.3 KiB
Markdown
92 lines
No EOL
3.3 KiB
Markdown
# Policy Metrics Monitoring
|
||
|
||
## Überblick
|
||
Dieses Repository enthält das Experiment **policy_metrics_monitoring**. Ziel ist die Überwachung, Auswertung und Darstellung von Policy-Rollouts durch strukturierte Metriken, integrierte Fehlerbehandlung und automatisierte Analysen.
|
||
|
||
### Hinweis
|
||
Alle Inhalte wurden per KI generiert.
|
||
|
||
Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich auf eigenes Risiko. Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.
|
||
|
||
**Link zum Artikel:** [https://donau2space.de/tag-142-ich-schalte-die-policy-erst-als-kommentar-scharf-drei-metriken-eine-go-no-go-regel/](https://donau2space.de/tag-142-ich-schalte-die-policy-erst-als-kommentar-scharf-drei-metriken-eine-go-no-go-regel/)
|
||
|
||
**Git Repository:** [https://git.donau2space.de/Mika/policy_metrics_monitoring](https://git.donau2space.de/Mika/policy_metrics_monitoring)
|
||
|
||
---
|
||
|
||
## Inhalt des Repositories
|
||
|
||
### 1. policy_eval
|
||
- **Art:** Python Script
|
||
- **Ziel:** Linux Userspace
|
||
- **Sprachen:** Python
|
||
- **Beschreibung:** Evaluierung von Policies mit eingebauter Fehlerbehandlung, Aggregation von Warn- und Fehlermetriken.
|
||
|
||
**API-Übersicht:**
|
||
- **Funktion:** `evaluate_policy(drift_report)` → Gibt `evaluation_metrics` zurück.
|
||
- **Datenstruktur:** `evaluation_metrics (JSON)` mit folgenden Feldern:
|
||
- `total_warn`
|
||
- `total_fail`
|
||
- `unknowns`
|
||
- `manual_overrides`
|
||
|
||
### 2. rollout_metrics
|
||
- **Art:** JSON Dataset
|
||
- **Ziel:** Plattformübergreifend
|
||
- **Sprachen:** JSON
|
||
- **Beschreibung:** Datensatz für die Analyse von Rollout-Metriken und für Dry-Runs von Bewertungsprozessen.
|
||
|
||
**Datenstruktur:** `rollout_metrics (JSON)` mit:
|
||
- `run_id`
|
||
- `warn_fail_ratio`
|
||
- `unknown_count`
|
||
- `manual_override_count`
|
||
|
||
### 3. policy_metadata
|
||
- **Art:** Dokumentation
|
||
- **Ziel:** Plattformunabhängig
|
||
- **Beschreibung:** Beschreibt die verwendeten Policy-Versionen, deren Abhängigkeitsstatus und zentrale Metriken.
|
||
|
||
---
|
||
|
||
## Installation & Nutzung
|
||
|
||
Da das Repository primär Python-Skripte und statische JSON-Daten enthält, genügt eine lokale Python-Umgebung.
|
||
|
||
### Voraussetzungen
|
||
- Python ≥ 3.8
|
||
- Zugriff auf die Datensätze (`rollout_metrics.json`)
|
||
|
||
### Beispielverwendung
|
||
```bash
|
||
# Ausführen der Policy-Evaluierung (Beispiel)
|
||
python3 policy_eval.py --drift-report input_drift.json
|
||
```
|
||
|
||
Das Skript erzeugt eine JSON-Ausgabe, welche die berechneten `evaluation_metrics` enthält.
|
||
|
||
---
|
||
|
||
## Typische Use-Cases
|
||
- Überwachung laufender Policy-Rollouts anhand vordefinierter Grenzwerte
|
||
- Analyse von Fehlanomalien und manuell übersteuerten Entscheidungen
|
||
- Dry-Runs zur Evaluation neuer Policy-Versionen
|
||
- Automatisierte Berichte für Metrikvergleiche zwischen Deployments
|
||
|
||
---
|
||
|
||
## Struktur & mögliche Erweiterungen
|
||
- **/scripts/** – Python-Skripte zur Policy-Auswertung
|
||
- **/datasets/** – JSON-Datensätze für Metriken und Testläufe
|
||
- **/docs/** – Dokumentation der Policies und ihrer Metrikdefinitionen
|
||
|
||
Erweiterungen können Policy-Definitionen für neue Systembereiche oder zusätzliche Evaluationsmetriken umfassen. Integration in CI/CD-Pipelines ist möglich, um automatisierte Metrikanalysen durchzuführen.
|
||
|
||
---
|
||
|
||
## Lizenz
|
||
Dieses Projekt steht unter der **MIT-Lizenz**.
|
||
|
||
Nutzung und Weitergabe sind erlaubt, sofern die Lizenzbedingungen eingehalten werden.
|
||
|
||
*Alle Inhalte wurden automatisch von einer KI erstellt. Nutzung auf eigenes Risiko.* |