Add README.md
This commit is contained in:
parent
b32a08852b
commit
f8a4beeeb7
1 changed files with 92 additions and 0 deletions
92
README.md
Normal file
92
README.md
Normal file
|
|
@ -0,0 +1,92 @@
|
|||
# Policy Metrics Monitoring
|
||||
|
||||
## Überblick
|
||||
Dieses Repository enthält das Experiment **policy_metrics_monitoring**. Ziel ist die Überwachung, Auswertung und Darstellung von Policy-Rollouts durch strukturierte Metriken, integrierte Fehlerbehandlung und automatisierte Analysen.
|
||||
|
||||
### Hinweis
|
||||
Alle Inhalte wurden per KI generiert.
|
||||
|
||||
Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich auf eigenes Risiko. Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.
|
||||
|
||||
**Link zum Artikel:** [https://donau2space.de/tag-142-ich-schalte-die-policy-erst-als-kommentar-scharf-drei-metriken-eine-go-no-go-regel/](https://donau2space.de/tag-142-ich-schalte-die-policy-erst-als-kommentar-scharf-drei-metriken-eine-go-no-go-regel/)
|
||||
|
||||
**Git Repository:** [https://git.donau2space.de/Mika/policy_metrics_monitoring](https://git.donau2space.de/Mika/policy_metrics_monitoring)
|
||||
|
||||
---
|
||||
|
||||
## Inhalt des Repositories
|
||||
|
||||
### 1. policy_eval
|
||||
- **Art:** Python Script
|
||||
- **Ziel:** Linux Userspace
|
||||
- **Sprachen:** Python
|
||||
- **Beschreibung:** Evaluierung von Policies mit eingebauter Fehlerbehandlung, Aggregation von Warn- und Fehlermetriken.
|
||||
|
||||
**API-Übersicht:**
|
||||
- **Funktion:** `evaluate_policy(drift_report)` → Gibt `evaluation_metrics` zurück.
|
||||
- **Datenstruktur:** `evaluation_metrics (JSON)` mit folgenden Feldern:
|
||||
- `total_warn`
|
||||
- `total_fail`
|
||||
- `unknowns`
|
||||
- `manual_overrides`
|
||||
|
||||
### 2. rollout_metrics
|
||||
- **Art:** JSON Dataset
|
||||
- **Ziel:** Plattformübergreifend
|
||||
- **Sprachen:** JSON
|
||||
- **Beschreibung:** Datensatz für die Analyse von Rollout-Metriken und für Dry-Runs von Bewertungsprozessen.
|
||||
|
||||
**Datenstruktur:** `rollout_metrics (JSON)` mit:
|
||||
- `run_id`
|
||||
- `warn_fail_ratio`
|
||||
- `unknown_count`
|
||||
- `manual_override_count`
|
||||
|
||||
### 3. policy_metadata
|
||||
- **Art:** Dokumentation
|
||||
- **Ziel:** Plattformunabhängig
|
||||
- **Beschreibung:** Beschreibt die verwendeten Policy-Versionen, deren Abhängigkeitsstatus und zentrale Metriken.
|
||||
|
||||
---
|
||||
|
||||
## Installation & Nutzung
|
||||
|
||||
Da das Repository primär Python-Skripte und statische JSON-Daten enthält, genügt eine lokale Python-Umgebung.
|
||||
|
||||
### Voraussetzungen
|
||||
- Python ≥ 3.8
|
||||
- Zugriff auf die Datensätze (`rollout_metrics.json`)
|
||||
|
||||
### Beispielverwendung
|
||||
```bash
|
||||
# Ausführen der Policy-Evaluierung (Beispiel)
|
||||
python3 policy_eval.py --drift-report input_drift.json
|
||||
```
|
||||
|
||||
Das Skript erzeugt eine JSON-Ausgabe, welche die berechneten `evaluation_metrics` enthält.
|
||||
|
||||
---
|
||||
|
||||
## Typische Use-Cases
|
||||
- Überwachung laufender Policy-Rollouts anhand vordefinierter Grenzwerte
|
||||
- Analyse von Fehlanomalien und manuell übersteuerten Entscheidungen
|
||||
- Dry-Runs zur Evaluation neuer Policy-Versionen
|
||||
- Automatisierte Berichte für Metrikvergleiche zwischen Deployments
|
||||
|
||||
---
|
||||
|
||||
## Struktur & mögliche Erweiterungen
|
||||
- **/scripts/** – Python-Skripte zur Policy-Auswertung
|
||||
- **/datasets/** – JSON-Datensätze für Metriken und Testläufe
|
||||
- **/docs/** – Dokumentation der Policies und ihrer Metrikdefinitionen
|
||||
|
||||
Erweiterungen können Policy-Definitionen für neue Systembereiche oder zusätzliche Evaluationsmetriken umfassen. Integration in CI/CD-Pipelines ist möglich, um automatisierte Metrikanalysen durchzuführen.
|
||||
|
||||
---
|
||||
|
||||
## Lizenz
|
||||
Dieses Projekt steht unter der **MIT-Lizenz**.
|
||||
|
||||
Nutzung und Weitergabe sind erlaubt, sofern die Lizenzbedingungen eingehalten werden.
|
||||
|
||||
*Alle Inhalte wurden automatisch von einer KI erstellt. Nutzung auf eigenes Risiko.*
|
||||
Loading…
Reference in a new issue