Add README.md
This commit is contained in:
parent
8e06741788
commit
c59d6e3b83
1 changed files with 96 additions and 0 deletions
96
README.md
Normal file
96
README.md
Normal file
|
|
@ -0,0 +1,96 @@
|
||||||
|
# Policy v1.1 Evaluation
|
||||||
|
|
||||||
|
## Überblick
|
||||||
|
Dieses Repository dokumentiert das Experiment **policy_v1_1_evaluation**, das der Evaluierung und Verbesserung der Policy v1.1 durch Datenanalyse und eine Decision-Engine dient. Ziel ist es, Audit-Daten zu verarbeiten, Schwellenwert-basiert zu bewerten und resultierende Entscheidungen zu analysieren.
|
||||||
|
|
||||||
|
Link zum Artikel: [https://donau2space.de/tag-140-perzentile-statt-bauchgefuehl-policy-v1-1-wird-endlich-konstant/](https://donau2space.de/tag-140-perzentile-statt-bauchgefuehl-policy-v1-1-wird-endlich-konstant/)
|
||||||
|
|
||||||
|
Git-Repository: [https://git.donau2space.de/Mika/policy_v1_1_evaluation](https://git.donau2space.de/Mika/policy_v1_1_evaluation)
|
||||||
|
|
||||||
|
### Hinweis
|
||||||
|
Alle Inhalte wurden per KI generiert.
|
||||||
|
Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich auf eigenes Risiko.
|
||||||
|
Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Inhalt des Repositories
|
||||||
|
|
||||||
|
### 1. audit_data_processing
|
||||||
|
- **Art:** Python-Skript
|
||||||
|
- **Zielumgebung:** Linux Userspace
|
||||||
|
- **Sprache:** Python
|
||||||
|
- **Zweck:** Verarbeitung von *audit.csv*-Dateien sowie Berechnung von Perzentilen.
|
||||||
|
- **API-Funktionen:**
|
||||||
|
- `calculate_percentiles(data, percentile_levels)` – Berechnet Perzentilwerte aus den gegebenen Auditdaten und liefert sie als Dictionary.
|
||||||
|
- **Datenstruktur:**
|
||||||
|
- `RunData (JSON)` mit Feldern: `run_id`, `warn_rate`, `unknown_rate`, `pinned`
|
||||||
|
|
||||||
|
### 2. decision_engine
|
||||||
|
- **Art:** Python-Skript
|
||||||
|
- **Zielumgebung:** Linux Userspace
|
||||||
|
- **Sprache:** Python
|
||||||
|
- **Zweck:** Bewertung einzelner Runs anhand definierter Schwellenwerte.
|
||||||
|
- **API-Funktionen:**
|
||||||
|
- `evaluate_run(run_data)` – Prüft ein Run-Datensatzobjekt und liefert ein Bewertungsresultat als Dictionary.
|
||||||
|
- **Datenstruktur:**
|
||||||
|
- `EvaluationResult (JSON)` mit Feldern: `final_decision`, `reason`
|
||||||
|
|
||||||
|
### 3. results_analysis
|
||||||
|
- **Art:** Python-Skript
|
||||||
|
- **Zielumgebung:** Linux Userspace
|
||||||
|
- **Sprache:** Python
|
||||||
|
- **Zweck:** Analyse von Ergebnissen, Erstellung einer Confusion-Matrix und Ermittlung von Deltas zwischen alten und neuen Ergebnissen.
|
||||||
|
- **API-Funktionen:**
|
||||||
|
- `create_confusion_matrix(previous_results, new_results)` – Erstellt eine Confusion-Matrix zur Vergleichsanalyse.
|
||||||
|
- `get_deltas(previous_results, new_results)` – Bestimmt Veränderungen zwischen Ergebnisständen und gibt eine Delta-Liste zurück.
|
||||||
|
- **Datenstruktur:**
|
||||||
|
- `ConfusionMatrix (JSON)` mit Feldern: `TP`, `TN`, `FP`, `FN`
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Installation & Nutzung
|
||||||
|
Voraussetzung ist eine funktionierende Python-Umgebung (≥3.8) unter Linux.
|
||||||
|
|
||||||
|
### Installation
|
||||||
|
1. Repository klonen:
|
||||||
|
```bash
|
||||||
|
git clone https://git.donau2space.de/Mika/policy_v1_1_evaluation.git
|
||||||
|
cd policy_v1_1_evaluation
|
||||||
|
```
|
||||||
|
2. Abhängigkeiten installieren:
|
||||||
|
```bash
|
||||||
|
pip install -r requirements.txt
|
||||||
|
```
|
||||||
|
|
||||||
|
### Nutzung
|
||||||
|
Beispielausführung zur Verarbeitung und Bewertung von Auditdaten:
|
||||||
|
```bash
|
||||||
|
python audit_data_processing.py --input audit.csv --output processed.json
|
||||||
|
python decision_engine.py --input processed.json --output decisions.json
|
||||||
|
python results_analysis.py --prev old_results.json --new decisions.json
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Typische Use-Cases
|
||||||
|
- Auswertung großer Audit-Datensätze zur Ermittlung von Perzentilverteilungen.
|
||||||
|
- Automatisierte Qualitätsbewertung von Runs basierend auf Policy-v1.1-Schwellenwerten.
|
||||||
|
- Vergleichsanalyse zwischen Policy-Versionen anhand von Ergebnisdeltas und Confusion-Matrizen.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Struktur & Erweiterbarkeit
|
||||||
|
Die Struktur der Skripte ist modular aufgebaut. Jede Komponente (Verarbeitung, Entscheidung, Analyse) ist durch klar abgegrenzte Python-Module implementiert.
|
||||||
|
Erweiterungen können durch zusätzliche Bewertungsfunktionen oder alternative Analysemodule erfolgen.
|
||||||
|
API-Funktionssignaturen und Datenstrukturen sind dokumentiert und dienen als Erweiterungsgrundlage.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Lizenz
|
||||||
|
Dieses Projekt steht unter der **MIT-Lizenz**.
|
||||||
|
Verwendung und Änderungen sind unter Wahrung der Lizenzbedingungen gestattet.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
*Diese README.md wurde automatisch generiert.*
|
||||||
Loading…
Reference in a new issue