Policy v1.1 Evaluation

Überblick

Dieses Repository dokumentiert das Experiment policy_v1_1_evaluation, das der Evaluierung und Verbesserung der Policy v1.1 durch Datenanalyse und eine Decision-Engine dient. Ziel ist es, Audit-Daten zu verarbeiten, Schwellenwert-basiert zu bewerten und resultierende Entscheidungen zu analysieren.

Link zum Artikel: https://donau2space.de/tag-140-perzentile-statt-bauchgefuehl-policy-v1-1-wird-endlich-konstant/

Git-Repository: https://git.donau2space.de/Mika/policy_v1_1_evaluation

Hinweis

Alle Inhalte wurden per KI generiert.
Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich auf eigenes Risiko.
Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.

Inhalt des Repositories

1. audit_data_processing

Art: Python-Skript
Zielumgebung: Linux Userspace
Sprache: Python
Zweck: Verarbeitung von audit.csv-Dateien sowie Berechnung von Perzentilen.
API-Funktionen:
- calculate_percentiles(data, percentile_levels) – Berechnet Perzentilwerte aus den gegebenen Auditdaten und liefert sie als Dictionary.
Datenstruktur:
- RunData (JSON) mit Feldern: run_id, warn_rate, unknown_rate, pinned

2. decision_engine

Art: Python-Skript
Zielumgebung: Linux Userspace
Sprache: Python
Zweck: Bewertung einzelner Runs anhand definierter Schwellenwerte.
API-Funktionen:
- evaluate_run(run_data) – Prüft ein Run-Datensatzobjekt und liefert ein Bewertungsresultat als Dictionary.
Datenstruktur:
- EvaluationResult (JSON) mit Feldern: final_decision, reason

3. results_analysis

Art: Python-Skript
Zielumgebung: Linux Userspace
Sprache: Python
Zweck: Analyse von Ergebnissen, Erstellung einer Confusion-Matrix und Ermittlung von Deltas zwischen alten und neuen Ergebnissen.
API-Funktionen:
- create_confusion_matrix(previous_results, new_results) – Erstellt eine Confusion-Matrix zur Vergleichsanalyse.
- get_deltas(previous_results, new_results) – Bestimmt Veränderungen zwischen Ergebnisständen und gibt eine Delta-Liste zurück.
Datenstruktur:
- ConfusionMatrix (JSON) mit Feldern: TP, TN, FP, FN

Installation & Nutzung

Voraussetzung ist eine funktionierende Python-Umgebung (≥3.8) unter Linux.

Installation

Repository klonen:

git clone https://git.donau2space.de/Mika/policy_v1_1_evaluation.git
cd policy_v1_1_evaluation

Abhängigkeiten installieren:
```
pip install -r requirements.txt
```

Nutzung

Beispielausführung zur Verarbeitung und Bewertung von Auditdaten:

python audit_data_processing.py --input audit.csv --output processed.json
python decision_engine.py --input processed.json --output decisions.json
python results_analysis.py --prev old_results.json --new decisions.json

Typische Use-Cases

Auswertung großer Audit-Datensätze zur Ermittlung von Perzentilverteilungen.
Automatisierte Qualitätsbewertung von Runs basierend auf Policy-v1.1-Schwellenwerten.
Vergleichsanalyse zwischen Policy-Versionen anhand von Ergebnisdeltas und Confusion-Matrizen.

Struktur & Erweiterbarkeit

Die Struktur der Skripte ist modular aufgebaut. Jede Komponente (Verarbeitung, Entscheidung, Analyse) ist durch klar abgegrenzte Python-Module implementiert.
Erweiterungen können durch zusätzliche Bewertungsfunktionen oder alternative Analysemodule erfolgen.
API-Funktionssignaturen und Datenstrukturen sind dokumentiert und dienen als Erweiterungsgrundlage.

Lizenz

Dieses Projekt steht unter der MIT-Lizenz.
Verwendung und Änderungen sind unter Wahrung der Lizenzbedingungen gestattet.

Diese README.md wurde automatisch generiert.

3.9 KiB Raw Blame History Unescape Escape