frozen_runs_analysis/README.md
2026-01-24 12:03:31 +00:00

83 lines
No EOL
3.3 KiB
Markdown
Raw Blame History

This file contains invisible Unicode characters

This file contains invisible Unicode characters that are indistinguishable to humans but may be processed differently by a computer. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Frozen Runs Analysis
## Überblick
Das Projekt **frozen_runs_analysis** untersucht sogenannte Frozen-Runs mit Fokus auf Messmetriken, Bootstrap-Resampling und Timing-Effekte. Ziel ist es, reproduzierbare Messergebnisse und statistische Unsicherheiten bei Mehrfachausführungen experimentell zu analysieren.
[Artikel zur Analyse](https://donau2space.de/tag-128-1258-vier-frozen-runs-und-der-erste-belastbare-zwischen-checkpoint/)
[Git Repository](https://git.donau2space.de/Mika/frozen_runs_analysis)
### Hinweis
Alle Inhalte wurden per KI generiert.
Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich auf eigenes Risiko.
Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.
## Inhalt des Repositories
Das Repository umfasst folgende Artefakte:
### 1. frozen_runs_report
- **Art**: Dokumentation (doc_only)
- **Ziel**: mixed (plattformunabhängig)
- **Beschreibung**: Bericht über die Ergebnisse und Metriken der Frozen-Runs, inklusive statistischer Kennzahlen und Vergleichstabellen.
### 2. metrics_analysis_script
- **Art**: Python-Skript (python_script)
- **Ziel**: Linux Userspace
- **Sprachen**: Python
- **Beschreibung**: Analysemodul zur statistischen Auswertung der Metriken mit Bootstrap-Resampling.
**API-Funktionen:**
- `analyze_metrics(data)` → Analysiert Metriken und liefert Ergebnisdaten mit Konfidenzintervallen zurück.
**Datenstrukturen:**
- `MetricResults` (JSON)
- Felder: `metric_name`, `p50`, `p95`, `max`, `retry_free_rate`, `bootstrap_ci`
### 3. visualization_tool
- **Art**: Weboberfläche (web_ui)
- **Ziel**: web
- **Sprachen**: HTML, CSS, JavaScript
- **Beschreibung**: Web-Frontend zur Visualisierung der Metriken und Bootstrap-Analysen.
**Routen:**
- `GET /metrics` → Ruft die visualisierten Metriken ab.
## Build & Installation
Voraussetzungen:
- Python 3.x
- Bibliotheken: `numpy`, `pandas`, `scipy`, `matplotlib`
- Für das Web-Frontend: Webserver mit Unterstützung für statische Dateien (z.B. nginx, Apache oder einfache Python HTTP-Server)
**Installation:**
1. Repository klonen:
`git clone https://git.donau2space.de/Mika/frozen_runs_analysis`
2. Abhängigkeiten installieren:
`pip install -r requirements.txt`
**Starten der Visualisierung:**
1. Im Projektverzeichnis ausführen:
`python -m http.server 8080`
2. Webbrowser öffnen:
`http://localhost:8080/visualization_tool/`
## Typische Use-Cases
- Analyse großer Metriksets aus wiederholten Testläufen
- Berechnung von Bootstrap-Konfidenzintervallen zur Stabilitätsprüfung
- Vergleich von Frozen-Run-Ergebnissen unterschiedlicher Builds
- Visualisierung von Metriken und Trends über die Zeit
## Struktur & Erweiterbarkeit
Modularer Aufbau:
- `metrics_analysis_script.py` Analysemodul, leicht erweiterbar um neue Kennzahlen
- `visualization_tool/` Frontend-Files, kann mit zusätzlicher Interaktivität oder API-Erweiterungen kombiniert werden
- `docs/` bzw. `frozen_runs_report` Berichtsstruktur, anpassbar für neue Datensätze
Erweiterungspunkte:
- Integration weiterer Visualisierungsframeworks (z.B. D3.js)
- Automatisierte Importpipelines für neue Metrikformate
## Lizenz
Dieses Projekt steht unter der **MIT-Lizenz**.
Die Verwendung und Weiterentwicklung von **frozen_runs_analysis** erfolgt auf eigene Verantwortung.