70 lines
No EOL
3.2 KiB
Markdown
70 lines
No EOL
3.2 KiB
Markdown
# Max Outlier Analysis
|
||
|
||
## Überblick
|
||
Dieses Repository dokumentiert das Experiment **max_outlier_analysis** zur Untersuchung von Max-Outliern in Lasttests mit parallelen CI-Runs. Ziel ist eine präzise Analyse der Ausreißer, ihr Bezug zu Ablaufzeiten und ihre visuelle Darstellung zur verbesserten Nachverfolgbarkeit.
|
||
|
||
Link zum Artikel: [https://donau2space.de/tag-174-runs-19-20-4x-parallelitaet-der-max-ist-nicht-zufaellig-und-ich-kann-ihn-jetzt-anfassen/](https://donau2space.de/tag-174-runs-19-20-4x-parallelitaet-der-max-ist-nicht-zufaellig-und-ich-kann-ihn-jetzt-anfassen/)
|
||
|
||
Git Repository: [https://git.donau2space.de/Mika/max_outlier_analysis](https://git.donau2space.de/Mika/max_outlier_analysis)
|
||
|
||
## Hinweis
|
||
Alle Inhalte wurden per KI generiert. Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich und auf eigenes Risiko. Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.
|
||
|
||
## Inhalt des Repositories
|
||
Dieses Repository enthält Artefakte für Datenerfassung, Analyse und Visualisierung der Max-Outlier-Analyse.
|
||
|
||
### Artefakte
|
||
#### 1. max_outlier_data_export
|
||
- **Art:** CSV-Datensatz (csv_dataset)
|
||
- **Ziel:** Linux Userspace
|
||
- **Sprachen:** CSV
|
||
- **Zweck:** Export der relevanten Max-Outlier-Daten aus CI-Ausführungen.
|
||
- **Datenstruktur:** `max_outlier_data` (Tabelle)
|
||
- Felder: `corr_id`, `key`, `Stratum`, `job_parallelism`, `expires_at_dist_hours`, `t_gate_read`, `t_index_visible`
|
||
|
||
#### 2. max_outlier_analysis_script
|
||
- **Art:** Python-Skript (python_script)
|
||
- **Ziel:** Linux Userspace
|
||
- **Sprachen:** Python
|
||
- **Zweck:** Analyse und statistische Auswertung des exportierten Datensatzes.
|
||
- **API-Funktion:**
|
||
- `analyze_max_outliers(data)` → Liefert Analyseergebnisse im JSON-Format.
|
||
- **Datenstruktur:** `analysis_results`
|
||
- Felder: `max_above_p99_count`, `near_expiry_cluster_percentage`, `retry_overhead_variance`
|
||
|
||
#### 3. max_outlier_visualization
|
||
- **Art:** Weboberfläche (web_ui)
|
||
- **Ziel:** Webumgebung
|
||
- **Sprachen:** HTML, CSS, JavaScript
|
||
- **Zweck:** Darstellung der Analyseergebnisse in einem Browser-Interface.
|
||
- **Route:** `/max-outlier-results` (GET) – Lädt die Analyseergebnisse für die Anzeige.
|
||
|
||
## Voraussetzungen (Webserver/DB)
|
||
- Webserver mit Unterstützung für statische Dateien (HTML/CSS/JS)
|
||
- Optional: Python 3.x für Skriptausführung und Datengenerierung
|
||
|
||
## Installation & Nutzung
|
||
1. Klonen des Repositories:
|
||
`git clone https://git.donau2space.de/Mika/max_outlier_analysis`
|
||
2. Beispielweise erzeugen und analysieren:
|
||
```bash
|
||
python3 max_outlier_analysis_script.py data/max_outlier_data_export.csv
|
||
```
|
||
3. Ergebnisse in der Weboberfläche unter */max-outlier-results* darstellen.
|
||
|
||
## Typische Use-Cases
|
||
- Bewertung der Parallelitätseffekte auf CI-Run-Ausreißer
|
||
- Visualisierung von Max-Outlier-Clustern und Ablaufzeitverteilungen
|
||
- Verknüpfung statischer Analysedaten mit Live-Dashboarden
|
||
|
||
## Struktur & Erweiterbarkeit
|
||
Das Projekt ist modular aufgebaut:
|
||
- Datenerfassung (CSV)
|
||
- Analyse (Python)
|
||
- Darstellung (Web UI)
|
||
|
||
Erweiterungen sind einfach über zusätzliche Skripte, statistische Modelle oder Frontendkomponenten realisierbar.
|
||
|
||
## Lizenz
|
||
MIT-Lizenz.
|
||
Alle Inhalte wurden KI-generiert. Nutzung erfolgt auf eigenes Risiko. |