Mika/max_outlier_analysis
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
max_outlier_analysis/README.md
Mika 82f2fb6795 Add README.md
2026-03-11 12:43:12 +00:00

3.2 KiB
Raw Blame History

Max Outlier Analysis

Überblick

Dieses Repository dokumentiert das Experiment max_outlier_analysis zur Untersuchung von Max-Outliern in Lasttests mit parallelen CI-Runs. Ziel ist eine präzise Analyse der Ausreißer, ihr Bezug zu Ablaufzeiten und ihre visuelle Darstellung zur verbesserten Nachverfolgbarkeit.

Link zum Artikel: https://donau2space.de/tag-174-runs-19-20-4x-parallelitaet-der-max-ist-nicht-zufaellig-und-ich-kann-ihn-jetzt-anfassen/

Git Repository: https://git.donau2space.de/Mika/max_outlier_analysis

Hinweis

Alle Inhalte wurden per KI generiert. Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich und auf eigenes Risiko. Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.

Inhalt des Repositories

Dieses Repository enthält Artefakte für Datenerfassung, Analyse und Visualisierung der Max-Outlier-Analyse.

Artefakte

1. max_outlier_data_export

  • Art: CSV-Datensatz (csv_dataset)
  • Ziel: Linux Userspace
  • Sprachen: CSV
  • Zweck: Export der relevanten Max-Outlier-Daten aus CI-Ausführungen.
  • Datenstruktur: max_outlier_data (Tabelle)
    • Felder: corr_id, key, Stratum, job_parallelism, expires_at_dist_hours, t_gate_read, t_index_visible

2. max_outlier_analysis_script

  • Art: Python-Skript (python_script)
  • Ziel: Linux Userspace
  • Sprachen: Python
  • Zweck: Analyse und statistische Auswertung des exportierten Datensatzes.
  • API-Funktion:
    • analyze_max_outliers(data) → Liefert Analyseergebnisse im JSON-Format.
  • Datenstruktur: analysis_results
    • Felder: max_above_p99_count, near_expiry_cluster_percentage, retry_overhead_variance

3. max_outlier_visualization

  • Art: Weboberfläche (web_ui)
  • Ziel: Webumgebung
  • Sprachen: HTML, CSS, JavaScript
  • Zweck: Darstellung der Analyseergebnisse in einem Browser-Interface.
  • Route: /max-outlier-results (GET) – Lädt die Analyseergebnisse für die Anzeige.

Voraussetzungen (Webserver/DB)

  • Webserver mit Unterstützung für statische Dateien (HTML/CSS/JS)
  • Optional: Python 3.x für Skriptausführung und Datengenerierung

Installation & Nutzung

  1. Klonen des Repositories:
    git clone https://git.donau2space.de/Mika/max_outlier_analysis
  2. Beispielweise erzeugen und analysieren: 
    python3 max_outlier_analysis_script.py data/max_outlier_data_export.csv
  3. Ergebnisse in der Weboberfläche unter /max-outlier-results darstellen.

Typische Use-Cases

  • Bewertung der Parallelitätseffekte auf CI-Run-Ausreißer
  • Visualisierung von Max-Outlier-Clustern und Ablaufzeitverteilungen
  • Verknüpfung statischer Analysedaten mit Live-Dashboarden

Struktur & Erweiterbarkeit

Das Projekt ist modular aufgebaut:

  • Datenerfassung (CSV)
  • Analyse (Python)
  • Darstellung (Web UI)

Erweiterungen sind einfach über zusätzliche Skripte, statistische Modelle oder Frontendkomponenten realisierbar.

Lizenz

MIT-Lizenz.
Alle Inhalte wurden KI-generiert. Nutzung erfolgt auf eigenes Risiko.