band_width_analysis/artifact_3_documentation/README.md

# Analyse von band_width-Streuung und Mixeinflüssen (Runs #36–#39)

## Purpose

Untersuchung der Ursachen für Streuung in band_width und deren Beziehung zu aux-Werten und zum Anteil near-expiry-unpinned.

**Problemstellung:** Unklar, ob erhöhte band_width-Werte bei aux=3 auf systemische Drift oder auf veränderte Stratum-Mischung zurückzuführen sind.

**Ziele:**
- Erkennen, ob band_width-Streuung durch aux-Parameter oder durch Mix-Unterschiede entsteht
- Abgrenzen von Drift-Phänomenen und struktureller Streuung
- Prüfen der Reproduzierbarkeit durch Runs mit identischem Setup

## Kontext & Hintergrund

Runs #36–#39 mit unterschiedlichen aux-Werten und definierten Mix-Zusammensetzungen.

**Gruppierung:**
- aux
- Stratum-Proxy

**Trace-Metadaten / zusätzliche Tags:**
- Monotonic-Δt
- tz_offset

**Domänenkontext:**
- Systemverhalten unter variierenden Workload-Strata
- Mix-abhängige Bandbreite in Metriken

**Outlier-Definition:**
- Methode: IQR-basierte Identifikation
- Beschreibung: band_width-Ausreißer werden über Median + IQR definiert.
- Metrik: band_width

**Motivation:**
- Reduktion von Fehlinterpretationen experimenteller Drift
- Trennung von Eingangsvariabilität und tatsächlichem Steuerungseffekt

## Methode / Spezifikation

**Übersicht:**
- Aggregierte Run-Ansicht mit Median- und IQR-Werten pro Kennzahl
- Vergleich von Δband_width (Median über Fenster) zur Stabilitätseinschätzung

**Algorithmen / Verfahren:**
- Berechnung von band_width (Median, IQR)
- Berechnung von Δband_width zwischen erstem und letztem Fenster
- Trennung von retry_tail_p99 nach Hotspot und Rest (Median, IQR)
- Ermittlung des near-expiry-unpinned-Anteils als Stratum-Proxy

### Bootstrap-Übersicht

Resampling zur Stabilitätsprüfung von statistischen Kennwerten.

**Zielgrößen:**
- Median band_width
- IQR band_width

### C-State-Kontrolle

**Ziel:** Überprüfung der zeitlichen Kohärenz zwischen Runs

**Vorgehen:**
- Prüfung auf keine negativen Monotonic-Δt
- Sicherstellung eines konstanten tz_offset

## Input / Output

### Input-Anforderungen

**Hardware:**
- Homogene Systemumgebung für Runs

**Software:**
- Identische Trace- und Messinfrastruktur

**Konfiguration:**
- Gleiche byteweise Parameterkonfiguration für Runs mit unterschiedlichem aux

### Erwartete Rohdaten

**Felder pro Run:**
- band_width_median
- band_width_iqr
- delta_band_width
- retry_tail_p99_hotspot
- retry_tail_p99_rest
- near_expiry_unpinned_ratio
- jobs_per_walltime

**Formatbeispiele:**
- band_width_median=0.35, band_width_iqr=0.12
- delta_band_width=-0.02

**Trace-Daten:**
- Format: CSV oder JSON mit Zeitstempeln und aux-Parametern
- Hinweis: Monotonicität und Zeitzonenoffset müssen konsistent sein

### Analyse-Ausgaben

**Pro Gruppe / pro Governor:**
- Median + IQR von band_width über Fenster
- Δband_width pro Run
- retry_tail_p99 Hotspot/Rest

**Vergleichsausgaben:**
- aux=2 vs aux=3
  - Δ: Δband_width-basierter Unterschied zwischen Mittelwerten
  - CI(Δ): 95%-Konfidenzintervall nach Bootstrap
  - RR: Verhältnis der band_width-Ausreißerhäufigkeit
  - CI(RR): 95%-Konfidenzintervall aus Resampling

- C-State-Korrelation: Keine zeitbedingte Drift durch externe Zeitsprünge
- Trace-Muster: Breitere band_width nur bei höherem near-expiry-unpinned-Anteil

## Workflow / Nutzung

**Analyse-Workflow:**
- Runs mit aux=2 und aux=3 auswerten
- Mix-Anteil near-expiry-unpinned bestimmen
- Kennzahlen berechnen und nach Stratum-Proxy gruppieren
- Δband_width prüfen
- Bootstrap-Resampling für Stabilität durchführen

### Trace-Template-Anforderungen

**Ziel:** Reproduzierbare Analyse der band_width-Streuung unter kontrolliertem Mix

**Erforderliche Tags & Metadaten:**
- aux
- Stratum-Proxy
- Monotonic-Δt
- tz_offset

**trace-cmd-Setup:**
- Verwendung konsistenter Zeitquellen
- Keine Anpassung von Zeitzonen während der Messung

**Run-Design für Contributors:**
- Identische Jobs/Walls, Variation nur in aux oder Mix-Zusammensetzung

## Interpretation & erwartete Ergebnisse

**Kernbefunde:**
- band_width-Streuung korreliert stärker mit near-expiry-unpinned-Anteil als mit aux-Wert
- Δband_width bleibt häufig klein trotz breiter Bänder
- Keine Hinweise auf systemische Drift

**Implikationen für Experimente:**
- Zukünftige Vergleiche müssen Mix-Anteile fixieren oder kontrollieren
- aux-abhängige Effekte erst interpretieren, wenn Strata vergleichbar sind

**Planungsziel:**
- Ziel: Validierung des Einflusses von aux unter konstantem Mix
- Vorgehen:
  - Mix-Freeze-Ansatz: near-expiry-Anteil fixieren oder Runs filtern
  - Aux=2 vs. Aux=3 erneut vergleichen

## Limitationen & Fallstricke

**Datenbezogene Limitationen:**
- Fehlerhafte Stratum-Zuordnung kann scheinbare Drift erzeugen
- Messungen ohne Mix-Kontrolle führen zu Scheinkorrelationen

**Bootstrap-spezifische Limitationen:**
- Verzerrung bei zu kleinen Stichproben pro aux-Gruppe

**Kausalität & Generalisierbarkeit:**
- Beobachtete Korrelation nicht notwendig kausal
- Gültigkeit auf ähnliche Strata beschränkt

**Praktische Fallstricke:**
- Unzureichende Kontrolle von near-expiry-unpinned macht Vergleich nicht belastbar
- Zeitinkonsistenzen könnten unbemerkt Streuung verstärken

## Nächste Schritte & Erweiterungen

**Geplante Experimente:**
- Durchführung des Mix-Freeze-Experiments mit fixiertem near-expiry-Gehalt

**Analyseziele:**
- Isolieren des echten aux-Effekts auf band_width unter konstantem Inputprofil

**Regression & Modellierung:**
- Statistische Modellierung von band_width als Funktion von aux und Stratum-Proxy

**Community-Beiträge:**
- Bereitstellung standardisierter Trace-Vorlagen und Mix-Kontrollrichtlinien