Add artifact_3_documentation/README.md
This commit is contained in:
parent
a0d49f1407
commit
807d761464
1 changed files with 188 additions and 0 deletions
188
artifact_3_documentation/README.md
Normal file
188
artifact_3_documentation/README.md
Normal file
|
|
@ -0,0 +1,188 @@
|
||||||
|
# Analyse von band_width-Streuung und Mixeinflüssen (Runs #36–#39)
|
||||||
|
|
||||||
|
## Purpose
|
||||||
|
|
||||||
|
Untersuchung der Ursachen für Streuung in band_width und deren Beziehung zu aux-Werten und zum Anteil near-expiry-unpinned.
|
||||||
|
|
||||||
|
**Problemstellung:** Unklar, ob erhöhte band_width-Werte bei aux=3 auf systemische Drift oder auf veränderte Stratum-Mischung zurückzuführen sind.
|
||||||
|
|
||||||
|
**Ziele:**
|
||||||
|
- Erkennen, ob band_width-Streuung durch aux-Parameter oder durch Mix-Unterschiede entsteht
|
||||||
|
- Abgrenzen von Drift-Phänomenen und struktureller Streuung
|
||||||
|
- Prüfen der Reproduzierbarkeit durch Runs mit identischem Setup
|
||||||
|
|
||||||
|
## Kontext & Hintergrund
|
||||||
|
|
||||||
|
Runs #36–#39 mit unterschiedlichen aux-Werten und definierten Mix-Zusammensetzungen.
|
||||||
|
|
||||||
|
**Gruppierung:**
|
||||||
|
- aux
|
||||||
|
- Stratum-Proxy
|
||||||
|
|
||||||
|
**Trace-Metadaten / zusätzliche Tags:**
|
||||||
|
- Monotonic-Δt
|
||||||
|
- tz_offset
|
||||||
|
|
||||||
|
**Domänenkontext:**
|
||||||
|
- Systemverhalten unter variierenden Workload-Strata
|
||||||
|
- Mix-abhängige Bandbreite in Metriken
|
||||||
|
|
||||||
|
**Outlier-Definition:**
|
||||||
|
- Methode: IQR-basierte Identifikation
|
||||||
|
- Beschreibung: band_width-Ausreißer werden über Median + IQR definiert.
|
||||||
|
- Metrik: band_width
|
||||||
|
|
||||||
|
**Motivation:**
|
||||||
|
- Reduktion von Fehlinterpretationen experimenteller Drift
|
||||||
|
- Trennung von Eingangsvariabilität und tatsächlichem Steuerungseffekt
|
||||||
|
|
||||||
|
## Methode / Spezifikation
|
||||||
|
|
||||||
|
**Übersicht:**
|
||||||
|
- Aggregierte Run-Ansicht mit Median- und IQR-Werten pro Kennzahl
|
||||||
|
- Vergleich von Δband_width (Median über Fenster) zur Stabilitätseinschätzung
|
||||||
|
|
||||||
|
**Algorithmen / Verfahren:**
|
||||||
|
- Berechnung von band_width (Median, IQR)
|
||||||
|
- Berechnung von Δband_width zwischen erstem und letztem Fenster
|
||||||
|
- Trennung von retry_tail_p99 nach Hotspot und Rest (Median, IQR)
|
||||||
|
- Ermittlung des near-expiry-unpinned-Anteils als Stratum-Proxy
|
||||||
|
|
||||||
|
### Bootstrap-Übersicht
|
||||||
|
|
||||||
|
Resampling zur Stabilitätsprüfung von statistischen Kennwerten.
|
||||||
|
|
||||||
|
**Zielgrößen:**
|
||||||
|
- Median band_width
|
||||||
|
- IQR band_width
|
||||||
|
|
||||||
|
### C-State-Kontrolle
|
||||||
|
|
||||||
|
**Ziel:** Überprüfung der zeitlichen Kohärenz zwischen Runs
|
||||||
|
|
||||||
|
**Vorgehen:**
|
||||||
|
- Prüfung auf keine negativen Monotonic-Δt
|
||||||
|
- Sicherstellung eines konstanten tz_offset
|
||||||
|
|
||||||
|
## Input / Output
|
||||||
|
|
||||||
|
### Input-Anforderungen
|
||||||
|
|
||||||
|
**Hardware:**
|
||||||
|
- Homogene Systemumgebung für Runs
|
||||||
|
|
||||||
|
**Software:**
|
||||||
|
- Identische Trace- und Messinfrastruktur
|
||||||
|
|
||||||
|
**Konfiguration:**
|
||||||
|
- Gleiche byteweise Parameterkonfiguration für Runs mit unterschiedlichem aux
|
||||||
|
|
||||||
|
### Erwartete Rohdaten
|
||||||
|
|
||||||
|
**Felder pro Run:**
|
||||||
|
- band_width_median
|
||||||
|
- band_width_iqr
|
||||||
|
- delta_band_width
|
||||||
|
- retry_tail_p99_hotspot
|
||||||
|
- retry_tail_p99_rest
|
||||||
|
- near_expiry_unpinned_ratio
|
||||||
|
- jobs_per_walltime
|
||||||
|
|
||||||
|
**Formatbeispiele:**
|
||||||
|
- band_width_median=0.35, band_width_iqr=0.12
|
||||||
|
- delta_band_width=-0.02
|
||||||
|
|
||||||
|
**Trace-Daten:**
|
||||||
|
- Format: CSV oder JSON mit Zeitstempeln und aux-Parametern
|
||||||
|
- Hinweis: Monotonicität und Zeitzonenoffset müssen konsistent sein
|
||||||
|
|
||||||
|
### Analyse-Ausgaben
|
||||||
|
|
||||||
|
**Pro Gruppe / pro Governor:**
|
||||||
|
- Median + IQR von band_width über Fenster
|
||||||
|
- Δband_width pro Run
|
||||||
|
- retry_tail_p99 Hotspot/Rest
|
||||||
|
|
||||||
|
**Vergleichsausgaben:**
|
||||||
|
- aux=2 vs aux=3
|
||||||
|
- Δ: Δband_width-basierter Unterschied zwischen Mittelwerten
|
||||||
|
- CI(Δ): 95%-Konfidenzintervall nach Bootstrap
|
||||||
|
- RR: Verhältnis der band_width-Ausreißerhäufigkeit
|
||||||
|
- CI(RR): 95%-Konfidenzintervall aus Resampling
|
||||||
|
|
||||||
|
- C-State-Korrelation: Keine zeitbedingte Drift durch externe Zeitsprünge
|
||||||
|
- Trace-Muster: Breitere band_width nur bei höherem near-expiry-unpinned-Anteil
|
||||||
|
|
||||||
|
## Workflow / Nutzung
|
||||||
|
|
||||||
|
**Analyse-Workflow:**
|
||||||
|
- Runs mit aux=2 und aux=3 auswerten
|
||||||
|
- Mix-Anteil near-expiry-unpinned bestimmen
|
||||||
|
- Kennzahlen berechnen und nach Stratum-Proxy gruppieren
|
||||||
|
- Δband_width prüfen
|
||||||
|
- Bootstrap-Resampling für Stabilität durchführen
|
||||||
|
|
||||||
|
### Trace-Template-Anforderungen
|
||||||
|
|
||||||
|
**Ziel:** Reproduzierbare Analyse der band_width-Streuung unter kontrolliertem Mix
|
||||||
|
|
||||||
|
**Erforderliche Tags & Metadaten:**
|
||||||
|
- aux
|
||||||
|
- Stratum-Proxy
|
||||||
|
- Monotonic-Δt
|
||||||
|
- tz_offset
|
||||||
|
|
||||||
|
**trace-cmd-Setup:**
|
||||||
|
- Verwendung konsistenter Zeitquellen
|
||||||
|
- Keine Anpassung von Zeitzonen während der Messung
|
||||||
|
|
||||||
|
**Run-Design für Contributors:**
|
||||||
|
- Identische Jobs/Walls, Variation nur in aux oder Mix-Zusammensetzung
|
||||||
|
|
||||||
|
## Interpretation & erwartete Ergebnisse
|
||||||
|
|
||||||
|
**Kernbefunde:**
|
||||||
|
- band_width-Streuung korreliert stärker mit near-expiry-unpinned-Anteil als mit aux-Wert
|
||||||
|
- Δband_width bleibt häufig klein trotz breiter Bänder
|
||||||
|
- Keine Hinweise auf systemische Drift
|
||||||
|
|
||||||
|
**Implikationen für Experimente:**
|
||||||
|
- Zukünftige Vergleiche müssen Mix-Anteile fixieren oder kontrollieren
|
||||||
|
- aux-abhängige Effekte erst interpretieren, wenn Strata vergleichbar sind
|
||||||
|
|
||||||
|
**Planungsziel:**
|
||||||
|
- Ziel: Validierung des Einflusses von aux unter konstantem Mix
|
||||||
|
- Vorgehen:
|
||||||
|
- Mix-Freeze-Ansatz: near-expiry-Anteil fixieren oder Runs filtern
|
||||||
|
- Aux=2 vs. Aux=3 erneut vergleichen
|
||||||
|
|
||||||
|
## Limitationen & Fallstricke
|
||||||
|
|
||||||
|
**Datenbezogene Limitationen:**
|
||||||
|
- Fehlerhafte Stratum-Zuordnung kann scheinbare Drift erzeugen
|
||||||
|
- Messungen ohne Mix-Kontrolle führen zu Scheinkorrelationen
|
||||||
|
|
||||||
|
**Bootstrap-spezifische Limitationen:**
|
||||||
|
- Verzerrung bei zu kleinen Stichproben pro aux-Gruppe
|
||||||
|
|
||||||
|
**Kausalität & Generalisierbarkeit:**
|
||||||
|
- Beobachtete Korrelation nicht notwendig kausal
|
||||||
|
- Gültigkeit auf ähnliche Strata beschränkt
|
||||||
|
|
||||||
|
**Praktische Fallstricke:**
|
||||||
|
- Unzureichende Kontrolle von near-expiry-unpinned macht Vergleich nicht belastbar
|
||||||
|
- Zeitinkonsistenzen könnten unbemerkt Streuung verstärken
|
||||||
|
|
||||||
|
## Nächste Schritte & Erweiterungen
|
||||||
|
|
||||||
|
**Geplante Experimente:**
|
||||||
|
- Durchführung des Mix-Freeze-Experiments mit fixiertem near-expiry-Gehalt
|
||||||
|
|
||||||
|
**Analyseziele:**
|
||||||
|
- Isolieren des echten aux-Effekts auf band_width unter konstantem Inputprofil
|
||||||
|
|
||||||
|
**Regression & Modellierung:**
|
||||||
|
- Statistische Modellierung von band_width als Funktion von aux und Stratum-Proxy
|
||||||
|
|
||||||
|
**Community-Beiträge:**
|
||||||
|
- Bereitstellung standardisierter Trace-Vorlagen und Mix-Kontrollrichtlinien
|
||||||
Loading…
Reference in a new issue