Add run_comparison/README.md
This commit is contained in:
parent
1672f3b609
commit
61fa4a5ab7
1 changed files with 132 additions and 0 deletions
132
run_comparison/README.md
Normal file
132
run_comparison/README.md
Normal file
|
|
@ -0,0 +1,132 @@
|
|||
# Vergleichsanalyse der Läufe #28, #31a und #31b mit Fokus auf Bandbreite und Retry-Tailp99
|
||||
|
||||
## Purpose
|
||||
|
||||
Technische Vergleichsdokumentation der Replikationsläufe #28, #31a und #31b mit Identifikation von Mustern in Bandbreite und retry_tailp99.
|
||||
|
||||
**Problemstellung:** Bei Verdopplung der Parallelität von 4× auf 8× zeigte sich ein erhöhter retry_tailp99. Es soll überprüft werden, ob dieser Effekt reproduzierbar ist und welche Mechanismen ihn verursachen.
|
||||
|
||||
**Ziele:**
|
||||
- Feststellen, ob Experiment #31b das Ergebnis von #31a repliziert
|
||||
- Analyse des Zusammenhangs zwischen Parallelität, Bandbreite und Retry-Tailp99-Verhalten
|
||||
- Bewertung des Tail-Risk für 8×-Parallelität
|
||||
|
||||
## Kontext & Hintergrund
|
||||
|
||||
Drei Läufe (#28 randomized 4×, #31a 8×, #31b 8×) mit identischem Setup-Fingerprint und Policy-Hash.
|
||||
|
||||
**Gruppierung:**
|
||||
- Baseline (#28)
|
||||
- Replikation (#31a, #31b)
|
||||
|
||||
**Trace-Metadaten / zusätzliche Tags:**
|
||||
- setup_fingerprint
|
||||
- policy_hash
|
||||
- windowing/exiting rules
|
||||
|
||||
**Domänenkontext:**
|
||||
- Replikationsexperimente im Netzwerk- oder IO-Performance-Kontext
|
||||
- Analyse von Sättigungs- und Queueing-Effekten bei Parallelitätssteigerung
|
||||
|
||||
**Outlier-Definition:**
|
||||
- Methode: Proportionale Schwellenprüfung
|
||||
- Beschreibung: Ein Lauf gilt als kritisch, wenn retry_tailp99 ≥15 % über Baseline liegt.
|
||||
- Metrik: retry_tailp99
|
||||
|
||||
**Motivation:**
|
||||
- Nachweis, ob die beobachtete Tail-Verschlechterung systematisch oder zufällig ist
|
||||
- Bewertung, ob 8×-Parallelität als stabiles Betriebsregime geeignet ist
|
||||
|
||||
## Methode / Spezifikation
|
||||
|
||||
**Übersicht:**
|
||||
- Standardisierte Auswertung mit gleichbleibenden Skripten über drei Runs
|
||||
- Messung von Bandbreite (h), retry_tailp99 und delta_vs_baseline
|
||||
|
||||
**Algorithmen / Verfahren:**
|
||||
- Vergleich der Runs unter identischen Bedingungen
|
||||
- Berechnung der Differenzen zu Baseline (#28)
|
||||
- Segmentierung nach Strata: near-expiry-unpinned vs. Rest
|
||||
|
||||
## Input / Output
|
||||
|
||||
### Erwartete Rohdaten
|
||||
|
||||
**Felder pro Run:**
|
||||
- run_id
|
||||
- parallelism
|
||||
- bandwidth
|
||||
- delta_vs_baseline
|
||||
- retry_tailp99
|
||||
- retry_tailp99_threshold
|
||||
|
||||
**Formatbeispiele:**
|
||||
- {"run_id": "31b", "parallelism": 8, "bandwidth": 6.2, "delta_vs_baseline": -0.6, "retry_tailp99": "+17%", "retry_tailp99_threshold": 15}
|
||||
|
||||
### Analyse-Ausgaben
|
||||
|
||||
**Pro Gruppe / pro Governor:**
|
||||
- mittlere Bandbreite (h)
|
||||
- Delta vs. Baseline
|
||||
- retry_tailp99-Anstieg relativ zur Schwelle
|
||||
|
||||
**Vergleichsausgaben:**
|
||||
- #28 vs #31a
|
||||
- Δ: Bandbreite -0.7h, retry_tailp99 +18%
|
||||
- #28 vs #31b
|
||||
- Δ: Bandbreite -0.6h, retry_tailp99 +17%
|
||||
|
||||
- Trace-Muster: Hotspot im Stratum near-expiry-unpinned identifiziert
|
||||
|
||||
## Workflow / Nutzung
|
||||
|
||||
**Analyse-Workflow:**
|
||||
- Verifizieren der Setup-Identität (Fingerprint, Policy-Hash, Skripte)
|
||||
- Auswertung von Bandbreite und retry_tailp99 pro Lauf
|
||||
- Vergleich der 8×-Runs mit Baseline
|
||||
- Segmentanalyse (near-expiry-unpinned vs. Rest)
|
||||
- Interpretation der Ursache (Queueing/Sättigung vs. Scheduling/Mixing)
|
||||
|
||||
## Interpretation & erwartete Ergebnisse
|
||||
|
||||
**Kernbefunde:**
|
||||
- retry_tailp99 steigt bei 8× reproduzierbar über 15 % an
|
||||
- Bandbreite bleibt stabil, kein Kollaps
|
||||
- Hotspot: near-expiry-unpinned trägt Hauptanteil am Tail-Anstieg
|
||||
|
||||
**Implikationen für Experimente:**
|
||||
- Replikation bestätigt den Tail-Risk bei 8×
|
||||
- Mechanismus wahrscheinlich Queueing-bedingt, nicht Scheduling-bedingt
|
||||
|
||||
**Planungsziel:**
|
||||
- Ziel: Identifikation und Isolierung des kritischen Strata mit Tail-Instabilität
|
||||
- Vorgehen:
|
||||
- Gezielte Entkopplung von near-expiry-unpinned
|
||||
- Vermeidung globaler Parameteränderungen
|
||||
|
||||
## Limitationen & Fallstricke
|
||||
|
||||
**Datenbezogene Limitationen:**
|
||||
- Nur drei Runs, begrenzte Stichprobe
|
||||
- Keine zusätzlichen Metriken zur Latenzverteilung
|
||||
|
||||
**Kausalität & Generalisierbarkeit:**
|
||||
- Effekt kausal plausibel, aber experimentell eng begrenzt auf aktuelle Strukturen
|
||||
|
||||
**Praktische Fallstricke:**
|
||||
- 8×-Parallelität kann je nach Systemzustand variabel reagieren
|
||||
- Segmentierung erforderlich, sonst Gefahr der Fehlinterpretation
|
||||
|
||||
## Nächste Schritte & Erweiterungen
|
||||
|
||||
**Geplante Experimente:**
|
||||
- Isolierter Testlauf ausschließlich im near-expiry-unpinned-Segment mit 8×
|
||||
|
||||
**Analyseziele:**
|
||||
- Validierung der Entkopplung durch Segment-spezifisches Limit
|
||||
|
||||
**Regression & Modellierung:**
|
||||
- Modellierung des Queueing-Verhaltens bei erhöhter Nachfrage im Tail
|
||||
|
||||
**Community-Beiträge:**
|
||||
- Verifikation durch unabhängige Replikationen mit identischem Setup
|
||||
Loading…
Reference in a new issue