Add run_analysis/README.md
This commit is contained in:
commit
8802481c78
1 changed files with 204 additions and 0 deletions
204
run_analysis/README.md
Normal file
204
run_analysis/README.md
Normal file
|
|
@ -0,0 +1,204 @@
|
|||
# Analyse der Runs #6–#10 zur Definition der Near‑Expiry‑Schwelle
|
||||
|
||||
## Purpose
|
||||
|
||||
Auswertung der Runs #6–#10 zur Identifikation stabiler Timing-Muster und Definition einer datenbasierten Near‑Expiry‑Schwelle.
|
||||
|
||||
**Problemstellung:** Untersuchung negativer Zeitdifferenzen (Δt<0) zwischen Gate‑Read und Index‑Visibility unter verschiedenen Bedingungen (pinned/unpinned), um deterministische Fehlerquellen zu erkennen.
|
||||
|
||||
**Ziele:**
|
||||
- Überprüfung der Stabilität zwischen pinned und unpinned Runs
|
||||
- Quantifizierung und Klassifizierung der Δt<0‑Fälle
|
||||
- Ableitung einer Schwelle für Near‑Expiry‑Definition (<24h)
|
||||
|
||||
## Kontext & Hintergrund
|
||||
|
||||
Fünf Runs (#6–#10) unter identischer Instrumentierung und Exit‑Regel v1. Jeder Run zeichnet Metriken für pinned und unpinned Kontexte auf.
|
||||
|
||||
**Gruppierung:**
|
||||
- pinned
|
||||
- unpinned
|
||||
|
||||
**Trace-Metadaten / zusätzliche Tags:**
|
||||
- corr_id zur Identifikation einzelner Fälle
|
||||
- expires_at_dist_hours als Distanz bis Ablaufzeit
|
||||
- Lag‑Vorzeichen aus Differenz (t_gate_read − t_index_visible)
|
||||
|
||||
**Domänenkontext:**
|
||||
- Verteilte Systeme mit zeitkritischen Sichtbarkeitsfenstern
|
||||
- Fehleranalyse durch Latenzsignale in synchronisierten Prozessen
|
||||
|
||||
**Outlier-Definition:**
|
||||
- Methode: Schwellenbasiert
|
||||
- Beschreibung: Fälle werden als Ausreißer markiert, wenn expires_at_dist_hours > 24h bei Δt<0 auftritt.
|
||||
- Metrik: expires_at_dist_hours
|
||||
|
||||
**Motivation:**
|
||||
- Stabilisierung von Systemtimings durch präzise Definition von Near‑Expiry‑Zonen
|
||||
- Schaffung einer reproduzierbaren Baseline für A/B‑Tests
|
||||
|
||||
## Methode / Spezifikation
|
||||
|
||||
**Übersicht:**
|
||||
- Vergleich von pinned und unpinned Runs hinsichtlich Δt<0‑Fällen
|
||||
- Konsolidierung der Einzelereignisse über die Runs #6–#10
|
||||
- Analyse des Verteilungsverhaltens von expires_at_dist_hours
|
||||
|
||||
**Algorithmen / Verfahren:**
|
||||
- Zählen der Δt<0‑Fälle pro Run und Stratum
|
||||
- Prüfen des Vorzeichens von (t_gate_read − t_index_visible)
|
||||
- Zuordnung nach expires_at_dist_hours
|
||||
- Ableitung der Near‑Expiry‑Schwelle basierend auf Häufigkeitsverteilung
|
||||
|
||||
### Bootstrap-Übersicht
|
||||
|
||||
Nicht angewandt
|
||||
|
||||
**Zielgrößen:**
|
||||
### Resampling-Setup
|
||||
|
||||
**Resampling-Schema:**
|
||||
**Konfidenzintervalle:**
|
||||
- Niveau: 0.95
|
||||
|
||||
### Abgeleitete Effektgrößen
|
||||
|
||||
**Risk Difference (Differenz der Raten):**
|
||||
- Definition: Vergleich der Δt<0‑Inzidenz zwischen pinned und unpinned Runs.
|
||||
- Bootstrap: Nicht durchgeführt, da Stichprobenumfang gering.
|
||||
|
||||
**Risk Ratio:**
|
||||
- Definition: Quotient aus unpinned‑Δt<0‑Rate zu pinned‑Δt<0‑Rate über Runs #6–#10.
|
||||
- Bootstrap: Nicht angewandt.
|
||||
|
||||
### C-State-Kontrolle
|
||||
|
||||
**Ziel:** Minimierung von Timing‑Drift durch stabile Prozessbedingungen.
|
||||
|
||||
**Vorgehen:**
|
||||
- Alle Runs unter identischer Prozess‑ und Regelkonfiguration
|
||||
- Keine Änderungen der Instrumentierung oder Exit‑Regel
|
||||
|
||||
## Input / Output
|
||||
|
||||
### Input-Anforderungen
|
||||
|
||||
**Hardware:**
|
||||
- Standardisierte Umgebung pro Run, konstant gehalten
|
||||
|
||||
**Software:**
|
||||
- Instrumentierung für Gate‑ und Index‑Timing‑Messungen
|
||||
- Datenlogging für corr_id und expires_at_dist_hours
|
||||
|
||||
**Konfiguration:**
|
||||
- Exit‑Regel v1 unverändert in allen Runs
|
||||
|
||||
### Erwartete Rohdaten
|
||||
|
||||
**Felder pro Run:**
|
||||
- run_id
|
||||
- stratum
|
||||
- corr_id
|
||||
- t_gate_read
|
||||
- t_index_visible
|
||||
- expires_at_dist_hours
|
||||
|
||||
**Formatbeispiele:**
|
||||
- run: #8, stratum: unpinned, corr_id: U8-A, expires_at_dist_hours: 12.1, sign: negativ
|
||||
|
||||
**Trace-Daten:**
|
||||
- Format: Tabellarisch pro Run mit konsolidierter Δt‑Zählung
|
||||
- Hinweis: Δt<0 markiert Vorzeichenwechsel in Sichtbarkeitszeitpunkt
|
||||
|
||||
### Analyse-Ausgaben
|
||||
|
||||
**Pro Gruppe / pro Governor:**
|
||||
- warn rate ≈ 0.06 (pinned)
|
||||
- unknown rate ≈ 0.00 (pinned)
|
||||
- Δt<0-Fälle: 0 (pinned), 1–2 (unpinned)
|
||||
|
||||
**Vergleichsausgaben:**
|
||||
- pinned vs unpinned
|
||||
- Δ: +15–20 Prozentpunkte Δt<0‑Inzidenz
|
||||
- RR: >5x
|
||||
|
||||
- C-State-Korrelation: Nicht signifikant oder konstant über Runs.
|
||||
- Trace-Muster: Unpinned zeigt konsistentes negatives Lag‑Vorzeichen über alle Runs.
|
||||
|
||||
## Workflow / Nutzung
|
||||
|
||||
**Analyse-Workflow:**
|
||||
- Importiere Run‑Logs #6–#10
|
||||
- Filtere nach Δt<0‑Fällen
|
||||
- Klassifiziere pro Stratum (pinned/unpinned)
|
||||
- Berechne expires_at_dist_hours‑Verteilung
|
||||
- Setze Near‑Expiry‑Grenze bei <24h
|
||||
- Überführe Schwelle in A/B‑Test‑Design
|
||||
|
||||
### Trace-Template-Anforderungen
|
||||
|
||||
**Ziel:** Konsistente Erfassung von Timing‑Differenzen zur Erkennung strukturierter Latenzmuster.
|
||||
|
||||
**Erforderliche Tags & Metadaten:**
|
||||
- corr_id
|
||||
- expires_at_dist_hours
|
||||
- t_gate_read
|
||||
- t_index_visible
|
||||
|
||||
**trace-cmd-Setup:**
|
||||
- Verwende identische Sampling‑Intervalle und Log‑Frequenz pro Run
|
||||
|
||||
**Run-Design für Contributors:**
|
||||
- Keine Regeländerung zwischen Runs innerhalb der Baseline
|
||||
- Separate Kennzeichnung für pinned und unpinned Sessions
|
||||
|
||||
## Interpretation & erwartete Ergebnisse
|
||||
|
||||
**Kernbefunde:**
|
||||
- Δt<0‑Fälle treten ausschließlich im unpinned‑Stratum auf.
|
||||
- 6 von 7 Δt<0‑Fällen liegen unter 24h expires_at_dist_hours.
|
||||
- Kein einziger Fall mit positivem Lag‑Vorzeichen.
|
||||
|
||||
**Implikationen für Experimente:**
|
||||
- Die Near‑Expiry‑Schwelle <24h wird als stabile Entscheidungsbasis übernommen.
|
||||
- Baseline‑Runs #6–#10 liefern konsistentes Muster für weitere Tests.
|
||||
|
||||
**Planungsziel:**
|
||||
- Ziel: Definition einer datenbasierten Schwelle für Near‑Expiry‑Regeln.
|
||||
- Vorgehen:
|
||||
- Empirische Aggregation von Δt<0‑Fällen über Serien‑Runs
|
||||
- Auswahl konservativer Schwelle zur Minimierung von False Positives
|
||||
|
||||
## Limitationen & Fallstricke
|
||||
|
||||
**Datenbezogene Limitationen:**
|
||||
- Kleine Stichprobe (nur 7 Δt<0‑Fälle)
|
||||
- Kein separates Validierungsset außerhalb Runs #6–#10
|
||||
|
||||
**Bootstrap-spezifische Limitationen:**
|
||||
- Keine Bootstrap‑Verfahren angewandt, daher keine Konfidenzintervalle
|
||||
|
||||
**Kausalität & Generalisierbarkeit:**
|
||||
- Kausalität nur innerhalb identischer Regelkonfigurationen prüfbar
|
||||
- Ergebnisse gelten nicht für geänderte Instrumentierungsvarianten
|
||||
|
||||
**Praktische Fallstricke:**
|
||||
- Verwechslung von Lag‑Vorzeichen durch Messlatenz möglich
|
||||
- Beobachtungszone 24–48h darf Entscheidungslogik nicht beeinflussen
|
||||
|
||||
## Nächste Schritte & Erweiterungen
|
||||
|
||||
**Geplante Experimente:**
|
||||
- A/B‑Test mit Near‑Expiry‑Schwelle <24h vs. Kontrollgruppe ohne Schwelle
|
||||
|
||||
**Analyseziele:**
|
||||
- Überprüfung der Reproduzierbarkeit des Lag‑Musters
|
||||
- Test auf Stabilität der Warn‑Rate bei neuen Runs
|
||||
|
||||
**Regression & Modellierung:**
|
||||
- Erweiterung zur Trendanalyse über mehrere Baselines
|
||||
- Modellierung der Lag‑Verteilung über expires_at_dist_hours
|
||||
|
||||
**Community-Beiträge:**
|
||||
- Dokumentation der Near‑Expiry‑Heuristik im internen Knowledge‑Repo
|
||||
- Veröffentlichung der Run‑Datenstruktur für Replikationsstudien
|
||||
Loading…
Reference in a new issue