commit 8802481c78eacf8ed18f9e4700fc3dcbb3b0c731 Author: Mika Date: Tue Mar 3 11:21:15 2026 +0000 Add run_analysis/README.md diff --git a/run_analysis/README.md b/run_analysis/README.md new file mode 100644 index 0000000..a0237c3 --- /dev/null +++ b/run_analysis/README.md @@ -0,0 +1,204 @@ +# Analyse der Runs #6–#10 zur Definition der Near‑Expiry‑Schwelle + +## Purpose + +Auswertung der Runs #6–#10 zur Identifikation stabiler Timing-Muster und Definition einer datenbasierten Near‑Expiry‑Schwelle. + +**Problemstellung:** Untersuchung negativer Zeitdifferenzen (Δt<0) zwischen Gate‑Read und Index‑Visibility unter verschiedenen Bedingungen (pinned/unpinned), um deterministische Fehlerquellen zu erkennen. + +**Ziele:** +- Überprüfung der Stabilität zwischen pinned und unpinned Runs +- Quantifizierung und Klassifizierung der Δt<0‑Fälle +- Ableitung einer Schwelle für Near‑Expiry‑Definition (<24h) + +## Kontext & Hintergrund + +Fünf Runs (#6–#10) unter identischer Instrumentierung und Exit‑Regel v1. Jeder Run zeichnet Metriken für pinned und unpinned Kontexte auf. + +**Gruppierung:** +- pinned +- unpinned + +**Trace-Metadaten / zusätzliche Tags:** +- corr_id zur Identifikation einzelner Fälle +- expires_at_dist_hours als Distanz bis Ablaufzeit +- Lag‑Vorzeichen aus Differenz (t_gate_read − t_index_visible) + +**Domänenkontext:** +- Verteilte Systeme mit zeitkritischen Sichtbarkeitsfenstern +- Fehleranalyse durch Latenzsignale in synchronisierten Prozessen + +**Outlier-Definition:** +- Methode: Schwellenbasiert +- Beschreibung: Fälle werden als Ausreißer markiert, wenn expires_at_dist_hours > 24h bei Δt<0 auftritt. +- Metrik: expires_at_dist_hours + +**Motivation:** +- Stabilisierung von Systemtimings durch präzise Definition von Near‑Expiry‑Zonen +- Schaffung einer reproduzierbaren Baseline für A/B‑Tests + +## Methode / Spezifikation + +**Übersicht:** +- Vergleich von pinned und unpinned Runs hinsichtlich Δt<0‑Fällen +- Konsolidierung der Einzelereignisse über die Runs #6–#10 +- Analyse des Verteilungsverhaltens von expires_at_dist_hours + +**Algorithmen / Verfahren:** +- Zählen der Δt<0‑Fälle pro Run und Stratum +- Prüfen des Vorzeichens von (t_gate_read − t_index_visible) +- Zuordnung nach expires_at_dist_hours +- Ableitung der Near‑Expiry‑Schwelle basierend auf Häufigkeitsverteilung + +### Bootstrap-Übersicht + +Nicht angewandt + +**Zielgrößen:** +### Resampling-Setup + +**Resampling-Schema:** +**Konfidenzintervalle:** +- Niveau: 0.95 + +### Abgeleitete Effektgrößen + +**Risk Difference (Differenz der Raten):** +- Definition: Vergleich der Δt<0‑Inzidenz zwischen pinned und unpinned Runs. +- Bootstrap: Nicht durchgeführt, da Stichprobenumfang gering. + +**Risk Ratio:** +- Definition: Quotient aus unpinned‑Δt<0‑Rate zu pinned‑Δt<0‑Rate über Runs #6–#10. +- Bootstrap: Nicht angewandt. + +### C-State-Kontrolle + +**Ziel:** Minimierung von Timing‑Drift durch stabile Prozessbedingungen. + +**Vorgehen:** +- Alle Runs unter identischer Prozess‑ und Regelkonfiguration +- Keine Änderungen der Instrumentierung oder Exit‑Regel + +## Input / Output + +### Input-Anforderungen + +**Hardware:** +- Standardisierte Umgebung pro Run, konstant gehalten + +**Software:** +- Instrumentierung für Gate‑ und Index‑Timing‑Messungen +- Datenlogging für corr_id und expires_at_dist_hours + +**Konfiguration:** +- Exit‑Regel v1 unverändert in allen Runs + +### Erwartete Rohdaten + +**Felder pro Run:** +- run_id +- stratum +- corr_id +- t_gate_read +- t_index_visible +- expires_at_dist_hours + +**Formatbeispiele:** +- run: #8, stratum: unpinned, corr_id: U8-A, expires_at_dist_hours: 12.1, sign: negativ + +**Trace-Daten:** +- Format: Tabellarisch pro Run mit konsolidierter Δt‑Zählung +- Hinweis: Δt<0 markiert Vorzeichenwechsel in Sichtbarkeitszeitpunkt + +### Analyse-Ausgaben + +**Pro Gruppe / pro Governor:** +- warn rate ≈ 0.06 (pinned) +- unknown rate ≈ 0.00 (pinned) +- Δt<0-Fälle: 0 (pinned), 1–2 (unpinned) + +**Vergleichsausgaben:** +- pinned vs unpinned + - Δ: +15–20 Prozentpunkte Δt<0‑Inzidenz + - RR: >5x + +- C-State-Korrelation: Nicht signifikant oder konstant über Runs. +- Trace-Muster: Unpinned zeigt konsistentes negatives Lag‑Vorzeichen über alle Runs. + +## Workflow / Nutzung + +**Analyse-Workflow:** +- Importiere Run‑Logs #6–#10 +- Filtere nach Δt<0‑Fällen +- Klassifiziere pro Stratum (pinned/unpinned) +- Berechne expires_at_dist_hours‑Verteilung +- Setze Near‑Expiry‑Grenze bei <24h +- Überführe Schwelle in A/B‑Test‑Design + +### Trace-Template-Anforderungen + +**Ziel:** Konsistente Erfassung von Timing‑Differenzen zur Erkennung strukturierter Latenzmuster. + +**Erforderliche Tags & Metadaten:** +- corr_id +- expires_at_dist_hours +- t_gate_read +- t_index_visible + +**trace-cmd-Setup:** +- Verwende identische Sampling‑Intervalle und Log‑Frequenz pro Run + +**Run-Design für Contributors:** +- Keine Regeländerung zwischen Runs innerhalb der Baseline +- Separate Kennzeichnung für pinned und unpinned Sessions + +## Interpretation & erwartete Ergebnisse + +**Kernbefunde:** +- Δt<0‑Fälle treten ausschließlich im unpinned‑Stratum auf. +- 6 von 7 Δt<0‑Fällen liegen unter 24h expires_at_dist_hours. +- Kein einziger Fall mit positivem Lag‑Vorzeichen. + +**Implikationen für Experimente:** +- Die Near‑Expiry‑Schwelle <24h wird als stabile Entscheidungsbasis übernommen. +- Baseline‑Runs #6–#10 liefern konsistentes Muster für weitere Tests. + +**Planungsziel:** +- Ziel: Definition einer datenbasierten Schwelle für Near‑Expiry‑Regeln. +- Vorgehen: + - Empirische Aggregation von Δt<0‑Fällen über Serien‑Runs + - Auswahl konservativer Schwelle zur Minimierung von False Positives + +## Limitationen & Fallstricke + +**Datenbezogene Limitationen:** +- Kleine Stichprobe (nur 7 Δt<0‑Fälle) +- Kein separates Validierungsset außerhalb Runs #6–#10 + +**Bootstrap-spezifische Limitationen:** +- Keine Bootstrap‑Verfahren angewandt, daher keine Konfidenzintervalle + +**Kausalität & Generalisierbarkeit:** +- Kausalität nur innerhalb identischer Regelkonfigurationen prüfbar +- Ergebnisse gelten nicht für geänderte Instrumentierungsvarianten + +**Praktische Fallstricke:** +- Verwechslung von Lag‑Vorzeichen durch Messlatenz möglich +- Beobachtungszone 24–48h darf Entscheidungslogik nicht beeinflussen + +## Nächste Schritte & Erweiterungen + +**Geplante Experimente:** +- A/B‑Test mit Near‑Expiry‑Schwelle <24h vs. Kontrollgruppe ohne Schwelle + +**Analyseziele:** +- Überprüfung der Reproduzierbarkeit des Lag‑Musters +- Test auf Stabilität der Warn‑Rate bei neuen Runs + +**Regression & Modellierung:** +- Erweiterung zur Trendanalyse über mehrere Baselines +- Modellierung der Lag‑Verteilung über expires_at_dist_hours + +**Community-Beiträge:** +- Dokumentation der Near‑Expiry‑Heuristik im internen Knowledge‑Repo +- Veröffentlichung der Run‑Datenstruktur für Replikationsstudien