Add artifact.3/README.md

This commit is contained in:
Mika 2026-03-04 15:16:39 +00:00
parent 8e43b1d1d6
commit 818f3a085f

154
artifact.3/README.md Normal file
View file

@ -0,0 +1,154 @@
# A/B-Test Dokumentation Fresh vs Near-Expiry (Run #11)
## Purpose
Untersuchung, ob NearExpiry Produkte die Ursache für negative Zeitstempel-Differenzen (Δt < 0) sind.
**Problemstellung:** Vorherige Runs zeigten Δt < 0Fälle, deren Ursache unklar war. Es wird geprüft, ob NearExpiry Produkte den Effekt verursachen.
**Ziele:**
- Validierung der Hypothese, dass NearExpiry ein technischer Einflussfaktor auf Zeitdifferenzen ist.
- Beibehaltung eines minimalen, kontrollierten A/BTestSetups ohne neue Instrumentierung.
## Kontext & Hintergrund
Erfasste Laufdaten mit Metriken zu warn_rate, unknown_rate und ΔtBedingungen in Gruppen Fresh und NearExpiry, jeweils nach Stratum pinned/unpinned
**Gruppierung:**
- fresh/pinned
- fresh/unpinned
- nearexpiry/pinned
- nearexpiry/unpinned
**Trace-Metadaten / zusätzliche Tags:**
- expires_at_dist_hours
- t_gate_read
- t_index_visible
- corr_id
**Domänenkontext:**
- ZeitstempelKonsistenzanalyse in A/BTestRuns
- Verlaufsmessung technischer Metriken unter unterschiedlichen Produkt-Zuständen
**Outlier-Definition:**
- Methode: delta_t_negative_detection
- Beschreibung: Ein Lauf wird als Ausreißer markiert, wenn Δt = (t_gate_read t_index_visible) < 0.
- Metrik: Δt
**Motivation:**
- Erkennen zeitlicher Unstimmigkeiten bei NearExpiry Items
- Sicherung synchroner Prozessverläufe in Produktionssystemen
## Methode / Spezifikation
**Übersicht:**
- Zwei Gruppen im A/BDesign: Gruppe A = fresh (expires_at_dist_hours ≥ 72h), Gruppe B = nearexpiry (expires_at_dist_hours < 24h).
- Stratifizierung nach pinned/unpinned Konfiguration.
- ExitRegel v1 unverändert, keine Änderung an Instrumentierung.
**Algorithmen / Verfahren:**
- Berechnung relativer Raten: warn_rate, unknown_rate, Δt<0Vorkommen je Gruppe und Stratum.
- Vergleich der Δt<0Anteile zwischen A und B im unpinnedStratum als zentrale Hypothesenprüfung.
## Input / Output
### Erwartete Rohdaten
**Felder pro Run:**
- corr_id
- expires_at_dist_hours
- t_gate_read
- t_index_visible
- warn_flag
- pinned_flag
**Formatbeispiele:**
- corr_id=9f2c…, expires_at_dist_hours=5.9, Δt=00:02:41
**Trace-Daten:**
- Format: Tabellarisch nach Gruppen (A/B × pinned/unpinned)
- Hinweis: Jede Zelle enthält warn_rate, unknown_rate und Δt<0Zählung.
### Analyse-Ausgaben
**Pro Gruppe / pro Governor:**
- warn_rate
- unknown_rate
- Δt<0_count
**Vergleichsausgaben:**
- fresh-unpinned vs near-expiry-unpinned
- Δ: Δt<0: 0% vs 3 Fälle
- RR: undefiniert (0 vs >0)
- Trace-Muster: Δt<0Fälle treten nur bei nearexpiryunpinned auf.
## Workflow / Nutzung
**Analyse-Workflow:**
- Daten pro Run erfassen.
- Nach Gruppenzuordnung (fresh/nearexpiry) und Stratum (pinned/unpinned) aggregieren.
- Anteile für warn_rate und Δt<0 berechnen.
- Effektvergleich durchführen, Entscheidungsregel anwenden.
### Trace-Template-Anforderungen
**Ziel:** Identifikation von Zeitdifferenzen in Ablaufprozessen bei NearExpiry Items
**Erforderliche Tags & Metadaten:**
- expires_at_dist_hours
- pinned_flag
- t_gate_read
- t_index_visible
**trace-cmd-Setup:**
- Keine neue Instrumentierung, bestehendes Setup unverändert einsetzen.
**Run-Design für Contributors:**
- A/BZuteilung nach expires_at_dist_hours, identische Pipelines für beide Gruppen.
## Interpretation & erwartete Ergebnisse
**Kernbefunde:**
- Δt<0 tritt ausschließlich in nearexpiryunpinned auf.
- PinnedStrata sind stabil, unabhängig vom Produktzustand.
- Warn und unknownRaten sind über beide Gruppen nahezu gleich.
**Implikationen für Experimente:**
- NearExpiry beeinflusst Zeitkonsistenz signifikant im unpinnedStratum.
- Künftige Runs sollen bestätigen, ob der Effekt stabil wiederholbar ist.
**Planungsziel:**
- Ziel: Überprüfung der Stabilität des NearExpiryEffekts über mehrere Runs hinweg.
- Vorgehen:
- Keine Änderungen, passives Beobachten über 2448h.
- Mindestens ein weiterer Run mit identischem Setup.
## Limitationen & Fallstricke
**Datenbezogene Limitationen:**
- Nur ein Run (#11) vorhanden; statistische Absicherung fehlt.
- Gruppengrößen nicht spezifiziert.
**Kausalität & Generalisierbarkeit:**
- Kausalität nur vermutet, nicht bewiesen.
- Effekt kann zufallsbedingt oder durch Nebenbedingungen verursacht sein.
**Praktische Fallstricke:**
- Verfrühte operative Maßnahmen ohne Replikation riskant.
- Nur Beobachtung empfohlen, keine sofortige Regeländerung.
## Nächste Schritte & Erweiterungen
**Geplante Experimente:**
- Run #12 mit gleichem Setup zur Validierung des NearExpiryEffekts.
**Analyseziele:**
- Überprüfung der Wiederholbarkeit von Δt<0 bei nearexpiryunpinned.
- Messung der Stabilität über mehrere 24hZyklen.
**Regression & Modellierung:**
- Optional: logistische Regression Δt<0 ~ expires_at_dist_hours + pinned_flag.
**Community-Beiträge:**
- Diskussion der NearExpiryBehandlung auf MissionControl Forum (Tag 166).