BPF_Spacer_Experiment/experiment_documentation/README.md

# Vergleich der Varianz von BPF und kprobe sowie Einfluss eines 0,5 mm Spacers auf HF-Amplituden

## Purpose

Analyse der Varianzunterschiede zwischen BPF und kprobe unter identischen Kernel-/Governor-Bedingungen sowie Untersuchung der elektro-mechanischen Dämpfungswirkung eines 0,5 mm Spacers auf HF-Amplituden.

**Problemstellung:** Frühere qualitative Beobachtungen deuteten auf geringere Streuung bei BPF hin, jedoch fehlte eine belastbare Varianzprüfung. Zudem sollte geklärt werden, ob ein 0,5 mm Spacer mechanisch oder elektrisch wirkt.

**Ziele:**
- Quantitative Bestimmung der Varianzreduktion durch BPF gegenüber kprobe.
- Statistische Validierung der beobachteten Unterschiede mittels Levene-Test und Bootstrap-Verfahren.
- Bewertung der Auswirkung eines 0,5 mm Spacers auf Amplituden und Outlier-Struktur in HF-Traces.

## Kontext & Hintergrund

Messreihen mit 240 Samples pro Methode (BPF, kprobe) bei identischen Kernel- und Governor-Settings. Additional Spacer-Messungen (0 mm vs. 0,5 mm) mit je 50 Runs.

**Gruppierung:**
- BPF
- kprobe
- Spacer 0 mm
- Spacer 0,5 mm

**Trace-Metadaten / zusätzliche Tags:**
- clocksource_switch
- Humidity log (3°C)
- Timing-Trace Outlier Detection

**Domänenkontext:**
- Kernel Instrumentation
- Timing Variance Analysis
- Signal Integrity

**Outlier-Definition:**
- Methode: Trace-basierte Outlier-Erkennung
- Beschreibung: Spike-Detektion in HF-Amplitudendaten; Outlier als Abweichungen über festgelegtem Schwellenwert.
- Metrik: Amplitude / Timing Delta

**Motivation:**
- Stabilisierung von Performance-Messungen bei Kernel-Instrumentierung.
- Reduktion von Messrauschen in eBPF-basierten Tests.
- Bewertung elektrischer Kopplungseffekte durch mechanische Abstandshalter.

## Methode / Spezifikation

**Übersicht:**
- Vergleichende Messung von kprobe und BPF mittels identischer Settings.
- Statistische Analyse der Varianzunterschiede mit Levene-Test.
- Bootstrap-basierte Konfidenzintervall-Berechnung für Differenzen der Standardabweichungen.
- Spacer-Experiment zur Analyse der HF-Dämpfung.

**Algorithmen / Verfahren:**
- Levene-Test zur Prüfung der Varianzgleichheit: p≈1.2e-4.
- Bootstrap mit 10.000 Resamples, 95%-Intervall berechnet für (σ_kprobe − σ_BPF).
- Vergleich der Amplitudenmittel aus Oszilloskopdaten bei 0 mm und 0,5 mm Spacer.
- Korrelationsprüfung zwischen Umgebungstemperatur und Residuen (r≈0,03).

### Bootstrap-Übersicht

Nichtparametrisches Resampling zur Schätzung des Konfidenzintervalls für Varianzunterschiede.

**Zielgrößen:**
- Differenz der Standardabweichungen
- Risikoabschätzung Varianzstabilität

### Resampling-Setup

- BPF
- kprobe

**Stichprobeneinheit:** Einzelmessung der Timing-Latenz (ms)

**Resampling-Schema:**
- 10000 Bootstrap-Replikate pro Gruppe

**Konfidenzintervalle:**
- Niveau: 0.95
- Typ: Bootstrap-basiert
- Ableitung: Empirisches 2,5%- und 97,5%-Perzentil der Bootstrap-Verteilung

### Abgeleitete Effektgrößen

**Risk Difference (Differenz der Raten):**
- Definition: Nicht relevant (kaum kategoriale Variablen).

**Risk Ratio:**
- Definition: Vergleich der relativen Varianzunterschiede zwischen Methoden.
- Bootstrap: Abschätzung über Verhältnis σ_BPF / σ_kprobe.

### C-State-Kontrolle

**Ziel:** Minimierung von Nebeneinflüssen auf Takt- und Energiestatus.

**Vorgehen:**
- Fixierte Governor-Einstellungen.
- Keine dynamische Frequenzskalierung während der Messreihen.

## Input / Output

### Input-Anforderungen

**Hardware:**
- Messsonde
- HF-Oszilloskop
- Temperaturlogger

**Software:**
- Linux Kernel mit aktivem BPF-Subsystem
- Python mit scipy, numpy
- Bootstrap-Skript

**Konfiguration:**
- Governor fixiert
- clocksource_switch aktiv
- Feuchtigkeitskonstante 3 °C Umgebung

### Erwartete Rohdaten

**Felder pro Run:**
- timestamp
- method
- latency_ms
- amplitude
- temperature_C

**Formatbeispiele:**
- 2024-06-04T11:32:01Z,BPF,6.72,0.85,3.0

**Trace-Daten:**
- Format: tabellarisch (CSV oder JSONL)
- Hinweis: Enthält HF-Spikes und Zeitdifferenzen, erfasst über clocksource_switch.

### Analyse-Ausgaben

**Pro Gruppe / pro Governor:**
- σ
- Median
- Varianz
- 95%-Bootstrap-Intervall
- Levene-p

**Vergleichsausgaben:**
- kprobe vs BPF
  - Δ: ≈ 1,7 ms σ-Differenz
  - CI(Δ): [1,1 ms, 2,3 ms]
  - RR: ≈ 0,60 (σ_BPF / σ_kprobe)
  - CI(RR): nicht angegeben
  - Tests: 1.2e-4

- C-State-Korrelation: nicht signifikant (r≈0,03)
- Trace-Muster: Weniger Spike-Outlier bei 0,5 mm Spacer

## Workflow / Nutzung

**Analyse-Workflow:**
- Erfassung der Messreihen mit fixierten Kernel-/Governor-Parametern.
- Anwendung des Levene-Tests auf die Varianzen pro Methode.
- Bootstrap-basierte Konfidenzintervallbestimmung.
- HF-Analyse der Spacer-Messungen.
- Integration der Ergebnisse in PR-Text und CI-Testkonfiguration.

### Trace-Template-Anforderungen

**Ziel:** Reproduzierbare Erfassung von Timing-Streuungen über clocksource_switch.

**Erforderliche Tags & Metadaten:**
- method
- timestamp
- latency_ms
- ambient_temp

**trace-cmd-Setup:**
- Verwendung von trace-cmd mit Filter clocksource_switch

**Run-Design für Contributors:**
- N = 240 pro Methode, Nightly-N = 1000, stratified sampling

## Interpretation & erwartete Ergebnisse

**Kernbefunde:**
- BPF zeigt unter identischen Bedingungen eine signifikant geringere Varianz als kprobe (σ-Differenz ≈ 1,7 ms).
- Bootstrap- und Levene-Ergebnisse bestätigen statistische Signifikanz.
- 0,5 mm Spacer reduziert HF-Amplituden um ca. 58 % und senkt Spike-Outlier-Anzahl.

**Implikationen für Experimente:**
- BPF kann als Standardmethode für stabilere Timing-Messungen verwendet werden.
- Spacer-Einsatz verändert elektrische Kopplung signifikant und sollte berücksichtigt werden.
- Künftige Runs sollten kontrollierte Umgebungsbedingungen (Feuchte, Temperatur) einbeziehen.

**Planungsziel:**
- Ziel: Reproduzierbare Stabilitätsnachweise für BPF und elektrische Charakterisierung des Spacers.
- Vorgehen:
  - Statistische Varianztests
  - HF-Signalbeobachtung
  - Bootstrap-basierte Unsicherheitsabschätzung

## Limitationen & Fallstricke

**Datenbezogene Limitationen:**
- Begrenzte Stichprobengröße für Spacer-Messung (N = 50).
- Einzelsessions, keine Multihost-Replikation.

**Bootstrap-spezifische Limitationen:**
- Bootstrap-Intervalle sensibel gegenüber Ausreißern in kleinen Samples.
- Resampling-Annahme der Unabhängigkeit muss geprüft werden.

**Kausalität & Generalisierbarkeit:**
- Schlussfolgerung gilt nur für geprüfte Kernel-/Governor-Konfiguration.
- Elektrische Effekte des Spacers abhängig von Hardwareaufbau.

**Praktische Fallstricke:**
- Feuchtigkeitseinfluss bei Außenmessung.
- Spacer-Montage kann Messgeometrie unbeabsichtigt verändern.

## Nächste Schritte & Erweiterungen

**Geplante Experimente:**
- Spacer-Matrix-Messung (0/0,5/1/2 mm, N = 200 pro Gruppe) bei kontrollierter Feuchte.
- Hardware-Vergleichstests mit Tag/Runner-Split.

**Analyseziele:**
- Bewertung der Nicht-Normalität mit Fligner-Test.
- Erweiterung der Bootstrap-Analyse auf Amplitudenmetrik.

**Regression & Modellierung:**
- Aufbau eines Regressionsmodells zwischen Spacer-Abstand und Amplitudenreduktion.

**Community-Beiträge:**
- Bereitstellung der Levene+Bootstrap-Skripte als Notebook-Beilage im Repository.
- Aufforderung an Reviewer zur Cross-Hardware-Verifikation.