affinity_load_interaction_analysis/affinity_analysis_documentation/README.md

Interaktionsanalyse Affinität × Last: Bandbreite und Retry-Tail

Purpose

Quantitative Analyse der Wechselwirkung zwischen CPU-Affinität und Lastniveau anhand gemessener Effekte auf Bandbreite und Retry-Tail-Verhalten.

Problemstellung: Bestimmung, ob sich der Affinitätseffekt auf Durchsatz und Tail-Verhalten bei höherer Last additiv oder multiplikativ (interaktiv) verstärkt.

Ziele:

• Numerische Bestimmung des Interaktionseffekts zwischen Affinität und Last auf Bandbreite.
• Identifikation nichtlinearer Effekte bei zunehmender Parallelität.
• Festlegung quantitativer Schwellen zur Definition überproportionaler Reaktionen.

Kontext & Hintergrund

Vier Messläufe mit Kombinationen aus Affinitätseinstellung (randomized/enforced) und Laststufen (2×, 4×).

Gruppierung:

• Affinitätsregime
• Lastfaktor

Trace-Metadaten / zusätzliche Tags:

• setup_fingerprint
• policy_hash
• burst_window

Domänenkontext:

• CPU-Affinität
• Parallelisierung
• Systemdurchsatzanalyse

Outlier-Definition:

• Methode: Tailanalyse (p99 Retry-Rate)
• Beschreibung: Varianz und Latenzspitzen bei hoher Last gelten als Ausreißerindikatoren.
• Metrik: retry_tail_p99

Motivation:

• Vermeidung subjektiver Interpretation durch Definition harter numerischer Schwellen.
• Verständnis der Kopplung zwischen Scheduling, Queueing und Misch-Effekten unter intensiver Last.

Methode / Spezifikation

Übersicht:

• Vergleichende Auswertung von Bandbreiten- und Retry-P99-Messungen in vier definierten Runs.
• Berechnung der Differenzen (Effekte) innerhalb und zwischen Laststufen.
• Anwendung des Diff-of-Diffs-Prinzips zur Isolierung der Interaktion.

Algorithmen / Verfahren:

• Berechne pro Laststufe den Affinitätseffekt: enforced − randomized.
• Berechne die Interaktion als Differenz dieser Effekte zwischen Laststufen.
• Bewerte zusätzliche Verschärfung der Bandbreitenverengung oder Retry-Tail-Erhöhung als nichtlinear.

Abgeleitete Effektgrößen

Risk Difference (Differenz der Raten):

• Definition: Differenz der Effektgrößen bei zwei Lastniveaus (Diff-of-Diffs).
• Bootstrap: Optionaler Einsatz zur Abschätzung der Stabilität der Differenzen über mehrere Runs.

Risk Ratio:

• Definition: Verhältnis des Retry-p99 zwischen Affinitätsregimen pro Lastniveau.
• Bootstrap: Geeignet, um Varianz im Tailverhalten zu quantifizieren.

Input / Output

Erwartete Rohdaten

Felder pro Run:

• run_id
• affinity_mode
• load_factor
• band_width_h
• retry_tail_p99
• setup_fingerprint

Formatbeispiele:

• 29, randomized, 2x, 6.8, 0.11, hash1234

Trace-Daten:

• Format: CSV oder JSON aus Zeitserienexport
• Hinweis: Zeiterprobte Aggregation auf Stundenbasis (band_width) und Perzentilberechnung (p99 Retry).

Analyse-Ausgaben

Pro Gruppe / pro Governor:

• Mittelwert Bandbreite
• p99 Retry-Rate
• Affinitätseffekt je Last

Vergleichsausgaben:

• Affinitäts-Effekt @4× vs Affinitäts-Effekt @2×
  • Δ: −1.4 h Bandbreite
  • RR: +11 % Retry-p99 (unter enforced bei 4×)

Workflow / Nutzung

Analyse-Workflow:

• Sammle Messdaten für 2× und 4× Last jeweils mit enforced/randomized Affinität.
• Berechne pro Laststufe enforced − randomized.
• Berechne Interaktion als Differenz der beiden Effekte.
• Definiere Nichtlinearitätskriterien für 8×-Runs.

Trace-Template-Anforderungen

Ziel: Nachvollziehbare Quantifizierung der Affinität×Last-Interaktion.

Erforderliche Tags & Metadaten:

• load_factor
• affinity_mode
• band_width
• retry_tail_p99
• setup_fingerprint

trace-cmd-Setup:

• Einheitliches Sampling-Intervall
• identisches Policy-Setup zwischen Runs

Run-Design für Contributors:

• Zwei Lastfaktoren (2×, 4×)
• Beide Affinitätsmodi pro Lastfaktor
• Konsistente Umgebungsbedingungen

Interpretation & erwartete Ergebnisse

Kernbefunde:

• Affinitäts-Effekt verstärkt sich nichtlinear bei höherer Last.
• Bandbreitenverengung bei 4× Last deutlich größer als bei 2×.
• Retry-Tail erhöht sich nur unter starker Last signifikant.

Implikationen für Experimente:

• Erweiterung auf 8× dient zur Validierung der Nichtlinearität.
• Ermöglicht Definition operationaler Lastgrenzen vor systemischer Sättigung.

Planungsziel:

• Ziel: Bestimmung des Sättigungspunkts zwischen Queuing- und Mixing-Dominanz.
• Vorgehen:
  • Messung des Bandbreitenverlusts und Retry-Tail-Verhaltens bei 8× unter konstanter Affinität.

Limitationen & Fallstricke

Datenbezogene Limitationen:

• Kleine Stichprobe (nur vier Runs).
• Mögliche Messunsicherheiten durch Umgebungsvariabilität.

Bootstrap-spezifische Limitationen:

• Nicht angewendet, daher keine Varianzabschätzung der Effektgrößen.

Kausalität & Generalisierbarkeit:

• Interaktion numerisch beschrieben, aber noch nicht kausal erklärt.

Praktische Fallstricke:

• Verwechslung additiver und interaktiver Effekte bei unsauberer Vorzeichenkonvention.

Nächste Schritte & Erweiterungen

Geplante Experimente:

• 8× Run mit konstanter Affinität und stabiler Policy.

Analyseziele:

• Validierung der Nichtlinearität und Bestimmung des Sättigungspunktes.

Regression & Modellierung:

• Mehrfaktorielle Varianzanalyse (ANOVA) zur formalen Testung der Interaktion.

Community-Beiträge:

• Bereitstellung der Trace-Templates und Effekttabellen für Vergleichsanalysen.