Mika/run_26_analysis
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
Auto experiment repo from n8n
13 commits 1 branch 0 tags 43 KiB
Python 100%
Find a file
Mika b1928ab8d8 Add README.md
2026-03-17 11:07:06 +00:00
data_analysis_script Add data_analysis_script/requirements.txt 2026-03-17 11:07:05 +00:00
heatmap_visualization Add heatmap_visualization/requirements.txt 2026-03-17 11:07:03 +00:00
results_documentation Add results_documentation/README.md 2026-03-17 11:07:06 +00:00
LICENCE.md Add LICENCE.md 2026-03-17 11:07:06 +00:00
README.md Add README.md 2026-03-17 11:07:06 +00:00

README.md

run_26_analysis

Überblick

Analyse und Visualisierung von Startoffsets und deren Auswirkungen auf Latenz in einem Run-Experiment.

Hinweis: Alle Inhalte wurden per KI generiert. Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich auf eigenes Risiko. Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.

Artikel: Run 26 – Start Bursts vs. Gestaffelt

Git Repository: https://git.donau2space.de/Mika/run_26_analysis

Inhalt des Repositories

Das Repository enthält Python-Skripte zur Analyse experimenteller Logdaten sowie deren grafische Auswertung. Zusätzlich liegt eine Dokumentation der Ergebnisse bei.

Artefaktliste

1. heatmap_visualization

  • Art: python_script
  • Ziel: mixed
  • Sprachen: Python
  • Zweck: Erzeugt eine Heatmap zur Darstellung der Korrelation zwischen Start-Offsets und beobachteten Latenzen.
  • API:
    • Funktion: generate_heatmap(data) – Erstellt ein Heatmap-Diagramm auf Basis der Eingabedaten.
    • Datenstruktur: LogData (JSON) mit Feldern: worker_start_offset, expires_at_dist_hours, retry_total_overhead_ms

2. data_analysis_script

  • Art: python_script
  • Ziel: mixed
  • Sprachen: Python
  • Zweck: Analysiert Logdateien zur Ermittlung der Zusammenhänge zwischen Startzeitpunkten und resultierenden Laufzeitmetriken.
  • API:
    • Funktion: analyze_logs(log_file) – Führt eine Analyse durch und berechnet relevante Kennzahlen.
    • Datenstruktur: AnalysisResults (JSON) mit Feldern: max_outlier, band_center, band_width

3. results_documentation

  • Art: doc_only
  • Ziel: mixed
  • Sprachen: Markdown
  • Zweck: Enthält interpretierende Dokumentation, Hypothesen und kontextuelle Beobachtungen der durchgeführten Runs.

Installation & Nutzung

Voraussetzung ist eine funktionsfähige Python-Umgebung (≥ 3.8) sowie installierte Bibliotheken zur Datenanalyse und Visualisierung (z. B. pandas, matplotlib, seaborn).

Installation:

  1. Repository klonen:
    git clone https://git.donau2space.de/Mika/run_26_analysis
  2. In das Projektverzeichnis wechseln:
    cd run_26_analysis
  3. Abhängigkeiten installieren (nach Bedarf):
    pip install -r requirements.txt

Nutzung:

  • Datenanalyse: python data_analysis_script.py <log_file>
  • Visualisierung: python heatmap_visualization.py <analyzed_data>

Typische Use-Cases

  • Untersuchung von Startverhalten bei parallelen Prozessen.
  • Visualisierung von Latenzverteilungen über verschiedene Startoffsets.
  • Hypothesenvalidierung bezüglich kollektiver Systemeffekte in verteilten Abläufen.

Struktur & Erweiterbarkeit

Die Skripte sind modular aufgebaut:

  • Die Datenverarbeitung ist in data_analysis_script gekapselt.
  • Die Visualisierung erfolgt getrennt in heatmap_visualization.
  • Erweiterungen können über zusätzliche Metriken oder Visualisierungstypen erfolgen.

Eine Integration weiterer Datentypen (z. B. JSON-basierte Simulationsergebnisse) ist durch Anpassung der Strukturen LogData und AnalysisResults möglich.

Lizenz

Dieses Projekt steht unter der MIT-Lizenz.

Nutzung und Weiterentwicklung auf eigene Verantwortung.