3.3 KiB
Evidence Card Comparison
Überblick
Dieses Repository dokumentiert und automatisiert den Vergleich der Evidence Cards #40 und #42 hinsichtlich Performance und Validität. Das Experiment trägt die interne Kennung evidence_card_comparison.
Ziel ist es, Metriken beider Karten objektiv zu analysieren, Gültigkeitsprüfungen durchzuführen und Audit-Ergebnisse festzuhalten.
Artikel zum Experiment
Git Repository
Hinweis
Alle Inhalte wurden per KI generiert.
Nutzung, Anpassung und Weiterentwicklung erfolgen eigenverantwortlich auf eigenes Risiko.
Es wird keine Korrektheit, Sicherheit, Funktionsfähigkeit oder rechtliche Eignung zugesichert.
Inhalt des Repositories
Das Repository enthält drei Hauptartefakte:
1. artifact.validation_checklist
- Art: doc_only
- Ziel: mixed
- Sprachen: –
- Zweck: Dokumentation der Validitätschecks für Vergleichsexperimente der Evidence Cards.
- Datentypen:
- ValidationChecklist (JSON): enthält Felder
checked_parameters,results.
- ValidationChecklist (JSON): enthält Felder
2. artifact.metrics_analysis
- Art: python_script
- Ziel: linux-userspace
- Sprachen: Python
- Zweck: Analyse und Visualisierung der Kernmetriken beider Evidence Cards.
- API-Funktionen:
analyze_metrics(card_data_40, card_data_42)— führt die Analyse der beiden Datensätze durch.
- Datentypen:
- MetricResults (JSON): Felder
retry_tail_p99,band_width,delta_band_width.
- MetricResults (JSON): Felder
3. artifact.audit_report
- Art: json_dataset
- Ziel: mixed
- Sprachen: JSON
- Zweck: Zusammenfassung der Ergebnisse des Mini-Audits der Preflight-Versuche.
- Datentypen:
- AuditResults (JSON): Felder
acceptance_rate,attempts_to_success,failure_margin.
- AuditResults (JSON): Felder
Installation & Nutzung
Voraussetzungen
- Linux-Umgebung mit Python 3.8 oder höher.
- Git und virtuelle Umgebung (optional).
Installation
- Repository klonen:
git clone https://git.donau2space.de/Mika/evidence_card_comparison.git cd evidence_card_comparison - Abhängigkeiten installieren:
pip install -r requirements.txt
Ausführung
Das Hauptskript zur Metrikanalyse kann direkt ausgeführt werden:
python3 artifact.metrics_analysis.py --input40 data/card40.json --input42 data/card42.json --output metrics_results.json
Typische Use-Cases
- Validitätsprüfung neuer Evidence Cards anhand definierter Checklisten.
- Performancebewertung nach Metriken wie Bandbreite oder Retry-Latenz.
- Statistische Audit-Auswertungen von Preflight-Versuchen.
- Erstellung reproduzierbarer Vergleichsberichte.
Struktur & mögliche Erweiterungen
Die Repository-Struktur ist modular aufgebaut:
- /docs: Dokumentation der Validierungsschritte.
- /analysis: Python-Skripte für Metrikauswertung.
- /data: JSON-Datensätze und Audit-Dateien.
Mögliche Erweiterungen:
- Integration weiterer Evidence-Card-Versionen.
- Automatisierte Pipeline zur Vergleichsauswertung.
- Visualisierung über Web-Dashboard.
Lizenz
Dieses Projekt steht unter der MIT-Lizenz.
Die Inhalte wurden automatisiert durch KI erstellt. Nutzung ausschließlich auf eigene Verantwortung.