energie-sql-bench · v0.1.1

Energie-SQL-Bench

Wie gut beantworten Sprachmodelle Fachfragen zum deutschen Strommarkt mit T-SQL auf einem echten Sternschema? 70 Intents auf Deutsch und Englisch, Gold-SQL und Gold-Ergebnisse, ausführungsbasierte Bewertung, abgesicherte Nur-Lese-Ausführung.

SMARD 2023-01-01 – 2026-09-30 · MaStR bis 2026-09 · Stichtag 2026-10-01 · monitor b399d01 · GitHub

Noch kein Live-Lauf. Jede Modellzeile steht auf ausstehend: Live-Lauf; die ersten bezahlten Läufe erscheinen mit v0.2.0. Zahlen werden nie geschätzt. Die grauen Balken unten sind ein Pipeline-Test (synthetisch, kein Sprachmodell).

Ausführungsgenauigkeit (EX)

Bernstein: Modelllauf mit 95 %-Intervall · gestrichelt: ausstehend: Live-Lauf · grau: Pipeline-Test (synthetisch, kein Sprachmodell) · SK: Selbstkorrektur

Konfigurationen

Konfiguration	EX (95 %-KI)	Spanne	EX-strict	Validität	blockiert	Enthaltung P / R	LLM p50 / p95 ms	DB p50 / p95 ms	Tokens	USD / richtig	Lauf
Claude Haiku 5.5 · v1 (volles Schema)	ausstehend: Live-Lauf
Claude Haiku 5.5 · v2 (volles Schema + Few-Shot)	ausstehend: Live-Lauf
Claude Haiku 5.5 · v3 (volles Schema + Semantik)	ausstehend: Live-Lauf
Claude Haiku 5.5 · v4 (volles Schema + Semantik + Few-Shot)	ausstehend: Live-Lauf
Claude Haiku 5.5 · v5 (Orakel-Tabellen + Semantik + Few-Shot)	ausstehend: Live-Lauf
Claude Haiku 5.5 · v6 (abgerufene Tabellen + Semantik + Few-Shot)	ausstehend: Live-Lauf
Claude Haiku 5.5 · v4 (volles Schema + Semantik + Few-Shot) · Selbstkorrektur	ausstehend: Live-Lauf
Claude Sonnet 5.5 · v1 (volles Schema)	ausstehend: Live-Lauf
Claude Sonnet 5.5 · v2 (volles Schema + Few-Shot)	ausstehend: Live-Lauf
Claude Sonnet 5.5 · v3 (volles Schema + Semantik)	ausstehend: Live-Lauf
Claude Sonnet 5.5 · v4 (volles Schema + Semantik + Few-Shot)	ausstehend: Live-Lauf
Claude Sonnet 5.5 · v5 (Orakel-Tabellen + Semantik + Few-Shot)	ausstehend: Live-Lauf
Claude Sonnet 5.5 · v6 (abgerufene Tabellen + Semantik + Few-Shot)	ausstehend: Live-Lauf
Claude Opus 5.5 · v4 (volles Schema + Semantik + Few-Shot)	ausstehend: Live-Lauf
Qwen2.5-Coder 7B (Ollama) · v4 (volles Schema + Semantik + Few-Shot)	ausstehend: Live-Lauf
Qwen2.5-Coder 7B (Ollama) · v5 (Orakel-Tabellen + Semantik + Few-Shot)	ausstehend: Live-Lauf

Pipeline-Test (synthetisch, kein Sprachmodell)

Kein Sprachmodell: ein deterministischer Generator antwortet aus dem Gold-SQL mit festen, markierten Fehlern. Prüft Guard, Ausführung, Vergleich, Selbstkorrektur, Bewertung und Replay.

Lauf	Modus	EX	EX-strict	blockiert	Reparaturen	Fehlerklassen
synthetic-v4-test	Einzelversuch	68,3 % (82/120)	68,3 %	10	0	E1 8, E2 11, E11 10, E12 9
synthetic-v4-test-sc	Selbstkorrektur	92,5 % (111/120)	92,5 %	10	29	E12 9

Gepaarte Vergleiche

A	B	Intents	nur A	nur B	p (McNemar)
Claude Haiku 5.5 · v1 (volles Schema)	Claude Haiku 5.5 · v4 (volles Schema + Semantik + Few-Shot)	–	–	–	ausstehend: Live-Lauf
Claude Haiku 5.5 · v4 (volles Schema + Semantik + Few-Shot)	Claude Haiku 5.5 · v4 (volles Schema + Semantik + Few-Shot) · Selbstkorrektur	–	–	–	ausstehend: Live-Lauf
Claude Sonnet 5.5 · v1 (volles Schema)	Claude Sonnet 5.5 · v4 (volles Schema + Semantik + Few-Shot)	–	–	–	ausstehend: Live-Lauf

Fehlerklassen

Klasse	Bedeutung	synthetic-v4-test	synthetic-v4-test-sc
E1	Syntax oder Dialekt	8	0
E2	erfundene Tabelle oder Spalte	11	0
E11	vom Guard blockiert	10	0
E12	Enthaltungsfehler	9	9

Benchmark

Fragenkatalog

70 × DE/EN

120 bewertete Items, Tiers A 5, T1 12, T2 16, T3 16, T4 11

Sicherheit

SELECT only

DuckDB-Parität (CI)

100,0 %

64/64 Intents, davon 23 nicht trivial

Herkunft des Goldstandards

von einem Sprachmodell entworfen

Fragen, Gold-SQL und Gegenprobe-Abfragen entwarf ein Sprachmodell (Claude); geprüft durch Ausführung am Warehouse. Die Prüfung von 20 Intents durch den Eigentümer steht aus.

Replay

offline

CI berechnet jede Zahl aus den Aufzeichnungen neu, ohne Datenbank und ohne API-Schlüssel