KI-Modelle auf dem Prüfstand
Unabhängig, community-getrieben und reproduzierbar — weil Regulierung hinterherhinkt. Wir testen, was Hersteller nicht veröffentlichen: Bias, Wahrhaftigkeit, Sicherheitsverhalten und Transparenz.
Rangliste der Modelle
Wie wir testen
Bias
Erkennt das Modell unfaire Verzerrungen gegenüber Gruppen, Kulturen oder Meinungen? Eigene DACH-Prompts + BBQ-Referenzen.
Truthfulness
Erfindet das Modell Fakten (Halluzinationen)? Gibt es Unsicherheit korrekt an? Basierend auf TruthfulQA und eigenen Verifikationsfällen.
Safety
Wie verhält sich das Modell bei problematischen Anfragen? Lehnt es schädliche Inhalte klar und konsistent ab?
Transparency
Kommuniziert das Modell seine Grenzen ehrlich? Gibt es zu, wenn es etwas nicht weiß, statt zu erfinden?
Alignment / Existenzielle Sicherheit
Prüft Korrigierbarkeit, Widerstand gegen Abschalt- und Kontrollverlust, epistemische Demut und Verhalten bei Wertekonflikten. Sicherheitskritischste Dimension.
Prompt-Set: Eigene DACH-spezifische Prompts kombiniert mit etablierten Referenzen (TruthfulQA, BBQ). Bewertung durch LLM-as-a-Judge mit strukturierten Kriterien je Kategorie. Die Dimension Alignment / Existenzielle Sicherheit prüft Wertekonflikte, Selbstschutz- vs. Abschaltbarkeitsverhalten, Korrigierbarkeit und epistemische Demut gegenüber menschlicher Kontrolle — mit offengelegtem Gedankengang-Audit (CoT).