smevals bringt System in KI-Tests

Wenn du regelmässig mit KI arbeitest, kennst du das: Ein Prompt wirkt heute überzeugend, morgen liefert ein anderes Modell ein besseres Ergebnis, und am Ende entscheidet oft das Bauchgefühl. Genau hier setzt smevals an, ein neues Werkzeug, mit dem sich Modelle, Prompts und KI-Arbeitsabläufe systematischer testen lassen.

Der spannende Punkt: Es geht nicht um grosse Forschungslabors, sondern um kleine Testsammlungen, die konkrete Fragen beantworten sollen. Zum Beispiel: Wie gut schreibt ein Modell Haikus, oder wie gut erzeugt es SVG-Grafiken?

Was passiert ist

Simon Willison berichtet in einem Beitrag vom 31. Juli 2026 über smevals, ein neues Werkzeug zum Ausführen kleiner Evaluationssammlungen. Eine Evaluation, kurz Eval, ist dabei eine Sammlung von Prüfaufgaben, mit denen eine konkrete Frage zu einem Modell beantwortet werden soll.

Willison hat laut Beitrag zusammen mit Jesse Vincents Prime Radiant Applied AI Research Lab an diesem Rahmenwerk gearbeitet. Ziel ist es, Fragen zu den Fähigkeiten unterschiedlicher Modelle besser beantworten zu können. Das Ergebnis heisst smevals und soll kleine Testsammlungen über verschiedene Modell-Konfigurationen hinweg ausführen und die Ergebnisse bewerten.

Die Grundidee ist klar strukturiert. Ein Eval besteht aus mehreren Aufgaben. Eine Aufgabe, im Original «task», ist eine konkrete Herausforderung, etwa: «Erzeuge eine SVG-Grafik eines Pelikans, der Fahrrad fährt.» SVG ist ein Dateiformat für Vektorgrafiken, also Grafiken, die aus Formen statt aus einzelnen Bildpunkten bestehen.

Wenn ein Eval ausgeführt wird, geschieht das gegen eine oder mehrere Konfigurationen. Eine Konfiguration legt fest, welches Modell geprüft wird. Sie kann laut Beitrag aber auch weitere Parameter enthalten, zum Beispiel unterschiedliche System-Prompts, Modellparameter oder Agent-Harnesses. Ein System-Prompt ist eine grundlegende Anweisung, die dem Modell den Rahmen vorgibt. Ein Agent-Harness bezeichnet hier die Umgebung oder Einbettung, in der ein Agent eine Aufgabe ausführt.

Ein einzelner Durchlauf wird als «run» bezeichnet. Er hält fest, was passiert ist, wenn eine bestimmte Konfiguration eine bestimmte Aufgabe bearbeitet hat. Ausgeführt wird dieser Durchlauf durch einen «runner», also ein Skript, das den Durchlauf startet.

Nach den Durchläufen kommt die Bewertung. Diese geschieht mit einem «grader», also einer Bewertungslogik, die eine Note oder Bewertung erzeugt. Ein Grader führt eine Reihe von Prüfungen aus. Solche Prüfungen können einfach sein, etwa ob eine bestimmte Zeichenfolge in der Ausgabe vorkommt oder ob die Ausgabe gültiges XML ist. XML ist ein strukturiertes Textformat, das klare Regeln für Aufbau und Verschachtelung hat. Prüfungen können aber auch komplexer sein und über eigene Skripte laufen, die im Beitrag «checkers» genannt werden. Laut Quelle können dabei auch andere Modelle eingesetzt werden, um Fragen zum Durchlauf zu beantworten.

Der praktische Ablauf wird im Beitrag mit mehreren Befehlen beschrieben. Zuerst kann ein Coding-Agent angewiesen werden, mit uvx smevals docs die Dokumentation auszugeben. Danach soll der Agent eine Eval-Sammlung bauen. Ein erstelltes Eval besteht aus einem Verzeichnis mit YAML-Dateien. YAML ist ein Textformat, mit dem sich strukturierte Angaben vergleichsweise lesbar notieren lassen.

Anschliessend kann das Eval gegen Modelle ausgeführt werden, im Beispiel gegen gpt-5.5 und claude-opus-4.6. Danach lassen sich die Durchläufe bewerten. Die Ergebnisse können über einen lokalen Webserver angesehen oder als statisches HTML erstellt werden, das sich laut Beitrag überall hosten lässt. Der Quellentext nennt auch ein Beispiel: Willison hat eine Eval-Sammlung gebaut, um zu prüfen, wie gut Modelle Haikus schreiben.

Warum das relevant ist

Viele KI-Nutzung im Alltag fühlt sich noch an wie Probieren am Küchentisch: Du änderst eine Formulierung, wechselst das Modell, bekommst ein anderes Ergebnis und fragst dich, ob es nun wirklich besser ist. Manchmal reicht das. Wenn du aber regelmässig mit KI arbeitest, Vorlagen erstellst oder Abläufe weitergibst, wird dieses Bauchgefühl schnell wacklig.

smevals setzt genau an dieser Stelle an: Die Bewertung wird von der spontanen Einschätzung getrennt. Zuerst werden Durchläufe gesammelt, danach werden sie anhand definierter Prüfungen bewertet. Das ist ein wichtiger Unterschied. Du entscheidest nicht erst nach dem Ergebnis, was dir gefällt, sondern legst vorher fest, welche Kriterien zählen.

Das ist besonders für Prompts interessant. Ein Prompt ist eine Anweisung an ein KI-Modell, zum Beispiel: «Fasse diesen Text für Eltern verständlich zusammen.» Schon kleine Änderungen können die Antwort verändern. Mit einem Werkzeug wie smevals lassen sich solche Varianten als verschiedene Konfigurationen prüfen, statt sie nur einzeln auszuprobieren.

Auch der Vergleich von Modellen wird dadurch greifbarer. Der Beitrag beschreibt, dass ein Eval gegen mehrere Modell-Konfigurationen ausgeführt werden kann. Damit rückt nicht nur die Frage in den Vordergrund, welches Modell «besser» ist, sondern welches Modell für eine bestimmte Aufgabe unter bestimmten Bedingungen besser abschneidet.

Wichtig ist dabei die nüchterne Einordnung: Der Quellentext ist ein Beitrag von Simon Willison, der selbst an smevals mitgearbeitet hat. Eine unabhängige Prüfung des Werkzeugs wird darin nicht genannt. Aussagen zur Praxistauglichkeit sollten deshalb als Beschreibung des Autors verstanden werden, nicht als abschliessendes Urteil.

Trotzdem zeigt smevals einen nützlichen Denkansatz: KI-Ergebnisse werden überprüfbarer, wenn Aufgaben, Konfigurationen, Durchläufe und Bewertungen sauber getrennt werden. Das klingt technischer, als es im Kern ist. Im Alltag wäre das ungefähr so, als würdest du nicht nur sagen «dieses Rezept schmeckt besser», sondern vorher festlegen, ob du Aufwand, Geschmack, Kosten oder Zeit bewertest.

Was das für dich heisst

Für Einsteiger

Du musst smevals nicht sofort selbst bedienen, um den Nutzen zu verstehen. Der wichtigste Gedanke ist: Gute KI-Arbeit besteht nicht nur aus einem guten Prompt, sondern auch aus überprüfbaren Erwartungen. Wenn du zum Beispiel eine KI regelmässig Texte zusammenfassen lässt, kannst du dir überlegen, welche Prüfungen zählen würden: Ist die Antwort im richtigen Format, enthält sie bestimmte Begriffe, oder hält sie eine vorgegebene Struktur ein? Genau solche klaren Prüfungen beschreibt der Beitrag als mögliche Checks.

Für Fortgeschrittene

Wenn du bereits mit mehreren Modellen, System-Prompts oder agentischen Arbeitsabläufen arbeitest, ist smevals besonders interessant. Laut Beitrag lassen sich in Konfigurationen nicht nur verschiedene Modelle festlegen, sondern auch unterschiedliche System-Prompts, Modellparameter oder Agent-Harnesses. Damit kannst du eigene Prompts, Modelle und Arbeitsabläufe systematisch testen, statt nach ein paar Einzelversuchen zu entscheiden. Der redaktionell entscheidende Punkt ist: smevals trennt Ausführung und Bewertung. Du kannst also erst Ergebnisse sammeln und sie danach mit definierten Prüfungen bewerten.

Konkret ausprobieren

1. Formuliere eine konkrete Testfrage. Der Beitrag beschreibt ein Eval als Sammlung von Aufgaben, die eine Frage zu einem Modell beantworten soll. Wähle deshalb keine allgemeine Frage wie «Welches Modell ist am besten?», sondern eine überprüfbare Frage im Stil der genannten Beispiele: Wie gut erzeugt ein Modell SVGs? Oder: Wie gut schreibt es Haikus?
2. Lass die Struktur durch einen Coding-Agenten anlegen. Laut Beitrag lautet der schnelle Einstieg: Den Coding-Agenten anweisen, uvx smevals docs auszuführen, um die Dokumentation zu lesen, und ihn danach eine Eval-Sammlung bauen lassen. Ein Eval liegt anschliessend als Verzeichnis mit YAML-Dateien vor.
3. Führe aus, bewerte und schaue die Ergebnisse an. Der Beitrag zeigt den Ablauf mit drei Schritten: Das Eval gegen eine oder mehrere Modell-Konfigurationen ausführen, die Durchläufe mit uvx smevals grade bewerten und die Resultate mit uvx smevals serve ansehen. Alternativ kann mit uvx smevals build ein statischer HTML-Bericht erstellt werden.

Quellen

• smevals – a small eval suite for evaluating models, prompts, and harnesses, Simon Willison, 31. Juli 2026.

Bild: ThisIsEngineering via Pexels