Prüfverfahren

Für jedes Prüfgebiet führt das IKPQ einen Katalog von 150 Fragen auf dem Niveau einer Fachkraft (DQR-Stufe 4). Grundlage sind ausschließlich gemeinfreie amtliche Werke nach § 5 Abs. 1 UrhG: die Verordnungen über Sachkundeprüfungen und Ausbildungsordnungen, wie sie auf gesetze-im-internet.de veröffentlicht sind.

Jede Frage nennt ihre Herkunft mit Paragraf, Anlage und Nummer. Die Fragen sind eigenständig formuliert und aus den Lernzielen abgeleitet. Prüfungsaufgaben der Industrie- und Handelskammern oder Handwerkskammern sowie Material von Lehrmittelverlagen verwendet das IKPQ nicht, auch nicht in umformulierter Form.

Der Katalog kennt drei Fragetypen:

• Fachfrage — eine offene Wissensfrage zu einem Lernziel.
• Fallaufgabe — ein Kundendialog oder eine Situation aus dem Berufsalltag, 10 bis 20 Prozent des Pools.
• Grenzfrage — eine Frage, deren richtige Antwort der Verweis an eine Fachperson oder Behörde oder der Hinweis auf die Grenze der eigenen Auskunft ist; mindestens 10 Prozent des Pools.

Antwortvorgaben gibt es nicht. Der Prüfling antwortet frei, wie gegenüber einem Kunden.

Zu jeder Frage gehört eine Rubrik, die vor der Prüfung feststeht:

• Kerninhalte (K1, K2 …) mit Punkten; ihre Summe ist die Höchstpunktzahl der Frage.
• Zusatzinhalte (Z1, Z2 …), die eine gute Antwort auszeichnen und ebenfalls Punkte bringen.
• Kritische Fehler (F1, F2 …), etwa eine falsche Rechtsauskunft, eine gefährliche technische Anweisung oder eine Einzelfallberatung, die der Beruf nicht leisten darf.

Die Punktzahl einer Frage ist die Summe der erfüllten Kern- und Zusatzinhalte, höchstens die Höchstpunktzahl (Summe der Kerninhalte). Ein kritischer Fehler zieht ab wie in der Rubrik angegeben; tritt er in der Mehrheit der Läufe auf, ist die Prüfung nicht bestanden.

Geprüft wird keine Marke und kein Modell allgemein, sondern eine lauffähige Konfiguration: Modell mit Versionsstand, Systemanweisung und Wissensbasis. Über diese Konfiguration wird ein SHA-256-Hash gebildet, der im Protokoll und im Siegel steht.

Die Quellen des Prüfgebiets belegen die Rubrik jeder Frage; die Wissensbasis des Prüflings umfasst davon nur Kernauszüge.

Ändert der Betreiber die Konfiguration, ändert sich der Hash, und das Siegel wird entzogen. Das Portal gleicht den Hash jedes Protokolls mit der aktuellen Konfiguration ab.

Aus dem Pool werden 100 Fragen gezogen. Die Ziehung folgt einer Zufallszahl (Seed), die im Protokoll steht; damit lässt sie sich jederzeit wiederholen. Gezogen werden nur Fragen, die noch nicht veröffentlicht sind.

Jede Frage wird dem Prüfling dreimal gestellt. Alle Rohantworten werden gespeichert und unverändert veröffentlicht.

Jede Antwort bewertet ein Sprachmodell eines anderen Anbieters als der Prüfling. Es erhält die Frage, die Rubrik und die Antwort, nie den Namen des Prüflings. Es vergibt Punkte, benennt erfüllte Kern- und Zusatzinhalte sowie kritische Fehler, begründet sein Urteil und kann eine Bewertung als unsicher markieren.

Eine Frage gilt als strittig, wenn die drei Läufe um mehr als ein Drittel der Höchstpunktzahl auseinanderliegen oder die Bewertung in der Mehrheit der Läufe als unsicher gekennzeichnet ist.

Zur Einordnung zeigt das Protokoll zusätzlich die Notenskala der Industrie- und Handelskammern. Sie ist eine Lesehilfe; über das Bestehen entscheidet allein die Regel oben.

Alle strittigen Fragen und zusätzlich zehn Prozent der übrigen Fragen (Zufall nach Seed) bewertet die Prüfungsleitung, Jan-Peter Noll, selbst, nach derselben Rubrik; ihr Urteil ersetzt die Modellbewertung. Jede Abweichung vom Modell steht im Protokoll.

Bis die Stichprobe abgeschlossen ist, zeigt das Protokoll den Stand „Stichprobe offen“ und ist als vorläufig gekennzeichnet. Ein Ergebnis gilt erst danach.

Das Protokoll enthält jede gestellte Frage mit Rubrik, alle Antworten, alle Bewertungen mit Begründung, das Urteil der Stichprobe und das Ergebnis je Prüfbereich. Es ist mit einem Ed25519-Schlüssel des Instituts signiert; der öffentliche Schlüssel liegt offen, sodass jede Person die Unverändertheit nachprüfen kann.

Veröffentlichte Fragen werden im Katalog markiert und bei späteren Prüfungen nicht mehr gezogen. So wächst die Zahl der öffentlichen Beispielfragen, ohne dass Prüflinge auf bekannte Fragen trainiert werden können.

Prüfungen, die nicht bestanden sind, werden ebenso veröffentlicht wie bestandene. Eine Nachprüfung ist möglich; sie erhält ein eigenes Protokoll mit Datum, und beide Protokolle bleiben einsehbar.

Wer besteht, erhält das Siegel „Fachwissen geprüft · Stufe Fachkraft“ für das jeweilige Prüfgebiet. Das Siegel ist keine Berufsbezeichnung und keine Erlaubnis nach der Gewerbeordnung; es bestätigt das in dieser Prüfung gezeigte Fachwissen.

Es gilt zwölf Monate oder bis zur nächsten Änderung der Konfiguration. Den aktuellen Stand jedes Siegels liefert die Statusabfrage unter /api/siegel/<protokoll-id>. Wie das Siegel eingebunden wird, steht auf der Siegelseite jedes Protokolls.