Expertenbewertung

Version 70.1 von Carina Enke am 19.12.2023

Warnung: Aus Sicherheitsgründen wird das Dokument in einem eingeschränkten Modus angezeigt, da es sich nicht um die aktuelle Version handelt. Dadurch kann es zu Abweichungen und Fehlern kommen.

Neben den konfigurierbaren Bewertungsoptionen im Tab Bewertung sind zur Auswertung von Teilnehmerantworten weitreichende Analysen mithilfe von Expertenfunktionen möglich. Deren Anwendung erlaubt beispielsweise die Umsetzung adaptiver Aufgabenformate mit individuellen Fehleranalysen und aufbauend darauf individualisiertes Nutzerfeedback.

Inhalt

Verwandte Themen

Das Makro [panel] ist ein eigenständiges Makro und kann nicht inline verwendet werden. Klicke auf diese Nachricht, um Details zu erfahren.
Dieses Makro generiert eigenständige Inhalte. Als Konsequenz müssen Sie sicherstellen, dass Sie eine Syntax verwenden, die Ihr Makro von dem Inhalt davor und danach trennt, sodass es in einer eigenen Zeile steht. Zum Beispiel bedeutet dies in XWiki Syntax 2.0+, dass Sie 2 Zeilenumbrüche haben, die Ihr Makro von dem Inhalt davor und danach trennen.
{{/scroll-ignore}}

Zugriff auf Antwortoptionen

Der Zugriff auf die vom Teilnehmer gewählte Antwort und die korrekte Aufgabenlösung kann beispielsweise durch Maxima-Abfragen im Tab Variablen realisiert werden. Weitere Informationen zur Erstellung und Nutzung von Variablen finden Sie auf der Seite Variablen verwenden.

Beispiel - LR und CR per MAXIMA_de.png

Rückgabewerte von Antwortoptionen

Die Art der Rückgabewerte der Antwortoptionen und damit der Systemvariablen LEARNERRESPONSE und CORRECTRESPONSE richtet sich nach dem Aufgabentyp:

Aufgabentyp	Art	Beispielrückgabewert	Systemvariable
Auswahlaufgabe, Hotspotaufgabe, Fehlertextaufgabe - jeweils bei einfacher Auswahl (Single Choice)	einzelne ID	ID_1	LEARNERRESPONSE CORRECTRESPONSE
Textboxaufgabe (eine Textbox)	einzelne ID	ID_1	LEARNERRESPONSE_GAP_1 CORRECTRESPONSE_GAP_1
Auswahlaufgabe, Hotspotaufgabe, Fehlertextaufgabe - jeweils bei mehrfacher Auswahl (Multiple Choice) Reihenfolgeaufgabe	Liste von IDs	ID_1, ID_2, ID_3	LEARNERRESPONSE CORRECTRESPONSE
Einfache Zuordnung, mehrfache Zuordnung	ID-Wertepaare in einer Liste	[ID_1, IDT_1], [ID_2, IDT_2], [ID_3, IDT_3]	LEARNERRESPONSE CORRECTRESPONSE
Lückentext (alle Formate) Freitextaufgabe Programmieraufgabe	spezifische Werteangaben

Anzeige der IDs im Editor

Die Identifier der Antworten einer Aufgabe können im Editor angezeigt werden. Aktivieren Sie diese Funktion in Ihren Benutzerprofileinstellungen.

Editor - Anzeige der IDs_de.png

Aufbereitung der Rückgabewerte mit Hilfsfunktionen

Die nachfolgend dargestellten Funktionen dienen zur Aufbereitung von LEARNERRESPONSES und CORRECTRESPONSES im MAXIMA-Backend, falls die Identifier jeweils von der Gestalt ID_x (bzw. IDT_y) mit einer natürlichen Zahl x sind.

SimpleLR({LEARNERRESPONSE})	Die Zeichenketten ID_ und IDT_ werden entfernt, jede ID also auf die numerischen Werte x,y reduziert. Ist LEARNERRESPONSE eine Liste von IDs (single/multiple Choice, Hotspot, Reihenfolge, etc.), so ist die Ausgabe eine entsprechende Liste der numerischen IDs, z. B. NumLR(ID_3,ID_4,ID_2) -> [3,4,2]. Ist LEARNERRESPONSE eine Liste von ID-Paaren (Matrix Choice, Zuordnung, etc.), so besteht die Ausgabe aus der Liste der Quellelemente und der Liste der zugehörigen Zielelemente, z. B. NumLR([ID_3,IDT_1],[ID_4,IDT_3],[ID_2,IDT_2]) -> [[3,4,2], [1,3,2]].
SimpleLR(0,{LEARNERRESPONSE})	Wie SimpleLR({LEARNERRESPONSE}), aber Ausgabe aufsteigend sortiert nach (Quell)IDs.
SimpleLR(n,{LEARNERRESPONSE})	Falls LEARNERRESPONSE eine Liste von ID-Paaren ist: Ausgabe aufsteigend sortiert nach (Quell)IDs. Zusätzlich werden für fehlende QuellIDs 1<=x<=n die Paare [x,0] ergänzt, die Liste wird also für 1<=x<=n vervollständigt.
Choices(LR)	Eingabe: LR - die mittels SimpleLR vereinfachte LEARNERRESPONSE Ausgabe: LEARNERRESPONSE als binäre Matrix, Zeilen=Quellelemente, Spalten=Zielelemente
Choices(m,LR), Choices (0,n,LR), Choices(m,n,LR)	Wie Choices(LR), zusätzlich ggf. auf m Zeilen bzw. m Spalten aufgefüllt bzw. reduziert.

Ergänzende Hilfsfunktionen:

List2Matrix(LR)	Überführt die mittels NumLR vereinfachte Liste in eine ein- bzw. zweizeilige Matrix
Matrix2List(M)	Überführt Matrix in Liste
ransposeList(LR)	Wechselt zwischen den Listendarstellungen Zwei Listen: [[Quellelemente], [Zielelemente]] Liste von Paaren: [[Quell1, Ziel1], [Quell2, Ziel2], …]

Funktion zur Bewertung eines Formelvergleichs

Bei der Auswertung von Formellücken wird folgender Standardvergleich genutzt:

is(equal(ev({LEARNERRESPONSE}),ev({CORRECTRESPONSE})))

Dieser hat in verschiedener Hinsicht Nachteile:

zwingende Verwendung von Dezimalpunkt statt Komma
keine Rundung/Toleranz einstellbar
zwingende Verwendung von MAXIMA-Syntax, insbesondere %e, %pi, %i und log statt ln

Der Vergleich kann erweitert und dazu die Funktion

CompareLR(”{LEARNERRESPONSE}“,“{CORRECTRESPONSE}“)

bzw.

CompareLR(”{LEARNERRESPONSE}“,“{CORRECTRESPONSE}“,tol)

genutzt werden. Diese bietet folgende Vorteile:

akzeptiert auch e, pi, i, j, ln
akzeptiert sowohl Dezimalpunkt als auch Komma
führt, falls tol>0 angegeben wird, den Vergleich „abs(LR-CR)<=tol“ durch
führt andernfalls den Vergleich „is(equal(ev(LR),ev(CR)))“ durch, bei Bedarf (d. h. bei Resultat unknown) zusätzlich die Prüfungen/Formelvergleiche mittels radcan und trigsimp

Hinweis: {LEARNERRESPONSE} und {CORRECTRESPONSE} sind zwingend in Gänsefüßchen „“ d. h. als Strings zu übergeben!

Testdurchführung - Beispiel Formelvergleich_de.png

Beispiel mit Verwendung der Hilfsfunktionen

Alle beschriebenen Hilfsfunktionen werden im angehängten Beispieltest MAXIMA-functions_for_LR-Processing.zipdargestellt. Laden Sie sich die Datei herunter und importieren Sie diese in Ihren Aufgabenpool, um die Beispiele nachzuvollziehen.

Im Beispieltest finden Sie die Hilfsfunktionen im Variablenbereich unter "Nach Abgabe verarbeitete Variablen".

Variablen - Maxima ID Beispiele_de.png

Die so erstellten Variablen können beispielsweise im Feedback der Aufgabe genutzt werden.

Feedback - Übergabe der Maxima ID Beispiele_de.png

Das Feedback kann direkt in der Testdurchführung oder in den Auswertungsdokumenten angezeigt werden.

Testdurchführung - Beispiel_de.png

In addition to the configurable assessment options in the Assessment tab, extensive analyses can be used to assess participant responses via expert functions. Their application allows, for example, the implementation of adaptive question formats with individual error analyses and, based on this, individualised user feedback.

Content

Access to answer options

Access to the answer selected by the participant and the correct solution to the question can be realised, for example, through Maxima queries in the Variables tab. For more information on how to create and use variables, see the Variables help page.

Beispiel - LR und CR per MAXIMA_de.png

Return values of answer options

The return values type of the answer options and thus of the system variables LEARNERRESPONSE and CORRECTRESPONSE depends on the question type:

Question type	Type	Example return value	System variable
Choice interaction, hotspot interaction, hottext interaction – one answer can be selected (single choice)	single ID	ID_1	LEARNERRESPONSE CORRECTRESPONSE
Inline choice (one text box)	single ID	ID_1	LEARNERRESPONSE_GAP_1 CORRECTRESPONSE_GAP_1
Choice interaction, hotspot interaction, hottext interaction – more than one answer can be selected (multiple choice) Order interaction	list of IDs	ID_1, ID_2, ID_3	LEARNERRESPONSE CORRECTRESPONSE
Match interaction, matrix interaction	ID value pairs in a list	[ID_1, IDT_1], [ID_2, IDT_2], [ID_3, IDT_3]	LEARNERRESPONSE CORRECTRESPONSE
Text entry interaction (all formats) Extended text interaction Programming interaction	specific values

ID display in the editor

The identifiers of the answers to a question can be displayed in the editor. Activate this function in your user profile settings.

Editor - Anzeige der IDs_de.png

Return value preparation with auxiliary functions

The functions shown below are used to prepare LEARNERRESPONSES and CORRECTRESPONSES in the MAXIMA backend if the identifiers are each present in the form of ID_x (or IDT_y) with a natural number x.

SimpleLR({LEARNERRESPONSE})	The ID_ and IDT_ strings are removed, i. e. each ID is reduced to the numerical values x,y. If LEARNERRESPONSE is a list of IDs (single/multiple choice, hotspot interaction, order interaction, etc.), the output is a corresponding list of numerical IDs, e. g. NumLR(ID_3,ID_4,ID_2) -> [3,4,2]. If LEARNERRESPONSE is a list of ID pairs (matrix interaction, match interaction, etc.), the output consists of the list of source elements and the list of associated target elements, e. g. NumLR([ID_3,IDT_1],[ID_4,IDT_3],[ID_2,IDT_2]) -> [[3,4,2], [1.3,2]].
SimpleLR(0,{LEARNERRESPONSE})	Like SimpleLR({LEARNERRESPONSE}), but the output is sorted in ascending order by (source) IDs.
SimpleLR(n,{LEARNERRESPONSE})	If LEARNERRESPONSE is a list of ID pairs: Output is sorted in ascending order by (source) IDs. Additionally, for missing source IDs 1<=x<=n, the pairs [x,0] are added, completing the list for 1<=x<=n.
Choices(LR)	Input: LR – the LEARNERRESPONSE simplified by SimpleLR Output: LEARNERRESPONSE as a binary matrix, rows=source elements, columns=target elements
Choices(m,LR), Choices (0,n,LR), Choices(m,n,LR)	Like Choices(LR), additionally filled up with or reduced to m rows or m columns if necessary.

Additional auxiliary functions:

List2Matrix(LR)	Converts the list simplified by NumLR into a one- or two-line matrix
Matrix2List(M)	Converts matrix to list
ransposeList(LR)	Switches between the list displays Two lists: [[source elements], [target elements]] List of pairs: [[source1, target1], [souce2, target2], …]

Function to assess a formula comparison

The following standard comparison is used when assessing formula gaps:

is(equal(ev({LEARNERRESPONSE}),ev({CORRECTRESPONSE})))

However, it has several disadvantages:

mandatory use of decimal point instead of comma
rounding/tolerance cannot be adjusted
mandatory use of MAXIMA syntax, especially %e, %pi, %i and log instead of ln

The comparison can be extended using the function

CompareLR(”{LEARNERRESPONSE}“,“{CORRECTRESPONSE}“)

CompareLR(”{LEARNERRESPONSE}“,“{CORRECTRESPONSE}“,tol)

This offers the following advantages:

also accepts e, pi, i, j, ln
accepts both decimal point and comma
performs the comparison "abs(LR-CR)<=tol" if tol>0 is specified
otherwise performs the comparison "is(equal(ev(LR),ev(CR)))" and if necessary (i. e. if the result is unknown) additionally the checks/formula comparisons using radcan and trigsimp

Note: {LEARNERRESPONSE} and {CORRECTRESPONSE} must be committed in quotation marks (""), i. e. as strings!

Testdurchführung - Beispiel Formelvergleich_de.png

Example using the auxiliary functions

All described auxiliary functions are shown in the attached MAXIMA-functions_for_LR-Processing.zip example test. Download the file and import it into your question bank to reproduce the examples.

In the example test, you will find the auxiliary functions in the Variables tab under "Post-processed variables".