Expertenbewertung

Zuletzt geändert von Hendrik Zschocke am 11.01.2024

 

Neben den konfigurierbaren Bewertungsoptionen im Tab Bewertung sind zur Auswertung von Teilnehmerantworten weitreichende Analysen mithilfe von Expertenfunktionen möglich. Deren Anwendung erlaubt beispielsweise die Umsetzung adaptiver Aufgabenformate mit individuellen Fehleranalysen und aufbauend darauf individualisiertes Nutzerfeedback.

 

Inhalt

Verwandte Themen

Beispiel-Ressourcen

Zugriff auf Antwortoptionen

Der Zugriff auf die vom Teilnehmer gewählte Antwort und die korrekte Aufgabenlösung kann beispielsweise durch Maxima-Abfragen im Tab Variablen realisiert werden. Weitere Informationen zur Erstellung und Nutzung von Variablen finden Sie auf der Seite Variablen verwenden.

Beispiel - LR und CR per MAXIMA_de.png

Rückgabewerte von Antwortoptionen

Die Art der Rückgabewerte der Antwortoptionen und damit der Systemvariablen LEARNERRESPONSE und CORRECTRESPONSE richtet sich nach dem Aufgabentyp:

Aufgabentyp

Art

Beispielrückgabewert

Systemvariable

  • Auswahlaufgabe, Hotspotaufgabe, Fehlertextaufgabe - jeweils bei einfacher Auswahl (Single Choice)

einzelne ID

ID_1

LEARNERRESPONSE

CORRECTRESPONSE

  • Textboxaufgabe (eine Textbox)

ID_1

LEARNERRESPONSE_GAP_1  CORRECTRESPONSE_GAP_1

  • Auswahlaufgabe, Hotspotaufgabe, Fehlertextaufgabe - jeweils bei mehrfacher Auswahl (Multiple Choice)
  • Reihenfolgeaufgabe

Liste von IDs

ID_1, ID_2, ID_3

 

LEARNERRESPONSE

CORRECTRESPONSE

  • Einfache Zuordnung, mehrfache Zuordnung

ID-Wertepaare in einer Liste

[ID_1, IDT_1], [ID_2, IDT_2], [ID_3, IDT_3]

LEARNERRESPONSE

CORRECTRESPONSE

  • Lückentext (alle Formate)
  • Freitextaufgabe
  • Programmieraufgabe

spezifische Werteangaben

 

 

 

Anzeige der IDs im Editor

Die Identifier der Antworten einer Aufgabe können im Editor angezeigt werden. Aktivieren Sie diese Funktion in Ihren Benutzerprofileinstellungen.

Editor - Anzeige der IDs_de.png

Aufbereitung der Rückgabewerte mit Hilfsfunktionen

Die nachfolgend dargestellten Funktionen dienen zur Aufbereitung von LEARNERRESPONSES und CORRECTRESPONSES im MAXIMA-Backend, falls die Identifier jeweils von der Gestalt ID_x (bzw. IDT_y) mit einer natürlichen Zahl x sind.

SimpleLR({LEARNERRESPONSE})

  • Die Zeichenketten ID_ und IDT_ werden entfernt, jede ID also auf die numerischen Werte x,y reduziert.

  • Ist LEARNERRESPONSE eine Liste von IDs (single/multiple Choice, Hotspot, Reihenfolge, etc.), so ist die Ausgabe eine entsprechende Liste der numerischen IDs, z. B. NumLR(ID_3,ID_4,ID_2) -> [3,4,2].

  • Ist LEARNERRESPONSE eine Liste von ID-Paaren (Matrix Choice, Zuordnung, etc.), so besteht die Ausgabe aus der Liste der Quellelemente und der Liste der zugehörigen Zielelemente, z. B. NumLR([ID_3,IDT_1],[ID_4,IDT_3],[ID_2,IDT_2]) -> [[3,4,2], [1,3,2]].

SimpleLR(0,{LEARNERRESPONSE})

  • Wie SimpleLR({LEARNERRESPONSE}), aber Ausgabe aufsteigend sortiert nach (Quell)IDs.

SimpleLR(n,{LEARNERRESPONSE})

  • Falls LEARNERRESPONSE eine Liste von ID-Paaren ist: Ausgabe aufsteigend sortiert nach (Quell)IDs. Zusätzlich werden für fehlende QuellIDs 1<=x<=n die Paare [x,0] ergänzt, die Liste wird also für 1<=x<=n vervollständigt.

Choices(LR)

  • Eingabe: LR - die mittels SimpleLR vereinfachte LEARNERRESPONSE
  • Ausgabe: LEARNERRESPONSE als binäre Matrix, Zeilen=Quellelemente, Spalten=Zielelemente

Choices(m,LR), Choices (0,n,LR), Choices(m,n,LR)

  • Wie Choices(LR), zusätzlich ggf. auf m Zeilen bzw. m Spalten aufgefüllt bzw. reduziert.

Ergänzende Hilfsfunktionen:

List2Matrix(LR)

Überführt die mittels NumLR vereinfachte Liste in eine ein- bzw. zweizeilige Matrix

Matrix2List(M)

Überführt Matrix in Liste

ransposeList(LR)

Wechselt zwischen den Listendarstellungen


    • Zwei Listen: [[Quellelemente], [Zielelemente]]
    • Liste von Paaren: [[Quell1, Ziel1], [Quell2, Ziel2], …]

Funktion zur Bewertung eines Formelvergleichs

Bei der Auswertung von Formellücken wird folgender Standardvergleich genutzt:

is(equal(ev({LEARNERRESPONSE}),ev({CORRECTRESPONSE})))

Dieser hat in verschiedener Hinsicht Nachteile:

  • zwingende Verwendung von Dezimalpunkt statt Komma
  • keine Rundung/Toleranz einstellbar
  • zwingende Verwendung von MAXIMA-Syntax, insbesondere %e, %pi, %i und log statt ln

Der Vergleich kann erweitert und dazu die Funktion

CompareLR(”{LEARNERRESPONSE}“,“{CORRECTRESPONSE}“)

bzw.

CompareLR(”{LEARNERRESPONSE}“,“{CORRECTRESPONSE}“,tol)

genutzt werden. Diese bietet folgende Vorteile:

  • akzeptiert auch e, pi, i, j, ln

  • akzeptiert sowohl Dezimalpunkt als auch Komma

  • führt, falls tol>0 angegeben wird, den Vergleich „abs(LR-CR)<=tol“ durch

  • führt andernfalls den Vergleich „is(equal(ev(LR),ev(CR)))“ durch, bei Bedarf (d. h. bei Resultat unknown) zusätzlich die Prüfungen/Formelvergleiche mittels radcan und trigsimp

Hinweis: {LEARNERRESPONSE} und {CORRECTRESPONSE} sind zwingend in Gänsefüßchen „“ d. h. als Strings zu übergeben!

Testdurchführung - Beispiel Formelvergleich_de.png

Beispiel mit Verwendung der Hilfsfunktionen

Alle beschriebenen Hilfsfunktionen werden im angehängten Beispieltest MAXIMA-functions_for_LR-Processing.zip dargestellt. Laden Sie sich die Datei herunter und importieren Sie diese in Ihren Aufgabenpool, um die Beispiele nachzuvollziehen.

Im Beispieltest finden Sie die Hilfsfunktionen im Variablenbereich unter "Nach Abgabe verarbeitete Variablen".

Variablen - Maxima ID Beispiele_de.png

Die so erstellten Variablen können beispielsweise im Feedback der Aufgabe genutzt werden.

Feedback - Übergabe der Maxima ID Beispiele_de.png

Das Feedback kann direkt in der Testdurchführung oder in den Auswertungsdokumenten angezeigt werden.

Testdurchführung - Beispiel_de.png