.Leitfaden zur Merkmal-orientierten Testzusammenstellung

Version 230.1 von Carina Enke am 19.12.2023


Beispielklausur_Mathematik

Themenbereich 1: Analysis

Aufgabe 1: Leicht

Aufgabe 2: Mittel

Aufgabe 3: Schwer

Themenbereich 2: Geometrie

Aufgabe 1: Leicht

Aufgabe 2: Mittel

Aufgabe 3: Schwer

Themenbereich 3: Stochastik

Aufgabe 1: Leicht

Aufgabe 2: Mittel

Aufgabe 3: Schwer

Im folgenden Beispiel soll eine Mathematik-Klausur mit 9 Aufgaben aus 3 verschiedenen Themenbereichen (Analysis, Geometrie und Stochastik) zusammengestellt werden. Aus jedem Themenbereich soll jeweils eine Aufgabe mit dem Schwierigkeitsgrad leicht, mittel und schwer aus einem Set vergleichbarer Aufgaben zufällig ausgewählt werden.

1. STEP: Erstellen Sie einen neuen Test

Klicken Sie dazu auf den Button Neuer Test in der Testressourcen-Ansicht des ONYX Editors. Vergeben Sie einen Titel für Ihren Test. Durch Bestätigung des Neuen Test erstellen-Dialogs mit dem OK-Button, wechseln Sie automatisch in die Test-Bearbeitenansicht.

Weitere Informationen zum Thema finden Sie im Hilfeabschnitt Inhalte erstellen oder importieren.

2. STEP: Strukturieren Sie Ihren Test mit Sektionen

Editor - Sektionen im Test_de.png

Sie können einen Test in beliebig viele Sektionen untergliedern. Dies ermöglicht Ihnen Inhalte nach Themen oder dem Schwierigkeitsgrad voneinander abzugrenzen.

Im mittleren Bereich der Test-Bearbeitenansicht wird Ihnen die Teststruktur angezeigt. Wählen Sie den obersten Test-Strukturbaustein und klicken Sie auf den Button + Sektion, um eine neue Sektion hinzuzufügen. Wählen Sie nun den neu hinzugefügten Sektions-Strukturbaustein Neue Sektion und vergeben Sie den gewünschten Titel. Auf diese Weise können Sie vorbereitend die leere Teststruktur aufbauen.

Die Aufgaben zum jeweiligen Schwierigkeitsgrad sollen später zufällig gewählt werden. Dazu wird das Aufgabenset des Schwierigkeitsgrades innerhalb einer Sektion gespeichert, aus welcher dann zufällig eine Aufgabe ausgewählt wird. Als Grundlage werden pro Themenbereich jeweils 3 Untersektionen zum Schwierigkeitsgrad (Leicht, Mittel, Schwer) angelegt.

Die Sektionsgliederung kann für den Test-Teilnehmer ausgeblendet werden. Für die angestrebte Mathematik-Beispielklausur sollen die Sektionen zum Themenbereich für den Teilnehmer sichtbar sein, die Sektionen zum Schwierigkeitsgrad allerdings nicht.

3. STEP: Hinzufügen der Aufgaben auf Basis der Metadatenbeschreibung

Im linken Bereich der Test-Bearbeitenansicht finden Sie den Schnellzugang Aufgabenpool mit der Möglichkeit, gezielt Aufgaben auf Basis von Metadaten, welche beispielsweise Klassifikationsmerkmale enthalten, zu suchen.

Editor - Suche im Aufgabenpool_de.png

Für die Mathematik-Beispielklausur sollen zur Sektion Leicht innerhalb der Sektion Analysis alle Aufgaben mit den folgenden Metadaten hinzugefügt werden:

  • Metadatum Fachbereich = Mathematik/Analysis
  • Metadatum Schwierigkeitsgrad = Leicht

Um nach ausgewählten Metadatenfeldern zu suchen, kann die erweiterte Suche genutzt werden. Klicken Sie hierfür in das Suchfeld. Es öffnet sich automatisch ein Kontextmenü mit dem Link Erweiterte Suche. Klicken Sie auf den Link, öffnet sich der Dialog Erweiterte Suche. Die erweiterte Suche enthält alle Metadatenfelder, kategorisiert nach den Metadatenkategorien Allgemein, Autor, Klassifikation und Technik. Die relevanten Metadaten für das Mathematik-Klausurbeispiel finden sich in der Kategorie Klassifikation.

Aufgabenpool - Erweiterte Suche nach Metadaten_de.png

Nach Bestätigung des Dialogs mit dem Button Suchen, werden im linken Menü alle gefunden Testaufgaben angezeigt.

Aufgabenpool - Suchergebnisse_de.png

Information
Anmerkung

Mittels MouseOver über den Aufgabentitel werden Ihnen weitere Informationen zur Aufgabe angezeigt. Zudem haben Sie die Möglichkeit, sich eine Vorschau der Einzelaufgabe anzeigen zu lassen, bevor Sie diese Ihrem Test hinzufügen. Dies erleichtert Ihnen insbesondere bei großen Aufgabenpools die Auswahl.


Aufgabenpool - Metadaten zu einem Suchergebnis prüfen_de.png


Die Testaufgaben können dem Test einfach als Kopie hinzugefügt werden. Für unser Beispiel sollen alle Testaufgaben gewählt werden. Wählen Sie hierfür einfach die Funktion Alle auswählen unterhalb der Suchergebnisse. Möchten Sie einzelne Aufgaben auswählen, werden die Inhalte durch markieren der Checkbox ausgewählt.

Fügen Sie nun die Aufgaben der aktuell gewählten Sektion Leicht im Themenbereich Analysis mit dem Button Elemente hinzufügen hinzu. Dies kann für alle anderen Schwierigkeitsgrade und Themenbereiche in selber Form durchgeführt werden.

4. STEP: Stellen Sie nun die zufällige Aufgabenauswahl ein

Dem Test-Teilnehmer soll pro Schwierigkeitsgrad innerhalb eines Themenbereiches nur eine Aufgabe des Aufgabensets angezeigt werden. Hierfür muss den Sektionen zum Schwierigkeitsgrad noch eine zufällige Aufgabenauswahl hinzugefügt werden.

Editor - zufällige Aufgabenauswahl einstellen_de.png

Wählen Sie in der Teststruktur eine Sektion zum Schwierigkeitsgrad (Leicht, Mittel, Schwer) aus, um diese im rechten Bereich Sektion bearbeiten zu bearbeiten. Im Menü-Tab Optionen können Sie die zufällige Aufgabenauswahl einstellen. Aktivieren Sie die Option Zufällige Auswahl, indem Sie die Anzahl der auszuwählenden Aufgaben eintragen. Für die Mathematik-Beispielklausur soll genau eine Aufgabe pro Schwierigkeitsgrad gewählt werden.

Vorschau - Beispielstest merkmalsorientierte Testzusammenstellung_de.png

In der Testdurchführung wird nun für jeden Teilnehmer eine andere Aufgabenzusammenstellung erstellt. Durch die gezielte Auswahl von Aufgaben auf Basis der Klassifikations-Merkmale soll dennoch eine vergleichbare Klausur entstehen.

Information
Anmerkung

Bei einer generischen Testzusammenstellung mit zufälliger Aufgabenauswahl ist es gegebenenfalls wünschenswert, die Aufgabentitel für die Testdurchführung auszublenden. Deaktivieren Sie dafür in der Test-Konfiguration die Option Aufgabentitel anzeigen, wenn Sie Ihren Test als Kursbaustein in einen OPAL-Kurs eingebunden haben.

Editor - Aufgabentitel anzeigen_de.png

Example exam_mathematics

In the following example, we want to compile a maths exam with nine questions from three different subject areas (analysis, geometry, and stochastic). From each subject area, one question should be randomly selected for each difficulty level (easy, medium and hard) from a set of similar questions.











     

Subject 1: Analysis

Question 1: Easy

Question 2: Medium

Question 3: Hard

Subject 2: Geometry

Question 1: Easy

Question 2: Medium

Question 3: Hard

Subject 3: Stochastic

Question 1: Easy

Question 2: Medium

Question 3: Hard

1. STEP: Create a new test

To create a new test, click on New test in the test resource view of the ONYX editor. Enter a title for your test. By confirming the Create a new test dialogue with OK , you will automatically switch to the edit view.

For more information, see the help section Create content.

2. STEP: Structure your test with sections

Editor - Sektionen im Test_de.png

Tests can be subdivided into any number of sections. This allows you to differentiate content by subject or difficulty level.

The test structure will be displayed in the middle section of the edit view. Select the top test structure element and click the + Section button to add a new section. Now select the newly added section structure element New section and give it a title. Repeat these steps to prepare an empty test structure.

The questions for each level of difficulty should be randomly chosen later. This is achieved by storing the question sets of the individual difficulty levels within sections from which questions will then be randomly selected. In order to begin, create three sub-sections per subject area, one for each difficulty level (easy, medium, hard).

The section structure can be hidden from the test participants. In the example maths exam, the subject area sections should be visible to the participants, while the difficulty level sections should not.

3. STEP: Add questions based on their metadata description

In the left area of the edit view, you will find the Quick access question bank allowing you to search for specific questions based on metadata, which for example contain classification attributes.

Editor - Suche im Aufgabenpool_de.png

All questions with the following metadata should be added to the category  Easy within the section Analysis of the example maths exam.

  • Metadata item subject = Mathematics/Analysis
  • Metadata item difficulty = Easy

To search for specific metadata fields, use the advanced search. Click in the search field to open a context menu containing the link Advanced search . Then click on the link to open the advanced search dialogue. The advanced search contains all metadata fields categorised according to the metadata categories, which include  General , Lifecycle , Classification and Technical . The relevant metadata for the example maths exam can be found in the  Classification  category.

Aufgabenpool - Erweiterte Suche nach Metadaten_de.png

After confirming the dialogue with Search , all results will be displayed in the menu on the left.

Aufgabenpool - Suchergebnisse_de.png

 

Information
Note

Move the mouse over the question title to display more information about the question. You can also preview questions before adding them to your test, which is especially helpful in the case of large question banks.

Aufgabenpool - Metadaten zu einem Suchergebnis prüfen_de.png

 

The questions can simply be added to the test as a copy. For our example, all questions should be selected. To do this, click on Select all below the search results. If you wish to select questions individually, mark the respective checkboxes.

Now add the questions from the currently selected section Easy in the subject area Analysis using the button Add question(s) . Repeat these steps for all other difficulty levels and subject areas.

4. STEP: Configure shuffling

The test participant should only be shown one item of the question set per difficulty level within a subject area. Therefore, a random question selection needs to be enabled for the sections about the difficulty level.

Editor - zufällige Aufgabenauswahl einstellen_de.png

Select a difficulty level section (easy, medium, hard) from the test structure and customise it in the Edit section area on the right. The menu tab Options allows you to configure the random question selection. Enable the option Shuffle by entering the number of questions to be selected. For the example maths exam, exactly one question should be chosen per level of difficulty.

Vorschau - Beispielstest merkmalsorientierte Testzusammenstellung_de.png

This will create a different set of questions for each participant. However, the targeted selection of questions based on the classification attributes should still result in a similar exam.

Information
Note

In the case of a generic test setup with a random question selection, it may be desirable to hide the question titles during the test. Disable the option Show item titles in the test configuration if you have included your test as course element in an OPAL course.

Editor - Aufgabentitel anzeigen_de.png