Statistische Auswertung
Statistische Auswertung
Für alle Testszenarien steht eine statistische Auswertung zur Verfügung. Die statistische Auswertung gibt einen Überblick darüber, wie häufig Aufgaben richtig oder falsch beantwortet wurden und welche Antworten wie häufig durch die Teilnehmer gegeben wurden. Neben einem Rückschluss auf den allgemeinen Lernstand der Teilnehmer, sowie konkreten Problemstellen, ist auf diese Weise auch die Qualitätsanalyse der einzelnen Aufgaben, Antwortmöglichkeiten und der definierten Auswertung (bspw. der Lösungsmöglichkeiten) möglich.
In der statistischen Auswertung werden alle Daten anonymisiert. Für geschlossene Aufgabenformen (bspw. Auswahlaufgaben) wird prozentual angezeigt, wie häufig die vorgegebenen Antwortalternativen gewählt wurden. Für offene Aufgabenformen (bspw. Lückentextaufgaben) werden alle durch die Teilnehmer gegebenen Antworten entsprechend ihrer Häufigkeit gelistet. Richtige Antworten werden grün markiert. Bei der statistischen Auswertung eines Fragebogens entfällt die Kennzeichnung der Antworten als richtig oder falsch und es werden nur die entsprechenden Häufigkeiten dargestellt.
Kennwerte zur Schwierigkeit und Trennschärfe
Bei Tests mit mindestens 10 Resultaten sind zusätzlich statistische Kennwerte zur Schwierigkeit und zur Trennschärfe der verwendeten Aufgaben verfügbar. Für beide Kenngrößen werden zusätzliche Hinweise bei Überschreitung von Grenzwerten angezeigt.
Kennwert Schwierigkeit
Die Schwierigkeit berechnet sich aus dem Verhältnis der durchschnittlich erreichten und der maximalen Punktzahl der Aufgabe. Sie wird als ganzzahliger Prozentwert angegeben und zeigt an, wie viele Testteilnehmer diese Aufgabe richtig beantwortet haben.
Hohe Werte kennzeichnen Aufgaben, die von Testteilnehmern tendenziell richtig beantwortet werden (leichte Aufgaben). Niedrige Werte markieren Aufgaben, die eher falsch bzw. mit wenigen Punkten bewertet werden (schwierigere Aufgaben). Hat eine Aufgabe eine auffällig niedrige oder hohe Schwierigkeit (<20%, >80%) erscheint ein Hinweis.
Kennwert Trennschärfe
Die Trennschärfe misst den Zusammenhang zwischen Aufgaben- und Testergebnis der Teilnehmer. Sie gibt an, wie gut oder schlecht sich eine Aufgabe im Gesamttestergebnis widerspiegelt.
In die Berechnung dieser Korrelation fließt eine Part-whole-correction (Abzug der Punktzahl des betroffenen Items von der Testpunktzahl) ein. Zusätzlich werden pro Aufgabe nur solche Resultate zur Berechnung genutzt, bei denen Teilnehmer eine Antwort abgegeben haben. Unbeantwortete Aufgaben fließen nicht in die Berechnung ein.
Liegt die Trennschärfe unter 0,3 hat eine Aufgabe eine auffällig niedrige Trennschärfe. Diese Aufgabe differenziert damit unzureichend in den Antworten zwischen Teilnehmern mit einer schwachen sowie starken Testbewertung. Eine negative Trennschärfe kann ein Hinweis darauf sein, dass eine Aufgabe umgekehrt als beabsichtigt verstanden wurde.
A statistical evaluation can be performed for all test scenarios. Doing this will not only provide you with an overview of how often questions were answered correctly or incorrectly, but also with detailed information on the frequency distribution of all answers that were submitted. In this way, it is possible to draw conclusions about the participants’ general learning progress, detect concrete problem areas and perform a quality analysis of the individual questions, answer options and defined evaluation (e.g. of the solution options).
For the statistical evaluation, all data will be made anonymous. In the case of closed question types (e.g. choice interactions), the frequency distribution of the selected predefined answers will be indicated as a percentage value. In the case of open question types (e.g. text entry interactions), all answers submitted by the participants will be listed according to their frequency. Correct answers will be highlighted in green. If a survey is to be statistically evaluated, answers will no longer be marked as correct or incorrect and only the corresponding frequencies will be displayed.
Characteristic values for difficulty and selectivity
For tests with at least 10 results, additional statistical values on the difficulty and selectivity of the used questions will be available. Additional information will be displayed for both values if thresholds are exceeded.
Difficulty
The difficulty is calculated from the ratio of the average score achieved for the question and the maximum score possible. It is given as an integer percentage and shows how many test participants have answered the question correctly.
High values indicate questions that tend to be answered correctly by participants (easy questions). Low values indicate questions that are more likely to be answered incorrectly or are awarded fewer points (more difficult questions). If a question has a noticeably low or high difficulty (<20 %, >80 %), a note will appear.
Selectivity
Selectivity measures the correlation between participants’ question and test results. It indicates how well or badly a question is reflected in the overall test result.
The calculation of this correlation includes a part-whole correction (deduction of the affected item’s score from the test score). In addition, for each question, only those results for which participants have submitted an answer will be used for the calculation. Unanswered questions will not be included in the calculation.
If the selectivity is below 0.3, then this question is considered to have a noticeably low selectivity, as it does not differentiate sufficiently in the answers between those participants with weak and strong test results. Negative selectivity may hint at a question that has been understood exactly opposite to the way intended.