Peer Review

Version 366.1 von Carina Enke am 13.09.2019

Warnung: Aus Sicherheitsgründen wird das Dokument in einem eingeschränkten Modus angezeigt, da es sich nicht um die aktuelle Version handelt. Dadurch kann es zu Abweichungen und Fehlern kommen.

Permalink: https://www.bps-system.de/help/display/LMSintern/ Peer+Review

Ein Peer Review ermöglicht das anonyme Begutachten von eingereichten Aufgaben durch andere Teilnehmer. Aus diesen Gutachten der Teilnehmer kann eine Gesamtbewertung für die jeweils eingereichte Aufgabe entstehen.

Je nach Konfiguration kann das Peer Review folgende Abschnitte umfassen:

Schritt 1: Review anderer Aufgabenlösungen durchführen
Schritt 2: Feedback zu vorliegenden Reviews eigener Aufgabenlösungen abgeben
Schritt 3: Anzeige der erhaltenen Gesamtbewertung

Lesen Sie weiter unter

Nutzung aus Autoren-Sicht, um mit der Konfiguration dieser Abschnitte zu beginnen.
Nutzung aus Lerner-Sicht , um zu erfahren wie der Reviewprozess aus Nutzer-Sicht verläuft und welche Aktionen von Teilnehmern am Reviewprozess erwartet werden.

Unbekanntes Makro: scroll-ignore. Klicke auf diese Nachricht, um Details zu erfahren.

Nutzung aus Lerner-Sicht

Hat der Kursautor für einen Kursbaustein Aufgabe die Bewertung im Peer Review-Verfahren vorgesehen, erscheint beim Aufgabenbaustein der Abschnitt Informationen zum Ablauf des Peer Review.
Öffnen Sie diesen Bereich, um zu sehen welche Abschnitte für das Peer-Review vorgesehen sind und welche weiteren Einstellungen vorgenommen wurden.
Das Reviewverfahren beginnt meist nach Abgabe einer eigenen Lösung. Laden oder erstellen Sie deshalb (nach Aufgabenauswahl) zunächst eine eigene Aufgabenantwort im Bereich Lösung abgeben. Information Soll ein anonymes Review erfolgen, achten Sie bitte darauf, dass Dateititel und Eigenschaften sowie der Datei-Inhalt keine direkten Rückschlüsse auf den Ersteller zulassen.

1. Review anderer Aufgabenlösungen durchführen

Ist der Reviewbereich freigegeben, erscheint eine entsprechende Aufforderung. Sie sehen den Bereich Reviews für andere Teilnehmer abgeben. Mit Klick auf den Button Review starten beginnt die Reviewvergabe.

Kursrun - Review vergeben_de.png

Starten Sie den Review-Prozess ...

Mit Klick auf den Button Review starten öffnet sich das Reviewformular. Bewerten Sie im Formular die Aufgabenlösung eines anderen Nutzers entsprechend den Reviewvorgaben Ihres Tutors. Das Formular enthält folgende Informationen:

1	Eine Angabe wieviele Reviews von Ihnen gefordert werden.
2	Das gerade geöffnete Review.
3	Die Datei, welche Sie begutachten sollen. Sie können auf die Datei zugreifen, in dem Sie auf den Namen der Datei klicken.
4	Füllen Sie die vom Kursautor konfigurierten Felder und vergeben Sie, wenn gefordert, Punkte.
5	Speichern Sie Ihr Review und führen Sie ggf. weitere Reviews durch (Button Abgeben und Weiter). Sind alle aktuell verfügbaren Reviews durchgeführt, schließen Sie den Dialog (Button Abgeben und Schließen). Alternativ können Sie die Bearbeitung der Reviews mit Unterbrechen pausieren.

Bitte beachten Sie!

Als Nutzer haben Sie nicht die Möglichkeit, den Namen des Erstellers, der Lösung oder des Reviewenden zu sehen. Sie bleiben für Nutzer vollständig anonym.

Achtung: Die Plattform kann jedoch keinen Einfluss auf Eigenschaften oder Inhalte in Dateien oder Formularfeldern nehmen. Wenn zum Beispiel im Dateititel, den Datei-Eigenschaften oder in den Inhalten von Dateien oder Formularfeldern Nutzernamen oder Hinweise darauf gespeichert sind, werden diese entsprechend angezeigt.

Der Kursersteller kann die Vergabe zusätzlicher Reviews erlauben. In diesem Fall sehen Sie weitere Lösungen zur Begutachtung.

Kursrun - Reviewdialog Mindestanzahl_de.png

Von Ihnen abgegebene Reviews sind (zunächst) nicht mehr änderbar. Sie können aber jederzeit per Klick auf den Button Reviews anzeigen von Ihnen als Reviewersteller eingesehen werden.

Der Ersteller der von Ihnen begutachteten Lösung kann das erhaltene Review in der optionalen Feedbackrunde oder im Auswertungsbereich einsehen. Ein Kursverantwortlicher hat im Bewertungswerkzeug Zugriff auf alle Bewertungsdaten.

Kursrun - vergebene Review einsehen_de.png

Den weiteren Ablauf des Reviewverfahrens können Sie im Informationsbereich einsehen.

Kursrun - Ablauf PeerReview2_de.png

2. Feedback zu vorliegenden Reviews eigener Aufgabenlösungen abgeben

- ===

Der Kursersteller kann Ihnen die Möglichkeit einräumen, dass Sie sich zu Reviews, welche Sie zur eigenen Aufgabenlösung erhalten haben, äußern. In diesem Fall sehen Sie den Bereich Feedback für erhaltene Reviews abgegeben. Starten Sie Funktion mit Klick auf den Button Feedback vergeben.

Kursrun - Feedback vergeben_de.png

Das Makro [expand] ist ein eigenständiges Makro und kann nicht inline verwendet werden. Klicke auf diese Nachricht, um Details zu erfahren.
Dieses Makro generiert eigenständige Inhalte. Als Konsequenz müssen Sie sicherstellen, dass Sie eine Syntax verwenden, die Ihr Makro von dem Inhalt davor und danach trennt, sodass es in einer eigenen Zeile steht. Zum Beispiel bedeutet dies in XWiki Syntax 2.0+, dass Sie 2 Zeilenumbrüche haben, die Ihr Makro von dem Inhalt davor und danach trennen.

3. Anzeige der erhaltenen Gesamtbewertung

Für die Berechnung und Anzeige der Gesamtbewertung hat der Kursersteller sehr viele Freiheiten. Den Zeitraum und die gewählte Konfiguration können Sie jederzeit im Abschnitt Informationen zum Ablauf des Peer Review überprüfen.

Ist die Bewertung verfügbar, wird sie im oberen Seitenabschnitt angezeigt. Mit dem Button Auswertung anzeigen können Sie eine detaillierte Übersicht der erfolgten Bewertung öffnen.

Kursrun - Auswertung anzeigen_de.png

Auswertung einsehen ...

Nach Klick auf den Button Auswertung anzeigen öffnet sich ein Dialogfenster, in dem die Bewertung zu allen erhaltenen Reviews und ggf. vergebenen Feedbacks dazu in einer tabellarischen Übersicht angezeigt wird.

Unter der Tabelle befindet sich der Button Reviews anzeigen, mit Klick auf den Button öffnet sich die Detailansicht.

Kursrun - Auswertung öffnen_de.png

Die Detailansicht zeigt alle erhaltenen Reviews an und bietet die Möglichkeit ein unangemessenes Feedback zu melden (auch dann, wenn der Kursautor keine Feedbackrunde vorgesehen hat).

Kursrun - Auswertung Detailansicht_de.png

In der Spalte Status sind folgende Einträge möglich:

	Dieses Review wurde von einem Kursverantwortlichen erstellt. Expertenreviews können nicht als unangemessen gemeldet werden.
	Der Reviewprozess wird von einem Kursverantwortlichen aktiv begleitet. Er moderiert die endgültige Punktevergabe und hat diese Review noch nicht geprüft bzw. die Gesamtbewertung noch nicht abgeschlossen.
	Der Reviewprozess wird von einem Kursverantwortlichen aktiv begleitet. Er moderiert die endgültige Punktevergabe und hat diese Review als Teil der Bewertung bestätigt. Es ist damit Teil der Gesamtbewertung.
	Der Reviewprozess wird von einem Kursverantwortlichen aktiv begleitet. Er moderiert die endgültige Punktevergabe und hat diese Review als Teil der Bewertung abgelehnt. Es fließt nicht in die Gesamtbewertung ein.
	Sie haben dieses Review als unangemessen gemeldet. Es hat aber noch kein Kursverantwortlicher darauf reagiert.
	Sie haben dieses Review als unangemessen gemeldet. Ein Kursverantwortlicher hat Ihrer Meldung zugestimmt. Dieses Review fließt nicht in die Gesamtbewertung ein.
	Sie haben dieses Review als unangemessen gemeldet. Ein Kursverantwortlicher hat Ihrer Meldung zurückgewiesen. Dieses Review fließt in die Gesamtbewertung ein.

Kursrun - Status zu Reviews_de.png

Nutzung aus Autoren-Sicht

Konfiguration des Peer Reviews im Kurseditor

Im Kursbaustein Aufgabe können Sie als Autor die Bewertung per Peer Review aktivieren. Markieren Sie dazu im Tab Bewertung die Checkbox Peer Review aktivieren.

Editor - PeerReview aktivieren_de.png

Anschließend öffnen sich weitere Konfigurationsabschnitte, in denen sich die Reviewphasen wiederfinden:

1. Schritt: Review
2. Schritt: Feedback (optional)
3. Schritt: Ergebnisanzeige

Editor - PeerReview Abschnitte_de.png

Nachdem Sie die Funktion Peer Review für Ihre Aufgabe aktiviert haben, können Sie die Einstellungen entsprechend Ihrer Bedürfnisse anpassen.

Konfiguration zum 1. Schritt: Review

Legen Sie im ersten Abschnitt Rahmenbedingungen für die Reviewvergabe fest.

Konfiguration im Abschnitt Review ...

1	Zeitraum für Review: Legen Sie ein Zeitfenster fest, in welchem Nutzer Reviews einreichen können. Innerhalb dieses Zeitfensters können bereits eingereichte Reviews beliebig vom Ersteller verändert werden.
2	Legen Sie eine Mindestanzahl von Reviews fest, die jeder Nutzer abgeben muss. Optional können Sie weitere, zusätzliche Reviews erlauben. Wenn Sie diese Checkbox markieren, kann jeder Nutzer freiwillig weitere Reviews erstellen. Warning Unterschreitung der Mindestanzahl Optimal ist eine Mindestanzahl von drei Reviews. Wenn Sie diese Anzahl unterschreiten, beachten Sie bitte die Hinweise auf der Seite Auswirkung der Unterschreitung der Mindestanzahl. Unabhängig von den Reviews der Teilnehmer, können berechtigte Personen (z.B. Kursautoren) im Bewertungswerkzeug selbst Reviews zu den Teilnehmerlösungen verfassen. Diese werden als Expertenreview gekennzeichnet. Weitere Informationen enthält der Abschnitt Expertenreview erstellen
3	Konfigurieren Sie die Review-Vorlage: Optional können Sie im Textfeld Hinweise für den Reviewer eintragen. Wählen Sie die gewünschte Punktevergabe. Es stehen Ihnen die Optionen Gesamtpunktzahl vergeben und Punkte je Freitextfeld zur Verfügung. Geben Sie die Punktzahl an, die die Reviewer maximal vergeben können. Fügen Sie optional weitere Freitextfelder hinzu. Wählen Sie die Option Dokumente - Reviewer dürfen Dateien hochladen aus, wenn die Teilnehmer Dateien innerhalb des Review hinzufügen sollen.
4	Speichern Sie Ihre Eingaben.

Hinweis

Um die gleichmäßige Verteilung der Reviews zu gewährleisten, empfehlen wir, jeweils konkrete Zeiträume für die Abgabe der Aufgabe, der Review-Phase und der Feedback-Phase festzulegen. Die Beschränkung des Abgabezeitraums der Aufgaben stellen Sie im Zugangs-Tab des Kursbausteines Aufgabe ein (Zugang>Abgabeordner>Datumsabhängig). So verhindern Sie die Abgabe von Aufgaben, wenn die Review-Phase bereits begonnen hat.

Konfiguration zum 2. Schritt: Feedback (optional)

Optional können Sie Ihren Nutzern die Möglichkeit einrichten, Feedback auf erhaltene Reviews zu geben. Klicken Sie auf die Checkbox Der Teilnehmer kann Feedback zu den erhaltenen Reviews geben, um den Feedbackprozess zu konfigurieren.

Editor- Peer Review Feedbackvergabe aktivieren_de.png

Konfiguration im Abschnitt Feedback ...

Das Aktivieren dieser Option öffnet für Sie weitere Einstellungsmöglichkeiten.

1	Zeitraum: Legen Sie ein Zeitfenster fest, in welchem Nutzer Feedback zu Reviews ihrer Aufgabenlösung geben können. Innerhalb dieses Zeitfensters können eingereichte Feedbacks beliebig vom Ersteller verändert werden.
2	Konfigurieren Sie die Feedback-Vorlage: Optional können Sie im Textfeld Hinweise zum Feedback eintragen. Wählen Sie die gewünschte Punktvergabe. Es stehen Ihnen die Optionen Gesamtpunktzahl vergeben und Punkte je Freitextfeld zur Verfügung. Die Punktebewertung innerhalb eines Feedbacks dient der qualitativen Bewertung von Reviews. Fügen Sie optional weitere Freitextfelder hinzu
3	Speichern Sie Ihre Angaben.

Konfiguration zum 3. Schritt: Ergebnisanzeige

Legen Sie hier die Einstellungen zur der Anzeige der Gesamtergebnisse für die Teilnehmer fest.

Konfiguration im Abschnitt Ergebnisanzeige ...

1	Legen Sie einen Zeitraum fest, in welchem Nutzer die Gesamtergebnisse einsehen können. Wenn Sie beide Felder leer lassen, sieht der Nutzer seine Ergebnisse sobald die Bedingungen erfüllt sind.
2	Legen Sie die Bedingungen fest, welche für die Anzeige der Ergebnisse notwendig sind. Es müssen immer alle festgelegten Bedingungen erfüllt sein, damit die Ergebnisse den Nutzern angezeigt werden. (Die Bedingungen werden durch *UND* verknüpft.) Wählen Sie zwischen Ergebnisse erst anzeigen, wenn für die Aufgabe die Mindestanzahl an Reviews vorliegt (D.h. wenn der Nutzer für seine Lösung die festgelegte Mindestanzahl an Reviews erhalten hat) die Bewertung durch den Tutor freigeschalten wurde (D.h. ein Peer Review mit aktiver Moderation durch den Tutor) Ergebnisse erst anzeigen, wenn der Teilnehmer die Mindestanzahl an Reviews abgegeben hat für die erhaltenen Reviews Feedback abgegeben hat Exkurs Review mit Moderation ... Information Review mit Moderation Die Peer Review Funktion kann mit und ohne aktive Begleitung durch den Tutor erfolgen. Für ein Peer Review mit Moderation aktivieren Sie die Checkbox Ergebnisse erst anzeigen, wenn für die Aufgabe die Bewertung durch den Tutor freigeschalten wurde. Das bedeutet, dass alle Reviews und Feedbacks durch den Tutor einzeln geprüft und akzeptiert bzw. abgelehnt werden müssen. Es erfolgt keine automatische Ergebnisauswertung, die Ergebnisse stehen den Nutzern erst nach Freigabe durch den Tutor zur Verfügung. Weitere Informationen enthält der Abschnitt Peer Review mit Moderation. Die Teilnehmer haben unabhängig davon immer die Möglichkeit, Reviews als unangemessen an den Tutor zu melden. In diesem Fall wird der Tutor benachrichtigt und muss diese Reviews separat prüfen. Weitere Informationen enhält der Abschnitt Unangemessenes Reviews bearbeiten.

Deaktivierte Feedbackoption

Im Bewertungswerkzeug können berechtigte Nutzer (z.B. Kursverantwortliche) jederzeit alle Lösungsvorschläge und zugehörige Reviews sowie Feedbacks einsehen.

Kursnutzer können jedoch - bei deaktivierter Feedback-Option - die für ihre Lösung erhaltenen Reviews erst mit Freischalten der (Gesamt)Ergebnisse sehen. (Die Möglichkeit ein als unangemessen empfundenes Review zu melden haben sie dann ebenfalls erst zu diesem Zeitpunkt.)

Gesamtergebnisse zum Reviewprozess

Als Autor haben Sie zu jeder Zeit im Bewertungswerkzeug einen Überblick, welcher Nutzer (eine Aufgabe gezogen), eine Lösung abgegeben, ein Review eingereicht oder ein Feedback verfasst hat.

Bewertungswerkzeug - Übersicht zum Peer Review_de.png

In dieser Tabelle können Sie zusätzlich, die von den angezeigten Nutzern vergebenen Reviews und deren Status einsehen oder in die Einzelbewertungansicht eines Nutzers wechseln.

Die Zuordnung der Nutzernamen zu Aufgabenlösungen, Reviews oder Feedback sind jedoch nur im Bewertungswekzeug sichtbar, nicht aber für die Teilnehmer in der Kursansicht oder den Dialogen zur Review- oder Feedbackvergabe.

Übersicht im Bewertungswerkzeug aufrufen

Um den Stand zum Reviewprozess im Bewertungswerkzeug aufzurufen, gehen Sie wie folgt vor:

Übersicht im Bewertungswerkzeug aufrufen ...

Gehen Sie in das Bewertungswerkzeug des gewünschten Kurses.
Klicken Sie im linken Menü auf die Auswahl Nach Kursstruktur.
Wählen Sie den gewünschten Kursbaustein vom Typ Aufgabe und anschließend ggf. eine Teilnehmergruppe aus.
Die angezeigte Tabelle enthält Angaben zu den durchgeführten Reviews andere Teilnehmer. Neben dem Namen der Nutzer, die das Review erstellt haben, sind Gesamtpunkte und Hinweise zum Review-Status enthalten. Über einen Link können alle Reviewinhalte mit dem gegebenenfalls vorliegenden Feedback zum Review angezeigt werden.

Die geöffnete Tabelle enthält Informationen zum Stand des Reviewprozess aller Nutzer der gewählten Gruppe.

Informationen in der Detailansicht ...

1	Name des Nutzer mit Link zur Detailbewertung	Klicken Sie auf den angezeigten Namen eines Nutzers. Es öffnet sich die Detailansicht der Bewertung zu diesem Kursbaustein für den gewählten Nutzer.
2	Vergebene Reviews	Der Link auf dem Eintrag öffnet einen Dialog mit den vom Nutzer vergebenen Reviews.
3	Gemeldete Reviews	Das Iconsignalisiert, das mindestens ein Review dieses Nutzers als unangemessen gemeldet wurde. Details sehen Sie, wenn Sie den Link anklicken.
4	Anzahl der Reviews reicht nicht aus	Die bisher zur Lösung dieses Nutzers erhaltenen Reviews liegen unter der konfigurierten Mindestanzahl an Reviews. Sollte der Zeitraum für die abzugebenden Reviews bereits abgelaufen und die Mindestanzahl nicht erreicht worden sein, sollten Sie die Bewertung des betroffenen Nutzers überprüfen, gegebenenfalls ein Expertenreview verfassen und das Bewertungsformular anpassen.
5		Werden nicht alle benötigten Spalten angezeigt, können Sie die Spaltenkonfiguration mit Klick auf dieses Icon ändern.

Wenn Sie stattdessen die Detailbewertungsansicht eines Nutzers öffnen, erhalten Sie Informationen zum Reviewprozess der Lösung dieses Nutzers.

Informationen in der Detailansicht ...

1	gewählter Kursbaustein
2	gewählter Nutzer
3	Aufgabe und Lösung des Nutzers
4	Erhaltene Reviews und Status der Reviews
5	Möglichkeit ein Expertenreview zu vergeben
6	Bewertungsformular mit Gesamtergebnis
7	Änderungsverlauf zur Bewertung einsehen

Unangemessenes Reviews bearbeiten

Ein Nutzer hat ein als unangemessen empfundenes Review gemeldet. Dieses gemeldete Review müssen Sie prüfen und akzeptieren oder ablehnen. Je nach Wahl, wird das Review anschließend im Gesamtergebnis berücksichtigt oder nicht.

Umgang mit gemeldeten Reviews ...

	Hat der Nutzer ein Review als unangemessen gemeldet, erscheint in der Spalte „Review-Status“ der Eintrag „Gemeldet“. Öffnen Sie nun die Detailansicht des entsprechenden Reviews. Im sich öffnenden Dialog urteilen Sie über die Meldung. Wählen Sie zwischen und .
	Mit Klick auf den Button Review ignorieren stimmen Sie dem Einwand des Nutzers zu und das als unangemessen gemeldete Review wird aus der Berechnung der Gesamtauswertung entfernt. Der Review-Status ändert sich von „Gemeldet“ auf „Gemeldet (wird ignoriert)". Durch den Ausschluss eines Reviews kann die Anzahl der Reviews des Nutzers kleiner sein, als die vorgegebene Mindestanzahl. Bitte prüfen Sie deshalb die gesamte Bewertung und passen Sie sie, wenn nötig, über das Bewertungsformular oder per Expertenreview an.
	Mit Klick auf den Button Review akzeptieren lehnen Sie den Einwand des meldenden Nutzers ab und das gemeldete Review bleibt in der Berechnung der Gesamtauswertung enthalten. Der Review-Status ändert sich von „Gemeldet“ auf „Gemeldet (wird akzeptiert)".
	Es wurde ein Expertenreview vergeben. Dieses fließt in die Gesamtbewertung ein.

Peer Review mit Moderation

Wollen Sie als Kursverantwortlicher den Reviewprozess begleiten und die Bewertungen vor Freigabe an die Nutzer kontrollieren, so können Sie dies mit der Option "Ergebnisse erst anzeigen, wenn für die Aufgabe die Bewertung durch den Tutor freigeschalten wurde" einstellen. Konfigurieren Sie diese Option im Kurseditor zum Abschnitt Ergebnisanzeige.

Ist die Moderationsfunktion aktiviert, bedeutet dies, dass Sie jedes Review einzeln überprüfen und akzeptieren oder ablehnen müssen. Erst wenn dies abgeschlossen ist, kann die Bewertung übernommen werden.

Bewertungsprozess moderieren ...

Review-Status	Erläuterung
	Ist ein moderiertes Peer Review noch nicht geprüft, erscheint in der Spalte „Review-Status“ der Eintrag „Prüfung ausstehend“. Öffnen Sie mit Klick auf den Eintrag "Review anzeigen"die Detailansicht des Reviews und beurteilen Sie dieses mit Klick auf den Button oder.
	Mit dem Button „Review akzeptieren“ haben Sie dem Review zugestimmt und dieses fließt in die Gesamtauswertung ein. Der Review-Status ändert sich von „Prüfung ausstehend“ auf „Akzeptiert“.
	Mit dem Button „Review ablehnen“ haben Sie das Review zurückgewiesen und es fließt nicht in die Berechnung der Gesamtauswertung ein. Der Review-Status ändert sich von „Prüfung ausstehend“ auf „Abgelehnt“. Durch den Ausschluss eines Reviews kann die Anzahl der erhaltenen Reviews kleiner sein, als die vorgegebene Mindestanzahl. Bitte prüfen Sie deshalb die gesamte Bewertung und passen Sie sie, wenn nötig, über das Bewertungsformular oder durch ein Expertenreview an.
	Der Button Review übernehmen wird erst aktiv, wenn alle vorhandenen Reviews angesehen und akzeptiert oder abgelehnt wurden. Der Klick auf den Button überträgt und speichert den Durchschnitt der Gesamtpunkte aller Einzel-Reviews in das Gesamtpunktefeld des Bewertungsformulars. Je nach Konfiguration führt dies zum bestehen des Kursbausteins.

Bewrtungswerkzeug - Moderation_de.png

Expertenreview erstellen

Als Kursverantwortlicher haben Sie jederzeit die Möglichkeit, im Bewertungswerkzeug ebenfalls ein Review für eine Teilnehmerlösung zu erstellen. Das kann je nach Konfiguration notwendig werden, wenn ein Teilnehmer zu wenige Reviews für eine Bewertung erhalten hat, andere Teilnehmer nicht genügend Reviews vergeben haben oder wenn es unangemessene Reviews gab.

Expertenreview durchführen ...

Wechseln Sie im Bewertungswerkzeug in die Detailansicht der Bewertung eines Nutzers.
Im Bereich Erhaltene Peer Reviews finden Sie unter der Tabelle den Button Expertenreview abgeben .
Bei Klick auf den Button öffnet sich das Reviewformular, in dem Sie nun ein Review für den Teilnehmer abgeben können. Für das Expertenreview steht Ihnen das gleiche Formular zur Verfügung, welches auch die Teilnehmer für das Review angezeigt bekommen. Geben Sie das Review mit Speichern und Schließen ab. Ihr Review erhält in der Übersichtstabelle und allen Nutzeransichten den Status bzw. Zusatz Expertenreview.

Auswirkung der Unterschreitung der Mindestanzahl

Pädagogisches Ziel der Bewertungsform Peer Review ist ein Peer Assessment zu ermöglichen. Somit wurde bei der Konzeption dieser Bewertungsform darauf geachtet, sehr viele Grundszenarien zu ermöglichen und vor allem die Anonymität und Zufälligkeit der Vergabe von Teilnehmerlösungen zur Begutachtung als Zielkriterium festgelegt.

Wenn Sie die Grundeinstellung Mindestzahl an Reviews verringern und gleichzeitig keine zusätzlichen Reviews erlauben , sollten Sie deshalb folgendes beachten, um den Verlauf der Bewertung zu optimieren:

Beachten Sie für einen optimalen Verlauf ...

Vergeben Sie feste, sich nicht überschneidende Datumsbeschränkungen: Die Lösungsabgabe sollte immer zeitlich eingeschränkt vor der Reviewphase liegen (Zugang>Abgabeordner>Datumsbeschränkt bis). Damit ist die zum Start der Reviewphase zur Verfügung stehenden Anzahl an Lösungsdateien fix und ändert sich nicht nachträglich während der Reviewphase.

Mit Start der Reviewphase werden die zur Verfügung stehenden Reviews an die Aufrufenden bei Aufruf des Reviews (= Klick auf "Review starten") jeweils zufällig verteilt. D.h die Zuordnung eines Reviews erfolgt immer erst wenn der Nutzer auf den Button drückt und wird nicht vorher festgelegt. Dies garantiert in anderen Szenarien einem sehr offenen PeerReview-Prozess der auch später abgegeben Lösungen optimal in den Prozess einbindet.

Bei gerader Anzahl an zur Verfügung stehenden Reviews bekommt nun immer jeder Nutzer genau ein Review zu seiner Lösung, wenn alle Reviews erfolgt sind.

Einzig bei ungerader Anzahl an zur Verfügung stehenden Reviews kann es passieren, das einer der letzten beiden Reviewenden selbst kein Review von einem Peer für seine Lösung erhält und dagegen ein andere Nutzer zwei Reviews bekommt. Es ist jedoch auch mit dieser Konfiguration ausgeschlossen, dass mehr als ein Nutzer mehr als zwei Reviews erhält. Zusätzlich sinkt die Wahrscheinlichkeit des Auftretens dieses Falles mit steigender Nutzeranzahl.

Exkurs zur ungeraden Reviewanzahl ...

Das Problem entsteht durch das "nacheinander ziehen" der Reviews. Dies wurde gewählt, um in alle anderen Szenarien vor allem die Gleichverteilung bei mehreren Reviews zu ermöglichen und dabei bestmögliche Anonymität und Zufallsverteilung (auch bei später eingereichten Lösungen ) herzustellen.
Sind allerdings nur noch genau drei Personen (A,B,C) in der Auswahl, kann es zu folgender Zuordnung kommen: (A:B bedeutet Nutzer A zieht Lösung von Nutzer B zur Reviewvergabe und führt dieses Review durch)
A:B; B:C; C:A => Alle haben ein Review erhalten und ein Review vergeben
A:C B:A C:B => Alle haben ein Review erhalten und ein Review vergeben
A:B B:A C? => In diesem Fall wird C zufällig die Lösung von A oder B zugeteilt bekommen und C das Review für diese Lösung vornehmen. Damit erhält diese Person zwei Reviews und das erwähnte Expertenreview für die Lösung von C wird notwendig. Ist dagegen bspw. die Option "Zusätzliche Reviews erlauben"aktiviert, wird das nächstfolgende Review, was ein Nutzer, der bereits 1 Review vergeben hat, für C sein und damit auch C ein Review durch einen Peer erhalten.
Wenn der beschriebene Ausnahmefall eintritt, müssen Sie für diesen Nutzer ein Expertenreview erstellen. Sie können das Auftreten diesen Falles weiter minimieren, in dem Sie die zusätzliche Reviewvergabe erlauben.