Peer Review

Version 392.1 von Carina Enke am 30.08.2018
Warnung: Aus Sicherheitsgründen wird das Dokument in einem eingeschränkten Modus angezeigt, da es sich nicht um die aktuelle Version handelt. Dadurch kann es zu Abweichungen und Fehlern kommen.


Ein Peer Review ermöglicht das anonyme Beurteilen von eingereichten Aufgaben durch andere Teilnehmer. Aus den Beurteilungen der Teilnehmer entsteht eine Gesamtbewertung für die jeweils eingereichte Aufgabe.

Unbekanntes Makro: scroll-ignore. Klicke auf diese Nachricht, um Details zu erfahren.

Administration des Peer Reviews im Kurseditor (Autor)

Im Kursbaustein Aufgabe können Sie als Autor die Funktion Peer Review im Tab Bewertung aktivieren.

Ein Peer Review setzt sich aus insgesamt drei Schritten zusammen:

  1. Schritt: Review
  2. Schritt: Feedback (optional)
  3. Schritt: Ergebnisanzeige

PR_Aufgabe_Tab Bewertung2.PNG

1. Schritt: Review

Nachdem Sie die Funktion Peer Review für Ihre Aufgabe aktiviert haben, können Sie die Einstellungen entsprechend Ihren Bedürfnissen anpassen.
Gehen Sie bitte wie folgt vor:

PR_Aufgabe_Tab Bewertung_StepReview.PNG

  1. Legen Sie ein Zeitfenster fest, in welchem Nutzer Reviews zu abgegebenen Aufgaben anderer Nutzer einreichen können. 
    Innerhalb dieses Zeitfensters können bereits eingereichte Reviews beliebig vom Ersteller verändert werden.
  2. Legen Sie eine Mindestanzahl von Reviews fest, die jeder Nutzer abgeben muss. Optional können Sie weitere, zusätzliche Reviews erlauben.

  3. Konfigurieren Sie die Review-Vorlage. Optional können Sie im Textfeld Hinweise für den Reviewer eintragen.
    1. Wählen Sie die gewünschte Punktvergabe. Es stehen Ihnen die Optionen Gesamtpunktzahl vergeben und Punkte je Freitextfeld zur Verfügung.
    2. Geben Sie die Punktzahl an, die die Reviewer maximal vergeben können.
    3. Fügen Sie optional weitere Freitextfelder hinzu.
    4. Wählen Sie die Option Dokumente - Reviewer dürfen Dateien hochladen aus, wenn die Teilnehmer Dateien innerhalb des Review hinzufügen sollen.
  4. Speichern Sie Ihre Eingaben.
Information
Hinweis

Um die gleichmäßige Verteilung der Reviews zu gewährleisten, empfehlen wir, jeweils konkrete Zeiträume für die Abgabe der Aufgabe, der Review-Phase und der Feedback-Phase festzulegen. Die Beschränkung des Abgabezeitraums der Aufgaben stellen Sie im entsprechenden Tab des Kursbausteines Aufgabe ein. So verhindern Sie die Abgabe von Aufgaben, wenn die Review-Phase bereits begonnen hat.

Die Auswirkungen durch Unterschreiten der von Ihnen festgelegten Mindestanzahl an Reviews können Sie später im 3. Schritt: Ergebnisanzeige definieren.

Warning

Bitte beachten Sie!

Die Teilnehmer haben immer die Möglichkeit, Reviews als unangemessen an den Tutor zu melden. In diesem Fall wird der Tutor benachrichtigt und muss diese Reviews separat prüfen.

2. Schritt: Feedback (optional)

Nach Bedarf können Sie Ihren Nutzern die Möglichkeit einrichten, Feedback auf erhaltene Reviews zu geben.
Klicken Sie dazu auf die Checkbox "Der Teilnehmer kann Feedback zu den erhaltenen Reviews geben".
 PR_Aufgabe_Tab Bewertung_StepFeedback1.PNG
 Das Aktivieren dieser Option öffnet für Sie weitere Einstellungsmöglichkeiten.
PR_Aufgabe_Tab Bewertung_StepFeedback2.PNG

Gehen Sie bitte wie folgt vor:

  1. Legen Sie ein Zeitfenster fest, in welchem Nutzer Feedback zu Reviews ihrer Aufgabenlösung geben können. 
    Innerhalb dieses Zeitfensters können eingereichte Feedbacks beliebig vom Ersteller verändert werden.

  2. Konfigurieren Sie das Feedback-Formular. Optional können Sie im Textfeld Hinweise zur Feedbackerstellung eintragen.
  3. Wählen Sie die gewünschte Punktvergabe. Es stehen Ihnen die Optionen Gesamtpunktzahl vergeben und Punkte je Freitextfeld zur Verfügung.
    Die Punktebewertung innerhalb eines Feedbacks dient der qualitativen Bewertung von Reviews.
  4. Speichern Sie Ihre Eingaben.
Warning

Bitte beachten Sie!

Bei Nicht-Aktivieren der Feedback-Option können Nutzer die eingereichten Reviews für ihre Aufgaben nicht sehen. Diese werden erst nach Freischalten der Ergebnisse für die Teilnehmer sichtbar.

3. Schritt: Ergebnisanzeige

Legen Sie hier die Einstellungen bezüglich der Anzeige der Ergebnisse für die Teilnehmer fest. 

Gehen Sie bitte wie folgt vor:

  1. Legen Sie ein Zeitfenster fest, in welchem Nutzer die Gesamtergebnisse einsehen können. 
  2. Wählen Sie die gewünschte Anzeigebedingungen, welche für die Anzeige der Ergebnisse erfüllt sein müssen. Wählen Sie zwischen
    1. Ergebnisse erst anzeigen, wenn für die Aufgabe
      • die Mindestanzahl an Reviews vorliegt
      • die Bewertung durch den Tutor freigeschalten wurde
    2.   Ergebnisse erst anzeigen, wenn der Teilnehmer
      • die Mindestanzahl an Reviews abgegeben hat
      • für die erhaltenen Reviews Feedback abgegeben hat

Alle festgelegten Bedingungen werden durch UND verknüpft.

Warning

Bitte beachten Sie!

Die Peer Review Funktion kann mit und ohne Moderation durch den Tutor erfolgen.

Für ein Peer Review mit Moderation aktivieren Sie die Checkbox Ergebnisse erst anzeigen, wenn für die Aufgabe die Bewertung durch den Tutor freigeschalten wurde. Das bedeutet, dass alle Reviews und Feedbacks durch den Tutor einzeln geprüft und akzeptiert bzw. abgelehnt werden müssen. Es erfolgt keine automatische Ergebnisauswertung.

Für ein Peer Review ohne Moderation deaktivieren Sie diese Checkbox.

Erstellen eines Reviews als Nutzer   

Bewerten Sie die Aufgabenlösung eines anderen Nutzers entsprechend den Review-Vorgaben Ihres Tutors.

Warning

Bitte beachten Sie!

Achtung: Nutzer können ein Review erst durchführen, wenn sie selbst eine Aufgabe abgegeben haben.

Gehen Sie wie folgt vor:

    1. Öffnen Sie den relevanten Kursbaustein Aufgabe (Name des Bausteins variiert je nach Benennung des Tutors)
    2. Wechseln Sie in den Bereich  Peer Review - Review für andere Teilnehmer abgeben.
      PR_Abgabe_Review.PNG 
    3. Klicken Sie auf  Review starten.
    4. Ein Pop-up Fenster öffnet sich, in welchem Sie Ihre Reviews erstellen können.
      PR_Abgabe_Review2.PNG

In diesem Fenster wird Ihnen jeweils eine abgegebene Aufgabe eines anderen Teilnehmers angezeigt, welche Sie mit einem Review bewerten können. 

  1. Sie können auf die Aufgabe zugreifen, indem Sie auf den Namen der Datei klicken
  2. Die Datei öffnet sich in einem separaten Fenster.
  3. In den Feldern Punkte und Kommentar können Sie jeweils Ihre Punkte sowie eine schriftliche Einschätzung zu der Aufgabe abgeben. Außerdem haben Sie die Möglichkeit, Dateien als Review hochzuladen.
    Das Aussehen des Review-Formulars ist abhängig von den Einstellungen, die der Tutor vorgenommen hat.
  4. Wählen Sie zwischen:
    1. Speichern und Schließen  - Ihre Eingaben werden übernommen und das Fenster schließt sich.
    2. Weiter - Ihre Eingaben werden übernommen und Sie werden zur nächsten verfügbaren Aufgabe geleitet.
Warning

Bitte beachten Sie!

Als Nutzer haben Sie nicht die Möglichkeit, den Namen des Erstellers der Aufgabe oder der Review zu sehen. Die Abgabe von Aufgaben sowie Reviews bleiben für Nutzer vollständig anonym.

Achtung: Die Lernplattform kann keinen Einfluss auf Eigenschaften der im Ablageordner befindlichen Dateien nehmen. Wenn zum Beispiel in den Datei-Eigenschaften oder in den Datei-Inhalten Nutzernamen oder Hinweise gespeichert sind, werden diese entsprechend angezeigt.

Success

Feedback auf die von mir abgegebenen Reviews einsehen

Wenn Ihr Tutor das Feedback für die Peer-Review-Funktion aktiviert hat, können Sie an dieser Stelle das Feedback der anderen Teilnehmer auf die von Ihnen formulierten Reviews einsehen. Auch hier bleiben die Nutzer anonym.

Erstellen eines Feedbacks als Nutzer

Reagieren Sie auf eingereichte Reviews von anderen Nutzern zu Ihren abgegebenen Aufgaben entsprechend den Feedback-Vorgaben Ihres Tutors.

Gehen Sie wie folgt vor:

    1. Öffnen Sie den Kursbaustein Aufgabe (Name des Bausteins variiert je nach Benennung des Tutors)
    2. Wechseln Sie in den Bereich  Peer Review - Feedback anderer Nutzer zu Reviews 

PR_Abgabe_Feedback.PNG

  1. Klicken Sie auf Feedback vergeben.
  2. Ein Pop-up Fenster öffnet sich, in welchem Sie Ihre Feedbacks erstellen können.

PR_Abgabe_Feedback2.PNG 
In diesem Fenster sehen Sie eine Zusammenfassung des eingereichten Reviews zu Ihrer abgegebenen Aufgabe, bestehend aus einer Punktevergabe sowie einem Kommentar. 

  1. Sie können jedes Ihrer erhaltenen Reviews nun ebenfalls mit Punkten sowie einem Feedback-Kommentar bewerten. Die Punktebewertung innerhalb eines Feedbacks dient der qualitativen Bewertung von Reviews.
    Das Aussehen des Feedback-Formulars ist abhängig von den Einstellungen, die der Tutor vorgenommen hat.
  2. Wählen Sie zwischen:
    1. Speichern und Schließen  - Ihre Eingaben werden übernommen und das Fenster schließt sich.
    2. Weiter - Ihre Eingaben werden übernommen und Sie werden zur nächsten verfügbaren Review geleitet.

Warning

Bitte beachten Sie!

Als Nutzer haben Sie nicht die Möglichkeit, den Namen des Erstellers der Aufgabe oder der Review zu sehen. Die Abgabe von Aufgaben sowie Reviews bleiben für Nutzer vollständig anonym.

Achtung: Die Lernplattform kann keinen Einfluss auf Eigenschaften der im Ablageordner befindlichen Dateien nehmen. Wenn zum Beispiel in den Datei-Eigenschaften oder in den Datei-Inhalten Nutzernamen oder Hinweise darauf gespeichert sind, werden diese entsprechend angezeigt.

Success

Interessante Zusatzinformation

Für Peer Reviews ohne Moderation, sprich Reviews, welche automatisch vom System und nicht durch den Tutor bewertet werden, steht Ihnen als Nutzer eine weitere Option zur Verfügung:
Erscheint Ihnen ein Review als unangemessen, können Sie die Option Unangemessenes Review melden verwenden. Es öffnet sich ein Popup in dem Sie die Kiritikpunkte beschreiben können. Nach der Meldung an den Tutor muss dieser daraufhin das Review explizit prüfen und entweder akzeptieren oder ablehnen.

Success

Tipp

Das Feedback, welches Sie auf Ihre abgegebenen Reviews von anderen Teilnehmern erhalten haben, können Sie im Bereich Reviews für andere Teilnehmer abgeben einsehen.

Einsehen der Gesamtergebnisse als Autor

Als Autor haben Sie zu jeder Zeit Einsicht, welcher Nutzer eine Aufgabe abgegeben, ein Review eingereicht oder ein Feedback verfasst hat.
Diese Nutzernamen sind jedoch nur für Sie als Autor im Bewertungswekzeug sichtbar, nicht aber den einzelnen Teilnehmern.

Die einzelnen Aufgaben, Reviews und Feedback können Sie über das Bewertungswerkzeug einsehen.

Gehen Sie wie folgt vor:

  1. Gehen Sie in das Bewertungswerkzeug des gewünschten Kurses
  2. Klicken Sie im linken Menü auf die Auswahl Nach Benutzer.
  3. Wählen Sie den gewünschten Nutzer aus.
  4. Wechseln Sie in der angezeigten Tabelle zur gewünschte Aufgabe. Dazu klicken Sie bitte auf die Option Auswählen in der letzten Spalte für die gewünschte Zeile

Die angezeigte Tabelle enthält Angaben zu den durchgeführten Reviews andere Teilnehmer. Neben dem Namen der Nutzer, die das Review erstellt haben, sind Gesamtpunkte und Hinweise zum Review-Status enthalten. Über einen Link können alle Reviewinhalte mit dem gegebenenfalls vorliegenden Feedback zum Review angezeigt werden.

Warning

Bitte beachten Sie!

Bei Unterschreiten der von Ihnen festgelegten Mindestanzahl an Reviews erscheint ein entsprechendes Symbol in Ihrer Übersicht.

Sollte der Zeitraum für die abzugebenden Reviews bereits abgelaufen und die Mindestanzahl nicht erreicht worden sein, sollten Sie die Bewertung des betroffenen Nutzers überprüfen und gegebenenfalls ein Expertenreview verfassen oder das Bewertungsformular anpassen.

Peer Review ohne Moderation

Bieten Sie das Peer Review ohne Moderation an, dann haben Nutzer die Möglichkeit, Reviews zu melden, welche sie als unangemessen empfinden.
Diese gemeldeten Reviews müssen Sie als Tutor einzeln prüfen und akzeptieren oder ablehnen. Je nach Wahl wird das Review im Gesamtergebnis berücksichtigt oder nicht.

  1. Peer Review-Status „gemeldet“: Hat der Nutzer ein Review als unangemessen gemeldet, erscheint in der Spalte „Review-Status“ der Eintrag „Gemeldet“. Öffnen Sie nun die Detailansicht des entsprechenden Review und urteilen Sie über die Meldung: 
  2. Review ignorieren: Mit dem Button „Review ignorieren“ stimmen Sie dem Einwand des Nutzers zu und das gemeldete Review wird aus der Berechnung der Gesamtauswertung entfernt. Der Review-Status ändert sich von „Gemeldet“ auf „Gemeldet (wird ignoriert)". Durch den Ausschluss eines Reviews kann die Anzahl der Reviews des Nutzers kleiner sein, als die vorgegebene Mindestanzahl. Bitte prüfen Sie deshalb die gesamte Bewertung und passen Sie sie, wenn nötig, über das Bewertungsformular oder per Expertenreview an. 
  3. Review akzeptieren: Mit dem Button „Review akzeptieren“ lehnen Sie den Einwand des meldenden Nutzers ab und das gemeldete Review bleibt in der Berechnung der Gesamtauswertung enthalten. Der Review-Status ändert sich von „Gemeldet“ auf „Gemeldet (wird akzeptiert)".

Peer Review mit Moderation

  1. Review-Status „Prüfung ausstehend“: Ist ein moderiertes Peer Review noch nicht geprüft, erscheint in der Spalte „Review-Status“ der Eintrag „Prüfung ausstehend“. Moderation bedeutet, dass Sie jedes Review einzeln überprüfen und akzeptieren oder ablehnen müssen. Erst anschließend können Sie per Button „Bewertung übertragen“ die Gesamtbewertung berechnen und in das Bewertungsformular übertragen.
  2. Öffnen Sie nun die Detailansicht eines Reviews und beurteilen Sie dieses:
  3. Review akzeptieren: Mit dem Button „Review akzeptieren“ stimmen Sie dem Review zu und dieses fließt in die Gesamtauswertung ein. Der Review-Status ändert sich von „Prüfung ausstehend“ auf „Akzeptiert“.
  4. Review ablehnen: Mit dem Button „Review ablehnen“ lehnen Sie das Review ab und dieses fließt nicht in die Berechnung der Gesamtauswertung ein. Der Review-Status ändert sich von „Prüfung ausstehend“ auf „Abgelehnt“. Durch den Ausschluss eines Reviews kann die Anzahl der erhaltenen Reviews kleiner sein, als die vorgegebene Mindestanzahl. Bitte prüfen Sie deshalb die gesamte Bewertung und passen Sie sie, wenn nötig, über das Bewertungsformular oder durch ein Expertenreview an.
  5. Review übernehmen: Dieser Button wird erst aktiv, wenn alle vorhandenen Reviews angesehen und akzeptiert oder abgelehnt wurden. Der Klick auf den Button überträgt und speichert den Durchschnitt aller Gesamtpunkte der einzelnen Reviews in das Gesamtpunktefeld des Bewertungsformulars.

Expertenreview erstellen

Als Tutor haben Sie die Möglichkeit, im Bewertungswerkzeug ebenfalls ein Review für die Teilnehmer zu erstellen. Das ist zum Beispiel von Vorteil, wenn ein Teilnehmer zu wenige Reviews für eine Bewertung erhalten hat.

Gehen Sie wie folgt vor:

  1. Gehen Sie in das Bewertungswerkzeug des gewünschten Kurses
  2. Klicken Sie im linken Menü auf die Auswahl Nach Benutzer.
  3. Wählen Sie den gewünschten Nutzer und anschließend den Baustein aus.
  4. Im Bereich Erhaltene Peer Reviews finden Sie unter der Tabelle den Button Expertenreview abgeben.

    PR_Expertenreview.png

  5. Bei Klick auf den Button öffnet sich der Bereich, in dem Sie nun ein Review für den Teilnehmer abgeben können. Für das Expertenreview steht Ihnen das gleiche Formular zur Verfügung, welches auch die Teilnehmer für das Review angezeigt bekommen.
  6. Geben Sie das Review mit Speichern und Schließen ab. Ihr Review erhält in der Übersichtstabelle den Status "Expertenreview".

Einsehen der Gesamtergebnisse als Nutzer

Als Nutzer haben Sie nach Freischaltung der Ergebnisse Einsicht, welche Bewertungen Sie im Rahmen des Peer Review erhalten haben.
Die einzelnen Reviews und das Feedback auf die von Ihnen erstellten Reviews können Sie über den betroffenen Kursbaustein einsehen.

Um erhaltene Reviews anzuzeigen, gehen Sie wie folgt vor:

  1. Gehen Sie in den gewünschten Kursbaustein, für welchen das Peer Review aktiviert wurde. 
  2. Gehen Sie im Kursbaustein in den Bereich Bewertung.

PR_Bewertung_Nutzersicht2.PNG

  • Klicken Sie auf den Button Reviewdetails anzeigen. Ein neues Fenster öffnet sich.  

PR_Bewertung_Nutzersicht3.PNG

  • Klicken Sie auf Reviews anzeigen unterhalb der Tabelle, um die Details zu den einzelnen Reviews einzusehen. 

PR_Bewertung_Nutzersicht.PNG

Um von anderen Nutzern erhaltenes Feedback auf selbst erstellte Reviews anzuzeigen, gehen Sie wie folgt vor:

  1. Gehen Sie in den gewünschten Kursbaustein, für welchen das Peer Review aktiviert wurde. 
  2. Wechseln Sie im Kursbaustein in den Bereich Peer Review - Review für andere Teilnehmer abgeben.
  3. Mit dem Button Review starten öffnen Sie die von Ihnen erstellten Reviews. Unterhalb des jeweiligen Review sehen Sie das dazu erhaltene Feedback.