Änderungen von Dokument 03 Peer Review

Zuletzt geändert von Carina Enke am 13.06.2025

Von Version 413.3
bearbeitet von Carina Enke
am 13.06.2025
Änderungskommentar: Es gibt keinen Kommentar für diese Version
Auf Version 410.7
bearbeitet von Moritz Baumgarten
am 15.01.2024
Änderungskommentar: Renamed from xwiki:LMS.Benutzerhandbuch OPAL.Lehren.Bewertung.Peer Review.WebHome

Zusammenfassung

Details

Seiteneigenschaften
Titel
... ... @@ -1,1 +1,1 @@
1 -03 Peer Review
1 +Peer Review
Dokument-Autor
... ... @@ -1,1 +1,1 @@
1 -XWiki.carina
1 +XWiki.moritz
Inhalt
... ... @@ -1,5 +1,6 @@
1 -{{section}}
2 -{{column width="60%"}}
1 +{{layout}}
2 +{{layout-section ac:type="two_right_sidebar"}}
3 +{{layout-cell}}
3 3  Ein **Peer Review** ermöglicht das anonyme Begutachten von eingereichten Aufgaben durch andere Teilnehmer. Aus diesen Gutachten der Teilnehmer kann eine Gesamtbewertung für die jeweils eingereichte Aufgabe entstehen.
4 4  
5 5  Je nach Konfiguration kann das Peer Review folgende Abschnitte umfassen:
... ... @@ -12,20 +12,23 @@
12 12  
13 13  * **[[Nutzung aus Autoren-Sicht>>doc:||anchor="Autoren"]] **, um mit der Konfiguration dieser Abschnitte zu beginnen.
14 14  * **[[Nutzung aus Lerner-Sicht>>doc:||anchor="Informationen"]] **, um zu erfahren, wie der Reviewprozess aus Nutzer-Sicht verläuft und welche Aktionen von Teilnehmern am Reviewprozess erwartet werden.
15 -{{/column}}
16 16  
17 -{{column width="30%"}}
18 -{{panel title="Inhalt"}}
19 -{{toc start="2"/}}
20 -{{/panel}}
21 -{{/column}}
22 -{{/section}}
23 23  
24 24  
25 25  {{id name="Informationen"/}}
20 +{{/layout-cell}}
26 26  
22 +{{layout-cell}}
23 +
24 +{{/layout-cell}}
25 +{{/layout-section}}
26 +
27 +{{layout-section ac:type="single"}}
28 +{{layout-cell}}
27 27  == Nutzung aus Lerner-Sicht ==
28 28  
31 +
32 +(% class="wrapped" %)
29 29  |(((
30 30  Hat der Kursautor für einen Kursbaustein Aufgabe die Bewertung im Peer Review-Verfahren vorgesehen, erscheint beim Aufgabenbaustein der Abschnitt **Informationen zum Ablauf des Peer Review**.
31 31  )))|(((
... ... @@ -58,15 +58,18 @@
58 58  )))
59 59  )))
60 60  
65 +=== ===
61 61  
62 62  
63 63  === 1. Review anderer Aufgabenlösungen durchführen ===
64 64  
70 +
65 65  Ist der Reviewbereich freigegeben, erscheint eine entsprechende Aufforderung. Sie sehen den Bereich **Reviews für andere Teilnehmer abgeben**. Mit Klick auf den Button** Review starten** beginnt die Reviewvergabe.
66 66  
67 67  [[image:attach:Kursrun - Review vergeben_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]]
68 68  
69 69  {{expand title="Starten Sie den Review-Prozess ..."}}
76 +(% class="wrapped" %)
70 70  |(% colspan="2" %)(% colspan="2" %)
71 71  (((
72 72  (% class="content-wrapper" %)
... ... @@ -73,6 +73,7 @@
73 73  (((
74 74  Mit Klick auf den Button **Review starten** öffnet sich das Reviewformular. Bewerten Sie im Formular die Aufgabenlösung eines anderen Nutzers entsprechend den Reviewvorgaben Ihres Tutors. Das Formular enthält folgende Informationen:
75 75  
83 +(% class="wrapped" %)
76 76  |(% class="numberingColumn" %)(% class="numberingColumn" %)
77 77  (((
78 78  1
... ... @@ -151,6 +151,7 @@
151 151  
152 152  )))|(% colspan="1" %)(% colspan="1" %)
153 153  (((
162 +(% class="content-wrapper" %)
154 154  (((
155 155  [[image:attach:Kursrun - Ablauf PeerReview2_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]]
156 156  )))
... ... @@ -159,9 +159,12 @@
159 159  
160 160  {{/expand}}
161 161  
171 +=== ===
162 162  
173 +
163 163  === 2. Feedback zu vorliegenden Reviews eigener Aufgabenlösungen abgeben ===
164 164  
176 +
165 165  Der Kursersteller kann Ihnen die Möglichkeit einräumen, dass Sie sich zu Reviews, welche Sie zur eigenen Aufgabenlösung erhalten haben, äußern. In diesem Fall sehen Sie den Bereich **Feedback für erhaltene Reviews abgegeben**. Starten Sie Funktion mit Klick auf den Button **Feedback vergeben**.
166 166  
167 167  [[image:attach:Kursrun - Feedback vergeben_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]]
... ... @@ -170,6 +170,7 @@
170 170  (% class="auto-cursor-target" %)
171 171  Es öffnet sich das Feedbackformular. Bewerten Sie im Formular das erhaltene Review entsprechend den Vorgaben Ihres Tutors. Das Formular enthält folgende Informationen:
172 172  
185 +(% class="wrapped" %)
173 173  |(% class="numberingColumn" %)(% class="numberingColumn" %)
174 174  (((
175 175  1
... ... @@ -230,8 +230,6 @@
230 230  {{/tip}}
231 231  {{/expand}}
232 232  
233 -
234 -
235 235  === 3. Anzeige der erhaltenen Gesamtbewertung ===
236 236  
237 237  Für die Berechnung und Anzeige der Gesamtbewertung hat der Kursersteller sehr viele Freiheiten. Den Zeitraum und die gewählte Konfiguration können Sie jederzeit im Abschnitt [[Informationen zum Ablauf des Peer Review>>doc:||anchor="Informationen"]] überprüfen.
... ... @@ -241,6 +241,7 @@
241 241  [[image:attach:Kursrun - Auswertung anzeigen_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]]
242 242  
243 243  {{expand title="Auswertung einsehen ..."}}
255 +(% class="wrapped" %)
244 244  |(((
245 245  Nach Klick auf den Button **Auswertung anzeigen** öffnet sich ein Dialogfenster, in dem die Bewertung zu allen erhaltenen Reviews und ggf. die dazu vergebenen Feedbacks in einer tabellarischen Übersicht angezeigt werden.
246 246  
... ... @@ -263,6 +263,7 @@
263 263  (((
264 264  (% style="color:#000000" %)In der Spalte Status sind folgende Einträge möglich:
265 265  
278 +(% class="wrapped" %)
266 266  |(((
267 267  (% class="content-wrapper" %)
268 268  (((
... ... @@ -325,14 +325,20 @@
325 325  )))
326 326  )))
327 327  {{/expand}}
341 +{{/layout-cell}}
342 +{{/layout-section}}
328 328  
329 -
344 +{{layout-section ac:type="single"}}
345 +{{layout-cell}}
330 330  {{id name="Autoren"/}}
331 331  
332 332  == Nutzung aus Autoren-Sicht ==
333 333  
350 +
334 334  === Konfiguration des Peer Review im Kurseditor ===
335 335  
353 +=== ===
354 +
336 336  Im Kursbaustein **Aufgabe** können Sie als Autor die Bewertung per Peer Review aktivieren. Markieren Sie dazu im Tab **Bewertung** die Checkbox **Peer Review aktivieren**.
337 337  
338 338  [[image:attach:Editor - PeerReview aktivieren_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]]
... ... @@ -350,9 +350,11 @@
350 350  
351 351  === Konfiguration zum 1. Schritt: Review ===
352 352  
372 +
353 353  Legen Sie im ersten Abschnitt Rahmenbedingungen für die Reviewvergabe fest.
354 354  
355 355  {{expand title="Konfiguration im Abschnitt Review ..."}}
376 +(% class="wrapped" %)
356 356  |(% class="numberingColumn" %)(% class="numberingColumn" %)
357 357  (((
358 358  1
... ... @@ -405,8 +405,6 @@
405 405  {{/info}}
406 406  {{/expand}}
407 407  
408 -
409 -
410 410  === Konfiguration zum 2. Schritt: Feedback (optional) ===
411 411  
412 412  Optional können Sie Ihren Nutzern die Möglichkeit einrichten, Feedback auf erhaltene Reviews zu geben. Klicken Sie auf die Checkbox **Der Teilnehmer kann Feedback zu den erhaltenen Reviews geben**, um den Feedbackprozess zu konfigurieren.
... ... @@ -417,6 +417,7 @@
417 417  (% class="auto-cursor-target" %)
418 418  Das Aktivieren dieser Option öffnet für Sie weitere Einstellungsmöglichkeiten.
419 419  
439 +(% class="wrapped" %)
420 420  |(% class="numberingColumn" %)(% class="numberingColumn" %)
421 421  (((
422 422  1
... ... @@ -450,13 +450,12 @@
450 450  )))
451 451  {{/expand}}
452 452  
453 -
454 -
455 455  === Konfiguration zum 3. Schritt: Anzeige der Bewertungsergebnisse ===
456 456  
457 457  Legen Sie hier die Einstellungen zur Anzeige der Gesamtergebnisse für die Teilnehmer fest.
458 458  
459 459  {{expand title="Konfiguration im Abschnitt Ergebnisanzeige ..."}}
478 +(% class="wrapped" %)
460 460  |(% class="numberingColumn" %)(% class="numberingColumn" %)
461 461  (((
462 462  1
... ... @@ -499,7 +499,7 @@
499 499  {{/info}}
500 500  {{/expand}}
501 501  
502 -
521 +(% class="auto-cursor-target" %)
503 503  
504 504  )))
505 505  )))
... ... @@ -510,12 +510,23 @@
510 510  **Kursnutzer** können jedoch - bei deaktivierter Feedback-Option - die für ihre Lösung erhaltenen Reviews **erst mit Freischalten der (Gesamt)Ergebnisse** sehen. (Die Möglichkeit, ein als unangemessen empfundenes Review zu melden, haben sie dann ebenfalls erst zu diesem Zeitpunkt.)
511 511  {{/note}}
512 512  {{/expand}}
532 +{{/layout-cell}}
533 +{{/layout-section}}
513 513  
535 +{{layout-section ac:type="single"}}
536 +{{layout-cell}}
537 +
538 +{{/layout-cell}}
539 +{{/layout-section}}
514 514  
515 -
541 +{{layout-section ac:type="single"}}
542 +{{layout-cell}}
516 516  == Gesamtergebnisse zum Reviewprozess ==
517 517  
545 +== ==
546 +
518 518  Als Autor haben Sie zu jeder Zeit im **Bewertungswerkzeug** einen Überblick darüber, welcher Nutzer (eine Aufgabe gezogen), eine Lösung abgegeben, ein Review eingereicht oder ein Feedback verfasst hat.
548 +
519 519  
520 520  [[image:attach:Bewertungswerkzeug - Übersicht zum Peer Review_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]]
521 521  
... ... @@ -525,12 +525,18 @@
525 525  Die Zuordnung der Nutzernamen zu Aufgabenlösungen, Reviews oder Feedback sind jedoch nur im Bewertungswerkzeug sichtbar, nicht aber für die Teilnehmer in der Kursansicht oder den Dialogen zur Review- oder Feedbackvergabe.
526 526  {{/info}}
527 527  
558 +=== ===
528 528  
560 +
529 529  === Übersicht im Bewertungswerkzeug aufrufen ===
530 530  
563 +
531 531  Um den Stand zum Reviewprozess im Bewertungswerkzeug aufzurufen, gehen Sie wie folgt vor:
532 532  
533 533  {{expand title="Übersicht im Bewertungswerkzeug aufrufen ..."}}
567 +
568 +
569 +(% class="wrapped" %)
534 534  |(((
535 535  (% class="content-wrapper" %)
536 536  (((
... ... @@ -572,6 +572,7 @@
572 572  Die geöffnete Tabelle enthält **Informationen zum Stand des Reviewprozesses aller Nutzer **der gewählten Gruppe.
573 573  
574 574  {{expand title="Informationen in der Detailansicht ..."}}
611 +(% class="wrapped" %)
575 575  |(% class="numberingColumn" %)(% class="numberingColumn" %)
576 576  (((
577 577  1
... ... @@ -643,6 +643,7 @@
643 643  Wenn Sie stattdessen die **Detailbewertungsansicht** **eines Nutzers** öffnen, erhalten Sie Informationen zum **Reviewprozess **der Lösung** dieses Nutzers**.
644 644  
645 645  {{expand title="Informationen in der Detailansicht ..."}}
683 +(% class="wrapped" %)
646 646  |(% class="numberingColumn" %)(% class="numberingColumn" %)
647 647  (((
648 648  1
... ... @@ -696,6 +696,10 @@
696 696  {{/expand}}
697 697  
698 698  
737 +
738 +{{id name="unangemessen"/}}
739 +
740 +(% id="HUnangemessenesReviewbearbeiten" class="Textbody" %)
699 699  === Unangemessenes Review bearbeiten ===
700 700  
701 701  (% class="Textbody" %)
... ... @@ -745,6 +745,9 @@
745 745  {{/expand}}
746 746  
747 747  
790 +
791 +{{id name="Moderation"/}}
792 +
748 748  (% id="HPeerReviewmitModeration" class="Textbody" %)
749 749  === Peer Review mit Moderation ===
750 750  
... ... @@ -753,6 +753,7 @@
753 753  Ist die Moderationsfunktion aktiviert, bedeutet dies, dass Sie jedes Review einzeln überprüfen und akzeptieren oder ablehnen müssen. Erst wenn dies abgeschlossen ist, kann die Bewertung übernommen werden.
754 754  
755 755  {{expand title="Bewertungsprozess moderieren ..."}}
801 +(% class="wrapped" %)
756 756  |=(% colspan="1" %)(% colspan="1" %)
757 757  (((
758 758  Review-Status
... ... @@ -815,14 +815,22 @@
815 815  )))
816 816  {{/expand}}
817 817  
864 +
818 818  [[image:attach:Bewertungswerkzeug - Moderation_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]]
819 819  
820 820  
868 +
869 +{{id name="Expertenreview"/}}
870 +
871 +(% id="HExpertenreviewerstellen" class="Textbody" %)
821 821  === Expertenreview erstellen ===
822 822  
823 823  Als Kursverantwortlicher haben Sie jederzeit die Möglichkeit, im Bewertungswerkzeug ebenfalls ein Review für eine Teilnehmerlösung zu erstellen. Das kann je nach Konfiguration notwendig werden, wenn ein Teilnehmer zu wenige Reviews für eine Bewertung erhalten hat, andere Teilnehmer nicht genügend Reviews vergeben haben oder wenn es unangemessene Reviews gab.
824 824  
825 825  {{expand title="Expertenreview durchführen ..."}}
877 +
878 +
879 +(% class="wrapped" %)
826 826  |(((
827 827  Wechseln Sie im Bewertungswerkzeug in die Detailansicht der Bewertung eines Nutzers.
828 828  )))|(% rowspan="3" %)(% rowspan="3" %)
... ... @@ -843,13 +843,16 @@
843 843  {{/expand}}
844 844  
845 845  
900 +
901 +{{id name="Mindestanzahl"/}}
902 +
846 846  === Auswirkung der Unterschreitung der Mindestanzahl ===
847 847  
848 848  Pädagogisches Ziel der Bewertungsform Peer Review ist es, ein [[Peer Assessment>>url:https://de.wikipedia.org/wiki/Peer_Assessment||shape="rect"]] zu ermöglichen. Somit wurde bei der Konzeption dieser Bewertungsform darauf geachtet, sehr viele Grundszenarien zu ermöglichen, und es wurden vor allem die Anonymität und Zufälligkeit der Vergabe von Teilnehmerlösungen zur Begutachtung als Zielkriterium festgelegt.
849 849  
850 -
851 851  Wenn Sie die Grundeinstellung** Mindestzahl an Reviews verringern und gleichzeitig keine zusätzlichen Reviews erlauben** aktiviert haben, sollten Sie deshalb folgendes beachten, um den Verlauf der Bewertung zu optimieren:
852 852  
909 +{{expand title="Beachten Sie für einen optimalen Verlauf ..."}}
853 853  * **Vergeben Sie feste, sich nicht überschneidende Datumsbeschränkungen:** Die Lösungsabgabe sollte immer zeitlich eingeschränkt vor der Reviewphase liegen (Zugang>Abgabeordner>Datumsbeschränkt bis). Damit ist die zum Start der Reviewphase zur Verfügung stehende Anzahl an Lösungsdateien fix und ändert sich nicht nachträglich während der Reviewphase.
854 854  
855 855  * Mit Start der Reviewphase werden die zur Verfügung stehenden Reviews an die Aufrufenden bei Aufruf des Reviews (= Klick auf "Review starten") jeweils zufällig verteilt. D. h. die Zuordnung eines Reviews erfolgt immer erst dann, wenn der Nutzer auf den Button klickt und wird nicht vorher festgelegt. Dies garantiert in anderen Szenarien einen sehr offenen Peer Review-Prozess der auch später abgegebene Lösungen optimal in den Prozess einbindet.
... ... @@ -856,7 +856,11 @@
856 856  
857 857  * Bei Reduktion der Mindestanzahl auf 1 bekommt jeder Nutzer ein Review zu seiner Lösung, wenn alle Reviews erfolgt sind.
858 858  
859 -* Einzig **der letzte Reviewende kann unter Umständen selbst kein Review von einem Peer für seine Lösung erhalten** und im Gegenzug kann höchstens ein anderer Nutzer zwei Reviews bekommen. Es ist jedoch auch mit dieser Konfiguration ausgeschlossen, dass mehr als ein Nutzer mehr als zwei Reviews erhält. Zusätzlich sinkt die Wahrscheinlichkeit des Auftretens dieses Falles mit steigender Nutzeranzahl.
916 +* (((
917 +(% class="auto-cursor-target" %)
918 + Einzig **der letzte Reviewende kann unter Umständen selbst kein Review von einem Peer für seine Lösung erhalten** und im Gegenzug kann höchstens ein anderer Nutzer zwei Reviews bekommen. Es ist jedoch auch mit dieser Konfiguration ausgeschlossen, dass mehr als ein Nutzer mehr als zwei Reviews erhält. Zusätzlich sinkt die Wahrscheinlichkeit des Auftretens dieses Falles mit steigender Nutzeranzahl.
919 +)))
920 +*
860 860  
861 861  {{expand title="Exkurs zur ungeraden Reviewanzahl ..."}}
862 862  Das Problem entsteht durch das "nacheinander Ziehen" der Reviews. Dies wurde gewählt, um in allen anderen Szenarien vor allem die Gleichverteilung bei mehreren Reviews zu ermöglichen und dabei bestmögliche Anonymität und Zufallsverteilung (auch bei später eingereichten Lösungen ) herzustellen.
... ... @@ -868,3 +868,7 @@
868 868  {{/expand}}
869 869  
870 870  * Wenn der beschriebene Ausnahmefall eintritt, müssen Sie für diesen Nutzer ein [[Expertenreview >>url:http://www.bps-system.de#Expertenreview||shape="rect"]]erstellen. Sie können das Auftreten dieses Falles weiter minimieren, indem Sie die zusätzliche Reviewvergabe erlauben.
932 +{{/expand}}
933 +{{/layout-cell}}
934 +{{/layout-section}}
935 +{{/layout}}