Änderungen von Dokument 03 Peer Review
Zuletzt geändert von Carina Enke am 13.06.2025
Von Version 410.8
bearbeitet von Moritz Baumgarten
am 15.01.2024
am 15.01.2024
Änderungskommentar:
Update document after refactoring.
Auf Version 415.1
bearbeitet von Carina Enke
am 13.06.2025
am 13.06.2025
Änderungskommentar:
Es gibt keinen Kommentar für diese Version
Zusammenfassung
-
Seiteneigenschaften (4 geändert, 0 hinzugefügt, 0 gelöscht)
Details
- Seiteneigenschaften
-
- Titel
-
... ... @@ -1,1 +1,1 @@ 1 -Peer Review 1 +03 Peer Review - Übergeordnete Seite
-
... ... @@ -1,1 +1,1 @@ 1 -LMS.BenutzerhandbuchOPAL.Lehren.Bewertung.WebHome 1 +LMS.Benutzerhandbuch OPAL.Lehren.Bewertung.WebHome - Dokument-Autor
-
... ... @@ -1,1 +1,1 @@ 1 -XWiki. moritz1 +XWiki.carina - Inhalt
-
... ... @@ -1,6 +1,5 @@ 1 -{{layout}} 2 -{{layout-section ac:type="two_right_sidebar"}} 3 -{{layout-cell}} 1 +{{section}} 2 +{{column width="60%"}} 4 4 Ein **Peer Review** ermöglicht das anonyme Begutachten von eingereichten Aufgaben durch andere Teilnehmer. Aus diesen Gutachten der Teilnehmer kann eine Gesamtbewertung für die jeweils eingereichte Aufgabe entstehen. 5 5 6 6 Je nach Konfiguration kann das Peer Review folgende Abschnitte umfassen: ... ... @@ -11,25 +11,20 @@ 11 11 12 12 Lesen Sie weiter unter 13 13 14 -* **[[Nutzung aus Autoren-Sicht>>doc:||anchor="Autoren"]] **, um mit der Konfiguration dieser Abschnitte zu beginnen. 15 -* **[[Nutzung aus Lerner-Sicht>>doc:||anchor="Informationen"]] **, um zu erfahren, wie der Reviewprozess aus Nutzer-Sicht verläuft und welche Aktionen von Teilnehmern am Reviewprozess erwartet werden. 13 +* **[[Nutzung aus Autoren-Sicht>>doc:||anchor="Autoren"]]**, um mit der Konfiguration dieser Abschnitte zu beginnen. 14 +* **[[Nutzung aus Lerner-Sicht>>doc:||anchor="Informationen"]]**, um zu erfahren, wie der Reviewprozess aus Nutzer-Sicht verläuft und welche Aktionen von Teilnehmern am Reviewprozess erwartet werden. 15 +{{/column}} 16 16 17 +{{column width="30%"}} 18 +{{panel title="Inhalt"}} 19 +{{toc start="2"/}} 20 +{{/panel}} 21 +{{/column}} 22 +{{/section}} 17 17 18 18 19 -{{id name="Informationen"/}} 20 -{{/layout-cell}} 21 - 22 -{{layout-cell}} 23 - 24 -{{/layout-cell}} 25 -{{/layout-section}} 26 - 27 -{{layout-section ac:type="single"}} 28 -{{layout-cell}} 29 29 == Nutzung aus Lerner-Sicht == 30 30 31 - 32 -(% class="wrapped" %) 33 33 |((( 34 34 Hat der Kursautor für einen Kursbaustein Aufgabe die Bewertung im Peer Review-Verfahren vorgesehen, erscheint beim Aufgabenbaustein der Abschnitt **Informationen zum Ablauf des Peer Review**. 35 35 )))|((( ... ... @@ -62,18 +62,15 @@ 62 62 ))) 63 63 ))) 64 64 65 -=== === 66 66 67 67 68 68 === 1. Review anderer Aufgabenlösungen durchführen === 69 69 70 - 71 71 Ist der Reviewbereich freigegeben, erscheint eine entsprechende Aufforderung. Sie sehen den Bereich **Reviews für andere Teilnehmer abgeben**. Mit Klick auf den Button** Review starten** beginnt die Reviewvergabe. 72 72 73 73 [[image:attach:Kursrun - Review vergeben_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 74 74 75 75 {{expand title="Starten Sie den Review-Prozess ..."}} 76 -(% class="wrapped" %) 77 77 |(% colspan="2" %)(% colspan="2" %) 78 78 ((( 79 79 (% class="content-wrapper" %) ... ... @@ -80,7 +80,6 @@ 80 80 ((( 81 81 Mit Klick auf den Button **Review starten** öffnet sich das Reviewformular. Bewerten Sie im Formular die Aufgabenlösung eines anderen Nutzers entsprechend den Reviewvorgaben Ihres Tutors. Das Formular enthält folgende Informationen: 82 82 83 -(% class="wrapped" %) 84 84 |(% class="numberingColumn" %)(% class="numberingColumn" %) 85 85 ((( 86 86 1 ... ... @@ -159,7 +159,6 @@ 159 159 160 160 )))|(% colspan="1" %)(% colspan="1" %) 161 161 ((( 162 -(% class="content-wrapper" %) 163 163 ((( 164 164 [[image:attach:Kursrun - Ablauf PeerReview2_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 165 165 ))) ... ... @@ -168,12 +168,9 @@ 168 168 169 169 {{/expand}} 170 170 171 -=== === 172 172 173 - 174 174 === 2. Feedback zu vorliegenden Reviews eigener Aufgabenlösungen abgeben === 175 175 176 - 177 177 Der Kursersteller kann Ihnen die Möglichkeit einräumen, dass Sie sich zu Reviews, welche Sie zur eigenen Aufgabenlösung erhalten haben, äußern. In diesem Fall sehen Sie den Bereich **Feedback für erhaltene Reviews abgegeben**. Starten Sie Funktion mit Klick auf den Button **Feedback vergeben**. 178 178 179 179 [[image:attach:Kursrun - Feedback vergeben_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] ... ... @@ -182,7 +182,6 @@ 182 182 (% class="auto-cursor-target" %) 183 183 Es öffnet sich das Feedbackformular. Bewerten Sie im Formular das erhaltene Review entsprechend den Vorgaben Ihres Tutors. Das Formular enthält folgende Informationen: 184 184 185 -(% class="wrapped" %) 186 186 |(% class="numberingColumn" %)(% class="numberingColumn" %) 187 187 ((( 188 188 1 ... ... @@ -243,6 +243,7 @@ 243 243 {{/tip}} 244 244 {{/expand}} 245 245 231 + 246 246 === 3. Anzeige der erhaltenen Gesamtbewertung === 247 247 248 248 Für die Berechnung und Anzeige der Gesamtbewertung hat der Kursersteller sehr viele Freiheiten. Den Zeitraum und die gewählte Konfiguration können Sie jederzeit im Abschnitt [[Informationen zum Ablauf des Peer Review>>doc:||anchor="Informationen"]] überprüfen. ... ... @@ -252,7 +252,6 @@ 252 252 [[image:attach:Kursrun - Auswertung anzeigen_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 253 253 254 254 {{expand title="Auswertung einsehen ..."}} 255 -(% class="wrapped" %) 256 256 |((( 257 257 Nach Klick auf den Button **Auswertung anzeigen** öffnet sich ein Dialogfenster, in dem die Bewertung zu allen erhaltenen Reviews und ggf. die dazu vergebenen Feedbacks in einer tabellarischen Übersicht angezeigt werden. 258 258 ... ... @@ -275,7 +275,6 @@ 275 275 ((( 276 276 (% style="color:#000000" %)In der Spalte Status sind folgende Einträge möglich: 277 277 278 -(% class="wrapped" %) 279 279 |((( 280 280 (% class="content-wrapper" %) 281 281 ((( ... ... @@ -338,20 +338,12 @@ 338 338 ))) 339 339 ))) 340 340 {{/expand}} 341 -{{/layout-cell}} 342 -{{/layout-section}} 343 343 344 -{{layout-section ac:type="single"}} 345 -{{layout-cell}} 346 -{{id name="Autoren"/}} 347 347 348 348 == Nutzung aus Autoren-Sicht == 349 349 350 - 351 351 === Konfiguration des Peer Review im Kurseditor === 352 352 353 -=== === 354 - 355 355 Im Kursbaustein **Aufgabe** können Sie als Autor die Bewertung per Peer Review aktivieren. Markieren Sie dazu im Tab **Bewertung** die Checkbox **Peer Review aktivieren**. 356 356 357 357 [[image:attach:Editor - PeerReview aktivieren_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] ... ... @@ -369,11 +369,9 @@ 369 369 370 370 === Konfiguration zum 1. Schritt: Review === 371 371 372 - 373 373 Legen Sie im ersten Abschnitt Rahmenbedingungen für die Reviewvergabe fest. 374 374 375 375 {{expand title="Konfiguration im Abschnitt Review ..."}} 376 -(% class="wrapped" %) 377 377 |(% class="numberingColumn" %)(% class="numberingColumn" %) 378 378 ((( 379 379 1 ... ... @@ -426,6 +426,7 @@ 426 426 {{/info}} 427 427 {{/expand}} 428 428 403 + 429 429 === Konfiguration zum 2. Schritt: Feedback (optional) === 430 430 431 431 Optional können Sie Ihren Nutzern die Möglichkeit einrichten, Feedback auf erhaltene Reviews zu geben. Klicken Sie auf die Checkbox **Der Teilnehmer kann Feedback zu den erhaltenen Reviews geben**, um den Feedbackprozess zu konfigurieren. ... ... @@ -436,7 +436,6 @@ 436 436 (% class="auto-cursor-target" %) 437 437 Das Aktivieren dieser Option öffnet für Sie weitere Einstellungsmöglichkeiten. 438 438 439 -(% class="wrapped" %) 440 440 |(% class="numberingColumn" %)(% class="numberingColumn" %) 441 441 ((( 442 442 1 ... ... @@ -470,12 +470,12 @@ 470 470 ))) 471 471 {{/expand}} 472 472 447 + 473 473 === Konfiguration zum 3. Schritt: Anzeige der Bewertungsergebnisse === 474 474 475 475 Legen Sie hier die Einstellungen zur Anzeige der Gesamtergebnisse für die Teilnehmer fest. 476 476 477 477 {{expand title="Konfiguration im Abschnitt Ergebnisanzeige ..."}} 478 -(% class="wrapped" %) 479 479 |(% class="numberingColumn" %)(% class="numberingColumn" %) 480 480 ((( 481 481 1 ... ... @@ -518,7 +518,7 @@ 518 518 {{/info}} 519 519 {{/expand}} 520 520 521 - (% class="auto-cursor-target" %)495 + 522 522 523 523 ))) 524 524 ))) ... ... @@ -529,23 +529,11 @@ 529 529 **Kursnutzer** können jedoch - bei deaktivierter Feedback-Option - die für ihre Lösung erhaltenen Reviews **erst mit Freischalten der (Gesamt)Ergebnisse** sehen. (Die Möglichkeit, ein als unangemessen empfundenes Review zu melden, haben sie dann ebenfalls erst zu diesem Zeitpunkt.) 530 530 {{/note}} 531 531 {{/expand}} 532 -{{/layout-cell}} 533 -{{/layout-section}} 534 534 535 -{{layout-section ac:type="single"}} 536 -{{layout-cell}} 537 - 538 -{{/layout-cell}} 539 -{{/layout-section}} 540 540 541 -{{layout-section ac:type="single"}} 542 -{{layout-cell}} 543 543 == Gesamtergebnisse zum Reviewprozess == 544 544 545 -== == 546 - 547 547 Als Autor haben Sie zu jeder Zeit im **Bewertungswerkzeug** einen Überblick darüber, welcher Nutzer (eine Aufgabe gezogen), eine Lösung abgegeben, ein Review eingereicht oder ein Feedback verfasst hat. 548 - 549 549 550 550 [[image:attach:Bewertungswerkzeug - Übersicht zum Peer Review_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 551 551 ... ... @@ -555,18 +555,12 @@ 555 555 Die Zuordnung der Nutzernamen zu Aufgabenlösungen, Reviews oder Feedback sind jedoch nur im Bewertungswerkzeug sichtbar, nicht aber für die Teilnehmer in der Kursansicht oder den Dialogen zur Review- oder Feedbackvergabe. 556 556 {{/info}} 557 557 558 -=== === 559 559 560 - 561 561 === Übersicht im Bewertungswerkzeug aufrufen === 562 562 563 - 564 564 Um den Stand zum Reviewprozess im Bewertungswerkzeug aufzurufen, gehen Sie wie folgt vor: 565 565 566 566 {{expand title="Übersicht im Bewertungswerkzeug aufrufen ..."}} 567 - 568 - 569 -(% class="wrapped" %) 570 570 |((( 571 571 (% class="content-wrapper" %) 572 572 ((( ... ... @@ -608,7 +608,6 @@ 608 608 Die geöffnete Tabelle enthält **Informationen zum Stand des Reviewprozesses aller Nutzer **der gewählten Gruppe. 609 609 610 610 {{expand title="Informationen in der Detailansicht ..."}} 611 -(% class="wrapped" %) 612 612 |(% class="numberingColumn" %)(% class="numberingColumn" %) 613 613 ((( 614 614 1 ... ... @@ -680,7 +680,6 @@ 680 680 Wenn Sie stattdessen die **Detailbewertungsansicht** **eines Nutzers** öffnen, erhalten Sie Informationen zum **Reviewprozess **der Lösung** dieses Nutzers**. 681 681 682 682 {{expand title="Informationen in der Detailansicht ..."}} 683 -(% class="wrapped" %) 684 684 |(% class="numberingColumn" %)(% class="numberingColumn" %) 685 685 ((( 686 686 1 ... ... @@ -734,10 +734,6 @@ 734 734 {{/expand}} 735 735 736 736 737 - 738 -{{id name="unangemessen"/}} 739 - 740 -(% id="HUnangemessenesReviewbearbeiten" class="Textbody" %) 741 741 === Unangemessenes Review bearbeiten === 742 742 743 743 (% class="Textbody" %) ... ... @@ -787,9 +787,6 @@ 787 787 {{/expand}} 788 788 789 789 790 - 791 -{{id name="Moderation"/}} 792 - 793 793 (% id="HPeerReviewmitModeration" class="Textbody" %) 794 794 === Peer Review mit Moderation === 795 795 ... ... @@ -798,7 +798,6 @@ 798 798 Ist die Moderationsfunktion aktiviert, bedeutet dies, dass Sie jedes Review einzeln überprüfen und akzeptieren oder ablehnen müssen. Erst wenn dies abgeschlossen ist, kann die Bewertung übernommen werden. 799 799 800 800 {{expand title="Bewertungsprozess moderieren ..."}} 801 -(% class="wrapped" %) 802 802 |=(% colspan="1" %)(% colspan="1" %) 803 803 ((( 804 804 Review-Status ... ... @@ -861,22 +861,14 @@ 861 861 ))) 862 862 {{/expand}} 863 863 864 - 865 865 [[image:attach:Bewertungswerkzeug - Moderation_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 866 866 867 867 868 - 869 -{{id name="Expertenreview"/}} 870 - 871 -(% id="HExpertenreviewerstellen" class="Textbody" %) 872 872 === Expertenreview erstellen === 873 873 874 874 Als Kursverantwortlicher haben Sie jederzeit die Möglichkeit, im Bewertungswerkzeug ebenfalls ein Review für eine Teilnehmerlösung zu erstellen. Das kann je nach Konfiguration notwendig werden, wenn ein Teilnehmer zu wenige Reviews für eine Bewertung erhalten hat, andere Teilnehmer nicht genügend Reviews vergeben haben oder wenn es unangemessene Reviews gab. 875 875 876 876 {{expand title="Expertenreview durchführen ..."}} 877 - 878 - 879 -(% class="wrapped" %) 880 880 |((( 881 881 Wechseln Sie im Bewertungswerkzeug in die Detailansicht der Bewertung eines Nutzers. 882 882 )))|(% rowspan="3" %)(% rowspan="3" %) ... ... @@ -897,16 +897,13 @@ 897 897 {{/expand}} 898 898 899 899 900 - 901 -{{id name="Mindestanzahl"/}} 902 - 903 903 === Auswirkung der Unterschreitung der Mindestanzahl === 904 904 905 905 Pädagogisches Ziel der Bewertungsform Peer Review ist es, ein [[Peer Assessment>>url:https://de.wikipedia.org/wiki/Peer_Assessment||shape="rect"]] zu ermöglichen. Somit wurde bei der Konzeption dieser Bewertungsform darauf geachtet, sehr viele Grundszenarien zu ermöglichen, und es wurden vor allem die Anonymität und Zufälligkeit der Vergabe von Teilnehmerlösungen zur Begutachtung als Zielkriterium festgelegt. 906 906 842 + 907 907 Wenn Sie die Grundeinstellung** Mindestzahl an Reviews verringern und gleichzeitig keine zusätzlichen Reviews erlauben** aktiviert haben, sollten Sie deshalb folgendes beachten, um den Verlauf der Bewertung zu optimieren: 908 908 909 -{{expand title="Beachten Sie für einen optimalen Verlauf ..."}} 910 910 * **Vergeben Sie feste, sich nicht überschneidende Datumsbeschränkungen:** Die Lösungsabgabe sollte immer zeitlich eingeschränkt vor der Reviewphase liegen (Zugang>Abgabeordner>Datumsbeschränkt bis). Damit ist die zum Start der Reviewphase zur Verfügung stehende Anzahl an Lösungsdateien fix und ändert sich nicht nachträglich während der Reviewphase. 911 911 912 912 * Mit Start der Reviewphase werden die zur Verfügung stehenden Reviews an die Aufrufenden bei Aufruf des Reviews (= Klick auf "Review starten") jeweils zufällig verteilt. D. h. die Zuordnung eines Reviews erfolgt immer erst dann, wenn der Nutzer auf den Button klickt und wird nicht vorher festgelegt. Dies garantiert in anderen Szenarien einen sehr offenen Peer Review-Prozess der auch später abgegebene Lösungen optimal in den Prozess einbindet. ... ... @@ -913,11 +913,7 @@ 913 913 914 914 * Bei Reduktion der Mindestanzahl auf 1 bekommt jeder Nutzer ein Review zu seiner Lösung, wenn alle Reviews erfolgt sind. 915 915 916 -* ((( 917 -(% class="auto-cursor-target" %) 918 - Einzig **der letzte Reviewende kann unter Umständen selbst kein Review von einem Peer für seine Lösung erhalten** und im Gegenzug kann höchstens ein anderer Nutzer zwei Reviews bekommen. Es ist jedoch auch mit dieser Konfiguration ausgeschlossen, dass mehr als ein Nutzer mehr als zwei Reviews erhält. Zusätzlich sinkt die Wahrscheinlichkeit des Auftretens dieses Falles mit steigender Nutzeranzahl. 919 -))) 920 -* 851 +* Einzig **der letzte Reviewende kann unter Umständen selbst kein Review von einem Peer für seine Lösung erhalten** und im Gegenzug kann höchstens ein anderer Nutzer zwei Reviews bekommen. Es ist jedoch auch mit dieser Konfiguration ausgeschlossen, dass mehr als ein Nutzer mehr als zwei Reviews erhält. Zusätzlich sinkt die Wahrscheinlichkeit des Auftretens dieses Falles mit steigender Nutzeranzahl. 921 921 922 922 {{expand title="Exkurs zur ungeraden Reviewanzahl ..."}} 923 923 Das Problem entsteht durch das "nacheinander Ziehen" der Reviews. Dies wurde gewählt, um in allen anderen Szenarien vor allem die Gleichverteilung bei mehreren Reviews zu ermöglichen und dabei bestmögliche Anonymität und Zufallsverteilung (auch bei später eingereichten Lösungen ) herzustellen. ... ... @@ -929,7 +929,3 @@ 929 929 {{/expand}} 930 930 931 931 * Wenn der beschriebene Ausnahmefall eintritt, müssen Sie für diesen Nutzer ein [[Expertenreview >>url:http://www.bps-system.de#Expertenreview||shape="rect"]]erstellen. Sie können das Auftreten dieses Falles weiter minimieren, indem Sie die zusätzliche Reviewvergabe erlauben. 932 -{{/expand}} 933 -{{/layout-cell}} 934 -{{/layout-section}} 935 -{{/layout}}