Änderungen von Dokument 03 Peer Review
Zuletzt geändert von Carina Enke am 13.06.2025
Von Version 413.4
bearbeitet von Carina Enke
am 13.06.2025
am 13.06.2025
Änderungskommentar:
Es gibt keinen Kommentar für diese Version
Auf Version 410.8
bearbeitet von Moritz Baumgarten
am 15.01.2024
am 15.01.2024
Änderungskommentar:
Update document after refactoring.
Zusammenfassung
-
Seiteneigenschaften (4 geändert, 0 hinzugefügt, 0 gelöscht)
Details
- Seiteneigenschaften
-
- Titel
-
... ... @@ -1,1 +1,1 @@ 1 - 03Peer Review1 +Peer Review - Übergeordnete Seite
-
... ... @@ -1,1 +1,1 @@ 1 -LMS.Benutzerhandbuch OPAL.Lehren.Bewertung.WebHome1 +LMS.BenutzerhandbuchOPAL.Lehren.Bewertung.WebHome - Dokument-Autor
-
... ... @@ -1,1 +1,1 @@ 1 -XWiki. carina1 +XWiki.moritz - Inhalt
-
... ... @@ -1,5 +1,6 @@ 1 -{{section}} 2 -{{column width="60%"}} 1 +{{layout}} 2 +{{layout-section ac:type="two_right_sidebar"}} 3 +{{layout-cell}} 3 3 Ein **Peer Review** ermöglicht das anonyme Begutachten von eingereichten Aufgaben durch andere Teilnehmer. Aus diesen Gutachten der Teilnehmer kann eine Gesamtbewertung für die jeweils eingereichte Aufgabe entstehen. 4 4 5 5 Je nach Konfiguration kann das Peer Review folgende Abschnitte umfassen: ... ... @@ -12,20 +12,23 @@ 12 12 13 13 * **[[Nutzung aus Autoren-Sicht>>doc:||anchor="Autoren"]] **, um mit der Konfiguration dieser Abschnitte zu beginnen. 14 14 * **[[Nutzung aus Lerner-Sicht>>doc:||anchor="Informationen"]] **, um zu erfahren, wie der Reviewprozess aus Nutzer-Sicht verläuft und welche Aktionen von Teilnehmern am Reviewprozess erwartet werden. 15 -{{/column}} 16 16 17 -{{column width="30%"}} 18 -{{panel title="Inhalt"}} 19 -{{toc start="2"/}} 20 -{{/panel}} 21 -{{/column}} 22 -{{/section}} 23 23 24 24 25 25 {{id name="Informationen"/}} 20 +{{/layout-cell}} 26 26 22 +{{layout-cell}} 23 + 24 +{{/layout-cell}} 25 +{{/layout-section}} 26 + 27 +{{layout-section ac:type="single"}} 28 +{{layout-cell}} 27 27 == Nutzung aus Lerner-Sicht == 28 28 31 + 32 +(% class="wrapped" %) 29 29 |((( 30 30 Hat der Kursautor für einen Kursbaustein Aufgabe die Bewertung im Peer Review-Verfahren vorgesehen, erscheint beim Aufgabenbaustein der Abschnitt **Informationen zum Ablauf des Peer Review**. 31 31 )))|((( ... ... @@ -58,15 +58,18 @@ 58 58 ))) 59 59 ))) 60 60 65 +=== === 61 61 62 62 63 63 === 1. Review anderer Aufgabenlösungen durchführen === 64 64 70 + 65 65 Ist der Reviewbereich freigegeben, erscheint eine entsprechende Aufforderung. Sie sehen den Bereich **Reviews für andere Teilnehmer abgeben**. Mit Klick auf den Button** Review starten** beginnt die Reviewvergabe. 66 66 67 67 [[image:attach:Kursrun - Review vergeben_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 68 68 69 69 {{expand title="Starten Sie den Review-Prozess ..."}} 76 +(% class="wrapped" %) 70 70 |(% colspan="2" %)(% colspan="2" %) 71 71 ((( 72 72 (% class="content-wrapper" %) ... ... @@ -73,6 +73,7 @@ 73 73 ((( 74 74 Mit Klick auf den Button **Review starten** öffnet sich das Reviewformular. Bewerten Sie im Formular die Aufgabenlösung eines anderen Nutzers entsprechend den Reviewvorgaben Ihres Tutors. Das Formular enthält folgende Informationen: 75 75 83 +(% class="wrapped" %) 76 76 |(% class="numberingColumn" %)(% class="numberingColumn" %) 77 77 ((( 78 78 1 ... ... @@ -151,6 +151,7 @@ 151 151 152 152 )))|(% colspan="1" %)(% colspan="1" %) 153 153 ((( 162 +(% class="content-wrapper" %) 154 154 ((( 155 155 [[image:attach:Kursrun - Ablauf PeerReview2_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 156 156 ))) ... ... @@ -159,9 +159,12 @@ 159 159 160 160 {{/expand}} 161 161 171 +=== === 162 162 173 + 163 163 === 2. Feedback zu vorliegenden Reviews eigener Aufgabenlösungen abgeben === 164 164 176 + 165 165 Der Kursersteller kann Ihnen die Möglichkeit einräumen, dass Sie sich zu Reviews, welche Sie zur eigenen Aufgabenlösung erhalten haben, äußern. In diesem Fall sehen Sie den Bereich **Feedback für erhaltene Reviews abgegeben**. Starten Sie Funktion mit Klick auf den Button **Feedback vergeben**. 166 166 167 167 [[image:attach:Kursrun - Feedback vergeben_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] ... ... @@ -170,6 +170,7 @@ 170 170 (% class="auto-cursor-target" %) 171 171 Es öffnet sich das Feedbackformular. Bewerten Sie im Formular das erhaltene Review entsprechend den Vorgaben Ihres Tutors. Das Formular enthält folgende Informationen: 172 172 185 +(% class="wrapped" %) 173 173 |(% class="numberingColumn" %)(% class="numberingColumn" %) 174 174 ((( 175 175 1 ... ... @@ -230,8 +230,6 @@ 230 230 {{/tip}} 231 231 {{/expand}} 232 232 233 - 234 - 235 235 === 3. Anzeige der erhaltenen Gesamtbewertung === 236 236 237 237 Für die Berechnung und Anzeige der Gesamtbewertung hat der Kursersteller sehr viele Freiheiten. Den Zeitraum und die gewählte Konfiguration können Sie jederzeit im Abschnitt [[Informationen zum Ablauf des Peer Review>>doc:||anchor="Informationen"]] überprüfen. ... ... @@ -241,6 +241,7 @@ 241 241 [[image:attach:Kursrun - Auswertung anzeigen_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 242 242 243 243 {{expand title="Auswertung einsehen ..."}} 255 +(% class="wrapped" %) 244 244 |((( 245 245 Nach Klick auf den Button **Auswertung anzeigen** öffnet sich ein Dialogfenster, in dem die Bewertung zu allen erhaltenen Reviews und ggf. die dazu vergebenen Feedbacks in einer tabellarischen Übersicht angezeigt werden. 246 246 ... ... @@ -263,6 +263,7 @@ 263 263 ((( 264 264 (% style="color:#000000" %)In der Spalte Status sind folgende Einträge möglich: 265 265 278 +(% class="wrapped" %) 266 266 |((( 267 267 (% class="content-wrapper" %) 268 268 ((( ... ... @@ -325,13 +325,20 @@ 325 325 ))) 326 326 ))) 327 327 {{/expand}} 341 +{{/layout-cell}} 342 +{{/layout-section}} 328 328 344 +{{layout-section ac:type="single"}} 345 +{{layout-cell}} 346 +{{id name="Autoren"/}} 329 329 330 - 331 331 == Nutzung aus Autoren-Sicht == 332 332 350 + 333 333 === Konfiguration des Peer Review im Kurseditor === 334 334 353 +=== === 354 + 335 335 Im Kursbaustein **Aufgabe** können Sie als Autor die Bewertung per Peer Review aktivieren. Markieren Sie dazu im Tab **Bewertung** die Checkbox **Peer Review aktivieren**. 336 336 337 337 [[image:attach:Editor - PeerReview aktivieren_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] ... ... @@ -349,9 +349,11 @@ 349 349 350 350 === Konfiguration zum 1. Schritt: Review === 351 351 372 + 352 352 Legen Sie im ersten Abschnitt Rahmenbedingungen für die Reviewvergabe fest. 353 353 354 354 {{expand title="Konfiguration im Abschnitt Review ..."}} 376 +(% class="wrapped" %) 355 355 |(% class="numberingColumn" %)(% class="numberingColumn" %) 356 356 ((( 357 357 1 ... ... @@ -404,8 +404,6 @@ 404 404 {{/info}} 405 405 {{/expand}} 406 406 407 - 408 - 409 409 === Konfiguration zum 2. Schritt: Feedback (optional) === 410 410 411 411 Optional können Sie Ihren Nutzern die Möglichkeit einrichten, Feedback auf erhaltene Reviews zu geben. Klicken Sie auf die Checkbox **Der Teilnehmer kann Feedback zu den erhaltenen Reviews geben**, um den Feedbackprozess zu konfigurieren. ... ... @@ -416,6 +416,7 @@ 416 416 (% class="auto-cursor-target" %) 417 417 Das Aktivieren dieser Option öffnet für Sie weitere Einstellungsmöglichkeiten. 418 418 439 +(% class="wrapped" %) 419 419 |(% class="numberingColumn" %)(% class="numberingColumn" %) 420 420 ((( 421 421 1 ... ... @@ -449,13 +449,12 @@ 449 449 ))) 450 450 {{/expand}} 451 451 452 - 453 - 454 454 === Konfiguration zum 3. Schritt: Anzeige der Bewertungsergebnisse === 455 455 456 456 Legen Sie hier die Einstellungen zur Anzeige der Gesamtergebnisse für die Teilnehmer fest. 457 457 458 458 {{expand title="Konfiguration im Abschnitt Ergebnisanzeige ..."}} 478 +(% class="wrapped" %) 459 459 |(% class="numberingColumn" %)(% class="numberingColumn" %) 460 460 ((( 461 461 1 ... ... @@ -498,7 +498,7 @@ 498 498 {{/info}} 499 499 {{/expand}} 500 500 501 - 521 +(% class="auto-cursor-target" %) 502 502 503 503 ))) 504 504 ))) ... ... @@ -509,12 +509,23 @@ 509 509 **Kursnutzer** können jedoch - bei deaktivierter Feedback-Option - die für ihre Lösung erhaltenen Reviews **erst mit Freischalten der (Gesamt)Ergebnisse** sehen. (Die Möglichkeit, ein als unangemessen empfundenes Review zu melden, haben sie dann ebenfalls erst zu diesem Zeitpunkt.) 510 510 {{/note}} 511 511 {{/expand}} 532 +{{/layout-cell}} 533 +{{/layout-section}} 512 512 535 +{{layout-section ac:type="single"}} 536 +{{layout-cell}} 537 + 538 +{{/layout-cell}} 539 +{{/layout-section}} 513 513 514 - 541 +{{layout-section ac:type="single"}} 542 +{{layout-cell}} 515 515 == Gesamtergebnisse zum Reviewprozess == 516 516 545 +== == 546 + 517 517 Als Autor haben Sie zu jeder Zeit im **Bewertungswerkzeug** einen Überblick darüber, welcher Nutzer (eine Aufgabe gezogen), eine Lösung abgegeben, ein Review eingereicht oder ein Feedback verfasst hat. 548 + 518 518 519 519 [[image:attach:Bewertungswerkzeug - Übersicht zum Peer Review_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 520 520 ... ... @@ -524,12 +524,18 @@ 524 524 Die Zuordnung der Nutzernamen zu Aufgabenlösungen, Reviews oder Feedback sind jedoch nur im Bewertungswerkzeug sichtbar, nicht aber für die Teilnehmer in der Kursansicht oder den Dialogen zur Review- oder Feedbackvergabe. 525 525 {{/info}} 526 526 558 +=== === 527 527 560 + 528 528 === Übersicht im Bewertungswerkzeug aufrufen === 529 529 563 + 530 530 Um den Stand zum Reviewprozess im Bewertungswerkzeug aufzurufen, gehen Sie wie folgt vor: 531 531 532 532 {{expand title="Übersicht im Bewertungswerkzeug aufrufen ..."}} 567 + 568 + 569 +(% class="wrapped" %) 533 533 |((( 534 534 (% class="content-wrapper" %) 535 535 ((( ... ... @@ -571,6 +571,7 @@ 571 571 Die geöffnete Tabelle enthält **Informationen zum Stand des Reviewprozesses aller Nutzer **der gewählten Gruppe. 572 572 573 573 {{expand title="Informationen in der Detailansicht ..."}} 611 +(% class="wrapped" %) 574 574 |(% class="numberingColumn" %)(% class="numberingColumn" %) 575 575 ((( 576 576 1 ... ... @@ -642,6 +642,7 @@ 642 642 Wenn Sie stattdessen die **Detailbewertungsansicht** **eines Nutzers** öffnen, erhalten Sie Informationen zum **Reviewprozess **der Lösung** dieses Nutzers**. 643 643 644 644 {{expand title="Informationen in der Detailansicht ..."}} 683 +(% class="wrapped" %) 645 645 |(% class="numberingColumn" %)(% class="numberingColumn" %) 646 646 ((( 647 647 1 ... ... @@ -695,6 +695,10 @@ 695 695 {{/expand}} 696 696 697 697 737 + 738 +{{id name="unangemessen"/}} 739 + 740 +(% id="HUnangemessenesReviewbearbeiten" class="Textbody" %) 698 698 === Unangemessenes Review bearbeiten === 699 699 700 700 (% class="Textbody" %) ... ... @@ -744,6 +744,9 @@ 744 744 {{/expand}} 745 745 746 746 790 + 791 +{{id name="Moderation"/}} 792 + 747 747 (% id="HPeerReviewmitModeration" class="Textbody" %) 748 748 === Peer Review mit Moderation === 749 749 ... ... @@ -752,6 +752,7 @@ 752 752 Ist die Moderationsfunktion aktiviert, bedeutet dies, dass Sie jedes Review einzeln überprüfen und akzeptieren oder ablehnen müssen. Erst wenn dies abgeschlossen ist, kann die Bewertung übernommen werden. 753 753 754 754 {{expand title="Bewertungsprozess moderieren ..."}} 801 +(% class="wrapped" %) 755 755 |=(% colspan="1" %)(% colspan="1" %) 756 756 ((( 757 757 Review-Status ... ... @@ -814,14 +814,22 @@ 814 814 ))) 815 815 {{/expand}} 816 816 864 + 817 817 [[image:attach:Bewertungswerkzeug - Moderation_de.png||data-xwiki-image-style="img-screen" data-xwiki-image-style-border="true" width="500"]] 818 818 819 819 868 + 869 +{{id name="Expertenreview"/}} 870 + 871 +(% id="HExpertenreviewerstellen" class="Textbody" %) 820 820 === Expertenreview erstellen === 821 821 822 822 Als Kursverantwortlicher haben Sie jederzeit die Möglichkeit, im Bewertungswerkzeug ebenfalls ein Review für eine Teilnehmerlösung zu erstellen. Das kann je nach Konfiguration notwendig werden, wenn ein Teilnehmer zu wenige Reviews für eine Bewertung erhalten hat, andere Teilnehmer nicht genügend Reviews vergeben haben oder wenn es unangemessene Reviews gab. 823 823 824 824 {{expand title="Expertenreview durchführen ..."}} 877 + 878 + 879 +(% class="wrapped" %) 825 825 |((( 826 826 Wechseln Sie im Bewertungswerkzeug in die Detailansicht der Bewertung eines Nutzers. 827 827 )))|(% rowspan="3" %)(% rowspan="3" %) ... ... @@ -842,13 +842,16 @@ 842 842 {{/expand}} 843 843 844 844 900 + 901 +{{id name="Mindestanzahl"/}} 902 + 845 845 === Auswirkung der Unterschreitung der Mindestanzahl === 846 846 847 847 Pädagogisches Ziel der Bewertungsform Peer Review ist es, ein [[Peer Assessment>>url:https://de.wikipedia.org/wiki/Peer_Assessment||shape="rect"]] zu ermöglichen. Somit wurde bei der Konzeption dieser Bewertungsform darauf geachtet, sehr viele Grundszenarien zu ermöglichen, und es wurden vor allem die Anonymität und Zufälligkeit der Vergabe von Teilnehmerlösungen zur Begutachtung als Zielkriterium festgelegt. 848 848 849 - 850 850 Wenn Sie die Grundeinstellung** Mindestzahl an Reviews verringern und gleichzeitig keine zusätzlichen Reviews erlauben** aktiviert haben, sollten Sie deshalb folgendes beachten, um den Verlauf der Bewertung zu optimieren: 851 851 909 +{{expand title="Beachten Sie für einen optimalen Verlauf ..."}} 852 852 * **Vergeben Sie feste, sich nicht überschneidende Datumsbeschränkungen:** Die Lösungsabgabe sollte immer zeitlich eingeschränkt vor der Reviewphase liegen (Zugang>Abgabeordner>Datumsbeschränkt bis). Damit ist die zum Start der Reviewphase zur Verfügung stehende Anzahl an Lösungsdateien fix und ändert sich nicht nachträglich während der Reviewphase. 853 853 854 854 * Mit Start der Reviewphase werden die zur Verfügung stehenden Reviews an die Aufrufenden bei Aufruf des Reviews (= Klick auf "Review starten") jeweils zufällig verteilt. D. h. die Zuordnung eines Reviews erfolgt immer erst dann, wenn der Nutzer auf den Button klickt und wird nicht vorher festgelegt. Dies garantiert in anderen Szenarien einen sehr offenen Peer Review-Prozess der auch später abgegebene Lösungen optimal in den Prozess einbindet. ... ... @@ -855,7 +855,11 @@ 855 855 856 856 * Bei Reduktion der Mindestanzahl auf 1 bekommt jeder Nutzer ein Review zu seiner Lösung, wenn alle Reviews erfolgt sind. 857 857 858 -* Einzig **der letzte Reviewende kann unter Umständen selbst kein Review von einem Peer für seine Lösung erhalten** und im Gegenzug kann höchstens ein anderer Nutzer zwei Reviews bekommen. Es ist jedoch auch mit dieser Konfiguration ausgeschlossen, dass mehr als ein Nutzer mehr als zwei Reviews erhält. Zusätzlich sinkt die Wahrscheinlichkeit des Auftretens dieses Falles mit steigender Nutzeranzahl. 916 +* ((( 917 +(% class="auto-cursor-target" %) 918 + Einzig **der letzte Reviewende kann unter Umständen selbst kein Review von einem Peer für seine Lösung erhalten** und im Gegenzug kann höchstens ein anderer Nutzer zwei Reviews bekommen. Es ist jedoch auch mit dieser Konfiguration ausgeschlossen, dass mehr als ein Nutzer mehr als zwei Reviews erhält. Zusätzlich sinkt die Wahrscheinlichkeit des Auftretens dieses Falles mit steigender Nutzeranzahl. 919 +))) 920 +* 859 859 860 860 {{expand title="Exkurs zur ungeraden Reviewanzahl ..."}} 861 861 Das Problem entsteht durch das "nacheinander Ziehen" der Reviews. Dies wurde gewählt, um in allen anderen Szenarien vor allem die Gleichverteilung bei mehreren Reviews zu ermöglichen und dabei bestmögliche Anonymität und Zufallsverteilung (auch bei später eingereichten Lösungen ) herzustellen. ... ... @@ -867,3 +867,7 @@ 867 867 {{/expand}} 868 868 869 869 * Wenn der beschriebene Ausnahmefall eintritt, müssen Sie für diesen Nutzer ein [[Expertenreview >>url:http://www.bps-system.de#Expertenreview||shape="rect"]]erstellen. Sie können das Auftreten dieses Falles weiter minimieren, indem Sie die zusätzliche Reviewvergabe erlauben. 932 +{{/expand}} 933 +{{/layout-cell}} 934 +{{/layout-section}} 935 +{{/layout}}