Wie überstehe ich das peer-reviewing?

Seit einiger Zeit schon trage ich den Gedanken zu einem Eintrag über den peer-review-Prozess mit mir herum. In den letzten Jahren habe ich für ganz unterschiedliche Journale Paper-Einreichungen begutachtet und dabei eine Reihe von Eindrücken gesammelt, die ich mal gebündelt und in Ratschlag-Form weiter geben will. Dabei geht es weniger um den (Stellen-)Wert des peer-reviewing an sich ((Dazu gibt es einiges zu sagen…)), sondern um das How-To – wie funktioniert das ganze ganze aus Sicht eines Reviewers? Idealerweise sind die folgenden Bemerkungen für den einen oder die andere Leser/in interessant, die selbst Artikel bei Journalen einreicht ((Für Beiträge für Herausgeberbände gilt das nur bedingt, da hier meiner Erfahrung nach die Reviewing-Prozesse weniger standardisiert bzw. formalisiert sind. Abstract-Einreichungen für Konferenzen kommen üblicherweise ohne die feedback-Schlaufe aus; entweder man wird angenommen oder nicht.)).

Zunächst zur Einordnung: Ich reviewe regelmäßig Beiträge für das Journal „Medien & Kommunikationswissenschaft“ (ca. 10-15 Aufsätze pro Jahr) und für das Online-Journal kommunikation@gesellschaft (ca. 5-10 Texte pro Jahr).  Zusätzlich erhalte ich alle paar Wochen Anfragen von Journalen (z.B. JCMC, IJIS oder European Sociological Review), die ich in der Regel auch bearbeite (ein- oder zweimal habe ich Anfragen zurückgewiesen, weil ich mich nicht kompetent für eine Beurteilung fühlte). Das Prozedere bei den verschiedenen Journalen variiert, insbesondere im Hinblick auf zwei Punkte:

blind vs. open peer-review:

• Bei der M&K und vielen anderen Journalen wird double-blind peer-review praktiziert. Dazu ist eine Person zwischen Autoren und Reviewer geschaltet, die die Zuteilung nach „thematischer Einschlägigkeit“ vornimmt bzw. darauf achtet, dass keine allzu große Nähe zwischen Autor und Reviewer existiert (vom gleichen Lehrstuhl; enge Kollegen; etc.). Die Autoren wissen nicht, wer reviewt; die Reviewer erhalten ein anonymisiertes Manuskript, wobei es in manchen Fällen mehr oder weniger leicht fällt, auf die Autor/innen zu schließen. Manche dieser Hinweise lassen sich vermeiden (siehe unten), andere nur schwer, weil ich das Projekt, Forschungsgebiete oder Konzepte wieder erkenne. Im großen und ganzen funktioniert das Verfahren aber und ich reviewe die meisten Journale tatsächlich in Unkenntnis der Verfasser/innen.
• Bei k@g hingegen praktizieren wir einen offenen Review, bei dem wir Herausgeber direkt mit den Verfasser/innen kommunizieren.

formalisiertes vs. offenes review (eher graduelle Unterschiede):

• In Extremfällen muss ich als reviewer nur eine Art Formular/Checkliste ausfüllen, in der ich Facetten des Manuskripts (wiss. Originalität, empirische und/oder theoretische Fundierung, Klarheit der Argumentation, etc.)  bewerte, z.B. auf einer Punkteskala. Meist gibt es aber weitere Felder für zusätzliche Anmerkungen, sowohl an die Verfasser/innen als auch an die Herausgeber (die dann nicht weitergegeben werden).
• Bei anderen Verfahren werden reviewer gebeten, ein mehr oder weniger langes freies „Gutachten“ zum Text zu verfassen. Aufbau und Ausführlichkeit variiert hier von reviewer zu reviewerin; ich strukturiere meine Gutachten meist so, dass ich zunächst in einer kurzen Synopse die Grundgedanken des Textes wiedergebe, dann meine Kritikpunkte ausführe und ggfs. Vorschläge zur Verbesserung mache, und schließlich eine Gesamteinschätzung abgebe (also bewerte: Annahme, Annahme mit Überarbeitungen, Ablehnung).
• Bei k@g geben wir schließlich unsere Rückmeldung in aller Regel durch Anmerkungen oder Korrekturen direkt im Manuskript. Je nach Qualität des Textes kann das unproblematisch oder aber recht zeitwaufwändig sein….

Üblicherweise wird ein eingereichtes Paper mindestens von zwei, oft aber auch von drei oder mehr reviewern begutachtet. Die Herausgeber entscheiden dann auf der Grundlage der Voten und melden die Redaktionsentscheidung an die Verfasser/innen. In 99 Prozent der Fälle gibt es Anmerkungen oder eine direkte Ablehnung; dass ein Text völlig ohne Änderungsvorschläge durchgeht, habe ich meiner Erinnerung nach noch nicht erlebt ((Und das ist kein böser Wille oder Krittelei-Bedürfnis – Texte sind eigentlich immer überarbeitungsbedürftig.. ;-) )). Wenn eine Überarbeitung erbeten wird und die Verfasser/innen dazu willens sind, bekomme ich nach vier Wochen bis vier Monaten den überarbeiteten Text erneut zur Begutachtung.
Oft brauche ich dann nur zu überprüfen, ob meine Anmerkungen und Hinweise zufriedenstellend bearbeitet wurden; manchmal kann es auch sein, dass ich (oder andere reviewer) immer noch nicht zufrieden bin und weitere Anmerkungen habe – dann kann es eine weitere Überarbeitungsrunde geben. Sehr hilfreich in dieser Phase ist der „action letter“, also ein Begleitschreiben, in dem die Verfasser/innen auf die Einwände der reviewer eingehen und verdeutlichen, welche Kritikpunkte sie in welcher Form behoben haben, ggfs. aber auch, auf welche Änderungsvorschläge sie aus welchem Grund verzichtet haben.

Und wenn alles zur Zufriedenheit aller bearbeitet wurde, erscheint der Text dann im Journal…. Welche Ratschläge würde ich nun also Autor/innen geben, damit es zu diesem wünschenswerten Zustand kommt?

Einige Dinge gilt es schon vor Fertigstellen des Textes zu beachten. Da ist zuallererst die Auswahl des passenden Journals; auf die entsprechenden „publikationsstrategischen“ Überlegungen will ich hier gar nicht eingehen. Jedes Journal hat aber irgendeine Form von Richtlinien für Autor/innen, die man unbedingt lesen – und vor allem: beachten! sollte. Neben Dingen wie inhaltlicher Ausrichtung und Themenschwerpunkte des Journals sind hier oft formale Vorgaben formuliert; von der erwarteten Länge über Zitationsstil bis hin zu Formatierungsvorgaben.

Ist ein blind-peer-review vorgesehen, sollte die Anonymisierung penibel überprüft werden. Das beinhaltet nicht nur ein formales Vorblatt und den Text ohne Autornennung einzureichen, sondern zum Beispiel auch so Dinge wie Fussnoten, Danksagungen oder Verweise auf eigene Arbeiten zu überprüfen, aus denen Rückschlüsse möglich sein können- An solchen Stellen verbergen sich immer mal wieder Hinweise, z.B. auf weiterführende Informationen auf der eigenen Webseite, die in voller URL genannt wird; oder die eigene Literatur ist zwar brav mit „XXXX“ im Literaturverzeichnis anonymisiert, aber immer noch an der alphabetischen Stelle zwischen den Kollegen Schmedel und Schmund einsortiert, sodass man ahnen kann, dass hier ein Schmidt am Werk ist.. :-)

Und schließlich ein furchtbar banaler Hinweis, der aber ebenso furchtbar oft nicht beachtet wird: Paper müssen vor der Einreichung Korrektur gelesen werden!!! Es ist erstaunlich, wie viele Texte ich zur Begutachtung bekomme, in denen Rechtschreibfehler, redundante Textstellen, logische Inkonsistenzen, falsche Tabellenbeschriftungen oder fehlende Literaturangaben stecken. Über ein, zwei, drei solcher Dinge kann ich hinwegsehen (auch wenn es nicht sein müsste), aber bei mehr solcher völlig vermeidbarer Ärgernisse gerate ich in eine innerliche Abwehrhaltung, die die Chance erhöht, dass ich einen Text ablehne.

Wenn das Manuskript nun eingereicht ist und nach +/- zwei Monaten der Normalfall eintritt, kommt das Manuskript mit der Bitte um Überarbeitung zurück. Der wichtigste Hinweis zuerst: Kritik ist nicht persönlich gemeint! :-)
Dies ist tatsächlich nicht zu unterschätzen, denn die Gutachten können – je nach Stil der Rückmeldungen – aus Sicht des Autoren irritierend, unverständlich oder sogar ärgerlich sein. Wie kommen diese Gutachter denn bitte schön dazu, meine gründlich durchdachten, kompakt formulierten und empirisch umfassend begründeten Ausführungen so dermaßen falsch zu verstehen?
Nun ja, absichtlich versteht kein Gutachter einen Text falsch. Die Gutachten sollten als Hinweis darauf verstanden werden, was Leser/innen, die mit dem konkreten Thema nicht völlig vertraut sind (und das teilen sie mit dem überwiegenden Teil des späteren Leserkreises), nicht nachvollziehbar fanden.
Das kann bedeuten, dass man die eigene Argumentation hier straffen, dort ausbauen sollte; möglicherweise sind empirische Verfahren nicht transparent genug, oder theoretische Überlegungen nicht plausibel genug. Möglicherweise geben die Gutachten Hinweise auf einschlägige andere Literatur, die nicht einbezogen wurde, oder bemängeln, dass die Gliederung oder Gewichtung einzelner Textteile nicht geglückt ist. Der Fantasie sind keine Grenzen gesetzt…

Diese Ratschläge sollten sorgfältig geprüft werden, auch um zu erkennen, ob es möglicherweise widersprüchliche Bemerkungen in den unterschiedlichen Gutachten gibt. Das kann immer wieder mal vorkommen, weil die Gutachter ja auch aus unterschiedlichen Perspektiven auf einen Text schauen. Sollten sich mögliche Widersprüche nicht aufheben lassen, kann man üblicherweise die Herausgeber mit der Bitte um Klärung kontaktieren; oft schicken diese aber auch begleitende Hinweise zur Überarbeitung mit, die solche Gegensätze behandeln können.

Es wird nicht immer explizit gefordert, aber bei größeren Überarbeitungen kann es eigentlich nie schaden, dem überarbeiteten Manuskript einen action letter beizufügen, in dem (wie oben beschrieben) die Änderungen dokumentiert und ggfs. begründet werden. Ich habe da auch schon ganz unterschiedliche Varianten gesehen – von der nüchternen tabellarischen Auflistung von „Reviewer A commented“ und „Our response“ bis hin zu freundlichen Briefen, in denen fast überschwänglich die Arbeit der reviewer gelobt wird, durch die Text ja nun viel besser geworden sei, und überhaupt war ja jede Anmerkung völlig richtig, nachvollziehbar und brilliant…. Entscheidend für die weitere Entscheidung ist das aber nicht.. :-)

Bestimmt habe ich Dinge vergessen – was gäbe es noch zu beachten?