Was in eine Jury-Bewertungsbogen-Vorlage gehört — und was nicht
Ein Bewertungsbogen hat genau eine Aufgabe: Aus den Urteilen mehrerer Menschen soll eine Reihenfolge entstehen, die sich hinterher erklären lässt. Alles, was dieser Aufgabe nicht dient, macht den Bogen schlechter. In der Praxis reichen fünf Bausteine.
- Vier bis fünf Kriterien, nicht mehr. Jedes Kriterium bekommt eine Definition in einem Satz — nicht „Innovation“, sondern „Wie deutlich unterscheidet sich die Lösung von dem, was in der Branche üblich ist?“
- Eine kurze Skala, deren Stufen in Worten beschrieben sind.
- Eine Gewichtung pro Kriterium, die vor dem Start der Einreichphase feststeht.
- Ein Pflicht-Freitextfeld mit zwei bis drei Sätzen Begründung. Es diszipliniert die Punktvergabe und liefert später das Material für die Rückmeldung an die Einreicher:innen.
- Zwei Ausstiege: „Ich bin befangen“ und „Das kann ich fachlich nicht beurteilen“. Ohne diese Optionen erzwingen Sie Zahlen, die niemandem nützen.
Nicht in den Bogen gehört ein Kriterium namens „Gesamteindruck“. Es bildet in der Regel die Summe der übrigen Kriterien noch einmal ab und verdoppelt still das Gewicht dessen, was ohnehin schon zählt. Ebenfalls streichen: alles, was die Qualität der Einreichung mit der Qualität des Eingereichten verwechselt. Layout, Videoschnitt und Textlänge sind Merkmale des Budgets, nicht der Leistung. Wenn Ihnen die Darstellung trotzdem wichtig ist, machen Sie ein eigenes, gering gewichtetes Kriterium daraus und schreiben Sie es in die Ausschreibung.
Warum eine Skala von 1 bis 5 besser funktioniert als 1 bis 10
Die Zehnerskala wirkt genauer. Sie ist es nicht, und zwar aus drei Gründen.
Es gibt keine gemeinsame Bedeutung. Fragen Sie zehn Juror:innen, was eine 7 von einer 8 unterscheidet, bekommen Sie zehn Antworten. Bei fünf Stufen können Sie jede Stufe in einem Satz beschreiben, und alle lesen dasselbe.
Niemand nutzt die ganze Skala. In Bewertungsrunden mit 1 bis 10 sammeln sich die Urteile fast vollständig zwischen 6 und 9. Die unteren Stufen bleiben leer, weil kaum jemand einer bezahlten Einreichung eine 2 gibt. Aus zehn Stufen werden faktisch vier — nur eben unbeschriftete.
Sie erzeugt Scheingenauigkeit. Ein Vorsprung von 0,2 Punkten auf einer Zehnerskala sieht nach Ergebnis aus und ist doch Rauschen. Wer eine Entscheidung auf die zweite Nachkommastelle stützt, muss sie auch dort verteidigen — spätestens gegenüber dem Zweitplatzierten.
Investieren Sie die eingesparte Präzision lieber in die Beschreibung der Stufen. Ein so verankerter Bogen ist einer neuen Jury in fünf Minuten erklärt.
| Stufe | Kurzform | Woran Sie sie erkennen |
|---|---|---|
| 5 | herausragend | Setzt einen neuen Maßstab; würde ich in der Branche als Beispiel zitieren |
| 4 | stark | Deutlich über dem Üblichen, mit erkennbarem Beitrag; kleine Schwächen bleiben |
| 3 | solide | Fachlich sauber gemacht, aber austauschbar |
| 2 | schwach | Erkennbare Lücken in Umsetzung oder Nachweis |
| 1 | ungenügend | Verfehlt das Kriterium, oder der Nachweis fehlt vollständig |
Zwei Einwände gegen die kurze Skala sind berechtigt. In sehr großen Kategorien erzeugen fünf Stufen viele Gleichstände; die Antwort darauf ist keine feinere Skala, sondern eine Vorrunde, die das Feld auf eine Shortlist verkleinert (siehe Jury-Prozess). Und wenn Ihre Jury alles in die Mitte setzt, nehmen Sie eine gerade Skala von 1 bis 4: Sie erzwingt eine Richtungsentscheidung.
Gewichtung: wenige runde Zahlen, vorab veröffentlicht
Gewichte in Zehnerschritten, Summe 100, kein Kriterium unter 10 Prozent. Wer 17,5 Prozent vergibt, behauptet eine Präzision der Wertentscheidung, die es nicht gibt. Wer ein Kriterium mit 5 Prozent gewichtet, kann es auch streichen: Es verändert kein Ergebnis, kostet aber bei 100 Einreichungen jede:n Juror:in 100 Entscheidungen.
Die Rechnung an einem Beispiel: Wirkung 40 Prozent, Innovationsgrad 30, Umsetzung 20, Übertragbarkeit 10. Eine Einreichung mit den Bewertungen 4 / 5 / 3 / 3 ergibt (4 × 0,4) + (5 × 0,3) + (3 × 0,2) + (3 × 0,1) = 1,6 + 1,5 + 0,6 + 0,3 = 4,0 von 5. Diese Zahl können Sie am Telefon vorrechnen. Genau das ist ihr Zweck.
Zwei Regeln gehören dazu. Die Gewichte stehen vor dem Start der Einreichphase fest und werden mit der Ausschreibung veröffentlicht — wer weiß, worauf es ankommt, reicht Besseres ein. Und sie werden danach nicht mehr angefasst: Eine nachträglich geänderte Gewichtung ist kein Feinschliff, sondern eine Ergebniskorrektur.
Drei Kriteriensets als Ausgangspunkt
Die folgenden Sets sind als Startpunkt gedacht, nicht als Norm. Ersetzen Sie die Formulierungen durch die Sprache Ihrer Branche: Kriterien, die Einreicher:innen nicht in eigenen Worten wiedergeben können, werden auch falsch bedient.
Innovations- oder Produktaward
- Neuheitsgrad gegenüber dem Marktüblichen — 30 %
- Nachgewiesene Wirkung, belegt mit Messgrößen — 30 %
- Qualität der Umsetzung — 20 %
- Skalierbarkeit über den Erstanwender hinaus — 10 %
- Beitrag zu Nachhaltigkeit oder Ressourcenverbrauch — 10 %
Projekt- oder Kampagnenaward
- Zielerreichung gegen die dokumentierte Ausgangslage — 40 %
- Idee und kreative Umsetzung — 20 %
- Handwerkliche Qualität der Durchführung — 20 %
- Verhältnis von Mitteleinsatz zu Ergebnis — 10 %
- Übertragbarkeit auf andere Organisationen — 10 %
Personen- oder Nachwuchsaward
- Persönliche Leistung im Bewertungszeitraum — 40 %
- Wirkung über die eigene Organisation hinaus — 20 %
- Führungs- oder Vorbildverhalten — 20 %
- Belegbarkeit durch Dritte, etwa Referenzen und Quellen — 20 %
Was alle drei gemeinsam haben
- Höchstens fünf Kriterien, Gewichte in Zehnerschritten
- Mindestens ein Kriterium fragt nach dem Nachweis, nicht nach der Absicht
- Kein „Gesamteindruck“, kein Kriterium für Layout
- Skala 1 bis 5 mit beschriebenen Stufen
- Gewichte in der Ausschreibung, nicht nur im Jury-Briefing
Strenge und milde Juror:innen: der faire Durchschnitt
Zwei Juror:innen können denselben Bogen benutzen und trotzdem in verschiedenen Währungen zahlen. Die eine vergibt über alle ihre Einreichungen hinweg im Schnitt 3,2 Punkte, der andere 4,3. Solange beide dieselben Einreichungen sehen, hebt sich der Unterschied im Ranking auf. Sobald Sie die Jury aufteilen — und das tun Sie, sobald es Befangenheiten oder mehr als etwa 30 Einreichungen gibt —, wird die Zuteilung zum Schicksal.
| Einreichung | bewertet von | Rohwert | Durchschnitt dieser Person | Abweichung |
|---|---|---|---|---|
| A | strenge Jurorin | 4,0 | 3,2 | +0,8 |
| B | milder Juror | 4,2 | 4,3 | −0,1 |
Nach Rohwerten gewinnt B mit 4,2 zu 4,0. Am Maßstab der jeweiligen Person gemessen liegt A jedoch weit über allem, was diese Jurorin sonst vergibt, während B unter dem Üblichen dieses Jurors bleibt. Die Reihenfolge dreht sich — mit demselben Bogen.
Vier Wege, das zu beheben
- Alle bewerten alles. Die sauberste Lösung und die einzige ganz ohne Rechnerei. Sie trägt bis etwa 30 Einreichungen pro Kategorie, danach kippt die Zeitrechnung Ihrer Jury.
- Ausgewogene Zuteilung. Jede Einreichung erhält gleich viele Bewertungen, gestreut so, dass jede Person einen vergleichbaren Querschnitt sieht. Das beseitigt den Niveauunterschied nicht, verteilt ihn aber gleichmäßig.
- Score-Normalisierung. Vom Rohwert wird der Durchschnitt der bewertenden Person abgezogen, das Ergebnis an deren Streuung skaliert und anschließend auf die Originalskala zurückgerechnet. Sachlich verschieben Sie damit alle Juror:innen auf denselben Nullpunkt, bevor Sie mitteln.
- Rangbasierte Auswertung. Jede Person bringt die eigenen Einreichungen in eine Reihenfolge, gewertet werden nur die Ränge. Das ist immun gegen Niveauunterschiede, wirft aber die Information weg, wie groß der Abstand zwischen Platz 1 und 2 war.
Und wann Normalisierung schadet: Sie unterstellt, dass alle Juror:innen einen vergleichbaren Querschnitt gesehen haben. Wer nur fünf Einreichungen bewertet und dabei zufällig drei sehr starke erwischt, bekommt einen künstlich hohen Durchschnitt abgezogen — ausgerechnet die besten Einreichungen verlieren dadurch. Faustregel: unter etwa acht Bewertungen pro Person besser bei der ausgewogenen Zuteilung bleiben. Und das Verfahren steht vorher fest. Eine Normalisierung, die erst nach dem Blick auf das Ranking eingeschaltet wird, ist keine Methode mehr.
Sauber getrennt bleiben sollte davon ein etwaiges Publikumsvoting. Es misst Reichweite, nicht Qualität, und gehört deshalb nicht in denselben Durchschnitt — besser als eigene Kategorie oder als klar ausgewiesener Zusatzwert (mehr zum Public Voting).
Vom Bogen zum Prozess
Der fertige Bogen ist die halbe Strecke. Danach beginnt die Logistik: Wer bekommt welche Einreichung, wer ist befangen, wer hat noch nicht abgegeben, und was bekommen die nicht Nominierten als Rückmeldung.
Ehrlich gesagt: Bei 30 Einreichungen und fünf Juror:innen, die in einer gemeinsamen Sitzung alles bewerten, brauchen Sie dafür keine Software. Ein Tabellenblatt mit gesperrten Formeln genügt, und die Diskussion in der Sitzung ist ohnehin wertvoller als jede Automatik. Der Aufwand kippt an drei Stellen: bei der Zuteilung, bei mehreren Runden und beim Feedback.
Genau dort setzt Laureo an. Kategorien, Kriterien und Skalen legen Sie bereits im Starter-Paket selbst an (€ 1.790 netto pro Award-Saison); mehrere Jury-Runden sowie die Zuteilung mit Befangenheitsprüfung gehören zum Professional-Paket (€ 3.490). Score-Normalisierung, anonymisierte Feedback-PDFs und die gestaffelte Ergebnisveröffentlichung von der Shortlist bis zum Gewinner sind Teil der Plattform selbst. Welche Funktion in welchem Paket liegt, steht offen auf der Funktionsübersicht.
Skalenanker, Kriteriensets und Gewichtungen in diesem Beitrag sind Erfahrungswerte aus der Award-Abwicklung und als Ausgangspunkt gedacht; Ihre Branche kann andere Kriterien verlangen. Laureo ist ein Produkt der State of Innovation GmbH, Wien.
Häufige Fragen
Wie viele Kriterien sollte ein Jury-Bewertungsbogen haben?
Vier bis fünf. Jedes Kriterium braucht eine Definition in einem Satz und ein Gewicht von mindestens 10 Prozent. Mehr Kriterien erhöhen nicht die Genauigkeit, sondern die Bearbeitungszeit pro Einreichung — und sie verwässern die Trennschärfe, weil sich die Kriterien inhaltlich zu überlappen beginnen.
Skala 1 bis 5 oder 1 bis 10 — was ist besser für die Jurybewertung?
In fast allen Fällen 1 bis 5. Bei fünf Stufen lässt sich jede Stufe in einem Satz beschreiben, sodass alle Juror:innen dasselbe darunter verstehen. Zehnerskalen werden in der Praxis nur zwischen 6 und 9 genutzt und erzeugen Vorsprünge von Zehntelpunkten, die sich nicht begründen lassen.
Wie gewichtet man Kriterien bei einem Award?
In Zehnerschritten mit Summe 100 und keinem Kriterium unter 10 Prozent, zum Beispiel 40/30/20/10. Die Gewichte stehen vor dem Start der Einreichphase fest, werden mit der Ausschreibung veröffentlicht und nach der Bewertung nicht mehr verändert. So bleibt jede Platzierung nachrechenbar.
Was ist Score-Normalisierung bei Jurybewertungen?
Ein Rechenverfahren, das strenge und milde Juror:innen vergleichbar macht: Vom Rohwert wird der persönliche Durchschnitt der bewertenden Person abgezogen, das Ergebnis an deren Streuung skaliert und auf die Originalskala zurückgerechnet. Sinnvoll ab etwa acht Bewertungen pro Person und nur, wenn das Verfahren vorher angekündigt wurde.
Passend dazu
Sie planen gerade einen Award?
In 20 Minuten gehen wir Ihren Ablauf durch — Einreichung, Jury-Runde, Rechnung.
Demo buchen