Varianten: moderiert, unmoderiert, remote und vor Ort
Usability-Tests lassen sich entlang von zwei Achsen unterscheiden: ob eine Moderatorin oder ein Moderator live dabei ist, und ob der Test im selben Raum oder über das Internet stattfindet. Beide Achsen sind kombinierbar, es gibt also moderierte Tests vor Ort ebenso wie moderierte Remote-Tests.
Moderierter Usability-Test
Bei einem moderierten Test begleitet eine Testleitung die Sitzung in Echtzeit. Sie stellt die Aufgaben, beobachtet, fragt nach und hält Teilnehmende zum lauten Denken an. Laut einem Artikel der Nielsen Norman Group zu Remote-Tests liegt der Vorteil im direkten Nachfragen. Die Schwierigkeit besteht darin, den richtigen Moment für eine Frage zu finden, ohne das Verhalten zu beeinflussen.
Unmoderierter Usability-Test
Beim unmoderierten Test arbeiten die Teilnehmenden allein und zu einem selbst gewählten Zeitpunkt, meist über eine Testplattform, die Bildschirm und Stimme aufzeichnet. Das spart Termine und erlaubt viele Sitzungen parallel. Dafür sind Rückfragen nur vorab formuliert möglich, niemand hilft, wenn jemand feststeckt, und das laute Denken lässt sich schwerer durchsetzen. Unmoderierte Tests eignen sich vor allem für eng umrissene Fragen, etwa zu einem einzelnen Formular.
Remote oder vor Ort
Remote-Tests per Videokonferenz oder Testplattform senken Reisekosten und erleichtern die Rekrutierung bundesweit verteilter Zielgruppen. Tests vor Ort, etwa in einem Usability-Labor, beim Kunden oder direkt am Arbeitsplatz, liefern dagegen den echten Nutzungskontext: Lärm, Geräte, Unterbrechungen. Für eine App, die im Außendienst oder in der Produktion genutzt wird, ist ein Test am Einsatzort oft aussagekräftiger als jede Simulation.
Methoden im Usability-Test
Ein Usability-Test ist kein einzelnes Werkzeug, sondern ein Rahmen, in dem mehrere Methoden zusammenspielen. Die drei folgenden gehören in fast jeden Test.
Aufgabenszenarien
Statt „Klick dich mal durch“ bekommen Teilnehmende konkrete, realistische Aufgaben, zum Beispiel: „Du brauchst für nächsten Freitag einen Tag Urlaub. Beantrage ihn.“ Gute Szenarien beschreiben ein Ziel, nicht den Weg dorthin, und vermeiden die Begriffe aus der Oberfläche. Steht im Menü „Abwesenheiten“, sollte die Aufgabe nicht dieses Wort verwenden, sonst testest Du nur die Wortsuche.
Thinking Aloud (Lautes Denken)
Beim Thinking Aloud sprechen die Teilnehmenden während der Bearbeitung aus, was sie suchen, erwarten und verstehen. Jakob Nielsen bezeichnet die Methode in seinem Beitrag „Thinking Aloud: The #1 Usability Tool“ (2012) als wichtigstes Usability-Werkzeug: günstig, robust, in jeder Projektphase einsetzbar. Als Grenzen nennt er die geringe statistische Aussagekraft, die ungewohnte Situation und das Risiko, dass ungeschickte Nachfragen das Verhalten verzerren.
System Usability Scale (SUS)
Die System Usability Scale wurde 1986 von John Brooke bei der Digital Equipment Corporation entwickelt. Sie besteht aus zehn Aussagen, die auf einer fünfstufigen Skala von „stimme überhaupt nicht zu“ bis „stimme voll zu“ bewertet werden. Für ungerade Aussagen wird vom Wert 1 abgezogen, für gerade Aussagen wird der Wert von 5 abgezogen. Die Summe multipliziert mit 2,5 ergibt einen Score zwischen 0 und 100.
Laut MeasuringU liegt der Durchschnitt über 500 Studien bei 68. Ein Score ist ausdrücklich kein Prozentwert: 68 bedeutet nicht „68 Prozent gut“, sondern durchschnittlich. Die SUS eignet sich, um Versionen eines Produkts oder Produkte untereinander zu vergleichen. Welche Stelle konkret Probleme macht, verrät sie nicht, dafür braucht es die Beobachtung.
Ergänzend kommen je nach Fragestellung Eye-Tracking, Klickpfad-Analysen oder kurze Interviews nach jeder Aufgabe zum Einsatz.
Wie viele Testpersonen brauchst Du?
Die bekannteste Faustregel stammt aus dem Artikel „Why You Only Need to Test with 5 Users“ von Jakob Nielsen aus dem Jahr 2000. Auf Basis gemeinsamer Forschung mit Tom Landauer beschreibt er, dass ein qualitativer Test mit fünf Nutzern rund 85 Prozent der Usability-Probleme aufdeckt. Mit jeder weiteren Person sinkt der Anteil neuer Erkenntnisse deutlich, weil die gleichen Probleme wiederholt auftreten.
Die Regel wird oft verkürzt zitiert. Nielsen selbst nennt mehrere Einschränkungen:
- Homogene Zielgruppe: Die Rechnung gilt für vergleichbare Nutzer. Bei zwei deutlich unterschiedlichen Gruppen, etwa Disponenten und Fahrern, empfiehlt er drei bis vier Personen je Gruppe, bei drei oder mehr Gruppen drei je Gruppe.
- Mehrere kleine Runden: Statt 15 Personen in einem Test schlägt er drei Runden mit je fünf vor, mit Überarbeitung dazwischen. Die zweite Runde zeigt, ob die Korrekturen wirken, und deckt tiefer liegende Probleme auf.
- Nur für qualitative Tests: Wer Kennzahlen wie Erfolgsquote oder Bearbeitungszeit belastbar vergleichen will, braucht deutlich mehr Teilnehmende.
Für quantitative Usability-Studien empfiehlt die Nielsen Norman Group in einer Zusammenfassung zu Stichprobengrößen (Budiu und Moran, 2021) in den meisten Fällen 40 Teilnehmende. Rund 30 sind vertretbar, wenn Du ein Konfidenzniveau von 90 statt 95 Prozent akzeptierst. 20 oder weniger sind möglich, aber nach Einschätzung der Autorinnen deutlich riskanter.
Ablauf eines Usability-Tests in sechs Schritten
Ein strukturierter Ablauf macht Ergebnisse vergleichbar und verhindert, dass ein Test zur unverbindlichen Demo wird. Bewährt hat sich folgende Reihenfolge:
- Ziele festlegen: Was soll der Test beantworten? Zum Beispiel: „Finden neue Mitarbeitende ohne Einweisung den Schichtplan?“ Aus den Zielen leiten sich Aufgaben und Kennzahlen ab.
- Teilnehmende rekrutieren: Gesucht sind echte Vertreter der Zielgruppe, nicht Kolleginnen aus dem Projektteam. Ein kurzer Screener mit Fragen zu Rolle, Gerät und Vorerfahrung filtert passende Personen.
- Szenarien und Leitfaden schreiben: Drei bis acht realistische Aufgaben, eine kurze Einleitung, Nachfragen nach jeder Aufgabe und gegebenenfalls der SUS-Fragebogen am Ende.
- Pilottest durchführen: Ein Probedurchlauf mit einer Person zeigt, ob Aufgaben missverständlich, zu lang oder technisch blockiert sind.
- Tests durchführen und aufzeichnen: Bildschirm, Stimme und, falls vereinbart, Gesicht werden aufgezeichnet. Für Aufnahmen brauchst Du eine informierte Einwilligung der Teilnehmenden.
- Auswerten und priorisieren: Beobachtungen werden gesammelt, zu Problemen verdichtet und nach Schweregrad sortiert.
Für den letzten Schritt hat sich die Schweregrad-Skala von Jakob Nielsen etabliert, beschrieben im Beitrag „Severity Ratings for Usability Problems“. Sie reicht von 0 (kein Usability-Problem) über 1 (kosmetisch), 2 (gering) und 3 (schwerwiegend) bis 4 (Usability-Katastrophe, vor dem Release zu beheben). Bewertet wird nach Häufigkeit, Auswirkung und Persistenz, also danach, ob Nutzer das Problem einmal überwinden oder immer wieder darüber stolpern.
Wann im Projekt testen?
Ein Usability-Test braucht kein fertiges Produkt. Schon Papierskizzen oder ein klickbarer Prototyp aus einem Designtool reichen, um grundlegende Fragen zu Navigation und Begriffen zu klären. Je früher getestet wird, desto günstiger sind Änderungen, weil noch kein Code umgebaut werden muss. Wie Wireframes und klickbare Prototypen in den Designprozess passen, beschreibt der Beitrag App-Design-Prozess: Vom Wireframe zum klickbaren Prototyp.
Später im Projekt bleibt der Test sinnvoll: vor dem Launch eines Minimum Viable Product (MVP), nach größeren Releases oder wenn Kennzahlen wie Abbruchquoten auf ein Problem hindeuten, dessen Ursache unklar ist.
Abgrenzung: Usability-Test und A/B-Test
Usability-Test und A/B-Test werden oft verwechselt, beantworten aber unterschiedliche Fragen. Ein A/B-Test verteilt echten Traffic auf zwei oder mehr Varianten und misst, welche auf eine vorher festgelegte Kennzahl besser abschneidet. Laut dem NN/g-Artikel „A/B Testing 101“ (2024) zeigt er zuverlässig, was passiert, aber nicht, warum. Zudem braucht er für statistische Signifikanz in der Regel Tausende Nutzer.
Der Usability-Test arbeitet umgekehrt: wenige Personen, dafür tiefe Einblicke in Gründe und Missverständnisse. In der Praxis ergänzen sich beide. Der Usability-Test liefert Hypothesen und Lösungsideen, der A/B-Test prüft deren Wirkung im Live-Betrieb. Für interne Anwendungen mit wenigen hundert Nutzern ist ein A/B-Test häufig gar nicht sinnvoll durchführbar, der Usability-Test dagegen schon.
Usability-Test und Barrierefreiheitstest
Ein klassischer Usability-Test prüft, ob die Zielgruppe zurechtkommt. Ob Menschen mit Behinderungen das Produkt nutzen können, prüft er nur, wenn diese gezielt zu den Teilnehmenden gehören. Ein Barrierefreiheitstest bewertet dagegen die Einhaltung technischer Kriterien, meist der WCAG (Web Content Accessibility Guidelines). Für viele digitale Angebote an Verbraucher ist Barrierefreiheit seit dem 28. Juni 2025 durch das Barrierefreiheitsstärkungsgesetz (BFSG) auch rechtlich relevant; ob ein Angebot darunter fällt, ist im Einzelfall zu prüfen.
Beide Prüfungen schließen sich nicht aus. Die W3C-Initiative WAI betont in ihrem Leitfaden „Involving Users in Evaluating Web Accessibility“, dass eine reine Konformitätsprüfung nicht ausreicht, um festzustellen, ob ein Angebot tatsächlich zugänglich ist. Empfohlen wird, Tests mit Nutzern mit Behinderungen mit der WCAG-Prüfung zu kombinieren und Ergebnisse weniger Personen nicht zu verallgemeinern.
Typische Fehler bei Usability-Tests
- Falsche Teilnehmende: Kolleginnen, Projektbeteiligte oder Freunde kennen das Produkt oder die Branche zu gut und überspringen genau die Hürden, die echte Nutzer stoppen.
- Suggestive Aufgaben: Aufgaben, die den Klickweg oder Menübegriffe vorwegnehmen, messen Lesekompetenz statt Usability.
- Helfen statt beobachten: Wer bei der ersten Unsicherheit eingreift, verdeckt das Problem, das der Test finden sollte.
- Meinungen statt Verhalten auswerten: Aussagen wie „sieht gut aus“ sind wenig belastbar. Zählen sollte, ob die Aufgabe gelöst wurde.
- Einmal testen und abhaken: Ohne zweite Runde bleibt offen, ob die Korrekturen funktionieren oder neue Probleme erzeugen.
Häufige Fragen zum Usability-Test
Was ist der Unterschied zwischen Usability und User Experience?
Usability beschreibt nach ISO 9241-11, wie effektiv, effizient und zufriedenstellend Nutzer ihre Ziele erreichen. User Experience ist breiter gefasst und umfasst auch Erwartungen, Emotionen und Eindrücke vor, während und nach der Nutzung. Ein Usability-Test ist damit ein zentrales Werkzeug der UX-Arbeit, deckt aber nicht alle UX-Fragen ab.
Reichen fünf Testpersonen immer aus?
Nein. Die Faustregel von Jakob Nielsen gilt für qualitative Tests mit einer homogenen Zielgruppe und am besten in mehreren Runden. Bei mehreren Nutzergruppen brauchst Du drei bis vier Personen je Gruppe, für quantitative Studien empfiehlt die Nielsen Norman Group in der Regel 40 Teilnehmende.
Wie lange dauert eine einzelne Testsitzung?
Eine Sitzung dauert typischerweise zwischen 30 und 60 Minuten. Längere Sitzungen ermüden Teilnehmende und verzerren die Ergebnisse. Plane für Einleitung, Aufgaben, Nachfragen und Fragebogen jeweils feste Zeitfenster ein und prüfe die Gesamtlänge im Pilottest.
Kann man einen Usability-Test mit einem Prototyp durchführen?
Ja. Klickbare Prototypen aus Designtools eignen sich gut, um Navigation, Begriffe und Abläufe zu prüfen, bevor entwickelt wird. Einschränkungen gibt es bei Aspekten, die echte Daten oder echtes Systemverhalten erfordern, etwa Ladezeiten, Fehlermeldungen oder Suchergebnisse.
Was kostet ein Usability-Test?
Die Kosten hängen von Teilnehmerzahl, Rekrutierungsaufwand, Format und Auswertungstiefe ab. Ein interner qualitativer Test mit fünf Mitarbeitenden ist mit überschaubarem Aufwand möglich, schwer erreichbare Zielgruppen und Studien vor Ort sind deutlich aufwendiger. Pauschale Preise lassen sich daher nicht seriös nennen.
