Die Frage, mit wie vielen Testpersonen ein Ergebnis aussagekräftig und repräsentativ ist, stellen sich viele Unternehmer.
Bei der Web Usability wird gepredigt, dass schon wenige Gutachter und Testpersonen ausreichend sind, um die Usability zu verbessern. Obwohl das stimmt, gibt es immer noch Skeptiker, die der Meinung sind erst eine sehr hohe Anzahl von Personen könne „wahre“ Aussagen über die Usability treffen.
Speziell bei der Prüfung der Web Usability gilt bei der Wahl der Methoden qualitativ vor quantitativ.
Es ist richtig, dass eine geringe Anzahl von Ergebnissen für eine statistische Auswertung natürlich nicht brauchbar ist. Gerade für die Web Usability ist das aber in den meisten Fällen auch nicht notwendig.
[Das ist natürlich beispielsweise bei der Usability eines Passierflugzeugcockpits anders. Klar, denn dann hängt das Leben von anderen Menschen davon ab, wie intuitiv ein System für einzelne Piloten zu bedienen ist.]
Eine hohe Web Usability soll eine User Experience gewährleisten. Nutzerfreundlich, effektiv, und effizient sollen Websites sein. Mit dem Anspruch dies für 80 Prozent zu realisieren, haben sich die praxisorientierten Methoden durchgesetzt. Dies liegt einer einfachen Effizienzrechnung zugrunde.
Zum Einen ist klar, dass qualitative Tests mit z.B. 500 Personen für die meisten Unternehmen unbezahlbar bleiben. Daher bleibt der Vergleich der Online-Fragebögen (quantitativ) mit den praxisorientierten Usability-Tests (qualitativ).
Zum Anderen wird auch klar, dass ein potentielles Problem nicht erst 500 Mal beschrieben werden muss, um als Solches klassifiziert zu werden.
Online-Fragebögen werden zur Beantwortung von Grundlagenforschungsfragen eingesetzt. Sie haben eine hohe Reichweite und können außerdem Standards setzen. Für Usabilitytests bedeuten sie einen hohen finanziellen Aufwand bei der Konstruktion. Zumindest, wenn die Testgütekriterien eingehalten werden. Diese sichern jedoch überhaupt erst eine statistische Auswertung.
Das Ziel in der Praxis ist in erster Linie potentielle Probleme schnell zu finden und zu beheben. Die statistische Signifikanz (http://de.wikipedia.org/wiki/Statistische_Signifikanz) ist weniger von Bedeutung.
Die meisten Unternehmen haben nicht den Anspruch wissenschaftlich vorherzusagen, wie überzufällig bestimmte Probleme in der Gesamtnutzerschaft genau auftreten werden.
Es gilt vielmehr in praxisorientierten qualitativen Tests durch Experten die richtigen Aufgaben und Fragetechniken einzusetzen.
Es haben sich in der Praxis ca. 8-12 Personen für eine homogene Zielgruppe als nützlich erwiesen.
„Holpriges“ Beispiel:
Stellen Sie sich vor, Sie beobachten erst ein jungen Mann und später eine ältere Frau, wie sie am Eingang eines Ladens stolpern.
Glauben Sie der Ladenbesitzer ist neugieriger zu erfahren, wie viele Menschen wahrscheinlich aufgrund einer bestimmten Ursache stolpern werden? Oder versucht er herauszufinden, weswegen diese Beiden gestolpert sind?
In erster Linie möchte ein umsatzinteressierter Ladenbesitzer die Ursache erkennen, um sie schnellstmöglich zu beseitigen. (Vermutlich möchte er auch Beides. Jedoch ist das wieder abhängig von dem Aufwand zur Problembehebung)
8-12 Personen und wiederholte Tests sind eine gute Lösung. Es werden nicht zwangsläufig 500 Personen benötigt.
Oder wie vielen Personen würden Sie beim Stolpern zusehen, um ein „ zufälliges“ Stolpern auszuschließen, angenommen, es wäre es Ihr Geschäft?