Im Auftrag und in Zusammenarbeit mit dem Klett Verlag in Leipzig haben Studierende die Usability der Lernapp „Richtig Rechnen 3“ systematisch untersucht und wertvolle Vorschläge zur Optimierung gegeben. Ich gebe euch hier einen kleinen Einblick in ihre Arbeit.
Eine Gruppe von Studierenden hat im Wintersemester 2018/19 für ihre Vorlesung „Usability Testing“ die Lernapp im Rahmen ihres Studiums untersucht. Sie studieren Informationsdesign und Medienmanagement (M.A.) an der Hochschule Merseburg. Der Klett Verlag arbeitet mit der HS Merseburg zusammen und regelmäßig entstehen Fragen zur Usability, die Studierende als Prüfungsleistung in Gruppen bearbeiten können.
In diesem Jahr hat Klett hat folgende Forschungsfrage gestellt:
Können die Kinder der Zielgruppe die Lernapp „Richtig Rechnen 3“ ohne Probleme bedienen?
Die Zielgruppe umfasste dabei sowohl Kinder der dritten Klasse, als auch indirekt Lehrer und Eltern, da diese Empfehlungen für die App aussprechen bzw. diese kaufen.
Die Definition von Usability
„Usability ist das Ausmaß, in dem ein Produkt durch bestimmte Benutzer in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen.“ [DIN EN ISO 9241-11]
Dabei umfasst die Usability einer Anwendung nicht nur die einfache und intuitive Nutzung einer Anwendung, sondern auch die Unterstützung des Benutzers beim Erreichen des Ziels. Somit ergeben sich für dieses Projekt folgende Eckdaten:
- Produkt: Lernapp „Richtig Rechnen 3“
- bestimmte Benutzer: Schulkinder, Klassenstufe 3
- bestimmter Nutzungskontext: selbstständig nach der Schule
- bestimmte Ziele: Vertiefung von Mathe-Kenntnisse
- effektiv: genaues und vollständiges Erreichen des Ziels
- effizient: möglichst geringer Aufwand zum Erreichen des Ziels
- zufriedenstellend: uneingeschränkt und auf motivierende Art und Weise
Mit mehreren Methoden wurde die Usability der Lernapp „Richtig Rechnen 3“ getestet
Es gibt verschiedenste Methoden, wie man die Usability einer Anwendung testen kann. Die Studierenden wählten in Absprache mit ihrem Professor folgende Methoden aus.
Heuristische Evaluation der Lernapp durch Experten
Die heuristische Evaluation der Usability der Lernapp erfolgte durch die Studierenden selber. Dabei traten sie als Usability-Experten auf und analysierten die App nach einem Kriterienkatalog nach Nielsen. Die enthaltenen zehn Heuristiken stellen dabei Faustregeln für gute Usability dar. Jeder Studierende analysierte die App nach den Heuristiken und dokumentierte mögliche Probleme inklusive ihres Schweregrades. Die Ergebnisse aller Studierenden wurden anschließend gesammelt und ausgewertet.
Cognitive Walkthrough durch Experten
Auch bei der Methode des Cognitive Walkthrough untersuchten die Studierenden die App selber in der Rolle als Usability-Experten. Dabei versetzten sich die Experten in die Rolle des eigentlichen Nutzers aus der Zielgruppe und versuchten so, mögliche Herausforderungen in der App zu finden. Dabei halfen vier zentrale Fragen:
- Wird der Benutzer versuchen, den richtigen Effekt zu erzielen?
- Wird der Benutzer erkennen, dass die korrekte Aktion zur Verfügung steht?
- Wird der Benutzer eine Verbindung herstellen zwischen der korrekten Aktion und dem gewünschten Effekt?
- Wenn die korrekte Aktion ausgeführt worden ist: Wird der Benutzer den Fortschritt erkennen?
Ausfüllen von Fragebögen und Eye-Tracking-Studien mit Kindern der Zielgruppe
Natürlich luden die Studierenden auch Kinder ein, um die App zu testen und zu bewerten. Für die Kinder wurde eine Test-Situation angepasst. Vor und nach dem eigentlichen Test beantworteten die Kinder einen Fragebogen. Dabei erfolgte die Abfrage in Form eines Interviews bzw. Gesprächs mit der Testleiterin.
Für den Usability-Test selber bearbeiteten die Kinder kleine Aufgaben in der App. Dabei wurden ihre Blickbewegungen über eine Eye-Tracking-Brille aufgenommen, so dass die Studierenden anschließend genau auswerten konnten, wo das jeweilige Kind wann und wie lange hingeschaut hatte. Dabei schrieben mehrere Beobachter im Raum ein Protokoll und beobachteten die Mimik und Gestik des Kindes.
Das hört sich jetzt so gar nicht kindgerecht an, aber das täuscht. Es war eher eine spielerische Situation mit einem persönlichen Gespräch zwischen dem Kind und der Testleiterin. Zum Abschluss des Testes gab es auch eine kleine Belohnung!
In einem abschließenden Interview nach dem Eye-Tracking-Test wurden die Kinder befragt, ob sie die Icons aus der App wiedererkennen. Zu dem Zeitpunkt war die App wieder geschlossen, so dass die Icons aus dem Gedächtnis erkannt werden mussten. Nur das Icon für den Radiergummi wurde von den meisten Kindern nicht erkannt. Dieses Icon wurde von Anoki nicht erklärt. Wahrscheinlich konnten daher die Kinder das Icon nicht richtig deuten.
Die Ergebnisse zeigen eine gute Usability der Lernapp mit ein paar Verbesserungsmöglichkeiten
Das Wichtigste zuerst: Die Kinder hatten Spaß und würden zuhause gerne mit der App weiterrechnen. Vor allem Anoki kam als Leitfigur gut an. Er bietet Orientierung und steht als Freund und Helfer zur Seite. Manchmal erklärt Anoki die App und die Aufgaben allerdings etwas zu lange, so dass die Aufmerksamkeit der Nutzer schwindet. Die getesteten Rechenaufgaben waren gut verständlich und die Kinder konnten die Aufgaben schnell und sicher erledigen. Ganz nebenbei haben sie auch exzellente Rechenfähigkeiten bewiesen! Allerdings gibt es bei der Orientierung und Navigation innerhalb der App ein paar Schwachpunkte. Die Studierenden haben dazu direkt Empfehlungen ausgesprochen, wie man diese optimieren und damit die Usability steigern könnte.
Optimierung der Navigation
Optimierung von Bezeichnungen
Optimierte Bildschirmaufteilung: in Leserichtung erfolgt von links nach rechts die Auswahl der Übungen – erst nach Rechenart und anschließend die Übung selber.
Ein kleines, zusätzliches Audio-Icon zeigt in dem optimierten Vorschlag der Studierenden an, wann Anoki spricht.
Die Studierenden schlagen eine Optimierung der zweistufigen Auswahl der Übungsaufgaben vor. Zuerst wählt der Nutzer links, in der Nähe von Anoki, die Rechenart mit einem Klick aus. Anschließend erfolgt in dem großem Swipe-Menü die Auswahl der Aufgabe. Aktuell ist die Auswahl der Rechenarten im unteren, grünen Bereich des Bildschirms zu finden. Dies übersehen Kinder leicht, da das große Swipe-Menü in der Mitte des Bildschirms dominiert.
Wenn Anoki redet und etwas erklärt, bewegt sich Anokis Mund. Dies übersehen Kinder sehr schnell. Wenn dann noch gleichzeitig der Ton leise oder aus gestellt ist, bekommen die Kinder gar nicht mit, dass Anoki gerade etwas erklärt. Daher schlagen die Studierenden vor, mit einem Audio-Symbol in der Nähe von Anoki zu verdeutlichen, wann etwas gesprochen wird.
Außerdem schlagen die Studierenden eine Optimierung der Benennung der Schwierigkeitsgrade vor, um Fehlinterpretationen zu verhindern. Aktuell gibt es die beiden Schwierigkeitsstufen „einfache Übungsaufgaben“ und „Übungsaufgaben“. Es ist unklar, was der Unterschied ist. Ihr Vorschlag ist eine Umbenennung in „einfache Übungsaufgaben“ und „normale Übungsaufgaben“.
Ein Lerneffekt nicht nur für die Studierenden!
Für die Studierenden war die Untersuchung eine gelungene Chance, ihre theoretischen Kenntnisse praktisch anzuwenden. Für Klett gab es viele neue Erkenntnisse. Allerdings können diese nicht mehr in die aktuellen Apps eingebunden werden. Optimierungen sind natürlich immer erwünscht und für zukünftige Apps hat sich Klett ein paar Verbesserungen vorgenommen:
- Die Funktionen der Buttons sollen eineindeutig werden. Doppelbelegungen werden vermieden und die Eingabemechanismen in den Übungen werden somit klarer.
- Verlegung der Auswahl der Rechenart im untersten Bildschirmbereich, so dass sich die inhaltliche Hierarchie (Rechenart-Übung) auch in der Bildschirmaufteilung wiederfindet.
- Verkürzung der Audio-Erklärsequenzen damit die Aufmerksamkeit der Kinder nicht überstrapaziert wird.
- Die Aufgaben sollen Fortschrittsanzeigen bekommen. Die Kinder erhalten somit ein direktes Feedback, wieviel sie schon geschafft haben.
- Das Hilfestellungssystem für die App und die einzelnen Übungen wird auch noch mal in Angriff genommen und soll optimiert werden.
Ich hoffe, ich konnte euch einen kleinen Einblick in die vielen Überlegungen geben, die notwendig sind, um gute Lernapps zu entwickeln. Die systematische Untersuchung von Apps, zusammen mit den Rückmeldungen von euch und den Eltern ist wichtig, um noch bessere Apps zu gestalten. Manchmal sieht man selber den Wald vor lauter Bäumen nicht mehr und da ist es wichtig, einen Blick von außen zu bekommen!
Quelle
Sarah Alsgut, Enrico Holzheuser, Anna Kießlich-Köcher, Julia Koslowski, Christin Kunz: Usability Testing der Mathe-App „Richtig Rechnen 3“
Prüfungsleistung im Modul „Usability Testing“ (WS 18/19) des Masterstudiums Informationsdesign und Medienmanagement (M.A.) an der Hochschule Merseburg.
Betreuender Professor: Prof. Dr. phil. Michael Meng
Dazu passt:
