Re: "Fit in der Bibliothek?" - Online-Tutorial der UB Kassel

[Martin Schmettow <martin.schmettow _at__ bibliothek.uni-regensburg.de>]

Am Dienstag, 17. Dezember 2002 16:42 schrieb Barbara Pagel:
> Jetzt ist eigentlich nur noch eine sehr wichtige Frage offen geblieben: Wie
> kann man nun herauskriegen, wie ein solches Quiz angenommen wird? Man kann
> zählen, wie oft zugegriffen wird, oder anhand von Fragebögen Einschätzungen
> erfragen usw. Was könnte man noch machen? Was haben Sie da für Erfahrungen,
> welche Methoden wenden Sie an?


Sehr geehrte Frau Pagel, liebe Liste.

Sowohl Fragebögen als auch Zugriffsstatistiken sind geeignete Mittel die 
Akzeptanz zu erheben. Dabei sind jedoch einige Details zu beachten.

Bei der Erhebung der Zugriffsstatistiken ist die absolute Häufigkeit des 
Zugriffs vermutlich wenig aussagekräftig, und zwar aus mehreren Gründen:
Zunächst einmal fehlt ein aussagekräftiger Vergleichsmaßstab, also ab welcher 
Häufigkeit man von einer guten Akzeptanz sprechen kann. Zweitens hängt diese 
Statistik noch von weiteren nicht kontrollierbaren Faktoren ab, z.B. dem 
Bekanntheitsgrad der Zugriffsseite. Drittens lässt sich ein ansonsten recht 
gutes Maß, die Rate der Wiederkehrer, in diesem Fall nur schlecht anwenden, 
da ein (beliebiges!) Quiz, im Vergleich zu anderen "Diensten" dem 
Wiederkehrer kaum einen Mehrwert bietet.
Dennoch gibt es in diesem Fall Möglichkeiten sinnvoller Datenerhebung mit 
Zugriffststatistiken. Z.B. lässt sich erfassen, wie lange bzw. intensiv ein 
Besucher das Quiz nutzt, ob er also das ganze Quiz ducharbeitet oder früh 
abbricht. Interessant ist vielleicht auch die Rate richtiger Antworten, die 
man zu einer Eichung des Quiz verwenden kann. Ist die Rate zu niedrig, ist 
das Quiz zu schwer, was vermutlich Frustration erzeugt. Ein zu leichtes Quiz 
hingegen kann langweilig sein. Darüberhinaus lässt sich so auch feststellen, 
ob und wo es kritische Wissenslücken bei den Benutzern gibt.

Der Vorteil der Zugriffsstatistiken liegt zweifelsfrei darin, dass man die 
tatsächliche Nutzung als Kriterium für die Akzeptanz zur Verfügung hat. Mit 
Fragebögen hingegen erfasst man grundsätzlich nur die Einstellung und nicht 
das Verhalten. Hier ist es besonders wichtig, systematische Verzerrungen 
durch die sorgfältige Formulierung und Auswahl der Fragen zu vermeiden. Eine 
gute Darstellung dieser Problematik findet sich, wenn mich die Erinnerung 
nicht täuscht, in J. Bortz & Nicola Döring (1995),  Forschungsmethoden und 
Evaluation  
Einen kurzen Überblick habe ich (ad hoc) hier gefunden:
http://www.stats.gla.ac.uk/~goeran/courses/s2t2001/section4-1.pdf

Nach neueren Erkenntnissen der Evaluationsforschung ist übrigens auch mit 
Fragebögen eine halbwegs valide Erfassung der Verhaltenskomponente von 
Akzeptanz möglich. Statt dem sog. "actual use" greift man dabei auf das 
Konstrukt "intention to use" zurück. Eine Darstellung findet sich in 
E. Milchrahm (2002). Entwicklung eines Modells zur Akzeptanzproblematik von 
Informationstechnologie. In: Hammwöhner, Wolff & Womser-Hacker (Hrsg.). 
Information und Mobilität. Schriften zur Informationswissenschaft. Bd. 40.

Einen konkreten Fragebogen zur Evaluation von Lernprogrammen, der auch die 
Akzeptanz einbezieht findet sich in:
Martina Weber (1998). Evaluation von multimedialen Lernprogrammen als Beitrag 
zur Qualitätssicherung von Weiterbildungsmaßnahmen.
Diese Schrift enthält aber auch einen Kriterienkatalog zur Expertenanalyse von 
Lernprogrammen. Diesen möchte ich Frau Rockenbach und ihrem Team ganz 
besonders nahe legen, da ich nach wie vor glaube, dass in der didaktischen 
und inhaltlichen Ausgestaltung von "Fit" erheblicher Nachbesserungsbedarf 
besteht.

Mit freundlichen Grüßen
Martin Schmettow



-- 
Martin Schmettow
Universitätsbibliothek Regensburg