Learning Analytics

3.24

Learning Analytics – wie Datenanalyse helfen kann, das Lernen gezielt zu verbessern.
von Martin Ebner, Benedikt Neuhold und Martin Schön (Technische Universität Graz)

Learning Analytics – Educational Data Mining – Analyse – Mathematik – Personal Learning Environment – Lernfortschrittskontrolle Daten, Daten, Daten ... entstehen in der heutigen Welt durch das zunehmende Angebot an webbasierten Applikationen. Je mehr sich das Internet öffnet, je mehr Benutzer sich auf einer Plattform anmelden, desto mehr füllen sich die dahinterliegenden Datenbanken. Unter den Schlagwörtern »Big Data« und »Data Mining« versteht man die Analyse dieser Daten, deren Interpretation und einer oft automatisierten benutzerabhängigen Reaktion. Die Tragweite von solchem auf das Lehren und Lernen angewandten Vorgehen ist heute kaum abschätzbar. In diesem Beitrag geben wir mit Beispielen eine Einführung in das Forschungsgebiet Learning Analytics (LA). Die Darstellung soll auch helfen, LA vom konventionellen Bereich Educational Data Mining (EDM) abzugrenzen. Als Beispiele für LA werden Anwendungen zum Erlernen der Arithmetik und zur Analyse von Aktivitäten im Personal-Learning-(PLE)-Bereich der Technischen Universität Graz vorgestellt und es wird dargelegt, wie Lehrpersonen von den Ergebnissen profitieren können. Charakteristisch für diese Anwendungen ist, dass dabei Unmengen von Daten erhoben, gespeichert und analysiert werden, wie das ohne Technikeinsatz nicht möglich wäre. So erkennen wir Chancen für eine wesentliche Qualitätsverbesserung des Lehrens und Lernens durch individuelle, zeitnahe, präzise, aber kompakte Feedbacks für alle an Unterrichtsprozessen Beteiligten. Im Hinblick auf die Forschung zum Lehren und Lernenbetreten wir gerade einen Raum mit nur zu erahnenden Erkenntnismöglichkeiten.

Schlagworte

Überblick

Inhalt 1 2 3 3.1 3.2 3.3 4

Einleitung Was ist denn »Learning Analytics« jetzt genau? Praktische Umsetzung Der Einmaleins-Trainer Der PlusMinus-Trainer Der mehrstellige Multiplikations-Trainer Zusammenfassung

2 3 7 8 11 14 16 18 18

Web-Adressen Literaturhinweise

Handbuch E-Learning

48. Erg.-Lfg. August 2013

1

3.24

Learning Analytics

1
Alltägliche Datensammlung

Einleitung

In unserer hochtechnologischen Zeit hinterlassen wir fortlaufend Datenspuren. Ob wir nun im Supermarkt einkaufen und unsere Bonuskarte benutzen oder im Internet surfen – Daten zu unserem persönlichen Verhalten werden immerwährend gespeichert. Diese Art von Datensammlung und deren Analyse kennt man im kommerziellen Bereich unter den Begriffen»Big Data« oder »Data Mining« (HORIZON PROJECT 2013, S. 28) und existiert bereits seit einiger Zeit. In der Lehre wird diese Art von Analyse bisher noch sehr selten eingesetzt. Dies liegt natürlich vor allem auch daran, dass Informationen zu einzelnen Lernschritten und Details des Lernens nur begrenzt als Beobachtungen und Videos verfügbar sind und noch seltener als Daten, also als maschinenlesbare und digitalisierte Information. SIEMENS und LONG postulierten 2011, dass explizite Daten eines Lernenden quasi als ein Nebenprodukt aufgrund der Nutzung von Internet, Computer, Smartphones oder auch Lern-Management-Systeme (LMS) entstehen. Die Art der Daten ist dabei zweitrangig; egal ob es sich um einen Tweet, einen Eintrag auf Facebook oder die Tätigkeiten in einem Lern-Management-System handelt – all dies hinterlässt einen digitalen Fingerabdruck (SIEMENS/ LONG 2011) und Spuren von Lernprozessen, die nachverfolgt werden können. Die Datenmenge, die man über Lernende zur Verfügung hat, wird daher immer größer. Vor allem durch die Arbeit mit LMS oder Personal Learning Environments (EBNER/TARAGHI 2010) entstehen individuelle bzw. personalisierte Daten. Solche Systeme speichern die aufgerufenen Inhalte, welche Aufgaben begonnen und erledigt wurden, sogar mit wem kommuniziert wurde (LOCKYER/DAWSON 2012). Dadurch entstehen insbesondere in Mitteleuropa Datenschutzdiskussionen, die auch die Autoren als wichtig einschätzen. Während man im angloamerikanischen Raum von vielen Institutionen auch im Hochschulbereich hört, dass sensibelste Datenbestände verknüpft und verwendet werden, um am Ende eines Kurses umfassend angelegte Evaluationen durchzuführen, ist dies in unseren Breitengraden so einfach nicht möglich. Über allen Datensammlungen hängt das virtuelle Schild mit dem Sprichwort der Informatiker, »Alles, was mit Daten passieren kann, passiert auch«. Es ist also auch für uns wichtig, auf den Aspekt des Datenschutzes und spätere Verwendungsmöglichkeiten der Datenbestände zu achten. Dabei spielt Datensparsamkeit eine wichtige Rolle und steht in einem gewissen Gegensatz zu unserem wissenschaftlichen Erkenntnisinteresse. Das Forschungsfeld um LA grenzt sich von dieser Debatte etwas ab, indem es betont, dass es vor allem darum geht, dass Lehrende aktiv während eines Kurses in einen bestimmten Lernprozess eingreifen können (LOCKYER/DAWSON 2012), um das Lernen in einer Domäne zu begünstigen, und weniger um die Identifizierung und Charakterisierung einer natürlichen Person. In diesem Beitrag zeigen wir anhand von praktischen Beispielen, wie sich durch LA der Unterrichtsalltag verbessern und produktiver gestalten lässt und wir diskutieren einige der mit LA verbundenen Erfahrungen und Perspektiven.

Daten der Lernenden

2

48. Erg.-Lfg. August 2013

Handbuch E-Learning

Learning Analytics

3.24

2

Was ist denn »Learning Analytics« jetzt genau?

Das verstärkte Interesse an der Analyse von Daten hängt natürlich damit zusammen, dass erst durch heutige Web- und Rechnertechnologien die Aggregation und Analyse großer Datenmengen möglich wurde. Allerdings wird die Bedeutung dieses Prozesses sowohl in der pädagogischen Praxis als auch in der Wissenschaft noch gering geschätzt und wenig beachtet. Zurzeit gibt es zwei Forschungsfelder, die sich mit den Konsequenzen dieser Entwicklung auseinandersetzen. Zum einen ist das Learning Analytics and Knowledge (LAK) und zum anderen Educational Data Mining (EDM) (SIEMENS/ BAKER 2012). Durch das verstärkte Interesse an den neuen Möglichkeiten werden jährliche Konferenzen in beiden Forschungsbereichen abgehalten. Die erste offizielle Konferenz, die »1st International Conference on Educational Data Mining« fand 2008 in Montreal, Kanada statt. Im Sommer 2011 wurde dann die »International Educational Data Mining Society« (IEDMS, siehe http://www.educationaldatamining.org) gegründet. Ihre Aufgabe ist es, die Forschung auf dem Gebiet des Educational Data Mining zu fördern. Ein Jahr zuvor, im Jahr 2011, wurde auch im Bereich LAK die erste Konferenz in Banff, Kanada veranstaltet. Diese stand vor allem unter dem Motto, Technik, Pädagogik und soziale Bereiche in einen Dialog zu bringen, um so alle Bedürfnisse zu erfüllen (SIEMENS/BAKER 2012). Seitdem gibt es Diskussionen, ob LAK und EDM ein und dasselbe sind oder das eine Gebiet eine Teilmenge des anderen. Geht man nach SIEMENS UND BAKER (2012) so haben die beiden Bereiche einen großen überlappenden Bereich, aber auch einige wichtige Unterschiede.
Forschungsfelder: Learning Analytics and Knowledge und Educational Data Mining

Abb. 1: Zusammenspiel von LA, LAK und EDM (gemäß SIEMENS 2013 ) Abbildung 1 zeigt das Zusammenspiel der drei verschiedenen Forschungsrichtungen und ihre Überlappung nach SIEMENS. Beide Bereiche (LAK und EDM) haben einen sehr datenintensiven Ansatz und verwenden auch häufig ähnliche oder gleiche Methoden, um diese Daten zu analysieren. Ihr Ziel ist es, die Analysen von großen Datenmengen im Bildungsbereich zu
Handbuch E-Learning 48. Erg.-Lfg. August 2013

Vergleich der Forschungsfelder

3

3.24

Learning Analytics

verbessern, um so die Lehre, das Lernen sowie das Lehr- und Lernumfeld zu optimieren. Ihre Unterschiede kann man vor allem an ihren Zielen erkennen. Während LAK versucht, durch die Analyse und die Aufbereitung von Daten menschliche Entscheidungen zu erleichtern oder zu begründen, wird in EDM großer Wert auf das automatische Erkennen gelegt, um daraus maschinell gesteuerte Folgeprozesse auszulösen. LAK möchte nicht nur automatisieren, sondern legt den größten Wert darauf, Informationen in einfachen visuellen Darstellungen an Lehrende und Lernende weiterzugeben (SIEMENS/BAKER 2012). Durch diese einfache Darstellung können auch Lehrende ohne Training damit etwas anfangen. Um einfache Darstellungen zu erreichen, verwendet man bei LAK nach DAVID WILEY (BAKER et al. 2012) Techniken der Datenvisualisierung und der Usability-Forschung. Merke: Sowohl das Forschungsfeld Educational Data Mining als auch Learning Analytics haben einen sehr datenintensiven Ansatz und verwenden auch häufig ähnliche oder gleiche Methoden, um diese Daten zu analysieren. Ihr Ziel ist es, die Analysen von großen Datenmengen im Bildungsbereich zu verbessern, um so die Lehre, das Lernen sowie das Lehrund Lernumfeld zu optimieren. JOHN STAMPER forscht im Bereich von EDM und Intelligent Tutoring Systems (IST) und ist auch technischer Direktor am Science of Learning Center DataShop in Pittsburgh. Er sieht dies ähnlich und meint: »For the most part, the goals of the EDM and LAK communities overlap extensively, but there are subtle differences that I see between the two communities« (BAKER et al. 2012). Er ist er Meinung, dass EDM versucht, die gesammelten Daten zu nutzen um herauszufinden, wie und wann Lernen geschieht, während im Gegensatz dazu LAK den Fokus auf den Lerner setzt und versucht, durch dessen persönliche Daten festzustellen, wie die Interaktion mit Technologie sein persönliches Lernen beeinflusst. Beide Communities sind aber ein wichtiger Bestandteil der Forschung, um die Effizienz von Bildungssystemen zu verbessern (BAKER et al. 2012). ERIK DUVAL arbeitet mit seinem Team an Dashboards, um Daten zu visualisieren und einfach für Lerner und Lehrende aufzubereiten (DUVAL 2010). Nach seiner Ansicht ist Learning Analytics »[…] about collecting traces that learners leave behind and using those traces to improve learning« (BAKER et al. 2012). Für ihn steht bei LAK ebenfalls der Lerner im Mittelpunkt, wohingegen EDM eher versucht, diese Spuren durch Algorithmen zu analysieren und Muster und Gesetzmäßigkeiten zu erkennen. Aus seiner Sicht ist es auch sehr wichtig, dass das Ergebnis der Analyse als Feedback an den Lerner und als Information an den Lehrenden weitergegeben wird. Bei der Weitergabe ist vor allem eine einfache Repräsentation der Daten sehr wichtig: »Translating those traces into visual representations and feedback that support learning is another challenge: the danger of presenting meaningless eye candy or networks that confuse rather than help is all too real« (BAKER et al. 2012).

4

48. Erg.-Lfg. August 2013

Handbuch E-Learning

Learning Analytics

3.24

Auch wenn es eine Vielzahl von Meinungen gibt und damit die Grenzen zwischen LA und EDM sehr verschwommen sind, so findet sich doch in fast allen Quellen eine Aussage, die RYAN BAKER (2012) sehr schön zusammenfasst als: »[…]I believe that in the future of EDM and LAK should be best friends [...].« Man kann aber erkennen, dass es nicht einfach ist, eine einheitliche Definition zu finden. Ein Versuch wurde auf der LAK-Konferenz 2011 in Banff (Kanada) erarbeitet. Diese definiert LA folgendermaßen: »Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs« (SIEMENS 2011). Das Feld von LA umfasst also das Sammeln, Analysieren und Visualisieren von Daten aus dem Bildungsbereich. Dies ist natürlich eine sehr breite Definition. Schön et al (2012) definieren LA etwas konkreter als: »Learning Analytics ist die Interpretation von lernerspezifischen Daten, um individuelle Lernprozesse gezielt zu verbessern.« Merke: Learning Analytics ist die Interpretation von lernerspezifischen Daten, um individuelle Lernprozesse zu verbessern. Es ist zu betonen, dass die Interpretation beziehungsweise die nötige Intervention in der Regel nicht automatisiert abläuft, sondern auf die Erfahrung von Lehrenden zurückgreift. LAK versucht die Daten zu analysieren, sie in Verbindung mit dem eigentlichen Lernprozess zu bringen und wieder in das Unterrichtsgeschehen einfließen zu lassen. Wichtig ist bei LAK auch die Rolle des Lehrers. Er nimmt eine überwachende Haltung ein und muss bei Problemen, die durch die Analyse von Daten entdeckt werden, aktiv in den Lernprozess eingreifen. Geschieht dies nicht, so kann dies zu Frustration oder Verwirrung bei den Lernenden führen. Dies ist z.B. in vielen LMS nicht immer leicht, da diese nur eine Auswertung in Tabellenstruktur zur Verfügung stellen (GARCÍA-SOLÓRZANO et al. 2012). Mit einer solchen Struktur ist es für den Lehrenden sehr schwer, schnell und effektiv aussagekräftige Informationen zum Lernerfolg des Schülers zu erhalten. Für diesen Zweck werden im Forschungsbereich von LAK Tools entwickelt, die Lehrende bei dieser Aufgabe unterstützen (GARCÍA-SOLÓRZANO et al. 2012). Für WebCT steht zum Beispiel »CourseVis« zur Verfügung und für das LMS Moodle wurde »GISMO« entwickelt. Einen konkreten Prozess von LA können wir in Abbildung 2 sehen:

Handbuch E-Learning

48. Erg.-Lfg. August 2013

5

3.24

Learning Analytics

Abb. 2: Prozess von LA (SIEMENS 2010)
Datenspuren der User

Unter »Learners off-put data« versteht SIEMENS die Datenspuren, die der User hinterlässt. Diese Daten können von unterschiedlichen Quellen kommen (z.B. Facebook, Twitter, LMS,…). Aus den Daten werden einerseits UserProfile gewonnen, und andererseits werden sie auf Basis von »Intelligent Data« analysiert. Daraus versucht LA eine Vorhersage zu erstellen und die Lernumgebung, den Lern-Content und die Aufgaben für den Benutzer zu adaptieren und anzupassen. Idealerweise ist das Ergebnis eine auf den User zugeschnittene Lernumgebung, die sich genau seinem Wissensstand und seinen Gewohnheiten anpasst. Auch hier könnte man sagen, der Unterschied zwischen EDM und LAK ist, dass bei EDM von der Analyse bis zur Adaption alles automatisiert abläuft. LAK hingegen bezieht stärker den Lehrenden und seine pädagogischen Interventionsmöglichkeiten mit ein. So bleibt die eigentliche Interpretation der Daten bei der Lehrkraft, wird aber unterstützt von der intelligenten Datenaufbereitung. Auch die Adaption der Lernumgebung ist nicht mehr vollautomatisiert zu sehen, sondern vielmehr als wechselseitige Beziehung von pädagogischer Intervention, technischer Adaption und sozialen Interaktionen. Wir schätzen es bei möglichen Lernproblemen als fruchtbar ein,
48. Erg.-Lfg. August 2013 Handbuch E-Learning

Interpretation der Daten

6

Learning Analytics

3.24

wenn ein Medienwechsel vom Computer zum Lehrer oder anderen Medien und Sozialformen veranlasst wird. Einen ähnlichen Ansatz findet man in BADER-MATAL und LOTZE (2011). Diese beschreiben den Aufbau der Learning-Analytics-Plattform »Grockit«. Der Aufbau der Plattform wird in fünf Punkte unterteilt. 1. Data Collection In diesem Punkt muss das System so entwickelt sein, dass es Daten über das User-Verhalten und dessen erledigte Aufgaben und erreichte Ziele speichert. In Grockit wurde dies direkt in den Programmcode implementiert. 2. Selection Hierbei ist es das Ziel, dass man Daten zusammenführt, die zur Beantwortung einer speziellen Frage notwendig sind. Dies geschieht in Grockit durch SQL Queries. 3. Analysis In dieser Phase werden die zuvor gefilterten Daten zur Analyse verwendet, um auf eine spezielle Frage eine Antwort zu finden. Diese Phase wird auf der Plattform Grockit mit dem Statistik-Paket R umgesetzt. 4. Visualization Hier muss ein effektiver Weg gefunden werden, um die Daten repräsentativ, aber auf einfache Art und Weise auszudrücken. Wird im Fall Grockit ebenfalls mit R durchgeführt. 5. Distribution Hierbei muss bedacht werden, welche Analysen an welche Stakeholder gehen und wie sie transportiert werden. In Grockit wird dies mit einem webbasierten System erledigt, in dem jeder Stakeholder seine Reports abonnieren kann. LAK und ihre Forschungsergebnisse haben das Potenzial, Bildung aus gänzlich neuen Blickwinkeln zu betrachten und vor allem das pädagogische Handeln gezielt zu unterstützen. Insbesondere für die Optimierung der Lehre tun sich hier neue Betätigungsfelder auf. Lehrende können durch die ständige Verfügbarkeit von Echtzeitdaten den Lernprozess besser überschauen und Studierende in ihrem Vorankommen zeitnah und gezielt individuell unterstützen. Alle Beteiligten an Unterrichtsprozessen profitieren von diesen verschiedenen Feedbacks. HATTIE et. al (2013) haben in ihrer großen Zusammenstellung der wesentlichen Wirkfaktoren zur Bestimmung guten Unterrichts auf die große Bedeutung von allseitigen prozessbezogenen Feedbacks herausgestellt. Der Vergleich von aggregierten Statistiken von Lernerfolgen untereinander kann zudem zu einer Erhöhung der Motivation aller Beteiligten führen (SIEMENS/LONG 2011) und die Datensammlungen können eine Basis sein für eine verbesserte Planung von Bildungsressourcen.
Aufbau einer Learning-Analytics-Plattform

LAK ermöglicht zeitnahes Feedback

3

Praktische Umsetzung

In diesem Kapitel soll die praktische Umsetzung und das Potenzial von LA gezeigt werden, indem mehrere Beispiele besprochen werden. Hierbei wird auf konkrete Implementierungen an der Technischen Universität Graz durch die Abteilung Vernetztes Lernen zurückgegriffen, die sich im Rahmen
Handbuch E-Learning 48. Erg.-Lfg. August 2013

7

3.24

Learning Analytics

von mehreren Projekten und Abschlussarbeiten bereits sehr früh dieses Themas angenommen hat. Im Folgenden besprechen wir kurz einige Applikation mit einem besonderen Fokus auf LA. Sie sind von http://mathe.tugraz.at nach einer einfachen Registrierung zu testen.

3.1
Ziele des Trainers

Der Einmaleins-Trainer

Der Einmaleins-Trainer wurde mit zwei Zielen entwickelt. Erstens einer automatischen Anpassung an die Leistungsfähigkeit der Lernenden, sodass Aufgaben weder als zu schwer noch als zu leicht empfunden werden. Zweitens sollte eine detaillierte Darstellung der bereits sicher gelösten Aufgaben den Lehrenden möglichst genaue Rückmeldung über den Kompetenzgrad der Lernenden geben (SCHÖN et al 2012). Das Kernstück des Trainers ist ein Algorithmus, der das nächste Beispiel basierend auf dem individuellen Kompetenzgrad eines Lernenden und dessen Lernhistorie ermittelt. Hierzu ist jeder einzelnen Multiplikationsaufgabe des Einmaleins aufgrund empirischer Erfahrungswerte bzw. der typischen didaktischen Reihenfolge ein Schwierigkeitsgrad zugeordnet. Nach zwei Einstufungsaufgaben (mittelschwer und je nach Antwort leichter oder schwerer Folgeaufgabe) wird erstmalig der Kompetenzgrad geschätzt. Die nächste Aufgabenstellung erfolgt aus der Menge der Aufgaben, die maximal etwas schwieriger sind als der bis dahin erreichte Kompetenzgrad. Im Programm gilt ein Problem erst dann als »gekonnt«, wenn es zweimal hintereinander richtig beantwortet wurde. Bei einem Fehler wird dieser Wert auf 0 zurückgesetzt. Der Kompetenzgrad bzw. die Lernrate ist die Summe der bis dahin gut, also zweifach richtig gelösten Aufgaben.

Abb. 3: Screenshot des Einmaleins-Trainers (http://mathe.tugraz.at)

8

48. Erg.-Lfg. August 2013

Handbuch E-Learning

Learning Analytics

3.24

Abbildung 3 zeigt einen Screenshot des Trainers mit der zu lösenden Aufgabe (hier 9x7) sowie darunter einen Balken, der die verbleibende Reaktionszeit darstellt. Der Schüler erhält zweifach Feedback: Die Matrix links dokumentiert den Bearbeitungsstand für alle Aufgaben, mit der Maus kann die entsprechende Aufgabe, also z.B. 5x8, zur Anzeige veranlasst werden, orange steht für einmal richtig gelöst und gelb für zweimal hintereinander gelöst. Der Hase zeigt den aktuellen Prozess an: Er wandert in dem Maße Richtung Karotte, wie kontinuierlich hintereinander richtige Lösungen produziert werden.

Setting des Trainers

Abb. 4: Verlauf einer Lernrate eines Lernenden Aus der Sicht von LA ist es natürlich interessant, wie sich die Lernraten der Lernenden entwickeln. Gibt es hier ein stetiges Wachstum, stagniert der Lernfortschritt oder ist der Prozess stark rückläufig? Abbildung 4 zeigt beispielhaft die Entwicklung der Lernrate eines Lernenden als Kurve. Nach etwa 170 gerechneten Beispielen sind etwa 20 Beispiele als gut gekonnt eingestuft, danach tritt eine Phase ein, während der kaum ein Lernzuwachs zu beobachten ist. Erst nach insgesamt ca. 300 gerechneten Beispielen steigt die Lernrate stark/schnell an. Es erscheint generell sinnvoll, nach Erkennen einer Stagnationsphase eine pädagogische Intervention zu inszenieren. Dieses Vorgehen repräsentiert einen Ansatz von LA: Durch die systematische intelligente zeitnahe Analyse der Lernkurven kann der Lernprozess nicht nur insgesamt beschrieben werden, es können auch Alarme zur Veranlassung von Interventionen durch Lehrkräfte veranlasst werden. Durch das beschriebene Setting wird das Lernen begünstigt. Abbildung 5 zeigt den Leistungsstand einer Klasse (Namen wurden entfernt). Es würde keinen Sinn ergeben, den Lehrer mit allen Daten von allen Schülern in Listen zu versorgen. Wir liefern dem Lehrer eine kompakte und zugleich differenzierte Übersicht. Orientierung zu Problemfällen gibt die erste Spalte mit Ampelsignalen, hier nur einmal die gelbe Marke. Die Wahrnehmung der übrigen Grafik geschieht mit etwas Übung als Ganzheit im Hinblick auf den Leistungsstand der Klasse.
Handbuch E-Learning 48. Erg.-Lfg. August 2013

Entwicklung der Lernrate

9

3.24

Learning Analytics

Abb. 5: Übersicht über den Lernfortschritt einer Schulklasse (Sicht des Lehrenden)
Darstellung der Lernergebnisse für Lehrende

Die Zeilen dokumentieren jeweils die Ergebnisse der Lernenden, dunkelgrün markiert bedeutet dabei »gut gekonnt«, hellgrün ein »gekonnt«, grau ein »noch nicht gerechnet« und schlussendlich rot ein »nicht gekonnt«. Ganz links in der ersten Spalte kann die Lehrkraft mit einem Blick übersehen, wie aktuell die Entwicklung vorangeht und wo er Probleme hat: Die Spalte »Skills« zeigt den Lehrenden in den Ampelfarben, ob das Programm im Einzelfall eine Intervention empfiehlt: keine (grün), eventuell (gelb) oder dringend (rot). Im weiteren Verlauf der Zeile können die detaillierten Problemaufgaben betrachtet werden. Die Lehrenden können sich so schnell ein Eindruck bilden, wo die gesamte Klasse steht, ob sie vielleicht einen gemeinsamen Förderbedarf hat und wo die Probleme im Einzelnen liegen. Bei diesem Beispiel wird wohl auch deutlich, dass mit LA eine große Menge Daten analysiert wird, welche die physiologischen Kapazitäten einer Lehrkraft bezüglich Wahrnehmung, Speicherung und Verarbeitung übersteigt. Das Computersystem bietet nicht nur eine Entlastung für den Lehrer, sondern begründet eine ganze neue Unterrichtsqualität. Diese Einschätzung bezieht sich auf die fortwährende, gezielte, individuell ausgerichtete Aufgabenauswahl, das präzise individuelle, zweifache Feedback während der Aufgabenbearbeitung sowie für die Lehrkraft die Übersicht über den Leistungsstand insgesamt und den Interventionsbedarf bei Einzelnen.

10

48. Erg.-Lfg. August 2013

Handbuch E-Learning

Learning Analytics

3.24

Merke: Learning Analytics am Beispiel des Einmaleins-Trainer bezieht sich auf die fortwährende, gezielte, individuell ausgerichtete Aufgabenauswahl, das präzise individuelle, zweifache Feedback während der Aufgabenbearbeitung sowie für die Lehrkraft die Übersicht über den Leistungsstand insgesamt und den Interventionsbedarf bei Einzelnen.

3.2

Der PlusMinus-Trainer
Ziele und Setting des Trainers

Der PlusMinus-Trainer wird im Rahmen einer Diplomarbeit und im Zuge der E-Learning-Initiative im Forschungsgebiet LA erstellt. Er dient dazu, dass z.B. die Schulkinder an Grundschulen die schriftliche Addition und Subtraktion testen und trainieren können (ähnlich dem Einmaleins-Trainer). Im Zuge der Aufgabenbearbeitung werden die Daten aufgezeichnet und analysiert. Jede neue Aufgabe wird unter Berücksichtigung der bisherigen Statistik generiert. Durch die Analyse der Lösungsschritte aller Zwischenergebnisse und der jeweiligen Lösungen wird versucht, typische, also häufige fehlerhafte Vorgehensweisen in den Rechenverfahren zu entdecken und eine einfache, kompakte Übersicht dazu an die Lehrkräfte weiterzugeben. Diese haben natürlich auch die Möglichkeit, genaue Statistiken der Schülerbearbeitungen einzusehen. Das Programm schätzt jeden Fall ein und signalisiert der Lehrperson, ob einzelne Kinder eher noch unsystematische Fehler wegen mangelnder Routine machen, oder ob bei systematischen, typischen Fehlern auf einzelne Problemfälle eingewirkt werden sollte. Für die Unterrichtsqualität und die Ökonomie der Lehrkräfte hat diese Anwendung einen enormen Mehrwert. Um an solche Daten auf traditionellem Wege zu kommen, müsste man diagnostische Tests durchführen und auswerten. Ein Beispiel für so einen Test für die schriftliche Subtraktion ist in Abbildung 6 dargestellt.

Handbuch E-Learning

48. Erg.-Lfg. August 2013

11

3.24

Learning Analytics

Abb. 6: Diagnostischer Test (GERSTER 1982, S. 49) Es ist hier kritisch zu allererst zu bemerken, dass ein solcher Test nicht einfach durchzuführen und zu korrigieren ist. Denn für jeden Fehler, den ein Schüler oder eine Schülerin macht, muss eine aufwendige Einzelanalyse des Beispiels durchgeführt werden – und dies ist immer mit viel Zeitaufwand verbunden. In Abbildung 7 sehen sie fünf Subtraktionen. Versuchen Sie, aus diesen Ergebnissen eine typische Häufung einer Fehlerart zu erkennen!

Abb. 7: Fehleranalyse Die Subtraktionen c und e wurden in diesem Beispiel richtig gelöst. Dies sind die einzigen Beispiele, die keinen Übertrag beinhalten. Daher ist es 12
48. Erg.-Lfg. August 2013 Handbuch E-Learning

Learning Analytics

3.24

naheliegend anzunehmen, dass die Testperson Probleme mit Überträgen hat. Bei genauerem Betrachten kann man erkennen, dass diese Beispiele auf einen der häufigsten Fehler (PADBERG 2005) in der Subtraktion schließen lassen. Bei diesem Fehlermuster wird in jeder Spalte die kleinere von der größeren Zahl subtrahiert. Dadurch entstehen keine Überträge und die Rechenschritte sind»leichter« durchzuführen. Um einen solchen Test für eine Klasse mit 20 Schülern zu korrigieren und auszuwerten, wird die Lehrperson einen Aufwand von 5 bis 10 Stunden haben. Möchte sie immer auf den neuesten Wissensstand der Schülerinnen und Schüler eingehen, so müsste ein solcher Test ein- bis zweimal wöchentlich wiederholt werden – und dies für alle Klassen. Dies ist in der Praxis nicht umsetzbar. Auch ist die Fehleranalyse wegen der kleinen Aufgabenzahl oftmals nicht einfach und auch nicht immer eindeutig, es muss im Einzelfall jedenfalls nachgeprüft werden. Der PlusMinus-Trainer ist adaptiv. Er sucht systematisch nach Aufgaben mit einer ähnlichen logischen Schwierigkeitscharakteristik, also Stellenzahl, Übertrag und bestimmten Ziffernanzahl, um Unentschiedenheit bei der Zuordnung zu Fehlertypen statistisch abklären zu können. Die Aufgaben werden passend zum Lernstand jeder einzelnen Testperson immer neu generiert. Wenn das Programm feststellt, dass im Einzelfall kein Fortschritt stattfindet und immer wieder ähnliche Fehler gemacht werden, kann eine Lehrkraft dies in einer Gesamtstatistik anhand der Ampelsymbolik sofort erkennen, also ob ein Eingriff dringend nötig ist, gelegentlich empfohlen wird oder der Lernprozess fortschreitet (siehe Abb. 8).
Fehleranalyse durch die Lehrkraft ist zu aufwendig

Systematische Fehleranalyse

Abb. 8: Statistische Auswertung der Schüler für den Lehrer Die Zahlen in den jeweiligen Feldern stehen für die Anzahl der Versuche in dieser Kategorie. Wird der Mauszeiger über ein Userlevel-Feld geführt, so erscheint ein Tooltip, welcher eine kurze Information zu diesem Level bereitstellt. Die Darstellung wurde so gewählt, dass es auch für mehrere Schüler bzw. eine Klasse gut zu übersehen ist. Die Statistik aus Abb. 8 zeigt, dass dieses Kind bei der Addition bisher kein Problem hatte (kein rotes Feld). Bei der Subtraktion scheint es aber nun Schwierigkeiten zu geben, und zwar beim Schwierigkeitsgrad zweistellig minus einstellig mit Übertrag, dabei keine Nullen. In diesem Fall sollten Lehrende erklärend oder durch Bereitstellen von alternativem Material in den Lernprozess eingreifen, da es sonst zu einer Demotivation der betroffenen Schüler kommen könnte. Möchte die Lehrkraft noch mehr Informationen einsehen, so ist dies über den Link »Hier« in der Spalte »Details« möglich. Hier kann sie sich die fehlerhaften Beispiele im Einzelnen ansehen und gegebenenfalls eine eigene Auswertung durchführen. Auch der PlusMinus-Trainer leistet ein Ausmaß an Datenverarbeitung, wie es eine einzelne Lehrkraft nur in Einzelfällen erbringen könnte. Nur mit
Handbuch E-Learning 48. Erg.-Lfg. August 2013

13

3.24

Learning Analytics

Einsatz der IT-Kapazität können solche präzisen Förderhinweise entstehen. Dabei ist auch hier zu erwähnen, dass das adaptive, dynamische Diagnostizieren und Arbeiten am Programm für viele Kinder offenbar auch Lernzuwachs bedeutet. Auch damit werden die Lehrkräfte entlastet und können sich so den Einzelfällen widmen, die vom System identifiziert werden.

3.3
Setting des Trainers

Der mehrstellige Multiplikations-Trainer

Der Multiplikationstrainer zur schriftlichen Multiplikation basiert auf ähnlichen Überlegungen wie die andern beiden vorgestellten Programme. Auch hier erfolgt eine Adaption an unterschiedliche Levels. Der Schwierigkeitsgrad steigt an mit der Stellenzahl – von der Multiplikation zweistellig * einstellig (nn*n) bis hin zu vierstellig * dreistellig (nnnn * nnn). Dazu kommen Varianten mit und ohne Überträge. Hier gingen auch Erfahrungen mit zahlreichen Vorabtests und aus der Berücksichtigung der Ergebnisse des Einmaleins-Trainers ein (EBNER et al 2013).

Abb. 9: Mehrstelliger Multiplikations-Trainer (http://mathe.tugraz.at) Abbildung 9 zeigt die Benutzeroberfläche des Trainers nach einer Multiplikation und die identifizierten Fehler bei dieser Rechnung. Es werden alle Teilschritte erfasst: sowohl jede einzelne Multiplikation, die einzelnen Additionen und auch die Überträge.
Analyse des Fehlertyps

Ähnlich dem PlusMinus-Trainer erfolgt dann nach Abschluss der Eingabe die eigentliche Evaluation des Ergebnisses. Es wird automatisch erhoben, wenn Fehler gemacht werden, und zugeordnet, um welchen Fehlertyp es sich handelt. Diese werden aggregiert und den Lehrkräften wird beim Aufruf der Klassenstatistik in den Ampelfarben signalisiert, ob eine pädagogische Intervention angeraten erscheint oder das Lernen quasi sich selbst überlassen werden kann.

Abb. 10: Auswertung des mehrstelligen Multiplikations-Trainers 14
48. Erg.-Lfg. August 2013 Handbuch E-Learning

Learning Analytics

3.24

In Abbildung 10 ist die Auswertung bei drei Usern angezeigt. Zu sehen ist die Anzahl der Beispiele und wie viele davon korrekt bzw. falsch gelöst wurden. Durch die rote Farbe wird signalisiert dass die Erfolgsrate unter der festgesetzten Grenze ist und daher vorgeschlagen wird, dass eine Lehrkraft interveniert, also zusätzliche Hinweise und alternative Übungsmöglichkeiten gibt. Das Programm nimmt im ersten Fall nur unspezifische Fehler war, im zweiten Fall wird attestiert, dass richtig multipliziert wurde (1x1), aber beim Übertrag Probleme auftreten. Im dritten Fall überwiegen Probleme beim kleinen Einmaleins. Nach Belieben kann die Lehrperson sich einzelne Lernende im Detail ansehen und genau nachvollziehen, welche Beispiele mit welchem Resultat gerechnet wurden.

3.4

Learning Analytics am Beispiel der PLE
Visualisierung von Aktivitäten

Im letzten Beispiel wird gezeigt, welche Breite der Forschungsbereich LA hat. Es wurde eingangs erwähnt, dass insbesondere auch die Visualisierung von Aktivitäten (Traces; Spuren) der Lernenden Rückschlüssen auf deren Lernprozesse ermöglicht. Dies kann z.B. erfolgen, indem man darstellt, welche Aktivitäten oder Inhalte in sozialen Netzwerken getätigt wurden. Jedoch zeigen auch mehrere Forschungsarbeiten, dass die inhaltliche Analyse von z.B. Twitter-Aktivitäten durchaus schwierig ist (DEVOCHT et al 2011; EBNER et al 2010). In diesem Beispiel wird demonstriert, wie man Lerntätigkeiten im Rahmen einer Personal Learning Environment erfassen kann. Diese Umgebung wird an der Technischen Universität Graz seit 2010 den Studierenden zur Verfügung gestellt und besteht aus einem Framework, welche eine hohe Anzahl an sogenannten »Widgets« enthält (TARAGHI/EBNER 2012; TARAGHI et al 2012). Diese Widgets können innerhalb der Lernumgebung vom Lernenden beliebig verwendet und angeordnet werden, so wird eine sehr hohe Individualität der Lernumgebung geschaffen (TARAGHI et al 2011). Jedes dieser Widgets erfüllt einen bestimmten Zweck. Es gibt Widgets für Twitter, Facebook, zum Abrufen der E-Mails oder auch verschiedene Lernobjekte, wie Taschenrechner und Ähnliches. Innerhalb dieser Umgebung entstehen im Verlauf einer Lehrveranstaltung eine Unmenge unterschiedlichster Aktivitäten. Um hier eine Übersicht über innewohnende Zusammenhänge zu bekommen, entwickeln wir verschiedene Grafiken. Gerade in der Online-Lehre ist es essenziell, als Lehrender zu wissen, wie aktiv die Studierenden sind und vor allem auch frühzeitig Informationen zu bekommen, wenn die Aktivität z.B. drastisch zurückgeht, um z.B. gezielt mögliche Probleme anzusprechen oder besondere Maßnahmen durchzuführen.

Einsatz von Widgets

Handbuch E-Learning

48. Erg.-Lfg. August 2013

15

3.24

Learning Analytics

Abb. 11: Aktivität innerhalb der PLE (http://my.tugraz.at) Abbildung 11 stellt die Verwendung von Widgets im Zeitverlauf dar. Diese Statistik ist natürlich auch auf einen beliebigen Zeitrahmen und Personenkreis einzugrenzen und je Lernenden darstellbar. Mit dieser Visualisierungsfunktion können also die Aktivitäten eines spezifischen Adressatenkreises für ein Lehrangebot unmittelbar eingesehen werden und es kann auch entsprechend interveniert werden.

4
LA verbessert die Lehr- und Lernqualität

Zusammenfassung

LA ist ein Forschungsbereich, der noch sehr jung ist. Wir haben hier über verschiedene Anwendungen und Verfahren berichtet, die Daten zum Lernverhalten von Schülern und Studenten produzieren, dokumentieren und analysieren. Manche Anwendungen können begleitend zum Lernen im Unterricht, aber auch mobil oder von zuhause am PC genutzt werden. Andere dokumentieren Nutzeraktivitäten, wie An- und Abmeldezeitstempel, die Aktivitäten, Umfang, Dauer und eventuell Intensität der Kontakte, erledigte Aufgaben und vieles mehr. Es ist dabei herauszustellen, dass die Lehrkräfte mit Einsatz solcher Programme nicht nur entlastet werden. Die Programme leisten ein Ausmaß an Datenerfassung und Verarbeitung, wie sie Lehrende aufgrund physiologischer Kapazitätsgrenzen gar nicht leisten könnten. Sie tragen somit zu einer entscheidenden Qualitätsverbesserung
48. Erg.-Lfg. August 2013 Handbuch E-Learning

16

Learning Analytics

3.24

des Unterrichtes bei, wie sie allein durch ein Aufstocken von Lehrpersonal nicht erreicht werden könnte. Wir verstehen diese und weitere zu entwickelnde Anwendungen eingebettet in konventionelle Unterrichtsformen und nicht als Ersatz für herkömmliche Unterrichtsangebote. Im Medienwechsel liegt eine spezifische Wirksamkeit für das Vorankommen möglichst vieler und die Zukunft von Learning Analytics. Deshalb alarmieren wir die Lehrperson, wenn die Auswertung der Daten ein Stagnieren der Lernentwicklung signalisiert. Wir starten also bei erkannten Problemen kein virtuelles Tutorenprogramm. Wo es allerdings darum geht, Lernangebote rund um die Uhr für viele verfügbar zu machen, kommen wir ganz sicher zu anderen Entscheidungen. Durch die Kombination von Testen und Üben sowie durch die zeitliche Verteilung solcher Aktionen über das gesamte Semester, Schuljahr bzw. längere Episoden entsteht auch eine ganz neue Sicht auf die Leistungsbeurteilung. Wir verfügen mit entsprechenden Anwendungen durch die Vielzahl an einzelnen Messungen über viel zuverlässigere Einschätzungen der Kompetenz. Durch Aggregieren können sowohl Portfolios mit ausführlichen Sammlungen von Einzelleistungen erstellt werden, aber auch sehr kompakte Zusammenfassungen als Schulnote. Wir können heute noch nicht absehen, was wir langfristig aus den gerade entstehenden großen Datenmengen noch an Erkenntnissen gewinnen werden bzw. welche Hypothesen uns dadurch nahegelegt werden. Zum Beispiel berichten viele Lehrer, dass einzelne Leistungen erreicht werden, dann aber kurzfristig vergessen bzw. jedenfalls nicht stabil gezeigt werden und dann plötzlich und anhaltend wieder präsent sind. Wir können solche Prozesse jetzt erstmalig für große Gruppen darstellen, durch Einbezug weiterer Variablen ließen sich hier interessante Hypothesen testen, z.B. wie wirksam konkretes Unterrichtshandeln für nachhaltiges Lernen ist oder der Frage nachgehen, wann (und wo) eigentlich was gelernt wird. Dabei stellen sich weiter Fragen danach, welche Gruppen und Typen unter welchen Bedingungen erfolgreich sind? Mit solchen Fragen kommen wir nach unserer Abgrenzung weg von der individuellen förderdiagnostischen Sicht der LA in den Bereich des Educational Data Mining. Wir können uns vorstellen, durch verschiedene zusätzliche Sensoren und Speicherung deren Messwerte, Indikatoren für Aufmerksamkeit, Umweltgeräusche und Ablenkung zu erfassen, um diverse Probleme »aufzuklären«. Damit entstehen natürlich parallel und konkurrierend mit unserem Forschungs- und Aufklärungsinteresse auch Fragen und Eingrenzungen durch Schutzbedürfnisse und Persönlichkeitsrechte der betroffenen Schüler- und Studentenschaft, wenn z.B. Umweltstörgeräusche nicht nur als Lärmpegel, sondern als Unterhaltungen aufgezeichnet werden. Im User Management unserer Lern-Apps können Daten von Schulen, Lehrern und Schülern komplett mit Aliasnamen anonym angemeldet werden. Diese Anonymität könnte bei Kombination mit weiteren persönlichen Daten und zum Umfeld unserer Lerner vermutlich nicht durchgehalten werden. Drei der beschriebenen Anwendungsbereiche beschäftigten sich mit dem mathematischen Erlernen der Grundrechnungsarten und stehen frei zugänglich unter http://mathe.tugraz.at zur Verfügung. Weiters wurde auch eine Möglichkeit der Visualisierung am Beispiel der Personal Learning
Neue Möglichkeiten der Leistungsbeurteilung

Entstehende Forschungsmöglichkeiten

Handbuch E-Learning

48. Erg.-Lfg. August 2013

17

3.24

Learning Analytics

Environment (http://my.tugraz.at) gezeigt und damit die Breite des Forschungsfeldes. Das Lernen wird dank der Technik individueller und persönlicher als je zuvor, dafür kann und wird LA ein Wegbereiter sein, wiewohl noch viel an weiteren Forschungsarbeiten und praktischen Einsätzen notwendig ist.

Webadressen
■ Applikationen der Technischen Universität Graz: http://mathe.tugraz.at ■ International Educational Data Mining Society: http://www.educationaldatamining.org ■ Grockit: https://grockit.com/ ■ Personal Learning Environment der Technischen Universität Graz: http://my.tugraz.at ■ Science of Learning Center DataShop: https://pslcdatashop.web.cmu.edu/about ■ StatistikPaket R: http://www.r-project.org/

Literaturhinweise
BADER-NATAL, A./LOTZE, T.: Evolving a learning analytics platform, in: Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK '11), New York, USA 2011, S. 180-185. BAKER, R. S./DUVAL, D./STAMPER, J./WILEY, D./BUCKINGHAM SHUM, S.: Panel: Educational Data Mining meets Learning Analytics, in: Proceedings of 2nd International Conference on Learning Analytics & Knowledge (LAK '12), New York, USA 2012, S. 20. DE VOCHT, L./SELVER, S./EBNER, M./MÜHLBURGER, H.: Semantically driven Social Data Aggregation Interfaces for Research 2.0., in: 11th International Conference on Knowledge Management and Knowledge Technologies, 2011, Artikel 43. DUVAL, E.: Attention Please! Learning Analytics for Visualization and Recommendation, to appear in: Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK '11), New York, USA 2011. EBNER, M./TARAGHI, B.: Personal Learning Environment for Higher Education – A First Prototype, in: Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications 2010, S. 1158-1166, Chesapeake, VA, USA 2010. EBNER, M./MÜHLBURGER, H./SCHAFFERT, S./SCHIEFNER, M./REINHARDT, W./WHEELER, S.: Get Granular on Twitter Tweets from a Conference and their Limited Usefulness for Non-Participants, in: Key competences in the knowledge society 2010, S. 102-113. 18
48. Erg.-Lfg. August 2013 Handbuch E-Learning

Learning Analytics

3.24

EBNER, M./SCHÖN, M./TARAGHI, B./STEYRER, M.: Teachers Little Helper: Multi Math Coach, IADIS conference, Prague, acceptet in print. GARCÍA-SOLÓRZANO, D./COBO, G./SANTAMARÍA, E./MORÁN, J.A./MONZO, C./ MELENCHÓN, J.: Educational Monitoring Tool Based on Faceted Browsing and Data Portraits, in: Proceedings of 2nd International Conference on Learning Analytics & Knowledge (LAK '12), New York, USA 2012, S. 170-178. GERSTER, H.-D.: Schülerfehler bei schriftlichen Rechenverfahren – Diagnose und Therapie, Freiburg 1982. HATTIE, J./BEYWL, W./ZIERER, K.: Lernen sichtbar machen, Baltmannsweiler 2013. HORIZON PROJECT: Horizon Report. http://www.nmc.org/horizon-project, letzter Abruf Mai 2013. LOCKYER, L./DAWSON, S.: Where Learning Analytics Meets Learning Design, in: Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), New York, USA 2012, S. 14-15. PADBERG, F.: Didaktik der Arithmetik: Für Lehrerausbildung und Lehrerfortbildung: Mathematik Primar- und Sekundarstufe, 3. Aufl.,Heidelberg 2005. SCHÖN, M./EBNER, M./KOTHMEIER, G.: It's Just About Learning the Multiplication Table, in: Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), New York, USA 2012, S. 73-81. SIEMENS, G.: Elearnspace, 2010, abrufbar unter:http://www.elearnspace.org/ blog/2010/08/25/what-are-learning-analytics/(letzter Abruf Mai 2013). SIEMENS, G.: LAK 11, 2011, abrufbar unter: https://tekri.athabascau.ca/analytics/about (letzter Abruf Mai 2013). SIEMENS, G.: Slideshare, 2013, abrufbar unter: http://de.slideshare.net/gsiemens/columbia-tc (letzter Abruf Mai 2013). SIEMENS, G./BAKER, R. S. J.: Learning Analytics and Educational Data Mining: Towards Communication and Collaboration, in: Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), New York, USA 2012, S. 252-254. SIEMENS, G./LONG, P.: Penetrating the Fog: Analytics in Learning and Education. EDUCAUSE Review, vol. 46, no. 5, 2011. TARAGHI, B./ALTMANN, T./EBNER, M.: The World of Widgets – An Important Step towards a Personalized Learning Environment, in: Proceedings of the The PLE Conference 2011, S. 1-8. TARAGHI, B./EBNER, M./KROELL, C.: Personal Learning Environment – Generation 2.0, in: Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications 2012, S. 1828-1835, Chesapeake, VA, USA 2012.

Handbuch E-Learning

48. Erg.-Lfg. August 2013

19

3.24

Learning Analytics

TARAGHI, B./EBNER, M.: Personal Learning Environment, in: HOHENSTEIN, A./WILBERS, K. (Hrsg.): Handbuch E-Learning, 43. Erg.-Lfg., Köln: 2012, Beitrag 5.16.1. VATRAPU, R./TEPLOVS, C./FUJITA, N./BULL, S.: Towards Visual Analytics for Teachers' Dynamic Diagnostic Pedagogical Decision-Making, in: Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK '11), New York, USA 2011, S. 93-98.

20

48. Erg.-Lfg. August 2013

Handbuch E-Learning

Sign up to vote on this title
UsefulNot useful