Qualitativ orientierte Evaluationsforschung im Kontext virtuellen Lehrens und Lernens

Inhaltsverzeichnis

Einleitung

1. Theoretische Überlegungen zu Evaluation und Evaluationsforschung
1.1. Evaluation: Versuch einer Begriffsklärung
1.2. Evaluation vs. Evaluationsforschung
1.3. Grundlagenforschung, anwendungsorientierte Forschung und Evaluationsforschung – Abgrenzung und Gemeinsamkeiten
1.4. Evaluationstheorien und Theorien zur Evaluationsforschung
1.5. Historische Entwicklung einer qualitativ orientierten Evaluationsforschung

2. Vor- und Nachteile jeweils quantitativ oder qualitativ orientierter Forschungsmethoden
2.1. Vorzüge und Nachteile einer quantitativen Forschungsmethodologie
2.2. Stärken und Schwächen qualitativ orientierter Forschungsansätze
2.3. Die Verbindung quantitativer und qualitativer Methoden – „Mixed-Methods“-Ansätze in der Sozialforschung
2.4. Ein Plädoyer für „Mixed-Methods“-Ansätze bei der Evaluation virtuellen Lernens

3. Theoretische Grundlegungen für die praktische Umsetzung eines „Mixed- Methods“-Konzeptes zur Evaluation zweier Forschungsprojekte im virtuellen Lehr- und Lernkontext
3.1. Akademische Lehr- und Lernformen mit virtuellen Anreicherungen
3.2. Ein heuristisches Kompetenzmodell der Virtuellen Medien
3.3. Didaktische Modellierung des Lehrens und Lernens mit virtuellen Medien
3.4. Spezifische Probleme des Evaluierens virtueller Lehr- und Lernformen
3.4.1. Die Frage der Legitimation
3.4.2. Schwierigkeiten bei der Operationalisierung der Variablen ‚Lernerfolg’
3.4.3. Die Komplexität des Lehr- und Lerngeschehens
3.4.4. Das Problem floriden technischen Fortschritts
3.4.5. Ungünstige kontextuelle Bedingungen für Erhebungen
3.4.6. Das Problem mangelhafter Zieldefinitionen vor Beginn der Evaluationsstudien

4. Angewandte Evaluationsforschung im Kontext akademischen Lehrens und Lernens
4.1. Evaluationsansatz und konkrete Umsetzung im Projekt „Virtualisierung im Bildungsbereich“ (VIB)
4.2. Design der Evaluation für das Online-gestützte Weiterbildungsprojekt „Informations Technology Online“ (ITO)
4.3. Quantitativ orientierte Methoden und Instrumente für die Evaluation in den beiden Projekten „Virtualisierung im Bildungsbereich“ und „Informations Technology Online“
4.4. Qualitativ orientierte Methoden und Instrumente für die Evaluation in den beiden Projekten „Virtualisierung im Bildungsbereich“ und „Informations Technology Online“

5. Ergebnisse und Erkenntnisse aus den beiden (teil-) virtualisierten Projekten VIB und ITO
5.1. Auswahl von Ergebnissen aus dem Verbundprojekt „Virtualisierung im Bildungsbereich“ (VIB)
5.1.1. Hinweise auf eine empirische Evidenz unseres Medienkompetenz-Modells
5.1.2. Veränderungen der Medienkompetenz bei Studierenden
5.1.3. Veränderungen der Medienkompetenz bei Mitarbeiterinnen und Mitarbeitern
5.1.4. Weitere Resultate zur akademischen Medienkompetenz
5.1.5. Wirkungen der in den virtuellen Seminaren eingesetzten neuen Medien
5.1.6. Motivationale Ausgangslage beim Arbeiten mit virtuellen Medien
5.1.7. Prozessevaluierung des Projektes VIB
5.1.8. Zusammenfassung und Bewertung der wesentlichen Evaluationsergebnisse aus dem Projekt „Virtualisierung im Bildungsbereich“ (VIB)
5.2. Auswahl von Ergebnissen aus dem Projekt „Informations Technology Online“ (ITO)
5.2.1. Implikationen aus den formativen Evaluationsaktivitäten
5.2.2. Stichprobe und Erhebungsmethoden der Evaluation
5.2.3. Voraussetzungen der Studierenden in ITO
5.2.4. Aspekte der Motivation
5.2.5. Emotionen beim Lernen und Arbeiten mit Multi- oder Telemedia
5.2.6. Engagement der Studierenden
5.2.7. Die Kommunikation in virtuell angereicherten Veranstaltungen
5.2.8. Studentische Beurteilung der virtuellen Veranstaltungen im Projekt ITO.
5.2.9. Geschlechtsspezifische Aspekte des Lernens im Projekt
5.2.10. Beurteilung der virtuellen Additive durch die Studierenden
5.2.11. Bewertung des Pilotprojektes „Hot Topics in Information Technology“
5.2.12. Gesamtbewertung des Projektes ITO aus Sicht der begleitenden Evaluation
5.3. Erkenntnisse über eine potentielle Bereicherung und qualitative Aufwertung der akademischen Lehre durch den Einsatz virtueller Medien

6. Ausblick: „Blended Evaluation“ als Antwort auf die aktuelle Entwicklung des Lehrens und Lernens mit neuen Medien
6.1. „Blended-Learning“-Ansätze als pragmatische Variante virtueller Lehr- und Lernkonzepte
6.2. „Blended Evaluation“ – oder: Desiderata zukünftiger Evaluationsdesigns für virtualisierte Lehr- und Lernszenarien
6.2.1. Berücksichtigung verschiedener Perspektiven (Multiperspektivität)
6.2.2. Gebrauch verschiedener methodischer Werkzeuge (Multimethodologie)
6.2.3. Einbeziehung verschiedener Orientierungen (Multidimensionalität)

Literaturverzeichnis

Abbildungsverzeichnis

Verzeichnis der Zitate

Anhang

Einleitung

Die vorliegende Arbeit entstand im Rahmen zweier Forschungsprojekte, die eine gelingende Integration neuer Medien in die akademische Lehre zum Ziel hatten. Der Verfasser war in seiner Funktion als wissenschaftlicher Mitarbeiter mit der begleitenden Evaluation beider Projekte betraut.

Konkret handelte es sich einmal um das Projekt „Virtualisierung im Bildungsbereich“ (VIB), das als Teilprojekt der ‚Virtuellen Hochschule Baden- Württemberg’ mit der Entwicklung und Erprobung der Möglichkeiten und Auswirkungen des Einsatzes elektronischer Informations- und Kommunikationstechniken an den Pädagogischen Hochschulen des Landes betraut war. Das zweite Projekt „Informations Technology Online“ (ITO), welches vom Bundesministerium für Forschung und Technologie gefördert wurde, widmete sich dem Aufbau eines umfangreichen und durch Multimedia- und Internettechnologien unterstützten Lehr- und Lernangebotes im Umfeld internationaler Studiengänge der Fachrichtungen Elektrotechnik, Informationstechnik und Informatik.

Erwartet wurde vom wissenschaftlichen Personal der Evaluationsaktivitäten, dass für beide Projekte zeitnah und dennoch zuverlässig Daten zur Verfügung gestellt werden, welche als Feedback zur Optimierung und Weiterentwicklung der innovativen Ansätze beitragen sollten. Eine nicht einfach sich darstellende Aufgabe, bedenkt man die organisatorische und damit verbunden geographische Gesamtsituation, die den Projekten vorgegebene Zeitschiene und die noch dürftige Erkenntnislage in Bezug auf die Nutzung neuer Medien in der Bildungslandschaft. Für das noch junge Betätigungsfeld der Evaluationsdisziplin in diesem Feld gab es zur Zeit der Projektstarts wenig theoretisch Fundiertes. Folglich mussten geeignete hypothetische Modelle, Methoden und taugliche Erhebungs- und Auswertungsinstrumente selbst entwickelt werden.

In meiner Arbeit versuche ich, den methodischen Herausforderungen einer begleitenden Evaluation ebenso gerecht zu werden wie den zu erforschenden inhaltlichen Fragestellungen was den Umgang mit den virtuellen Medien in der akademischen Lehre angeht.

Hierzu ist zunächst viel Begriffliches zurecht zu rücken und einzuordnen. So geschehen in Kapitel 1, das sich auf der methodenorientierten Seite mit Definitionen und Abgrenzungen für grundlegende Begriffe aus der Evaluationsforschung beschäftigt und Auskunft über die Verortung des Standortes des Verfassers gibt.

Nach diesen begrifflichen Klärungen geht es im folgenden Kapitel zunächst allgemein um eine eingehende theoretische Auseinandersetzung mit den jeweiligen Vorzügen und Nachteilen einer rein quantitativen oder ausschließlich qualitativen Forschungsmethodologie. Resümierend und dem Titel meiner Arbeit folgend möchte ich für eine sinnvolle Verbindung beider Ansätze ganz im Sinne sogenannter „Mixed-Methods“-Konzepte plädieren.

Auf der inhaltlichen Seite widmet sich Kapitel 3 den der Unterstützung und Strukturierung von Erhebungs- und Auswertungsschritten bei der Evaluation des virtualisierten Lehrens und Lernens dienenden heuristischen Modellen. Darunter ein hierarchisch aufgebautes Kompetenzmodell der Virtuellen Medien, welches den zentralen Begriff der Medienkompetenz auf fünf Ebenen differenziert abbildet und damit zur Gewinnung aussagekräftiger Daten hinsichtlich der Entwicklung der Medienkompetenz bei Studierenden wie Lehrenden in virtuell angereicherten Seminaren beigetragen hat. Ein didaktisch-heuristisches Modell des Lernens mit neuen Medien eignet sich zur Darstellung der verschiedenen Einflussgrößen auf die Lehr- und Lernprozesse und die Verortung der akademischen Medienkompetenz in virtuellen Lehr- und Lernszenarien.

Die theoretisch entwickelten Grundlagen für eine solche Verbindung im Rahmen eines „Mixed-Methods“-Konzeptes zur Evaluierung virtueller Lehr- und Lernszenarien werden in Kapitel 4 in ihrer praktischen Umsetzung dargestellt. Dabei wird umfangreich auf die Evaluationsansätze aus den beiden Projekten, deren zentrale Fragestellungen und die daraus abgeleiteten Schwerpunkte der Evaluation sowie das bei den Erhebungen und Auswertungen eingesetzte und theoriegeleitet entwickelte methodische Instrumentarium eingegangen.

Kapitel 5 stellt den Versuch dar, aus dem mit Hilfe dieses Instrumentariums zusammen getragenen und ausgewerteten umfangreichen Datenpool die wesentlichsten Resultate auszuwählen, diese anschaulich und verständlich darzustellen und analog der jeweiligen Evaluationsaufträge zu bewerten. Die interessantesten übertragbaren Erkenntnisse über eine potentielle Bereicherung und qualitative Aufwertung der akademischen Lehre durch den Einsatz der neuen Medien wie auch die wesentlichsten Voraussetzungen für ein gelingendes Lehren und Lernen mit diesen neuen Medien finden sich im letzten Abschnitt dieses Kapitels.

Ein abschließender Ausblick im letzten Kapitel der Arbeit streift die Möglichkeit, den besonderen Herausforderungen innovativer akademischer

„Blended-Learning“-Konzepte für die begleitenden Evaluationen zukünftig mit

– von mir so bezeichneten – qualitativ orientierten „Blended Evaluation“- Designs zu begegnen. Derlei moderne Evaluationsdesigns zeichnen sich durch die Berücksichtigung verschiedener Perspektiven (Multiperspektivität), durch den Gebrauch verschiedener methodischer Werkzeuge (Multimethodologie) und die Einbeziehung verschiedener Orientierungen (Multidimensionalität) aus und können dadurch wichtige Anregungen für eine Fortentwicklung der Evaluationsforschung im Feld des virtuellen Lehrens und Lernens geben.

“To say, that there are as many definitions as there are evaluators is not so far”

(Franklin & Trasher)

1. Theoretische Überlegungen zu Evaluation und Evaluationsforschung

1.1. Evaluation: Versuch einer Begriffsklärung

Mit obigem Zitat von Franklin & Trasher aus dem Jahre 1976 (Franklin & Trasher 1976, S. 20 – siehe Verzeichnis der Zitate) wird auf relativistische Weise der Versuch unternommen, dem Begriff der Evaluation definitorisch näher zu kommen. Dieser Haltung entsprechend würde sich Evaluation begrifflich überhaupt nicht oder aber nur in sehr eingeschränktem Umfang fixieren lassen. Dass es sich beim Terminus der Evaluation um einen vieldiskutierten Begriff (Reischmann 2003, S. 18), um einen Begriff mit einer schillernden Vielfalt von assoziativen Vorstellungen (Wottawa & Thierau 1998, S. 13) oder um ein vielschichtiges Konstrukt (Balzer, Frey & Nenninger 1999, S. 393) handeln muss, wird bei der Lektüre der einschlägigen Evaluationsliteratur relativ schnell klar. Diese oft zitierte Vielschichtigkeit und der begriffliche Facettenreichtum ist verschiedenen Faktoren zuzuschreiben. So handelt es sich im angloamerikanischen Sprachgebrauch bei den Wörtern „evaluation“ oder „to evaluate“ zunächst einmal nicht um Fachbegriffe sondern schlicht um alltägliche Bezeichnungen von „Bewertung“ oder „bewerten“. Bei Übersetzungen hat dieser Umstand schon des öfteren zu Missverständnissen geführt (Reischmann 2003, S. 18). Des weiteren haben unterschiedliche Wurzeln von Evaluationsaktivitäten etwa in der Curriculumevaluation, der Evaluation sozialer Programme, der Evaluation therapeutischer Maßnahmen oder der Evaluation im Kontext von Betrieben und Organisationen zu dieser Vielfalt beigetragen (Rost 2000, S. 19). Oder aber die verschiedensten Anwendungskontexte, Aufgabenstellungen oder Rahmenbedingungen (Heiner 2001, S. 481) von Evaluationen. Darüber hinaus gibt es eine ganze Reihe dem Evaluationsbegriff ähnlicher oder verwandter Termini wie etwa Erfolgskontrolle, Effizienzforschung, Organisationsentwicklung (zum Verhältnis von Evaluation und Organisationsentwicklung siehe auch Hennen & Häuser 2002), Controlling, Wirkungskontrolle oder Qualitätskontrolle (zu Qualitätsmanagement und Evaluation siehe Stockmann 2002, S. 209-243).

Definitionen für ‚Evaluation’ finden sich reichlich und sie erstrecken sich von alltagsorientierten bis hin zu wissenschaftlich begründeten und von sehr allgemein gehaltenen bis hin zu sehr spezifischen Beschreibungen dieses Fachbegriffes. So kann Evaluation in einem sehr weit gefassten Alltagsverständnis bedeuten, dass „irgend etwas von irgend jemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet“ wird (Kromrey 2001a, S.21). Oder es geht bei einer Evaluation schlicht um „jegliche Art der Festsetzung des Wertes einer Sache“ (Scriven 1980, S. 19). Einer sehr umfangreichen Beschreibung folgend, handelt es sich bei Evaluationen um „datenbasierte, methodisch angelegte und an Gütekriterien überprüfbare Beschreibungen und Bewertungen von Programmen, Projekten und Maßnahmen, die unter Berücksichtigung des jeweiligen politischen Kontextes systematisch darauf abzielen, zu einer rationaleren Entscheidungsfindung und zu einer Verbesserung der Problemlösungsansätze beizutragen“ (Heiner 2001, S. 483).

Heinrich Wottawa und Heike Thierau (1998, S. 14) verzichten in ihrem

‚Lehrbuch Evaluation’ darauf, der bestehenden Vielfalt an Definitionsversuchen zum Begriff Evaluation einen weiteren hinzuzufügen. Stattdessen halten sie es für zweckmäßiger, allgemeine Kennzeichen wissenschaftlicher Evaluationen herauszuarbeiten. Evaluationen haben demnach immer etwas mit „Bewerten“ zu tun, sind ziel- und zweckorientiert und setzen bei ihrer Durchführung die Anwendung wissenschaftlicher Techniken und Forschungsmethoden voraus:

Abbildung in dieser Leseprobe nicht enthalten

Auf diese von Wottawa und Thierau herausgearbeiteten drei Kernelemente wissenschaftlicher Evaluationen soll nun im Einzelnen kurz eingegangen werden.

Das Evaluationen immanente Kriterium einer Bewertung kann sich sowohl auf das Konzept, den Untersuchungsplan, die Implementierung oder den Nutzen (vgl. Rossi & Freeman 1993, S. 96) und damit den Erfolg oder Misserfolg eines entsprechenden Interventionsprogrammes, einer Maßnahme oder allgemeiner von „Gegenständen der sozialen Wirklichkeit“ (Beywl & Schepp-Winter 2000, S. 17) beziehen.

Abbildung in dieser Leseprobe nicht enthalten

Durch den Hinweis auf eine Ziel- und Zweckorientierung von Evaluationen soll zum Ausdruck gebracht werden, dass es um eine wissenschaftlich gestützte Überprüfung der Wirksamkeit von Maßnahmen geht. Ergebnisse aus Evaluationsstudien bilden oft die Grundlage für teils weitreichende Entscheidungen in den verschiedensten Feldern etwa der Politik (Evaluation von Entwicklungs- oder Forschungspolitik), der Bildung (Lehrevaluation, Medienevaluation) oder des Sozialsystems (Evaluation sozialer Dienstleistungen).

Dass Evaluationsstudien dem aktuellen Stand der Wissenschaft genügen sollen ist nicht zuletzt die Folge eines wachsenden wissenschaftlichen Anspruches innerhalb der Evaluationsforschung (vgl. Moosbrugger & Schweizer 2002, S. 21). Der Forderung von Suchman (1967) nach einer expliziten Verwendung wissenschaftlicher Methoden und Techniken in Evaluationsstudien folgten eine Vielzahl von Bestrebungen zur Verbesserung der Evaluationspraxis. So ist die Fachdiskussion der letzten Jahre hierzulande bestimmt durch Auseinandersetzungen um Gütemerkmale von Evaluationen (Breuer & Reichertz 2001), um Kriterien guter respektive erfolgreicher Evaluationen (Stockmann 2004; Balzer 2004) oder um Standards für Evaluationen (Sanders 2000; Deutsche Gesellschaft für Evaluation 2002). Wissenschaftlichkeit bei der Durchführung von Evaluationen impliziert aber auch eine systematische Vorgehensweise bei der Anwendung von Prozeduren der empirischen Sozialforschung (vgl. Rossi & Freeman 1993, Sanders 2000; Schweizer & Mossbrugger 2002) und – in zunehmendem Maße - auch die Einbeziehung qualitativer Forschungsmethoden in die Evaluationsdesigns.

Abbildung in dieser Leseprobe nicht enthalten

Meiner Arbeit in zwei Evaluationsprojekten zur Nutzung neuer Medien in der akademischen Bildung folgend möchte ich eine pragmatische Definition der Autoren Beywl und Schepp-Winter (2000, S. 17) in modifizierter Form zugrunde legen. Demnach ist unter Evaluation eine systematische und auf vorliegenden oder neu erhobenen Daten beruhende Beschreibung und Bewertung von Gegenständen im Felde virtuellen Lehrens und Lernens zu verstehen. Diese Beschreibung und Bewertung von Gegenständen hat auf der Grundlage wissenschaftlicher Methoden zu erfolgen.

Abbildung in dieser Leseprobe nicht enthalten

1.2. Evaluation vs. Evaluationsforschung

Folgt man Maja Heiner, so werden in deutschsprachigen Lehrbüchern zur Evaluation die beiden Begriffe „Evaluation“ und „Evaluationsforschung“ meist synonym verwendet (Heiner 2001, S. 481). Wottawa & Thierau als Autoren des wohl bekanntesten Standardwerks zur Evaluation im deutschsprachigen Raum konstatieren auch, dass sich Systematisierungsversuche mit Ansätzen einer differenzierten Betrachtung von Evaluation und Evaluationsforschung (Suchman 1967) bzw. Evaluation, Programmevaluation und Evaluationsforschung (Abramson 1979) nicht haben durchsetzen können (Wottawa & Thierau 1998, S. 13). Analog dieser Feststellung finden sich auch in der amerikanischen Evaluationsliteratur synonyme Verwendungen dieser Begriffe. So schreiben Rossi & Freeman, zwei exponierte Vertreter der Evaluationsszene, zu Beginn des ersten Kapitels ihres Standardwerkes

‚Evaluation – A Systematic Approach’: „We begin this volume with a simple definition of evaluation, or evaluation research (we will use the terms interchangeable)“ (Rossi & Freeman 1993, S.5). Demnach halten sie die Anwendung der beiden Begriffe schlicht für austauschbar. Bortz & Döring erwähnen in ihrem Buch ‚Forschungsmethoden und Evaluation’ den Begriff „Evaluation“ erst gar nicht und befassen sich ausschließlich mit dem Terminus „Evaluationsforschung“ (Bortz & Döring 1995, S. 95 ff).

Dennoch möchte ich versuchen, die beiden Begriffe voneinander abzugrenzen. Wesentliche Kriterien zur Charakterisierung des Begriffes der Evaluationsforschung erscheinen mir der Grad der Wissenschaftlichkeit bei der Planung und Durchführung von Evaluationen und die Bereitschaft zu einer kritischen Würdigung sowohl des Evaluationsdesigns und der eingesetzten Methoden als auch der anhand der erhobenen und ausgewerteten Daten gefällten Werturteile im aktuellen Wissenschaftsdiskurs. In diesem Tenor fordern Bortz und Döring, dass Evaluationsforschung solchen wissenschaftlichen Kriterien genügen muss, die auch sonst für empirische Forschungsarbeiten gelten. Es darf ihrer Auffassung nach nicht sein, dass die wissenschaftlichen Standards empirischer Forschung zugunsten einer „auftraggeberfreundlichen“ Untersuchungsanlage oder Berichterstattung aufgegeben werden (Bortz & Döring 1995, S.96). Auch Helmut Kromrey, der „Evaluationsforschung in erster Linie als Wirkungsforschung versteht, sieht die Evaluation selbst als wertneutrale technologische Aussage, die aus dem Vergleich von beobachteten Veränderungen mit den vom Programm angestrebten Effekten (den Programmzielen) besteht“ (Kromrey 2000a, S. 235). Er geht davon aus, dass im Rahmen von Evaluationsforschung wissenschaftliche Gütekriterien so weit wie möglich eingehalten und Evaluationsdesigns realisiert werden,

„die methodisch unstrittige Zurechnungen von Effekten zu Programmelementen durch Kontrolle der relevanten Randbedingungen“ (Kromrey 2000a, S. 235-236) erlauben. Für Moosbrugger und Schweizer erlaubt die Kombination von wissenschaftlicher Methodik und Evaluation, zwischen Evaluation und Evaluationsforschung zu unterscheiden. Sie sehen in der Evaluation (ohne –forschung) in der Regel einen Bewertungsprozess, in welchem der Wert eines Produktes, einer Maßnahme oder eines Programms beurteilt und gegebenenfalls auch nur behauptet wird. Die Evaluationsforschung hingegen stehe ihrer Auffassung nach für eine Optimierung der Überprüfung von Maßnahmen, bei der wissenschaftliche, datengestützte Verfahren zur empirischen Untermauerung der Beurteilung Verwendung finden. Unter Hinweis auf Rossi und Freeman (1993) assoziieren sie Evaluationsforschung mit der systematischen Anwendung von Prozeduren der empirischen Sozialforschung (Mossbrugger & Schweizer 2002, S. 20). Ebenso sieht es Jürgen Bengel, für den Evaluationsforschung ein anwendungsorientierter Forschungszweig mit Schwerpunkt in den Sozialwissenschaften ist, der wissenschaftliche Methoden und Techniken zur Bewertung von Maßnahmen mit dem Ziel einsetzt, den Nutzen oder Schaden dieser Maßnahmen empirisch aufzuzeigen. Dadurch könne Evaluationsforschung zu einer rationaleren Planung und Entscheidungsfindung beitragen (Bengel 1999, S. 4).

Ich möchte den genannten Versuchen zur Begriffsabgrenzung eine erweiterte eigene Definition hinzufügen. Dem gemäß ist für mich kontrastierend zum Evaluationsbegriff dann von Evaluationsforschung zu sprechen, wenn zur Durchführung von Beschreibungen und Bewertungen (Evaluationen) neben dem Einsatz gängiger empirischer Methoden auch eigene Erhebungsinstrumente entwickelt oder angepasst werden, wenn bereits bestehende Erhebungsinstrumente in anderen Kontexten erprobt und validiert werden und wenn das methodische Vorgehen in allen Phasen einer Evaluationsstudie wissenschaftlich thematisiert und kritisch reflektiert wird. Die Auswahl, der Einsatz, das Entwickeln und die Anpassung der jeweiligen Erhebungsinstrumente hat in der Evaluationsforschung theoriegeleitet zu erfolgen.

1.3. Grundlagenforschung, anwendungsorientierte Forschung und Evaluationsforschung – Abgrenzung und Gemeinsamkeiten

In der sozialwissenschaftlichen Grundlagenforschung geht es vor allem um die Produktion und Vermehrung möglichst allgemeingültigen Wissens und um die verallgemeinerbare Beschreibung und Erklärung sozialer Sachverhalte und Zusammenhänge. Bei einer solchen Generierung theoretischen Grundlagenwissens wird nicht nach einem erzielbaren Nutzen oder potenziellen Anwendungsmöglichkeiten der gewonnenen Forschungsergebnisse gefragt. Die Auswahl der jeweiligen Forschungsthemen begründet sich aus vorhandenen Lücken im aktuellen Wissensbestand oder aus erkennbaren Widersprüchen zwischen einzelnen Wissensbestandteilen. Maßstab aller Entscheidungen der wissenschaftlich arbeitenden Menschen in der Grundlagenforschung sind die Fragestellungen der Untersuchung und die Sicherung der Gültigkeit der Resultate. Hierzu ist die Untersuchung so anzulegen und durchzuführen, dass präzise Aussagen zu dem erforschten Sachverhalt möglich werden. Die Ergebnisse von Grundlagenforschungen müssen – etwa durch Veröffentlichungen in einschlägigen Fachzeitschriften - zeitnah anderen Wissenschaftlern zugänglich gemacht werden und einem kritischen Diskurs unter Fachkollegen und –kolleginnen standhalten können (vgl. hierzu Kromrey 2000b, S. 19f).

In der anwendungsorientierten Forschung orientieren sich die Forschungsfragen an den Bedürfnissen der Praxis. Es geht demnach in erster Linie um die Produktion von Wissen für den praktischen Gebrauch, d.h. die herausgearbeiteten Befunde müssen auf einen aktuellen Fall oder mehrere aktuelle Fälle anwendbar sein. Wenngleich anwendungsorientierte Forschung und Grundlagenforschung von der gleichen Methodologie ausgehen, können diese unterschiedlichen Aufgabenstellungen ein Abweichen von methodischen Prinzipien und damit ein bisweilen pragmatischeres empirisches Vorgehen begründen. Etwa dann, wenn durch ein rigoroses und prinzipientreues Vorgehen die Resultate zu spät zustande kommen würden oder wenn durch die Forschungstätigkeiten das zu untersuchende Programm behindert oder beeinträchtigt werden könnte. Die Forschungsbefunde aus anwendungsorientierten Projekten sind in der Regel weniger vor Fachkollegen als vor den Auftraggebern zu rechtfertigen, wobei dabei mehr die Praxisrelevanz der Ergebnisse als die Präzision und Allgemeingültigkeit der Aussagen im Vordergrund stehen dürften (vgl. ders., S. 20).

Die Evaluationsforschung als das bedeutendste Feld anwendungsorientierter Sozialforschung unterscheidet sich von der Grundlagenforschung im Wesentlichen durch ihren Fokus auf die unmittelbare Brauchbarkeit ihrer Ergebnisse. In den Worten von Shadish, Cook und Leviton (1991, S. 47f) klingt dies so: „The primary and essential difference between evaluation and basic research concerns utilization.“ Unter ‚utilization’ oder ‚Nützlichkeit’ soll verstanden werden, dass sich eine Evaluation an den Informationsbedürfnissen der vorgesehenen Evaluationsnutzer, also der Beteiligten und Betroffenen (‚Stakeholder’) ausrichten soll. So jedenfalls hat es das „Joint Committee on Standards for Educational Evaluation“ in seinem Handbuch der Evaluationsstandards unter den sogenannten ‚Nützlichkeitsstandards’ festgehalten (Sanders 2000, S. 47). Während die Grundlagenforschung damit beschäftigt ist, relativ zweckfrei nach Erkenntnissen zu streben (Stockmann 2000b, S. 12) und grundlegendes Wissen zu produzieren, agiert die Evaluationsforschung – wie die anwendungsbezogene Forschung auch - in einem Kontext konkreten Handelns. Und in diesem Kontext kann sie sich ihre Fragestellungen bestenfalls in begrenztem Umfange selbst wählen, vielmehr muss es ihr um eine möglichst eindeutige und verständliche Beantwortung der vom Auftraggeber vor Projektbeginn gestellten Evaluationsfragen gehen. Bei der Beantwortung der Evaluationsfragen ist die Evaluationsforschung stets angehalten, die gewonnenen Forschungsergebnisse nicht nur darzustellen sondern auch zu bewerten. Bewertungen sind, das haben schon die Begriffsbestimmungen gezeigt, essentieller Bestandteil von Evaluationen und damit Teil des jeweiligen Forschungsauftrages. Die Grundlagenforschung hingegen sollte sich solcher normativer Urteile so weit als möglich enthalten, wenngleich auch im Feld der Grundlagenforschung nicht selten Auftraggeberinteressen zu wertenden Stellungnahmen in wissenschaftlichen Arbeiten führen können (zur Werturteilsproblematik und Forschungsethik siehe Diekmann 1996, S. 61ff.). Wie im vorigen Abschnitt bereits erwähnt sollten die in der Evaluationsforschung zur Anwendung kommenden Methoden nicht nur angewandt und gegebenenfalls weiterentwickelt, sondern darüber hinaus ebenso im Kreise der Fachkolleginnen und -kollegen wissenschaftlich thematisiert werden wie das dem Forschungsprojekt zugrunde liegende Forschungsdesign.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Vergleich von Grundlagenforschung, anwendungsorientierter Forschung und Evaluationsforschung

1.4. Evaluationstheorien und Theorien zur Evaluationsforschung

Wenn man unter einer Theorie ein „System logisch widerspruchsfreier Aussagen (Sätze, Hypothesen) über den jeweiligen Untersuchungsgegenstand mit den zugehörigen Definitionen der verwendeten Begriffe“ (Kromrey 2000b, S. 48) versteht, dann tut man sich schwer, eine Theorie oder Theorien der Evaluation zu finden. Das dürfte nicht nur mit der Komplexität des Forschungs- und Betätigungsfeldes der Evaluation oder Evaluationsforschung zusammenhängen, komplex und vielschichtig sind auch viele andere Bereiche empirischer Wissenschaften, die durchaus über eine reichhaltige theoretische Basis verfügen können. Möglicherweise ist das Feld der Evaluation und auch der Evaluationsforschung noch zu jung und hat sich bisher weniger als eigenständige wissenschaftliche Disziplin sondern eher „quer“ zu den verschiedensten Anwendungen wissenschaftlicher Forschung (vgl. König 2000, S.34) verstanden. Dadurch wurde es versäumt, die theoretische Verankerung in ausreichendem Maße voranzutreiben. Guba hat schon 1969 von einem „lack of evaluation theory“, einem Mangel an theoretischer Fundierung der Evaluation gesprochen (vgl. Guba 1969). Und daran hat sich trotz vielfältiger Bemühungen um Standardisierung und Qualitätsverbesserung (siehe „The Program Evaluation Standards“ des ‚Joint Committee on Standards for Educational Evaluation’, in Sanders 2000 und „Guiding Principles for Evaluators“ der ‚American Evaluation Association’, in AEA 1995) sowie einer jahrzehntelangen – einem „kalten Krieg in der Evaluation“ (Lee 2000, S. 141) ähnelnden – Auseinandersetzung um verschiedene paradigmatische Ausrichtungen der Evaluation (siehe nächstes Kapitel) ganz offensichtlich nicht viel geändert.

Bei einer Ausdifferenzierung des Theoriebegriffes in wissenschaftliche und technologische Theorien dürfte der Schwerpunkt theoretischer Arbeit in der Evaluation wie auch Evaluationsforschung auf der Generierung technologischer Theorien liegen. Während wissenschaftliche Theorien der Beschreibung, Erklärung und Vorhersage von Sachverhalten dienen und somit Gegenstand der Grundlagenforschung sind, geben technologische Theorien konkrete Handlungsanweisungen zur praktischen Umsetzung wissenschaftlicher Theorien und fallen in den Aufgabenbereich der angewandten Forschung (vgl. Bortz 1995, S. 99f.). Evaluationsforschung hat kraft seines Betätigungsfeldes zur Durchführung von Beschreibungen und Bewertungen den Anforderungen von Theorie und Praxis zu genügen (vgl. Moosbrugger & Schweizer 2002, S. 23) und muss auf der Basis technologischer Theorien empirische Methoden und Instrumente entwickeln, anpassen, anwenden und kritisch reflektieren.

Ferenszkiewicz (1994, S. 163) identifiziert in Anlehnung an Gruschka (1976) drei zugrundeliegende Theorien für den Bereich theorieorientierter Evaluationen:

- die Verhaltenstheorie im Hinblick darauf, dass bei der Evaluationsforschung immer eine Intervention Gegenstand der Untersuchung ist (vgl. Moosbrugger & Schweizer 2002, S. 22) und es gilt, die durch die Intervention hervorgerufenen Verhaltensänderungen zu messen
- die Entscheidungstheorie für die Generierung von Datensätzen, die zur Entscheidungsvorbereitung beitragen sollen, und
- die Handlungstheorie, wenn an Forschungsplanung und -umsetzung sowie der anschließenden Verwertung der Ergebnisse die Betroffenen selbst beteiligt sein sollen.

Aufbauend auf diesen Basistheorien bestimmen die jeweiligen Anwendungsfelder der Evaluationsforschung deren theoretische Orientierung. So sind für den Untersuchungsgegenstand des virtuellen Lernens neben den theoretischen methodischen Konzepten unter anderen lerntheoretische Ansätze, didaktische Theorien, Instruktionstheorie und Theorien zur Medienwirkung relevant.

Sowohl bei den drei zugrundeliegenden Theorien wie auch den durch die jeweiligen Anwendungsbereiche konkreter Forschungsvorhaben der Evaluation bestimmten theoretischen Konzepten handelt es sich um Ansätze, die allesamt anderen Feldern der Empirie entlehnt sind. Um aber der Evaluationsforschung zukünftig eine eigene und von anderen Disziplinen unabhängige theoretische Basis zu verschaffen, schlägt Barbara Lee (2000, S. 158ff.) neun Komponenten einer Evaluationstheorie vor:

1. Evaluation als Beruf und Disziplin ist ein komplexer Prozess aus Programmen, Produkten, Verfahren, Präsentationen oder anderen Aktivitäten, welche der Wahrnehmung gesellschaftlicher Notwendigkeiten und der Beurteilung ihres Wertes oder Nutzens dienen.
2. Evaluation geschieht immer auf dem Hintergrund einer Sammlung von Informationen über das Evaluationsobjekt. Diese Informationen beinhalten qualitative, quantitative, deskriptive und empirische Daten und die Methoden müssen dem jeweiligen kulturellen Kontext angepasst werden.
3. Evaluation ist immer mit einem Werturteil verbunden und hat die Grundlage dieses Urteils klar herauszustellen.
4. Bei einer Evaluation handelt es sich mehr um einen interaktiven Prozess als um die schlichte Beschreibung der Sachkenntnis der Beteiligten und Betroffenen durch den Evaluator.
5. Das Evaluationsobjekt wird immer in seinem Kontext untersucht.
6. Evaluation ist während des gesamten Prozesses Einflüssen ausgesetzt und hat deshalb diese Einflüsse in ihrer Wirkung auf den Evaluationsprozess, auf das Umfeld und auf die Betroffenen und Beteiligten zu identifizieren.
7. Werturteile im Rahmen der Evaluation eines Programms sind oft (möglicherweise immer) einzigartig auf dem Hintergrund ihres spezifischen historischen, kulturellen und politischen Kontextes und im Hinblick auf die Besonderheiten der Menschen, die mit diesem Programm, Produkt oder einem anderweitigen Objekt der Evaluation erreicht werden sollen.
8. Evaluation findet in einem ethischen Rahmen statt, der die Pflicht zur
„wahrheitsgemäßen“ Beschreibung, einen offenen Umgang mit den Grenzen dieser Wahrheit und die Wahrung höchstmöglicher Unvoreingenommenheit beinhaltet.
9. Evaluation ist selbstbewusst, das heißt, sie begründet ihre Analyse und Bewertung auf der Basis eigener Theorien, Aktivitäten, Muster, Prozesse und Produkte.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Komponenten einer Evaluationstheorie (Lee 2000)

1.5. Historische Entwicklung einer qualitativ orientierten Evaluationsforschung

Während Heinrich Wottawa und Heike Thierau erste Evaluationsversuche bereits in der Urgesellschaft erkannten (Wottawa & Thierau 1998, S. 25), verortet Donna Mertens in Anlehnung an Madaus, Stufflebeam und Scriven (1983) die Ursprünge der Evaluation in den Vereinigten Staaten im 18. Jahrhundert (Mertens 2000, S. 42). Ich möchte mich, was die Datierung der Anfänge moderner Evaluationen angeht, an Egon Guba und Yvonne Lincoln (1989, S. 22ff) orientieren. Diese beiden Autoren charakterisieren die sukzessive Entwicklung der Evaluationsforschung in drei aufeinander folgenden Phasen („Generationen“), ausgehend vom Beginn des 20. Jahrhunderts und entwerfen mit Blick in die Zukunft einen Ansatz für ein jetzt angebrochenes Zeitalter der Evaluation, the „coming age of evaluation“ (Guba & Lincoln 1989, S. 21). Dabei steht für jede Phase oder Generation ein methodologisches Paradigma als kennzeichnendes Kriterium im Mittelpunkt des Interesses. Diese Entwicklung möchte ich im Folgenden kurz skizzieren.

1900 – 1930: Die Phase des Messens

Angeregt durch die Dominanz psychometrischer Erhebungen und deren Orientierung an der wissenschaftlichen Arbeitsweise der Naturwissenschaften benennen die Autoren Guba & Lincoln diese erste Phase professionellen Evaluierens folgerichtig als die Generation des Messens („The First Generation: Measurement“). So beschäftigte sich um die Jahrhundertwende Joseph Mayer Rice für das amerikanische Bildungswesen mit der Frage nach einer Quantifizierung von Schulleistungen, während zeitgleich Alfred Binet in Frankreich erste Intelligenztests entwickelte. Zuvor legte Wilhelm Wundt mit den Messungen in seinem psychometrischen Laboratorium an der Universität Leipzig in Deutschland das Fundament zur Begründung einer Psychologie als Wissenschaft.

1930 – 1960: Die Phase des Beschreibens

Nachdem Verfahren zur Messung individueller (Leistungs-)Unterschiede in den vergangenen Jahrzehnten verfeinert und perfektioniert wurden, schlug dann die Stunde der Generation des Beschreibens („The Second Generation: Description“). Den Ausschlag dafür gab die Erkenntnis, dass bei den Evaluationen im amerikanischen Bildungswesen das wissenschaftliche Augenmerk ausschließlich auf die Schüler und Schülerinnen oder die Studierenden gerichtet wurde. Für eine begleitende Evaluation dringend notwendig erachteter drastischer Veränderungen bestehender Curricula an Schulen und Universitäten des Landes erschien ein derartiges Vorgehen nicht tauglich. Vielmehr mussten neue Lehrpläne entwickelt, verfeinert und ihre Wirksamkeit und ihr Zuschnitt durch Evaluationen so beschrieben werden, dass auch Fragen hinsichtlich der Kausalität beantwortet werden konnten. Ralph W. Tyler vom Büro für Bildungsforschung an der Ohio State University entwickelte hierfür Erhebungsverfahren, mit deren Hilfe festgestellt werden sollte, weshalb (oder weshalb nicht) die Studierenden das lernten, was ihre Professoren oder Professorinnen ihnen beizubringen beabsichtigten. Mit der Beschreibung von Programmen wie den Schulcurricula (Programmevaluation) wurde das Messen als Instrument der Evaluation in dieser Zeit nicht verdrängt, sondern lediglich um eine bedeutende Verfahrensoption erweitert.

1960 – 1990: Die Phase der Beurteilung

Als unter dem Eindruck des Sputnikschocks in Amerika sozial- und vor allem bildungspolitische Reformprogramme initiiert wurden, markierte der Ruf nach einer Erweiterung der dadurch ausgelösten Evaluationsaktivitäten um eine eindeutige Beurteilung der jeweiligen Evaluationsresultate die von Guba & Lincoln ausgemachte dritte Phase („The Third Generation: Judgment“). Dabei sollten nicht nur die Resultate, sondern darüber hinaus auch die Projektziele, die Abläufe und die möglichen Auswirkungen anhand vorgegebener Standards einer eingehenden Beurteilung unterzogen werden. Die dadurch veränderte Rolle der Evaluatoren als bewertende Gutachter („Judge“ in Guba & Lincoln 1989, S.30) erzeugte in einer sich der Wertfreiheit verpflichtet fühlenden Profession zunächst enorme Widerstände. Zumal Werturteile mit mittel- oder unmittelbaren Wirkungen auf politische Entscheidungen die beteiligten Evaluatoren nicht nur überfordern, sondern auch in enorme Schwierigkeiten bringen konnten. Anfang der 70er Jahre gehörte die Beurteilung dann aber zum integralen Bestandteil einer jeden Evaluation. Ob die Durchführung von Evaluationen im Rahmen neo- Tyleristischer Modelle wie Stake’s ‚Countenance Model’ (1967), entscheidungsorientierter Modelle wie etwa dem ‚CIPP-Model’ von Stufflebeam (1972) oder effektorientierter Evaluationsmodelle wie dem ‚Goal Free Model’ von Scriven (1973) geschah, in einer abschließenden Analyse musste immer auch eine Bewertung der Ergebnisse enthalten sein (vgl. Guba & Lincoln 1989, S. 30f).

1990 – heute: Die Phase des Aushandelns

Angesichts einer Reihe erkannter Mängel im Evaluationsgeschäft während dieser dritten Phase (vgl. Guba & Lincoln 1989, S. 31f und Kardorff 2000a, S. 242f), namentlich

- einer zunehmenden Tendenz ‚managerialistischer Logiken’ („Tendency toward Managerialism“ in Guba & Lincoln 1989, S.31)
- der Überbetonung des naturwissenschaftlichen Paradigmas in der Evaluationsforschung
- einer mangelnden Einbeziehung pluraler Werthaltungen (‚Wertepluralismus’)
- dem von Auftraggebern und Beteiligten häufig kritisierten zu geringen praktischen Nutzen und die oft legitimatorische Verwendung der Evaluationsergebnisse
- einer fehlenden Berücksichtigung der Anliegen, Meinungen und Ansprüche der Beteiligten (‚Stakeholder’) und deren geringe Partizipierungsmöglichkeiten
- dem Fehlen einer systematischen Einbeziehung subjektiver Theorien und Diskurse
- der fehlenden kommunikativen Responsivität der Verfahren (Stake 1997) legten Guba & Lincoln Anfang der 90er Jahre mit ihrer „Fourth Generation of Evaluation“ eine Konzeption qualitativer Evaluationsforschung vor, die einigen der aufgezählten Problembereiche gerecht zu werden versucht. Ausgehend von der Erkenntnis, dass eine von den Deutungsmustern und Wertvorstellungen der Beteiligten und Betroffenen unabhängige Erkenntnis nicht möglich ist, sich die Realität nicht „objektiv“ oder „faktentreu“ abbilden lässt, ist ein wesentlicher Bestandteil bei Evaluationen ein gleichberechtigter Umgang mit den verschiedenen Sichtweisen aller Beteiligten und Betroffenen (siehe Guba & Lincoln, 1989). Evaluationsforschung stellt sich demnach als ein kommunikativer Aushandlungsprozess zwischen den Erfordernissen der mit der Durchführung einer Evaluation beauftragten Wissenschaftler und den Interessen und Handlungsspielräumen der Programmbeteiligten oder Adressaten der jeweiligen Maßnahmen dar. In diesem Prozess soll sich

Evaluationsforschung demokratischen Werten wie Transparenz, Beteiligung, Betonung des freien Willens, sozialer Verantwortung Aufrichtigkeit und einer humanistischen Perspektive verpflichtet fühlen. Aus ihrem im Kern konstruktivistischen Wirklichkeitsverständnis heraus stellt sich die soziale Realität als das Resultat kommunikativ und interaktiv ausgehandelter Strukturen dar, die sich in Deutungsmustern, Diskursen, sozialen Repräsentationen und Handlungsmustern niederschlagen. Somit folgt qualitative Evaluationsforschung dem interpretativen Paradigma (Guba & Lincoln 1989; Kardorff 2000a).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: Historische Entwicklung der Evaluationsmethodik (Guba & Lincoln 1989)

“Wir konnten uns nicht damit begnügen, Verhaltenseinheiten einfach zu ‚zählen’; unser Ehrgeiz war es, komplexe Erlebnisweisen empirisch zu erfassen.

Der oft behauptete Widerspruch zwischen ‚Statistik’ und phänomenologischer Reichhaltigkeit

war sozusagen von Anbeginn unserer Arbeiten ‚aufgehoben’, weil gerade die Synthese der beiden Ansatzpunkte uns als die eigentliche Aufgabe erschien.”

(Paul F. Lazarsfeld)

2. Vor- und Nachteile jeweils quantitativ oder qualitativ orientierter Forschungsmethoden

2.1. Vorzüge und Nachteile einer quantitativen Forschungsmethodologie

Die quantitative Methodologie ist wesentlich beeinflusst durch eine den Naturwissenschaften entlehnte methodische Vorgehensweise, insbesondere des Positivismus und des von Karl Raimund Popper entwickelten „Kritischen Rationalismus“. Zentrales Konzept dieses wissenschaftstheoretischen Ansatzes ist die Falsifizierbarkeit von Hypothesen und Theorien, durchzuführen anhand deduktiver Schlüsse. „Alle Aussagen einer empirischen Wissenschaft müssen – sofern sie unzutreffend sind – prinzipiell an der Erfahrung scheitern können“ (Popper 1971, zitiert von Kromrey 2000b, S. 34), müssen sich somit in einer steten Konfrontation mit der Realität bewähren. Empirische Aussagen müssen aus diesem Grunde immer so formuliert sein, dass sie prinzipiell widerlegbar sind. Leitgedanken eines derartigen hypothetiko-deduktiven Forschungsansatzes sind die klare Isolierung von Ursachen und Wirkungen, die saubere Operationalisierung von theoretischen Zusammenhängen, die Messbarkeit und Quantifizierung von Phänomenen und die Formulierung von Untersuchungsanordnungen, die es erlauben, ihre Ergebnisse zu verallgemeinern und allgemeingültige Gesetze aufzustellen (siehe Flick 2000, S. 10f).

Der Vorteil quantitativer forschungsmethodischer Ansätze ist, dass sich die Ergebnisse mittels einfacher stochastischer Verfahren analysieren und auswerten lassen. So können etwa „objektive sozialstrukturelle Gegebenheiten“ (Prein, Kelle & Kluge 1993, S.33), „regelhafte Strukturen“ (ebd., S. 6) oder die Repräsentativität bzw. Verteilung psychischer Merkmale (Steinke 1999, S. 17) mittels quantitativer Verfahren herausgearbeitet oder kausale Beziehungen zwischen Variablen überprüft werden. Insbesondere dann, „wenn das zu analysierende Phänomen deutlich strukturiert ist und der Untersucher selbst ein klares Bild von dieser Struktur besitzt, die es ihm ermöglicht, Objektbereiche festzulegen, Hypothesen zu bilden und hinreichend angemessene Operationalisierungen vorzunehmen“ (Treumann 1986, zitiert von König 1995, Band 1, S. 317) ist der Einsatz quantitativer Methoden sinnvoll. So sieht denn auch Treumann (ebd., S. 317) die zentralen Funktionen quantitativer Forschung

- in der Konstituierung von Merkmalen, deren Ausprägungen in klar voneinander geschiedenen Kategorien vorliegen, so dass Datenkonfigurationen entstehen, welche die Form von Häufigkeitsverteilungen annehmen
- in der Möglichkeit der Verallgemeinerung von Untersuchungsergebnissen in Stichproben auf Populationen
- und in der Identifizierung von Faktoren, die als kausal wirkend angesehen werden können, indem Scheinzusammenhänge zwischen Variablen mittels experimenteller oder statistischer Verfahren kontrolliert werden können.

Ein zentraler Einwand gegen die Verwendung sogenannter quantitativer Verfahren zielt darauf ab, „dass durch standardisierte Fragebogen, Beobachtungsschemata usw. das soziale Feld in seiner Vielfalt eingeschränkt, nur sehr ausschnittweise erfasst und komplexe Strukturen zu sehr vereinfacht und zu reduziert dargestellt würden“ (Lamnek 1993, Band 1, S. 4). Diese „Verkürzung konkreter Lebenssachverhalte“ (ebd., S. 3) – bei den ‚Quantifizierern’ als Reduktion von Daten zum Zwecke des Informationsgewinns umschrieben – führt letztendlich dazu, dass menschliche Subjekte zu Objekten der Forscher und damit zu reinen Datenlieferanten würden (ebd., S. 14). Ein, seinem Anspruch nach,

„naturwissenschaftlich-positivistisches“ Forschungsvorgehen trägt Siegfried Lamnek (1993, Band 1, S. 7f) zufolge demnach kaum dazu bei, menschliches Handeln konsequent zu erfassen. So werden zwar „bei den konventionellen Verfahren Zahlen und Prozentzahlen in großer Menge angeboten, es wird jedoch kaum gezeigt, wie der Mensch wirklich handelt und wie seine Interpretationen des Handelns aussehen“ (Girtler 1984, S. 26f). Gerade im Hinblick auf den komplexen und prozessualen Kontextcharakter der sozialwissenschaftlichen Forschungsgegenstände erfordert es situationsadäquate, flexible und die Konkretisierung fördernde Methoden und keine normierte Datenermittlung wie bei der quantitativen Forschungsmethodik (siehe Cicourel 1970, Berger 1974 und Kreppner 1975, zitiert von Lamnek 1993, Band 1, S. 10).

Zusammenfassend lassen sich die wesentlichen Argumente gegen die traditionelle, quantitativ ausgerichtete Sozialforschung auf folgenden Nenner bringen (nach Girtler 1984, S. 26):

- Soziale Phänomene existieren nicht außerhalb des Individuums, sondern sie beruhen auf den Interpretationen der Individuen einer sozialen Gruppe (die es zu erfassen gilt)
- Soziale Tatsachen können nicht vordergründig „objektiv“ identifiziert werden, sondern sie sind als soziale Handlungen von ihrem Bedeutungsgehalt her bzw. je nach Situation anders zu interpretieren
- „Quantitative“ Messungen und die ihnen zugrunde liegenden Erhebungstechniken können soziales Handeln nicht wirklich erfassen; sie beschönigen oder verschleiern eher die diversen Fragestellungen. Häufig führen sie dazu, dass dem Handeln eine bestimmte Bedeutung unterschoben wird, die eher die des Forschers als die des Handelnden ist
- Das Aufstellen von zu testenden Hypothesen vor der eigentlichen Untersuchung kann dazu führen, dem Handelnden eine von ihm nicht geteilte Meinung oder Absicht zu suggerieren oder aufzuoktroyieren.

2.2. Stärken und Schwächen qualitativ orientierter Forschungsansätze

Nachdem ein rein quantitatives Denken in der Forschungslandschaft ganz offensichtlich „brüchig geworden“ (Mayring 2002, S. 9) war, lässt sich seit den 70er Jahren in Deutschland ein zunehmender Trend zu qualitativen Erkenntnismethoden feststellen (ebd., S. 9). Ein Denken, welches sich den Menschen und Dingen annähert, indem es sie testet und vermisst, mit ihnen experimentiert und ihre statistische Repräsentanz überprüft, ohne vorher den Gegenstand verstanden oder seine Qualität erfasst zu haben (ebd., S.9), forderte nachgerade einen wissenschafts-theoretischen Gegenentwurf heraus.

Basierend auf hermeneutischen und phänomenologischen Ansätzen der Geisteswissenschaften entwickelten sich in den letzten Jahrzehnten eine Vielzahl teils recht unterschiedlicher grundlagentheoretischer Positionen und Verfahren der qualitativ orientierten Sozialforschung (zur historischen Entwicklung qualitativer Sozialforschung siehe u.a. Flick 2000a, S. 16ff; Flick, Kardorff & Steinke 2000, S. 26f; König 1995, Band 1, S. 11ff; Lamnek 1993, Band 1, S. 30ff; Mayring 2002, S. 9ff; Mruck 2000, S. 3ff). Ihnen allen gemein sind jene fünf Grundsätze, die nach Mayring (2002, S. 19ff) das Grundgerüst qualitativen Denkens bilden. Anhand dieser fünf Grundsätze wird eine stärkere Subjektbezogenheit der Forschung und die Untersuchung der Forschungssubjekte in ihrer natürlichen, alltäglichen Umgebung (und nicht im Labor) postuliert. Auch soll die Deskription und die Interpretation der Forschungssubjekte betont und die Generalisierung der jeweiligen Forschungsergebnisse als Verallgemeinerungsprozess verstanden werden. Als Kennzeichen qualitativer Forschung beschreibt Flick (2000a, S. 13) die Gegenstandsangemessenheit von Methoden und Theorien, die Berücksichtigung und Analyse unterschiedlicher Perspektiven sowie die Reflexion des Forschers über die Forschung als Teil der Erkenntnis. Ernst von Kardorff (2000b, S. 618f) hat in dichotomer Form versucht, den Charakter des von qualitativer Forschung erzeugten Wissens folgendermaßen zu kontrastieren:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 4: Charakterisierung des von qualitativer und quantitativer Forschung erzeugten Wissens (Kardorff 2000b)

Als Vorteil der qualitativen Forschungsmethodologie wird neben ihrer „großen Nähe zu den Lebenswelten der untersuchten Bereiche“ (Kardorff 2000b, S. 619) und ihrer häufig offeneren Vorgehensweise (Flick, Kardorff & Steinke 2000, S. 17) die Möglichkeit zur „Exploration von bislang theoretisch wenig durchdrungenen gesellschaftlichen Zusammenhängen“ (Prein, G., Kelle, U. & Kluge 1993, S. 10) gesehen. Dies nicht zuletzt deshalb, weil qualitative Verfahren es ermöglichen, überraschende Beobachtungen zu machen, Sachverhalte zu problematisieren und zu neuen Erklärungen anzuregen (Kelle 1999, S. 3). So können qualitative Untersuchungen empirische Phänomene zutage fördern, die im Rahmen quantitativer Forschungsdesigns kaum hätten entdeckt werden können (Prein, G., Kelle, U. & Kluge 1993, S. 27). Gerade in einer Zeit rasanter Veränderungen der traditionellen gemeinschaftlichen Strukturen, zunehmender Individualisierung und der Pluralisierung oder Diversifikation der Lebenswelten (vgl. Knoblauch 2000, S. 624) besteht die Gefahr, dass mit klassisch deduktiven Methodologien und deren herkömmlich standardisierten Erhebungsmethoden an der Differenziertheit der Forschungsgegenstände vorbeigezielt wird (vgl. Flick 2000a, S. 10). So sieht Lamnek (1993, Band 1, S. 9) in der qualitativen Sozialforschung einen Versuch, „den restringierten Erfahrungsbegriff der quantitativen Sozialforschung anhand realitätsgerechterer und dem Gegenstand angemesseneren geisteswissenschaftlichen Methoden des Verstehens (ebd., S. 14) zu überwinden.

Perspektivisch scheinen die Stärken qualitativer Forschungsmethoden dann voll ausgeschöpft werden zu können, wenn es in empirischen Projekten

- um den Nachvollzug des subjektiv gemeinten Sinns
- um die Deskription sozialen Handelns in sozialen Milieus und
- um die Rekonstruktion deutungs- und handlungsgenerierender Strukturen geht (vgl. Steinke 1999, S. 17f). Insofern können qualitative Ansätze durch die Generierung von Hypothesen und Theorien - gerade in Forschungsfeldern, in denen es zuvor nur vage oder keine theoretisch begründeten Annahmen gab - bei der Theoriebildung eine erhebliche Rolle spielen.

Die Nachteile einer qualitativen Methodologie liegen u.a. in einem „wesentlich höheren Erhebungs- und Auswertungsaufwand“ (Jakob 2001, S. 19), in „Quasi-Statistiken“ und „Quasi-Korrelationen“ (Kelle 1999, S. 3) durch die Absenz echter Stichproben nach dem Zufallsprinzip oder das Fehlen quantitativer (metrischer) Variablen (Lamnek 1993, Band 1, S. 3) und in den meist sehr kleinen Stichproben, die Generalisierungen der mit diesen Methoden gewonnenen Ergebnisse oder statistische Analysen als solche kritisierbar machen (Kelle 1994, S. 35; Lamnek 1993, Band 1, S. 3; Prein, Kelle & Kluge 1993, S. 10). Lüders (2000, S.642) sieht darüber hinaus auch die Gefahr, dass die auf qualitativem Wege gewonnen Ergebnisse angesichts ihrer voluminösen Forschungsberichte nur noch in geringem Umfange und von winzigen Minderheiten rezipiert würden.

2.3. Die Verbindung quantitativer und qualitativer Methoden – „Mixed- Methods“-Ansätze in der Sozialforschung

Wie oben gezeigt wurde, haben nicht nur die jeweiligen quantitativ oder qualitativ orientierten Methodologien sondern darüber hinaus auch im Anwendungskontext die entsprechenden Methoden zur Durchführung sozialwissenschaftlicher Erhebungen ihr spezifisches Potential an Stärken und Schwächen (vgl. u.a. Denzin 1977, S. 308). Eine einseitige Verengung des Methodenkanons etwa durch ideologisch festgefahrene Orientierungen in die eine (hypothetiko-deduktive) oder andere (interpretative) Richtung wird häufig dem Forschungsgegenstand nicht gerecht. Sie kann dazu führen, dass die gesamte Untersuchung unter dem prägnanten Einfluss eines einzigen Instruments und dessen instrumentenspezifischen ‚Verzerrungen’ (Kromrey 2000b, S. 508) steht. Der ‚moderne’ Sozialwissenschaftler sollte deshalb einseitig ideologisch geprägte methodologische Positionen aufgeben und offen sein für Methoden beider ‚Schulen’, den Einsatz quantitativer und/oder qualitativer Erhebungsinstrumente bei der Wahl des Forschungsdesigns berücksichtigen. Nicht aufgrund methodischer Vorlieben oder der Präferenz eines bestimmten Wissenschaftsparadigmas, sondern allein von der aktuellen Forschungsaufgabe her soll der Gebrauch einer spezifischen Methode begründet werden (vgl. Wilson 1981, S. 58; Wilson 1982, S. 504; Kromrey 2000b, S. 508; Mayring 2001, S.2).

Gerade zur Dienstbarmachung der Stärken quantitativer und qualitativer Methoden sollten Optionen eines Mehrmethoden- oder „Mixed-Methods“- Ansatzes in die jeweilige Strategie der sozialwissenschaftlichen Forschungsdurchführung einfließen. Mayring (2001, S. 6ff) hat die verschiedenen Kombinationsmöglichkeiten bei Mehrmethodenansätzen anhand vier verschiedener Modelle exemplarisch aufgezeigt (siehe Übersichtsmodell in Abbildung 5). Bei der als Vorstudienmodell klassifizierten Variante bleiben die qualitativen Analyseschritte auf die Phase der Hypothesengewinnung im Rahmen einer Vorstudie beschränkt. Anhand der so gewonnenen Hypothesen erfolgt dann die quantitative Überprüfung. Barton und Lazarsfeld (1984) haben diese ‚klassische’ Verbindung qualitativer Methoden zur Hypothesengenerierung mit quantitativen Verfahren der Hypothesenprüfung als „Phasenmodell“ bezeichnet (siehe auch Prein, G., Kelle, U. & Kluge 1993, S. 9; Kelle 1999, S. 2; Kelle & Erzberger 2000, S. 300ff). Eine zweite Vorgehensvariante, das Verallgemeinerungsmodell , räumt qualitativen Elementen einen höheren Stellenwert ein. So wird hier zunächst eine qualitative Studie komplett durchgeführt und ausgewertet und danach mit quantitativen Mitteln verallgemeinert und abgesichert. Beispielhaft könnten nach einem solchen Modell zunächst Ergebnisse eines Feldforschungs- oder eines Fallanalyseprojektes gesammelt und dann in einer Repräsentativstudie einer breiteren Überprüfung unterzogen werden. Umgekehrt verhält es sich bei der dritten Kombinationsmöglichkeit, dem Vertiefungsmodell . Hier wird eine abgeschlossene quantitative Studie durch qualitative Analysen weitergeführt, wodurch „verlässlichere empirische Interpretationen“ (Kromrey, 2000b, S.508) möglich werden. Auf diese Weise können beispielsweise durch Fallanalysen in Korrelationen die Richtung einer möglichen Kausalität gedeutet werden (vgl. Mayring 2001, S. 7). Ein viertes Modell der Verbindung qualitativer und quantitativer Analyseschritte stellt das Triangulationsmodell dar (vgl. Denzin 1978; Prein, Kelle & Kluge 1993, S. 13ff; Kelle & Erzberger 2000, S. 302ff; Kromrey 2000b, S. 508; Jakob 2001). Bei der Triangulation geht es um die komplexeste Verschränkung qualitativer und quantitativer Analyseschritte, wobei eine Fragestellung aus mehreren Blickwinkeln mit unterschiedlichen Methoden angegangen wird. Denzin, auf den der Triangulationsbegriff zurückgeht, unterscheidet bei dieser Vorgehensweise vier verschiedene Arten von Triangulation: Datentriangulation, Beobachtertriangulation, Theorietriangulation und Methodentriangulation. Die Datentriangluation sieht dabei vor, unterschiedliche Datenquellen in einer Analyse zu nutzen; unter einer Beobachtertriangulation ist zu verstehen, dass die Datenerhebung nicht nur durch eine Person geleistet wird. Wird eine Untersuchung sozialer Phänomene auf der Grundlage unterschiedlicher Theorien mittlerer Reichweite und den sich daraus ergebenden Hypothesen durchgeführt, so handelt es sich um eine Theorietriangluation. Die wohl bedeutendste Form der Triangulation stellt die Methodentriangulation dar, von Denzin (1977) in „between-method-triangulation“ (verschiedene

Auswertungsverfahren werden innerhalb eines Methodensettings benutzt) und „across-methods-triangulation“ (unterschiedliche Methoden werden zum Zwecke einer gegenseitigen Stärkung der Methoden und damit zu einer erhöhten Validität der Ergebnisse kombiniert) ausdifferenziert.

Bei einer Methodentriangulation können qualitative und quantitative Erhebungs- oder Auswertungsverfahren der gegenseitigen Validierung von Forschungsergebnissen oder aber auch der gegenseitigen Ergänzung dienen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 5: Möglichkeiten der Integration qualitativer und quantitativer Analyse auf der Designebene (Mayring 2001)

[...]