-
Es gibt verschiedene Einflussgrößen, die die Ergebnisse einer Metaanalyse beeinflussen können und deshalb kontrolliert werden sollten.
-
Dazu zählen:
-
die Stichprobengröße
-
die methodische Qualität der Studien
-
die inhaltlichen Unterschiede der einzelnen Studien.
Stichprobengröße:
-
Es kommt häufig vor, dass die vorliegenden Studien unterschiedlich hohe Stichprobengrößen aufweisen.
-
Große Stichproben weisen in der Regel genauere Schätzungen des Populationseffektes auf, als kleine
Stichproben (Gesetz der großen Zahlen).
-
Genau diesen Aspekt berücksichtigt die Metanalyse, indem jede Effektgröße gewichtet wird (hierzu wird die Effektgröße durch die
Stichprobengröße dividiert).
Methodische Qualität der Studien:
-
In der Forschung kann ein und dieselbe Hypothese unterschiedlich getestet werden.
-
So kann die eine Studie ein "richtiges" Experiment sein, während die andere Studie ein Quasiexperiment
ist.
-
Das "richtige" Experiment sollte in solch einem Fall stärker gewichtet werden.
-
Einen Hinweis auf die methodische Qualität liefert häufig die Art des Publikationsorgans, d.h. ob die Studie in einer führenden
Fachzeitschrift veröffentlicht wurde oder eher in lokalen Psychologie-Zeitschriften, wo die Möglichkeit für methodische Mängel höher sind.
Inhaltliche Unterschiede:
-
Verschiedene Studien welche die gleiche Ausgangsfrage beantworten wollen weisen häufig sowohl unterschiedliche abhängige Variablen auf,
als auch unterschiedlich operationalisierte unabhängige Variablen.
-
Solche Unterschiede könnten im Rahmen der Metaanalyse als Moderatorvariablen berücksichtigt werden.
-
Die Auswahl solcher entsprechender Moderatorvariablen sollte jedoch abhängig von theoretischen Überlegungen sein.
-
Es gibt 3 potenzielle Probleme die bei einer Metaanalyse auftreten können:
-
Müll rein - Müll raus - Problem
-
Äpfel und Birnen- Problem
-
Abhängigkeitsproblem.
Müll rein, Müll raus - Problem:
-
Dieses Problem betrifft die Auswahl der verwendeten Studien, also welche Studien nimmt man in die Metaanalyse rein und welche nicht.
-
Die Lösung des Problems ist, möglichst vorher (andernfalls im Verlauf) Ausschlusskriterien zu bestimmen, die Studien nach methodischer Qualität zu kodieren
(gegebenenfalls getrennte Analysen durchführen) und unterschiedliche Gewichtungen vorzunehmen.
Äpfel und Birnen- Problem:
-
Dieses Problem bezieht sich auf unterschiedliche AVs und unterschiedlich operationalisierte UVs, welche häufig nicht miteinander verglichen werden können.
-
Die Lösung des Problems stellen getrennte Analysen dar (getrennt nach UV und AV).
Abhängigkeitsproblem:
-
Dieses Problem entsteht dann, wenn mehrere Effektgrößen in die Metanalyse eingehen, die nicht aus unabhängigen Stichproben gewonnen worden sind.
-
Das wäre also der Fall, wenn in einer Studie mehrere Effektgrößen vorhanden wären (es handelt sich dann um abhängige Stichproben).
-
Die Lösung des Problems wäre, die Beschränkung auf eine einzelne Effektgröße pro Studie.