Metaanalysen

Häufig gibt es zu einem bestimmten Thema viele verschiedene Studien, die oftmals unterschiedliche Ergebnisse aufweisen.
Um den "wahren" Populationseffekt zu schätzen führt man eine Metaanalyse durch.

Angenommen die Ausgangsfrage ist: Ist Psychotherapie wirksam?
Die Wirksamkeit von Psychotherapie kann nun auf verschiedenen Wegen getestet werden, mit unterschiedlichen abhängigen Variablen.
So können einige Studien zu dem Schluss kommen, dass Psychotherapie vor allem bei Depressivität hilft, andere zeigen hohe Effekte bei Ängstlichkeit und wieder andere Studien kommen zu dem Schluss das Psychotherapie überhaupt nicht wirkt.
Wenn man nun all diese Studien zusammen betrachtet, weiß man am Ende meist immernoch nicht ob Psychotherapie wirksam ist.
Deshalb benutzt man im Rahmen einer Metaanalyse sogenannte Moderatorvariablen.
Das würde bedeuten, dass Psychotherapie zum Beispiel nur dann wirksam ist, wenn die Patienten eine bestimmte Vorgschichte aufweisen.

Das Hauptziel der Metaanalyse ist es, eine präzise Schätzung für den jeweiligen Populationseffekt zu liefern.
Dazu berechnet man einen gewichteten Mittelwert aus allen vorliegenden Effektgrößen (Effektgrößen aus allen vorliegenden Studien).
Eine Metaanalyse macht jedoch nur dann Sinn, wenn die Studien die sie einbezieht, auch miteinander vergleichbar sind, d.h. man muss sie so behandeln können, als wären sie entstanden durch wiederholte Stichprobenziehungen aus derselben Population.

Es gibt verschiedene Einflussgrößen, die die Ergebnisse einer Metaanalyse beeinflussen können und deshalb kontrolliert werden sollten.
Dazu zählen:

Stichprobengröße:

Es kommt häufig vor, dass die vorliegenden Studien unterschiedlich hohe Stichprobengrößen aufweisen.
Große Stichproben weisen in der Regel genauere Schätzungen des Populationseffektes auf, als kleine Stichproben (Gesetz der großen Zahlen).
Genau diesen Aspekt berücksichtigt die Metanalyse, indem jede Effektgröße gewichtet wird (hierzu wird die Effektgröße durch die Stichprobengröße dividiert).

Methodische Qualität der Studien:

In der Forschung kann ein und dieselbe Hypothese unterschiedlich getestet werden.
So kann die eine Studie ein "richtiges" Experiment sein, während die andere Studie ein Quasiexperiment ist.
Das "richtige" Experiment sollte in solch einem Fall stärker gewichtet werden.
Einen Hinweis auf die methodische Qualität liefert häufig die Art des Publikationsorgans, d.h. ob die Studie in einer führenden Fachzeitschrift veröffentlicht wurde oder eher in lokalen Psychologie-Zeitschriften, wo die Möglichkeit für methodische Mängel höher sind.

Inhaltliche Unterschiede:

Verschiedene Studien welche die gleiche Ausgangsfrage beantworten wollen weisen häufig sowohl unterschiedliche abhängige Variablen auf, als auch unterschiedlich operationalisierte unabhängige Variablen.
Solche Unterschiede könnten im Rahmen der Metaanalyse als Moderatorvariablen berücksichtigt werden.
Die Auswahl solcher entsprechender Moderatorvariablen sollte jedoch abhängig von theoretischen Überlegungen sein.

Als erstes muss man eine Fragestellung festlegen, die so präzise wie möglich formuliert sein sollte.
Als nächstes muss man geeignete und relevante Studien suchen (z.B. in psychologischen Fachdatenbanken, Fachzeitschriften).
Im nächsten Schritt müssen Kriterien festgelegt werden, um passende Studien auszuwählen. Zusätzlich sollten mögliche Moderatorvariablen kategorisiert werden.
Anschließend muss man sich für eine Art von Effektgrößen entscheiden und die Effektgrößen für jede einzelne verwendete Studie berechnen.
Als letztes sollten die Ergebnisse überprüft werden (z.B. anhand eines Funnel-Plot oder einer psychometrischen Metaanalyse).

Müll rein, Müll raus - Problem:

Dieses Problem betrifft die Auswahl der verwendeten Studien, also welche Studien nimmt man in die Metaanalyse rein und welche nicht.
Die Lösung des Problems ist, möglichst vorher (andernfalls im Verlauf) Ausschlusskriterien zu bestimmen, die Studien nach methodischer Qualität zu kodieren (gegebenenfalls getrennte Analysen durchführen) und unterschiedliche Gewichtungen vorzunehmen.

Äpfel und Birnen- Problem:

Dieses Problem bezieht sich auf unterschiedliche AVs und unterschiedlich operationalisierte UVs, welche häufig nicht miteinander verglichen werden können.
Die Lösung des Problems stellen getrennte Analysen dar (getrennt nach UV und AV).

Abhängigkeitsproblem:

Dieses Problem entsteht dann, wenn mehrere Effektgrößen in die Metanalyse eingehen, die nicht aus unabhängigen Stichproben gewonnen worden sind.
Das wäre also der Fall, wenn in einer Studie mehrere Effektgrößen vorhanden wären (es handelt sich dann um abhängige Stichproben).
Die Lösung des Problems wäre, die Beschränkung auf eine einzelne Effektgröße pro Studie.