Statistische Signifikanz bewerten

Das Testen einer Hypothese orientiert sich an statistischer Analyse. Statistische Signifikanz wird mittels eines p-Werts berechnet, der dir sagt, wie wahrscheinlich es ist, dass dein Ergebnis eintritt, vorausgesetzt, dass eine bestimmte Aussage (die Nullhypothese) wahr ist.^{[1]XForschungsquelle} Wenn dieser p-Wert kleiner als das Signifikanzniveau ist (in der Regel 0,05), dann kann der Experimentator davon ausgehen, dass die Nullhypothese falsch ist und die Alternativhypothese akzeptiert wird. Mittels eines einfachen t-Tests kann du den p-Wert berechnen und die Signifikanz zwischen zwei verschiedenen Datengruppen bestimmen.

Teil 1

Teil 1 von 3:

Dein Experiment erstellen

PDF herunterladen

1
Definiere deine Hypothese. Der erste Schritt bei der Beurteilung statistischer Bedeutung ist die Definition der zu beantwortenden Frage und das Aufstellen deiner Hypothese. Die Hypothese ist eine Aussage über deine experimentellen Daten und die möglichen Unterschiede in der Population. Für jedes Experiment gibt es eine Null- und eine Alternativhypothese.^{[2]XForschungsquelle}In der Regel vergleichst du zwei Gruppen, um festzustellen, ob sie identisch sind oder nicht.
- Die Nullhypothese (H0) sagt in der Regel aus, dass es keinen Unterschied zwischen deinen beiden Datensätzen gibt. Zum Beispiel: Studenten, die sich den Stoff vor dem Kurs durchgelesen haben, bekommen keine besseren Noten.
- Die Alternativhypothese (Ha) ist das Gegenteil der Nullhypothese und damit die Aussage, die du durch deine experimentellen Daten belegen möchtest. Zum Beispiel: Studenten, die sich den Stoff vor dem Kurs durchgelesen haben, bekommen bessere Endnoten.
2
Bestimme das Signifikanzniveau, um festzustellen, wie ungewöhnlich deine Daten sein müssen, um als signifikant zu gelten. Das Signifikanzniveau (auch Alpha genannt) ist die Schwelle, die du festlegst, um die Signifikanz zu bestimmen. Wenn dein p-Wert kleiner oder gleich dem Signifikanzniveau ist, dann gelten die Daten als statistisch signifikant. ^{[3]XForschungsquelle}
- Im Allgemeinen wird das Signifikanzniveau (oder Alpha) oft auf 0,05 festgelegt, was bedeutet, dass die Wahrscheinlichkeit, die Unterschiede in deinen Daten zufällig zu beobachten, bei nur 5% liegt.
- Ein höheres Konfidenzniveau (und damit ein niedrigerer p-Wert) bedeutet, dass die Ergebnisse signifikanter sind.
- Wenn du eine höhere Konfidenz bei deinen Daten willst, dann setze den p-Wert auf unter 0,01. Niedrigere p-Werte werden oft in der Manufaktur verwendet, wenn es darum geht, Fehler bei Produkten zu entdecken. Es ist sehr wichtig, ein hohes Vertrauen zu haben, dass jedes Teil genau so funktioniert, wie es soll.
- Für die meisten Hypothese-getriebenen Experimente ist ein Signifikanzniveau von 0,05 akzeptabel.
3
Entscheide, ob du einen einseitigen oder zweiseitigen Test verwenden willst. Eine der Annahmen bei einem t-Test ist, dass deine Daten normal verteilt sind. Eine Normalverteilung der Daten bildet eine Glockenkurve, wobei die Mehrzahl der Daten in die Mitte fällt. ^{[4]XForschungsquelle} Der t-Test ist ein mathematischer Test, um zu sehen, ob deine Daten außerhalb der Normalverteilung liegen – entweder darüber oder darunter, in den Enden der Kurve.
- Wenn du nicht sicher bist, ob deine Daten über oder unter der Kontrollgruppe liegen werden, dann setze einen zweiseitigen Test ein. Dieser erlaubt dir, die Signifikanz in beide Richtungen zu testen.
- Wenn du weißt, in welche Richtung deine Daten wahrscheinlich tendieren werden, dann verwende einen einseitigen Test. In unserem Beispiel erwartest du, dass sich die Noten der Studenten verbessern – deshalb würdest du einen einseitigen Test verwenden.
4
Bestimme die Stichprobengröße mit einer Leistungsanalyse. Die Leistung eines Tests ist die Wahrscheinlichkeit, dass ein erwartetes Ergebnis bei einer bestimmten Stichprobengröße beobachtet wird. Die übliche Grenze für die Leistung (oder ß) beträgt 80%. Eine Leistungsanalyse kann ohne erste Daten ein bisschen schwierig sein, weil du irgendwelche Daten zu den erwarteten Mittelwerten jeder Gruppe brauchst, sowie deren Standardabweichungen. Verwende einen Leistungsanalysen-Rechner im Internet, um die optimale Stichprobengröße für deine Daten zu bestimmen. ^{[5]XForschungsquelle}
- Wissenschaftler machen normalerweise eine kleine Pilotstudie, um ihre Leistungsanalyse zu informieren und die Stichprobengröße für eine größere und umfassendere Studie zu bestimmen.
- Wenn du nicht über die Mittel verfügst, um eine komplexe Pilotstudie durchzuführen, dann stelle einige Schätzungen zu möglichen Mittelwerten an. Du kannst diese auf der Lektüre von Fachliteratur und ähnlichen, bereits durchgeführten Studien basieren. Das gibt dir einen guten Ausgangspunkt für deinen Stichprobenumfang.
Werbeanzeige

Teil 2

Teil 2 von 3:

Die Standardabweichung berechnen

PDF herunterladen

1
Definiere die Formel für die Standardabweichung. Die Standardabweichung misst, wie deine Daten verteilt sind. Sie liefert dir Informationen dazu, wie ähnlich jeder Datenpunkt innerhalb deiner Probe ist. Auf den ersten Blick sieht die Gleichung vielleicht ein bisschen kompliziert aus, aber in den folgenden Schritten führen wir dich durch den Aufbau der Berechnung. Die Formel lautet s = √∑ ((xi -µ)2/(N – 1)).
- s ist die Standardabweichung.
- ∑ zeigt an, dass du alle gesammelten Probewerte summieren wirst.
- xi stellt jeden einzelnen Wert deiner Daten dar.
- µ ist der Durchschnitt (Mittelwert) deinen Daten für jede Gruppe.
- N ist die gesamte Stichprobenanzahl.
2
Nimm den Durchschnitt der Proben für jede Gruppe. Um die Standardabweichung zu berechnen, musst du zuerst den Durchschnitt der Proben in den einzelnen Gruppen nehmen. Der Durchschnitt wird mit dem griechischen Buchstaben Mu oder µ bezeichnet. Dafür addierst du einfach alle einzelnen Proben zusammen und dividierst sie dann durch die Gesamtzahl der Proben. ^{[6]XForschungsquelle}
- Um zum Beispiel die Durchschnittsnote der Gruppe herauszufinden, die sich den Stoff vor dem Unterricht durchgelesen hat, sehen wir uns die Daten an. Der Einfachheit halber verwenden wir ein Datenset mit 5 Punkten: 90, 91, 83, 85 und 94.
- Zähle alle Proben zusammen: 90 + 91 + 85 + 83 + 94 = 443.
- Teile die Summe durch die Probenanzahl, N = 5 : 443 / 5 = 88,6.
- Die Durchschnittsnote für diese Gruppe ist 88,6.
3
Ziehe jede Probe vom Durchschnitt ab. Der nächste Teil der Berechnung beinhaltet den (xi – µ)-Teil der Gleichung. Du wirst jede Probe vom eben berechneten Durchschnitt abziehen. In unserem Beispiel wirst du am Ende fünf Subtraktionen haben.
- (90 – 88,6), (91- 88,6), (85 – 88,6), (83 – 88,6) und (94 – 88,6).
- Die berechneten Zahlen sind jetzt 1,4; 2,4; -3,6; 5,6 und 5,4.
4
Quadriere jede dieser Zahlen und zähle sie zusammen. Jede der neuen Zahlen, die du gerade berechnet hast, wird jetzt quadriert. Dieser Schritt eliminiert auch alle negativen Vorzeichen. Wenn du nach diesem Schritt oder am Ende deiner Berechnung ein negatives Vorzeichen hast, dann hast du diesen Schritt vielleicht ausgelassen.
- In unserem Beispiel arbeiten wir nun mit 1,96; 5,76; 12,96; 31,36 und 29,16.
- Wenn wir diese Quadrate zusammenzählen, erhalten wir: 1,96 + 5,76 + 12.96 + 31.36 + 29,16 = 81,2.
5
Dividiere durch die Gesamtstichprobenanzahl minus 1. Die Formel dividiert durch N – 1, weil sie für die Tatsache korrigiert, dass du nicht eine Gesamtpopulation gezählt hast – du nimmst eine Stichprobe aus der Population aller Studenten, um zu einer Schätzung zu kommen. ^{[7]XForschungsquelle}
- Subtrahiere: N – 1 = 5-1 = 4
- Dividiere: 81,2/4 = 20,3
6
Ziehe die Quadratwurzel. Wenn du die Stichprobenanzahl minus 1 geteilt hast, ziehst du die Quadratwurzel dieser schlussendlichen Zahl. Das ist der letzte Schritt, um die Standardabweichung zu berechnen. Es gibt statistische Programme, die diese Berechnung für dich vornehmen, nachdem du die Rohdaten eingegeben hast.
- In unserem Beispiel ist die Standardabweichung bei den Abschlussnoten der Studenten, die vor dem Unterricht gelesen haben: s = √20.3 = 4,51.
Werbeanzeige

Teil 3

Teil 3 von 3:

Signifikanz bestimmen

PDF herunterladen

1
Berechne die Abweichung zwischen deinen beiden Untersuchungsgruppen. Bis jetzt hat sich unser Beispiel nur mit einer der Untersuchungsgruppen befasst. Wenn du zwei Gruppen vergleichen möchtest, brauchst du natürlich Daten von beiden. Berechne die Standardabweichung der zweiten Untersuchungsgruppe und verwende diese, um die Varianz zwischen den beiden Untersuchungsgruppen festzustellen. Die Formel für die Varianz ist sd = √ ((s1/n1) + (s2/n2))^{[8]XForschungsquelle}
- sd ist die Varianz zwischen deinen Gruppen.
- s1 ist die Standardabweichung der Gruppe 1 und N1 ist die Stichprobengröße der Gruppe 1.
- s2 ist die Standardabweichung der Gruppe 2 und N2 ist die Stichprobengröße der Gruppe 2.
- Für unser Beispiel sagen wir, die Daten aus Gruppe 2 (Studierende, die vor der Klasse nicht gelesen haben) hatte eine Stichprobengröße von 5 und eine Standardabweichung von 5,81. Die Varianz ist:
  - sd = √((s1)2/N1) + ((s2)2/N2))
  - sd = √(((4,51)2/5) + ((5,81)2/5)) = √((20,34/5) + (33,76/5)) = √(4,07 + 6,75) = √10,82 = 3,29.
2
Berechne den t-Wert deiner Daten. Der t-Wert bringt deine Daten in eine Form, die dir erlaubt, sie mit anderen Daten zu vergleichen. Mittels t-Werten kannst du einen t-Test durchführen, mit dem du die Wahrscheinlichkeit berechnen kannst, dass zwei Gruppen signifikant unterschiedlich von einander sind. Die Formel für den t-Wert ist: t = (µ1 – µ2)/sd.^{[9]XForschungsquelle}
- µ1 ist der Durchschnitt der ersten Gruppe.
- µ2 ist der Durchschnitt der zweiten Gruppe.
- sd ist die Varianz zwischen deinen Proben.
- Verwende den größeren Durchschnitt als µ1, damit du keinen negativen t-Wert bekommst.
- Für unser Beispiel sagen wir, der Durchschnittswert für Gruppe 2 (die, die nicht gelesen hatten), war 80. Der t-Wert ist: t = (µ1 – µ2)/sd = (88,6 – 80) / 3,29 = 2,61.
Bei der Rechnung mit einem t-Wert wird die Anzahl der Freiheitsgrade von der Größe der Untersuchungsgruppe bestimmt. Zähle die Anzahl der Stichproben aus jeder Gruppe zusammen und ziehe dann zwei ab. In unserem Beispiel sind die Freiheitsgrade 8, weil es fünf Stichproben in der ersten Gruppe gibt und fünf in der zweiten (5 + 5) – 2 = 8).^{[10]XForschungsquelle}
4
Verwende eine t-Tabelle, um die Signifikanz zu evaluieren. Eine Tabelle mit t-Werten ^{[11]XForschungsquelle} und Freiheitsgraden kannst du in einem Standardwerk für Statistik oder online finden. Sieh dir die Zeile an, die die Freiheitsgrade für deine Daten enthält und finde den p-Wert, der deinem t-Wert entspricht.
- Bei 8 Freiheitsgraden und einem t-Wert von 2,61 würde der p-Wert für einen einseitigen Test zwischen 0,01 und 0,025 fallen. Weil wir unser Signifikanzniveau kleiner oder gleich 0,05 festgelegt haben, sind unsere Daten statistisch signifikant. Mit diesen Daten lehnen wir die Nullhypothese ab und akzeptieren die Alternativhypothese: ^{[12]XForschungsquelle} Studenten, die vor dem Unterricht lesen, bekommen bessere Endnoten.
Viele Wissenschaftler machen eine kleine Pilotstudie mit nur ein paar Messwerten, um besser zu verstehen, wie sie eine größere Untersuchung aufbauen könnten. Wenn du noch eine Studie mit mehr Messungen machst, wirst du mehr Vertrauen in deine Schlussfolgerung haben.
Werbeanzeige

Tipps

Statistik ist ein großes und schwieriges Feld. Belege einen Kurs zu statistischer Inferenz auf der Schule oder Uni, um statistische Signifikanz besser zu verstehen.

Werbeanzeige

Warnungen

Diese Analyse ist spezifisch für einen t-Test, um die Unterschiede zwischen zwei normalverteilten Populationen zu testen. Vielleicht musst du einen anderen statistischen Test verwenden, je nach der Komplexität deines Datensatzes.

Werbeanzeige