Problem med många statistiska tester.
Fara:
Ju fler tester, desto högre risk att några visa significans
även
om det inte finns någon skillnad.
Felrisken p säger hur stor sannolikheten är för att
skillnaden
beror på slumpen.
Om man skulle välja ut enbart de significanta och inte nämna
de
ickesignificanta, så
vilseleder man eller ljuger.
Vid en mängnd oberoende tester med p<0.05, så bör
man
vänta sig att <5%
av de significanta testerna visar en skillnad som beror av slumpen.
Kalkylen nedan gäller om testerna är statistiskt oberoende.
Det gäller även vid flera oberoende experiment, även med
olika tester.
Både Ickesignificanta och significanta tillåts.
pi= felrisk för testen i. 0<pi<1
pi=sannolikheten för att skillnaden beror på slumpen,
(okända
störningar), för testen i.
A Sannolikheten för att alla testade samband beror på
slumpen
=p1*p2*p3...
B jmf. ANOVA Sannolikheten för att minst någon inte beror av
slumpen = 1-p1*p2*p3...
B Alltså: Sannolikheten för att minst någon skiljer
sig
= 1-p1*p2*p3...
C Sannolikheten för att alla testade samband skiljer sig
=(1-p1)*(1-p2)*(1-p3)*...
D Sannolikheten för att minst någon skillnad beror på
slumpen
=1-(1-p1)*(1-p2)*(1-p3)*...
Exempel: Om alla har samma felrisk och n=antalet tester. p=pi
A Sannolikheten för att alla testade samband beror på
slumpen
=p^n
B Sannolikheten för att minst någon skiljer sig =1-p^n
C Sannolikheten för att alla testade samband skiljer sig =(1-p)^n
D Sannolikheten för att minst någon skillnad beror på
slumpen
=1-(1-p)^n
PS: Metoden bygger på elementär sannolikhetsteori. Metoden
är
enkel lättbegriplig och relativt generell.
Christer Nylander 96-11-19
Christers home index
1997