În efectuarea unui test de semnificație sau test de ipoteză, există două numere care sunt ușor de confundat. Aceste numere sunt ușor confundate, deoarece sunt ambele numere între zero și unul și sunt ambele probabilități. Un număr se numește valoarea p a statisticii testului. Celălalt număr de interes este nivelul de semnificație sau alfa. Vom examina aceste două probabilități și vom determina diferența dintre ele.
Numărul alfa este valoarea de prag cu care măsurăm valorile p. Ne spune cât trebuie să fie rezultatele extrem de observate pentru a respinge ipoteza nulă a unui test de semnificație.
Valoarea alfa este asociată cu nivelul de încredere al testului nostru. Următoarele enumeră câteva niveluri de încredere cu valorile lor alfa:
Deși în teorie și practică multe numere pot fi utilizate pentru alfa, cel mai des utilizat este 0,05. Motivul acestui lucru este atât pentru că consensul arată că acest nivel este adecvat în multe cazuri, cât și istoric, a fost acceptat ca standard. Cu toate acestea, există multe situații în care ar trebui să se utilizeze o valoare mai mică de alfa. Nu există o valoare unică de alfa care determină întotdeauna semnificația statistică.
Valoarea alfa ne oferă probabilitatea unei erori de tip I. Erorile de tip I apar atunci când respingem o ipoteză nulă care este de fapt adevărată. Astfel, pe termen lung, pentru un test cu un nivel de semnificație de 0,05 = 1/20, o adevărată ipoteză nulă va fi respinsă din 20 de ori.
Celălalt număr care face parte dintr-un test de semnificație este o valoare p. O valoare p este, de asemenea, o probabilitate, dar provine dintr-o altă sursă decât alfa. Fiecare statistică de test are o probabilitate sau o valoare p corespunzătoare. Această valoare este probabilitatea ca statistica observată să apară doar întâmplător, presupunând că ipoteza nulă este adevărată.
Deoarece există o serie de statistici de testare diferite, există o serie de moduri diferite de a găsi o valoare p. În unele cazuri, trebuie să cunoaștem distribuția probabilității populației.
Valoarea p a statisticii testului este o modalitate de a spune cât de extremă este această statistică pentru datele noastre de probă. Cu cât este mai mică valoarea p, cu atât este puțin probabil să fie observat eșantionul.
Pentru a determina dacă un rezultat observat este semnificativ statistic, comparăm valorile alfa și valoarea p. Există două posibilități:
Implicarea celor de mai sus este că, cu cât este mai mică valoarea alfa, cu atât este mai dificil să se pretindă că un rezultat este semnificativ statistic. Pe de altă parte, cu cât este mai mare valoarea alfa, cu atât este mai ușor să pretindem că un rezultat este semnificativ statistic. Cu toate acestea, cu toate acestea, este probabilitatea mai mare ca ceea ce am observat să fie atribuit întâmplării.