部分1：設計實驗
1、定義假設。評估統計顯著性的第一步是確定你想回答的問題，並提出你的假設。這個假設涉及到你的實驗數據和人羣中可能出現的差異。對於任何實驗而言，必須既有零假設，又有備擇假設。一般來説，你會比較兩個組，看它們是否相同。零假設H0通常表示兩個數據集之間沒有差異。例如：課前預習教材的學生期末成績不會更好。
而備擇假設Ha與零假設相反，它是你試圖用實驗數據支持的命題。例如：課前預習教材的學生期末成績會更好。
2、設置顯著性水平，以確定數據被視為顯著時所需的異常程度。顯著性水平也被稱為α，它是你為了確定顯著性而設置的閾值。如果你的p值小於等於設定的顯著性水平，數據就被認為具有統計顯著性。一般來説，顯著性水平α通常被設置成0.05，換而言之，在你的數據中偶爾觀察到差異的概率僅為5%。
置信水平越高時，p值越小，結果也越顯著。
如果你想讓自己的數據具有較高的置信水平，可以把p值設到0.01以下。在製造業中，檢查產品缺陷通常會用到較小的p值。因為每個零部件都必須達到很高的置信水平，使之能夠按照預期發揮作用。
對於假設驅動型實驗，0.05的顯著性水平是可以接受的。
3、確定使用單側檢驗還是雙側檢驗。t檢驗的適用條件之一是你的數據呈正態分佈。正態分佈的數據會形成鐘形曲線，大部分樣本位於中間。t檢驗是一種數學檢驗，可以確定你的數據在曲線“尾部”是否落在正態分部以外，是在曲線以上還是以下。單側檢驗比雙側檢驗更強大，因為它在一個方向檢驗關係的潛力，比如控制組以上，而雙側檢驗在兩個方向檢關係的潛力，比如控制組以上或以下。
如果你不確定自己的數據是在控制組以上還是以下，那就使用雙側檢驗。這樣你就能檢驗任一方向的顯著性。
如果你知道數據會朝哪個方向發展，請使用單側檢驗。在前文給出的例子中，你預計學生的成績會提高，所以你可以用單側檢驗。
4、使用功效分析來確定樣本量。檢驗功效指的是在特定的樣本量下，觀察到預期結果的概率。功效或β的常見閾值是80%。缺乏一些初步數據時，功效分析可能有點棘手，因為你需要一些關於每組之間平均值及其標準方差的信息。你可以使用網上的功效分析計算器，來確定自己數據的最佳樣本量。開展大型、全面的研究時，研究人員通常會做一個小型的先導型研究，以獲得功效分析所需的信息，並確定其樣本量。
如果沒有辦法做複雜的先導型研究，你可以閲讀文獻和其他人做過的研究，據此來估計可能的平均值。在確定樣本量時，這是一個很好的着手點。
部分2：計算標準方差
1、確定標準方差公式。標準方差是衡量數據分佈情況的指標。它向你提供了樣本中各數據點的相似性信息，有助於確定數據是否顯著。乍一看，你可能覺得公式有點複雜，但是以下步驟會引導你完成計算過程。其公式是s = √∑((xi – ?)/(N – 1))。s是標準方差。
∑指對收集的所有樣本值求和。
xi表示你數據的各單獨值。
?是每組數據的平均值。
N是樣本總數。
2、計算每組樣本的平均值。要想計算標準方差，你必須先計算每組樣本的平均值。平均值用希臘字母?表示。它的計算方法很簡單，只需將每個值相加，再除以樣本總數即可。例如，為了計算課前預習教材的學生組的平均成績，讓我們來看一些數據。為了簡便起見，我們會使用包含5個值的數據集：90、91、85、83和94。
將所有樣本相加求和：90 + 91 + 85 + 83 + 94 = 443。
用和除以樣本數N = 5：443/5 = 88.6。
這組學生的平均成績是88.6。
3、用每個樣本減去平均值。計算的下一步涉及到公式的(xi – ?)部分。你需要用每個樣本減去剛剛計算得出的平均值。在我們的例子中，你必須做五次減法。(90 – 88.6)、(91- 88.6)、(85 – 88.6)、(83 – 88.6)和(94 – 88.6)。
計算所得的結果是1.4、2.4、-3.6、-5.6和5.4。
4、將這些數字平方後再相加。這時，你需要計算剛剛得出的每個數字的平方。這一步還會處理掉所有負號。如果在此步驟之後或計算結束時有負號，説明你可能忘了算這一步。在我們的例題中，那五個數字的平方是1.96、5.76、12.96、31.36和29.16。
將這些平方值相加，得到：1.96 + 5.76 + 12.96 + 31.36 + 29.16 = 81.2。
5、除以樣本總數減一。公式除以N-1，是因為你沒有計算所有人的成績，要進行修正，你只是在所有學生中取了一個樣本，來進行估算。做減法：N – 1 = 5 – 1 = 4
做除法：81.2/4 = 20.3
6、取平方根。除以樣本數減一後，取最終數字的平方根。這是計算標準方差的最後一步。有一些統計學應用程序可以在你輸入原始數據後，幫你計算標準方差。在我們的例題中，課前預習的學生期末成績的標準方差是：s =√20.3 = 4.51。
部分3：確定顯著性
1、計算2個樣本組之間的差額。至此為止，例題只處理了一個樣本組。如果想比較兩個樣本組，你顯然需要兩組的數據。計算第二組樣本的標準方差，並使用該數值來計算2個實驗組之間的差額。差額公式為sd = √((s1/N1) + (s2/N2))。sd是兩組之間的差額。
s1是第1組的標準方差，而N1是第1組的樣本量。
s2是第2組的標準方差，而N2是第2組的樣本量。
例如，假設第2組數據，即課前沒有預習的學生的數據樣本量是5，而標準方差是5.81。差額為：sd = √((s1)/N1) + ((s2)/N2))
sd = √(((4.51)/5) + ((5.81)/5)) = √((20.34/5) + (33.76/5)) = √(4.07 + 6.75) = √10.82 = 3.29。
2、計算數據的t分數。t分數可以將數據轉化為能夠與其他數據進行比較的形式。你可以使用t分數來做t檢驗，計算兩組之間存在顯著差異的可能性。t分數的公式是t = (?1 – ?2)/sd。?1是第一組的平均值。
?2是第二組的平均值。
sd是樣本之間的差額。
你應該使用較大的平均值作為?1，以免t值變成負數。
例如，假設第2組沒有預習的學生的樣本平均值是80。則t分數為：t = (?1 – ?2)/sd = (88.6 – 80)/3.29 = 2.61。
3、確定樣本的自由度。使用t分數時，自由度的數值是用樣本量確定的。將兩組的樣本數相加，然後減2。在我們的例子中，自由度(d.f.)是8，因為第1組有5個樣本，而第2組也有5個樣本，(5 + 5) – 2 = 8。
4、使用t表格來評估顯著性。你可以在標準的統計學書籍或網上找到t分數和自由度表格。查找包含數據自由度的行，找到與t分數對應的p值。當自由度為8，t值為2.61時，單側檢驗的p值介於0.01和0.025之間。由於我們將顯著性水平設置為小於等於0.05，所以我們的數值具有統計顯著性。得到這一數據後，我們可以拒絕零假設，接受備擇假設：課前預習教材的學生會取得更好的期末成績。
5、考慮後續研究。許多研究人員會使用少量的數據，做一個小規模的先導型研究，以幫助自己瞭解如何設計一個規模更大的研究。使用更多的數據，做另一項研究，有助於提高你對結論的信心。後續研究可以幫助你確定自己的結論是否包含I型錯誤或II型錯誤。前者指在沒有差異的情況下觀察到差異，或錯誤的拒絕零假設，而後者指在有差異時未觀察到差異，或錯誤的接受零假設。
