- ［定義］ 有限個の対象から幾つかを取り出しそれを順に並べたものを順列という．一方，取り出した順序を問題にしないで，それらの組合せだけに注目するとき，その組を組合せという．
- 例1： 例えば，3 個の数字 {1, 2, 3} から，2 個の数字を取り出した順列は，
- (1, 2), (2, 1), (1, 3), (3, 1), (2, 3), (3, 2)
- の 6 種類あります．しかし，組み合わせは，順序を問題にしませんので，
- (1, 2), (1, 3), (2, 3)
- の 3 種類になります．
- ［定理］ 相異なる n 個のものから r 個をとる順列の総数は，
- である．
- ［定理］ n 個のものから r 個を取り出す組合せの数は，
- である．
| n | n2 | n3 | n4 | n5 | n! |
|---|---|---|---|---|---|
| 1 | 1 | 1 | 1 | 1 | 1 |
| 5 | 25 | 125 | 625 | 3126 | 120 |
| 10 | 100 | 1000 | 10000 | 100000 | 3628800 |
| 20 | 400 | 8000 | 160000 | 3200000 | 2.43 × 1018 |
| 50 | 2500 | 125000 | 6250000 | 312500000 | 3.04 × 1064 |
- ［定理］ n 個の内で，p 個は同じもの，q 個は他の同じもの，･･･，s 個がまた他の同じものであるとき，これらの n 個を並べる順列の数は，
- である．
- ［定理］ 相異なる n 個のものを円形に並べる順列（円順列）の数は，
- n-1Pn-1 = (n - 1)!
- である．
- ［定理］ n 個のものから重複を許して r 個とる順列（重複順列）の数は，
- nΠr = nr
- である．
- ［定理］ n 個の中から，重複を許して r 個とる組合せの数は，
- nHr = n+r-1Cn-1 = n+r-1Cr
- である（ r < n とは限らない）
- ［定理］ 組合せの数 nCr に関しては，次の式が成り立つ
- nCr = nCn-r
- nCr = n-1Cr + n-1Cr-1 （パスカルの公式）
- ［定理］ 二項定理
- ［定理］ 多項定理
- ただし，p1， p2， ･･･， ps は 0 または正の整数であり，Σ は p1 + p2 + ･･･ + ps = n となるすべての整数値 p1， p2， ･･･， ps についての和を表す．
- ［定義］ 一定の条件の下で繰り返し行うことができ，その結果が偶然に支配されるような実験や観測を一般に試行という．試行によって起こる可能性のあるすべての事柄の集合 Ω が確定しているとき，その集合を考えている試行の標本空間といい，その要素を標本点，または，単に標本空間の点という．
- ［定義］ 標本空間 Ω の部分集合を事象といい，試行の結果が 1 つの事象Ａに属するとき，事象Ａが起こったという．標本点の 1 つ 1 つを特に根元事象という．それに対して，2 個以上の点からなる事象を複合事象という．また，標本空間全体を全事象，決して起こらない事柄は空集合 φ で表され，それを空事象という．
- 例1： 1 つのさいころを，1 回だけ投げることについて考えてみます．明らかに，この結果は偶然性に左右され，試行と考えることができます．このとき，標本空間 Ω は，「k の目が出る」ことを k で表すと，
- Ω = {1, 2, 3, 4, 5, 6}
- となります．根元事象は，1, 2, 3, 4, 5, 及び, 6 であり，また，複合事象としては，いろいろ考えられますが，「偶数の目が出る事象Ａ」という場合であれば，以下のようになります．
- 偶の目が出る事象Ａ = {2, 4, 6}
- ［定義］ 以下の定義において，例1を具体的な例として説明を行う．
- 和事象 Ａ∪Ｂ： 事象ＡまたはＢが起こるという事象．例えば，事象Ａを「4 以下の目が出る」，また，事象Ｂを「偶数の目が出る」事象としたとき，事象「Ａ∪Ｂ」は，{1, 2, 3, 4, 6} となる．
- 積事象 Ａ∩Ｂ： 事象ＡとＢが同時に起こるという事象．例えば，事象Ａを「4 以下の目が出る」，また，事象Ｂを「偶数の目が出る」事象としたとき，事象「Ａ∩Ｂ」は，{2, 4} となる．
- 余事象 Ａ： 標本空間Ωの中で，事象Ａが起こらないという事象．例えば，事象Ａを「4 以下の目が出る」事象としたとき，余事象は，{5, 6} となる．
- 排反事象 事象ＡとＢが同時に起こることがない時，記号的には Ａ∩Ｂ = φ である時，事象ＡとＢは互いに排反である，または，排反事象であるという．例えば，事象Ａを「奇数の目が出る」，また，事象Ｂを「偶数の目が出る」事象としたとき，これらの事象は排反である．
- 和事象 Ａ∪Ｂ： 事象ＡまたはＢが起こるという事象．例えば，事象Ａを「4 以下の目が出る」，また，事象Ｂを「偶数の目が出る」事象としたとき，事象「Ａ∪Ｂ」は，{1, 2, 3, 4, 6} となる．
- ［定義］ 標本空間Ωの各事象Ａに対して次の 3 つの条件を満たす実数 P(Ａ) が対応させられるとき，その値 P(Ａ) を事象Ａの起こる確率という．各事象に対して確率が与えられる標本空間を確率空間といい，各事象を確率事象という．
- 任意の事象Ａに対して，0 ≦ P(Ａ) ≦ 1
- P(Ω) = 1， P(φ) = 0
- 事象ＡとＢが互いに排反，即ち Ａ∩Ｂ = φ ならば，以下の関係が成立する．
- P(Ａ∪Ｂ) = P(Ａ) + P(Ｂ)
| 根元事象 | Ｅ1 | Ｅ2 | ･････ | ＥN | 全事象Ω |
|---|---|---|---|---|---|
| 確率 | p1 | p2 | ･････ | pN | 1.0 |
- 例2： 例1において，各目が出る事象に 1/6 という数値を対応させると，上の定義から，明らかにこれは確率となります．
- ［大数の法則］ ある試行を N 回繰り返し行い，事象Ａが起こった回数が n 回であるとき，n / N を相対度数という．試行回数 N を十分大きくするとき相対度数 n / N が，ほぼ一定値 p に近づくならば，p を事象Ａの起こる統計的確率（確率）という．このように定義された p が，試行回数 N を大きくしていくと，事象Ａの本来持っている確率（先験的確率）に限りなく近づくことが知られており，これを大数の法則という．
- ［定理］
- 事象Ａ1，Ａ2，･･･，Ａ1 が排反ならば
- P(Ａ1∪Ａ2∪･･･∪Ａr)
- = P(Ａ1) + P(Ａ2) + ･･･ + P(Ａr)
- 任意の 2 つの事象Ａ，Ｂに対して
- P(Ａ∪Ｂ) = P(Ａ) + P(Ｂ) - P(Ａ∩Ｂ)
- 余事象に対して
- Ａ⊂Ｂならば，P(Ａ) ≦ P(Ｂ)
- 事象Ａ1，Ａ2，･･･，Ａ1 が排反ならば
- ［定義］ P(Ａ) > 0 であるとき，事象Ｂに対して，
- と定義し，事象Ａが起こったときの事象Ｂの条件付確率という．
- ［定理］ ベイズの定理 事象Ａ1，Ａ2，･･･，Ａr が互いに排反であり，かつ，その内どれかの事象が必ず起こるとき，即ち，
- Ａi∩Ａj = φ （ i ≠ j ）
- Ａ1∪Ａ2∪･･･∪Ａr = Ω
- ならば，任意の事象Ｂに対して次の式が成り立つ．
- 例3： 患者がある種の症状（例えば，咳が出るなど）を訴えるとき，その 5 ％がＡ疾患であることが知られているとします．また，ある精密検査Ｂは，真のＡ疾患患者に対して 70 ％陽性反応を示し，疾患でない患者に対しても 10 ％陽性反応を示すものとします．先の症状を訴えた患者の精密検査結果が陽性反応を示したとき，その患者がＡ疾患である確率はどのようになるでしょうか．
- 事象を
- 事象を
- Ａ1： Ａ疾患である
- Ａ2： Ａ疾患でない
- Ａ2： Ａ疾患でない
- とすると，ベイズの定理は満たされています．また，事象Ｂを，
- Ｂ： 精密検査Ｂが陽性である
- とすると，以下の確率が得られます．
- P(Ａ1) = 0.05 Ａ疾患である確率（事前確率）
- P(Ｂ｜Ａ1) = 0.7 Ａ疾患である場合に，精密検査結果が陽性になる確率
- P(Ｂ) = 0.05 × 0.7 + 0.95 × 0.1 = 0.13 精密検査結果が陽性になる確率
- P(Ｂ｜Ａ1) = 0.7 Ａ疾患である場合に，精密検査結果が陽性になる確率
- 以上の点から，精密検査結果が養成であった場合におけるＡ疾患である確率（事後確率）は，ベイスの定理から以下のようになります．
- ［定義］ r 個の事象Ａ1，Ａ2，･･･，Ａr に対し，それらの任意個の異なる事象の組合せＡi，Ａj，･･･，Ａk に対して
- P(Ａi∩Ａj∩･･･∩Ａk) = P(Ａi) P(Ａj) ･･･ P(Ａk)
- が成り立つとき，事象Ａ1，Ａ2，･･･，Ａr は互いに独立であるという．また，1 回毎の試行がそれ以外の試行に何らの影響を及ぼさないとき，すなわち各回の試行が互いに独立であるとき，このような試行を独立試行という．
- ［定義］ 標本空間Ωで，ある属性について標本がとる可能性がある異なる数値が
- x1，x2，･･･，xk
- であるとする．各標本に対してそれのとる値を対応させる変数 X を考える．Ω上で X がそれぞれの値をとる確率が定まっているとき，X を確率変数といい，x1，x2，･･･，xk を X の標識という．
- 確率変数 X が値 xi をとるという事象を
- { X = xi }
- で表し，その確率を
- P(X = xi) = pi （i = 1, 2, ･･･, k）
- で示す．
- ［定義］ 確率変数 X がある値 x に対して，X ≦ x である確率 P(X ≦ x ) を，確率変数 X の確率分布関数という．これを F(x) とすれば，次のようにかける．
- F(x) = P(X ≦ x)
- ［定理］ 確率分布関数の性質
- P(a < x ≦ b) = P(x ≦ b) - P(x ≦ a) = F(b) - F(a)
- x の非減少関数
- 右連続性 limx→a+0F(x) = F(a)
- F(∞) = 1
- F(−∞) = 0
- 0 ≦ F(x) ≦ 1
- ［定義］ 次の式で表される f(x) が存在するとき，f(x) を確率変数 X の確率密度関数という．
- また，確率分布関数 F(x) は f(x) から
- として与えられる．
- ［定義］ 平均（集合平均，期待値）
- ［定義］ 分散と標準偏差
- σ2 を分散，σ を標準偏差と呼ぶ．
- ［定義］ 2 つの確率変数 X， Y に対して，以下の式によって定義されるものを共分散と呼ぶ．
- ［定理］ 平均と分散の性質
- a, b を定数として，E[aX+b] = aE[X] + b
- E[X+Y] = E[X] + E[Y]
- X, Y が互いに独立ならば， E[XY] = E[X]E[Y]
- V[X] = E[X2] - E[X]2
- V[aX+b] = a2V[X]
- X と Y が独立ならば， V[X+Y] = V[X] + V[Y]
- 二項分布
- 繰り返し行われる独立試行で，もし各々の試みに対して単に 2 つの結果だけが可能で，それらが起こる確率が各試行を通じて一定である場合，その試行をベルヌーイ試行といいます．成功の確率が p で失敗の確率が q = 1 - p であるベルヌーイ試行を n 回行った結果，x 回成功する確率（確率関数）は以下のようになり，この分布を母数 p の二項分布と呼びます．
- 二項分布という名称は，この式が，(py + q)n を展開したときの yx の係数に等しいことに由来します．なお，二項分布の確率分布関数，平均，及び，分散は以下のようになります．
- 平均： E[X] = np， 分散： V[X] = npq
- 二項分布は，n の値が大きくなる（ np ≧ 5 と nq ≧ 5 が成立する程度）と後に述べる正規分布，
- に近づきます．
- ポアソン分布
- 二項分布は，p の値が小さく，n の値が非常に大きくなると，λ = np のポアソン分布に近づきます．単位時間内に到着する電話の呼び数 x の分布等がポアソン分布に従うことが良く知られています．母数 λ のポアソン分布の確率（確率関数），平均，及び，分散は以下のようになります．
- 平均： E[X] = λ， 分散： V[X] = λ
- ポアソン分布は，λ の値が大きくなる（ λ > 10 程度）と，正規分布，
- に近づきます．
- 繰り返し行われる独立試行で，もし各々の試みに対して単に 2 つの結果だけが可能で，それらが起こる確率が各試行を通じて一定である場合，その試行をベルヌーイ試行といいます．成功の確率が p で失敗の確率が q = 1 - p であるベルヌーイ試行を n 回行った結果，x 回成功する確率（確率関数）は以下のようになり，この分布を母数 p の二項分布と呼びます．
- 一様分布
- 先に述べた棒の例が一様分布の例です．一様分布の確率密度関数，平均，及び，分散は以下のようになります．
- 密度関数 f(x) = 1 / (b - a) a ≦ x ≦ b
- = 0 x < a， または， x > b
- 平均： E[X] = (a + b) / 2， 分散： V[X] = (a - b)2 / 12
- 先に述べた棒の例が一様分布の例です．一様分布の確率密度関数，平均，及び，分散は以下のようになります．
- 指数分布
- 指数分布は，ポアソン分布と強い関係があります．例えば，電話の呼び間隔が平均 1 / λ の指数分布をするとき，単位時間内に到着する電話の呼び数の分布は平均 λ のポアソン分布をします．母数 λ の指数分布の確率分布関数(右図参照)，確率密度関数，平均，及び，分散は以下のようになります．
- 分布関数 F(x) = 1 - e-λx x ≧ 0
- = 0 x < 0
- 密度関数 f(x) = λe-λx x ≧ 0
- = 0 x < 0
- 平均： E[X] = 1 / λ， 分散： V[X] = 1 / λ2
- 指数分布は，ポアソン分布と強い関係があります．例えば，電話の呼び間隔が平均 1 / λ の指数分布をするとき，単位時間内に到着する電話の呼び数の分布は平均 λ のポアソン分布をします．母数 λ の指数分布の確率分布関数(右図参照)，確率密度関数，平均，及び，分散は以下のようになります．
- 正規分布（ガウス分布） N(μ, σ2) 密度関数，分布関数，α値の計算 →
- 正規分布は，非常によく使われる分布です．母数 μ，σ の正規分布 N(μ, σ2) の確率密度関数，平均，及び，分散は以下のようになります．
- 平均： E[X] = μ， 分散： V[X] = σ2
- 平均が 0，標準偏差が 1 である正規分布 N(0, 12) を標準正規分布と呼びます．確率変数 X の分布が N(μ, σ2) の正規分布に従うとき，次の変数変換（標準化変換）によって得られる確率変数 Z は標準正規分布 N(0, 12) に従います．
- Z = (X - μ) / σ
- また，値 α（ 0 ≦ α ≦ 1 ）に対して，以下の図に示すような値 λ を正規分布の α 値，または，(α×100) パーセント値といいます．α は，図からも明らかなように，確率変数の値が λ 以上になる確率（両側の場合は，確率変数の値が λ 以上，又は，ーλ以下になる確率）に相当します．α 点は，後に述べる推定において非常に重要となりますので十分理解しておいてください．なお，以下に述べる各分布に対しても，同様に，α 点を定義することができます．
- 自由度 n の χ2 分布 密度関数，分布関数，α値の計算 →
- x1，x2，・・・，xn が互いに独立な確率変数で，それぞれが標準正規分布 N(0, 12) に従うとき，
- χ2 = x12 + x22 + ・・・ + xn2
- なる確率変数 χ2 が従う分布を自由度 n の χ2 分布といいます．自由度 n の χ2 分布の確率密度関数，平均，及び，分散は以下のようになります．
- 平均： E[X] = n， 分散： V[X] = 2n
- ここで，Γ は，ガンマ関数であり，次のように定義されます．（ガンマ関数の計算 →
）
- Γ(1) = 1, Γ(p+1) = pΓ(p)
- Γ(n+1) = n! n： 整数
- 自由度 n の t 分布 密度関数，分布関数，α値の計算 →
- x1，x2，・・・，xn が互いに独立な確率変数で，それぞれが標準正規分布 N(0, 12) に従うとき，
- なる確率変数 x が従う分布を自由度 n の t 分布といいます．自由度 n の t 分布の確率密度関数，平均，及び，分散は以下のようになります．
- 平均： E[X] = 0， 分散： V[X] = n / (n - 2) 平均，分散は，n ≧ 3
- なお，自由度が大きくなると，t 分布は正規分布に近づき，自由度が無限大になると，標準正規分布 N(0, 12) と一致します．
- 自由度 n1，n2 の F 分布 密度関数，分布関数，α値の計算 →
- χ12 が自由度 n1 の χ2 分布，χ22 が自由度 n2 の χ2 分布に従い，かつ，χ12 及び χ22が互いに独立であるとき，
- x = (χ12 / n1) / (χ22 / n2)
- なる確率変数 x が従う分布を自由度 (n1, n2) の F 分布といいます．自由度 (n1, n2) の F 分布の確率密度関数，平均，及び，分散は以下のようになります．ただし，平均に対しては n2 > 2，分散に対しては n2 > 4 とします．
- 正規分布は，非常によく使われる分布です．母数 μ，σ の正規分布 N(μ, σ2) の確率密度関数，平均，及び，分散は以下のようになります．
- ［定義］ 調査や観測の対象となる属性を持つすべての個体の集合を母集団という．母集団から取り出された一部のデータの集合を標本といい，データの数を標本の大きさという．また，母集団の平均，分散などを母平均，母分散といい，一般に母集団の特性値を母数という．
- ［定理］ 中心極限定理 確率変数 X1, X2, ･･･, Xn が互いに独立で，平均が μ，分散が σ2 の同じ分布に従うとき，それらの平均 Ｘ の確率分布は，n を十分大きくすれば，正規分布 N(μ, σ2/n) で近似される．
- 分布が平均に対して左右対称の場合： n ≧ 30
- 分布が平均に対して左右非対称の場合： n ≧ 50
- 母平均の区間推定（母分散 σ2 が既知の場合）
- 母集団が，正規分布 N(μ, σ2) に従っているものとします．ただし，標本の大きさ n が大きいときは，必ずしも正規分布である必要はありません．このとき，中心極限定理により，標本平均 Ｘ は，N(μ, σ2/n) の正規分布をします．従って，
- は，標準正規分布 N(0, 12) に従います．A(α) を標準正規分布の α 点とすると，
- P(|Ｚ| ≦ A(α/2)) = 1 - α
- という関係が成り立ちます．つまり，
- となります．このことより，推定の信頼度を (1 - α) とすると，母平均の信頼区間は，以下のようになります．この式は，標本平均 Ｘ が得られたとき，母平均 μ が以下の区間に入る確率が (1 - α) であることを意味します．
- 母集団が，正規分布 N(μ, σ2) に従っているものとします．ただし，標本の大きさ n が大きいときは，必ずしも正規分布である必要はありません．このとき，中心極限定理により，標本平均 Ｘ は，N(μ, σ2/n) の正規分布をします．従って，
- 母平均の区間推定（母分散 σ2 が未知の場合）
- ［定理］ n 個の確率変数 X1, X2, ･･･, Xn が平均 μ の同じ正規分布に従い，互いに独立ならば，その標本分散を Ｓ2 としたとき，
- で定義される確率変数 Tn-1 が，母分散に関係なく，自由度 n-1 の t 分布に従う．
- 上の定理を利用することによって，標本の大きさが n である場合，標本平均が ｘ，標本分散が ｓ2 であるとき，母平均 μ の信頼度 (1 - α) の信頼区間は，自由度 n-1 の t 分布の α 点を tn-1(α) とすると，以下のようになります．
- 母分散の区間推定
- ［定理］ n 個の確率変数 X1, X2, ･･･, Xn が同じ正規分布 N(μ, σ2) に従い，互いに独立ならば，
- で定義される確率変数は，自由度 n-1 の χ2 分布に従う．
- 上の定理より，正規母集団から大きさ n の標本を無作為抽出したとき，母分散 σ2 に対する信頼水準 (1 - α) の信頼区間は，自由度 n-1 の χ2 分布の α 点をχ2n-1(α) とすると，以下のようになります．
- ［定理］平均の検定（母分散が既知の場合） 母集団Ωの母平均 μ に対して，その値が μ0 であるという仮説，つまり，次のような帰無仮説をたてる．
- 帰無仮説 H0： μ = μ0
- このとき，母集団が，正規分布 N(μ, σ2) に従っているものとする（標本の大きさ n が大きいときは，必ずしも正規分布である必要はない）．中心極限定理により，標本平均 Ｘ は，N(μ, σ2/n) の正規分布をする．従って，
-
- は，標準正規分布 N(0, 12) をする．そこで，A(α) を正規分布の α 値としたとき，標本から計算された z が不等式，
- を満たすならば，有意水準 α で，仮説 H0 を棄却する．
- ［定理］平均の t 検定（母分散が未知の場合） 正規分布 N(μ, σ2) に従っている母集団Ωの母平均 μ に対して，その値が μ0 であるという仮説，つまり，次のような帰無仮説をたてる．
- 帰無仮説 H0： μ = μ0
- このとき，Ωからの大きさ n の標本平均を X，標本分散を S2 としたとき，
-
- で定義される確率変数 Tn-1 が，自由度 n-1 の t 分布に従う．そこで，tn-1(α) を自由度 n-1 の t 分布の α 値としたとき，標本から計算された t が不等式，
- を満たすならば，有意水準 α で，仮説 H0 を棄却する．
- ［定理］平均の差に関する検定（母分散が既知の場合） N(μx, σx2) に従う母集団から大きさ m の標本を抽出したときの標本平均を X とし，N(μy, σy2) に従う母集団から大きさ n の標本を抽出したときの標本平均を Yとしたとき，2 つの母平均 μx と μyに対して，その値が等しいという仮説，つまり，次のような帰無仮説をたてる．
- 帰無仮説 H0： μx = μy
- このとき，
- は，標準正規分布 N(0, 12) をする．そこで，A(α) を正規分布の α 値としたとき，標本から計算された z が不等式，
- を満たすならば，有意水準 α で，仮説 H0 を棄却する．
- ［定理］平均の差に関する t 検定（母分散が未知で，かつ，同じ場合） N(μx, σ2) に従う母集団から大きさ m の標本を抽出したときの標本平均を X，標本分散を Sx2とし，N(μy, σ2) に従う母集団から大きさ n の標本を抽出したときの標本平均を Y，標本分散を Sy2としたとき，2 つの母平均 μx と μyに対して，その値が等しいという仮説，つまり，次のような帰無仮説をたてる．
- 帰無仮説 H0： μx = μy
- このとき，
- で定義される確率変数 Tn-1 が，自由度 n-1 の t 分布に従う．そこで，tn-1(α) を自由度 n-1 の t 分布の α 値としたとき，標本から計算された t が不等式，
- を満たすならば，有意水準 α で，仮説 H0 を棄却する．
- ［定理］分散の検定 n 個の確率変数 X1, X2, ･･･, Xn が同じ正規分布 N(μ, σ2) に従い，互いに独立ならば，
- で定義される確率変数は，自由度 n-1 の χ2 分布に従う．そこで，分散に対する検定を行うには，まず，帰無仮説，
- 帰無仮説 H0： σ = σ0
- を設定する．自由度 n-1 の χ2 分布の α 点をχ2n-1(α)としたとき，標本から計算された y が不等式，
- を満たすならば，有意水準 α で，仮説 H0 を棄却する．
- ［定理］分散の比に対する検定 N(μx, σ2) に従う母集団から大きさ m の標本を，また，N(μy, σ2) に従う母集団から大きさ n の標本を抽出したとき，
- で定義される確率変数 F(m-1, n-1) が，自由度 (m-1, n-1) の F 分布に従う．そこで，2 つの正規母集団から抽出されたデータに対して，それらの母分散が等しいという仮説，つまり，次のような帰無仮説をたてる．
- 帰無仮説 H0： σx2 = σy2
- このとき，自由度 (m-1, n-1) の F 分布の α 点を F(m-1, n-1)(α)としたとき，標本から計算された x が不等式，
- を満たすならば，有意水準 α で，仮説 H0 を棄却する．