Pravděpodobnost a statistika

Zápočet: účast na cvičení (v úterý, 7 účastí), zápočtový test (součást zkoušky, polovina bodů) – stačí napsat jednou

Historický model pravděpodobnosti

Definice (Laplace). Mějme náhodný pokus, který může vykázat

n \in ℕ

různých „stejně možných“ výsledků a jev

A

zahrnuje

m

z nich. Potom pravděpodobnost jevu

A

P (A) ≔ \frac{m}{n}

Poznámka. Tato definice z dnešního pohledu není matematicky korektní, ale pro základní příklady stačí.

Cvičení. Z balíčku

32

karet náhodně vybereme

5

. Určete pravděbodobnost, že mezi nimi budou právě dva králové.

Řešení.

P (A) = \frac{(\binom{4}{2}) \cdot (\binom{28}{3})}{(\binom{32}{5})} \approx 0.094

Věta (základní kombinatorické vzorečky). Mějme

n

vzájemně rozlišitelných prvků. Potom

počet variací s opakováním velikosti $k$ (uspořádaných $k$ -tic prvků) je $V^{'} (k, n) ≔ n^{k}$ ,
počet variací bez opakování velikosti $k$ (uspořádaných $k$ -tic různých prvků) je $V (k, n) ≔ \frac{n!}{(n - k)!}$ ,
počet permutací je $P (n) ≔ V (n, n) = n!$ ,
počet kombinací bez opakování velikosti $k$ (neuspořádaných $k$ -tic různých prvků) je $K (k, n) ≔ \frac{V (k, n)}{k!} = (\binom{n}{k})$ ,
počet kombinací s opakováním velikosti $k$ (neuspořádaných $k$ -tic prvků) je $K^{'} (k, n) ≔ (\binom{n + k - 1}{k})$ .

Cvičení. Určete pravděpodobnost, že při hodu dvěma kostkami bude součet (

A

) 9, (

B

) 10.

Řešení. Pro 9 jsou čtyři možné součty z celkem 36, tedy

P (A) = \frac{4}{36}

. Pro 10 jsou tři možné součty, tedy

P (B) = \frac{3}{36}

. To ale uvažujeme, že kostky jsou rozlišitelné. Pokud bychom ale uvažovali, že jsou nerozlišitelné, už nemůžeme použít klasickou definici pravděpodobnosti, protože výsledky nebudou „stejně možné“.

Cvičení. Spočtěte pravděpodobnost, že při šesti hodech kostkou (

A

) nepadne ani jedna šestka, (

B

) padne alespoň jedna šestka, (

C

) padne právě jedna šestka, (

D

) padne nejvýše jedna šestka.

Řešení.

P (A) = \frac{5^{6}}{6^{6}} \approx 0.3349

P (B) = 1 - P (A) \approx 0.6651

P (C) = \frac{6 \cdot 5^{5}}{6^{6}} \approx 0.4019

P (D) = P (A \cup C) = P (A) + P (C) - P (A \cap C) = P (A) + P (C) \approx 0.7368

Cvičení.

2 n

sportovních družstev bylo náhodně rozděleno do dvou stejně početných podskupin. Jaká je pravděpodobnost, že dvě nejsilnější družstva budou v (

A

) různých, (

B

) stejných podskupinách?

Řešení.

P (A) = \frac{(\binom{2}{1}) \cdot (\binom{2 n - 2}{n - 1})}{(\binom{2 n}{n})} = \frac{n}{2 n - 1}

P (B) = 1 - P (A) = \frac{n - 1}{2 n - 1}

Definice (geometrická definice pravděpodobnosti). Je-li výsledek stejně možný v každém bodě geometrického objektu

S

, potom pravděpodobnost jevu

A

reprezentovaného podobjektem

S_{A}

P (A) ≔ \frac{μ (S_{A})}{μ (S)}

Poznámka. Tato definice zobecňuje klasickou definici na jevy s nekonečnou množinou výsledků.

Cvičení. Dva vlaky mají přijet k rampě na vykládku. Mohou přijet kdykoli během dne se stejnou pravděpodobností. Jaká je pravděpodobnost, že jeden bude muset čekat, když vykládka jednoho trvá dvě hodiny a druhého tři hodiny?

Řešení.

S = {[0, 24)}^{2}

S_{A} = {(T_{1}, T_{2}) \in S | T_{1} - 3 < T_{2} < T_{1} + 2}

P (A) = 1 - \frac{\frac{21^{2}}{2} + \frac{22^{2}}{2}}{24^{2}} \approx 0.197

Cvičení (Bertrandův paradox). K dané kružnici náhodně zvolíme tětivu. Určete pravděpodobnost, že tětiva bude delší než strana vepsaného rovnostranného trojúhelníka.

Řešení.

Náhodně zvolíme dva body na kružnici. Pokud z prvního uděláme trojúhelník, potřebujeme, aby druhý bod byl na oblouku odpovídajícím protilehlé straně trojúhelníka. Tedy $P (A) = \frac{1}{3}$ .
Náhodně zvolíme bod a přímku jím procházející, z níž vykousneme tětivu. Potom také $P (A) = \frac{1}{3}$ .
Náhodně zvolíme poloměr kružnice, na něm bod a vyrobíme v tomto bodě tětivu kolmou na poloměr. Potom chceme, aby bod byl uvnitř trojúhelníka. Tedy $P (A) = \frac{1}{2}$ .
Náhodně zvolíme bod na kružnici a zvolíme tětivu, která ho má jako střed. Potom chceme, aby bod byl uvnitř kruhu vepsaného do trojúhelníka. Tedy $P (A) = \frac{1}{4}$ .

„Paradox“ je v tom, že pravděpodobnost závisí na tom, jakým způsobem „náhodně“ zvolíme tětivu.

Pravděpodobnostní prostory

Definice. Základní pravděpodobnostní prostor

Ω

je množina všech možných, navzájem se vylučujících výsledků (také jistý jev)

Definice. Elementární jev

ω \in Ω

je nejjednodušší možný výsledek.

Definice. Jev je množina elementárních jevů

A \subset Ω

Definice. Jev

A

nastal, pokud nastal libovolný elementární jev

ω \in A

Definice. Komplementární (opačný) jev k jevu

A

A^{∁} ≔ Ω ∖ A

Definice. Sjednocení/průnik jevů je jejich sjednocení/průnik jakožto množin. Zkráceně značíme

A B ≔ A \cap B

Definice. Jevy

A, B

jsou disjunktní, pokud

A \cap B = \emptyset

. V takovém případě značíme

A + B ≔ A \cup B

Definice. Jev

A

implikuje (má za následek) jev

B

, pokud

A \subset B

Definice. Nechť

Ω

je množina.

𝒜 \subset 2^{Ω}

je σ-algebra, pokud

$Ω \in 𝒜$
$\forall A \in 𝒜 : A^{∁} \in 𝒜$
$\forall A_{1}, A_{2}, \dots \in 𝒜 : ⋃_{i = 1}^{\infty} A_{i} \in 𝒜$

Ω, 𝒜

se poté nazývá pozorovací prostor.

Věta. Je-li

𝒜

σ-algebra nad

Ω

, potom

\emptyset \in 𝒜

Věta. Je-li

𝒜

σ-algebra nad

Ω

A_{1}, \dots, A_{n} \in 𝒜

, potom

⋃_{i = 1}^{n} A_{i} \in 𝒜

Věta. Je-li

𝒜

σ-algebra nad

Ω

A_{1}, A_{2}, \dots \in 𝒜

, potom

⋂_{i = 1}^{\infty} A_{i} \in 𝒜

Definice. Nechť

Ω = ℝ

. Minimální σ-algebru, která obsahuje všechny intervaly, nazveme systém borelovských množin

ℬ (ℝ)

Definice. Nechť

(Ω, 𝒜)

je pozorovací prostor. Funkce

P : 𝒜 \to ℝ_{0}^{+}

je pravděpodobnostní míra, pokud

$P (Ω) = 1$
$\forall p o d v o u d i s j u n k t n \overset{ˊ}{ı} A_{1}, A_{2}, \dots : P (\sum_{k = 1}^{\infty} A_{k}) = \sum_{k = 1}^{\infty} P (A_{k})$

(Ω, 𝒜, P)

se poté nazývá pravděpodobnostní prostor.

Věta. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor. Potom

P (\emptyset) = 0

Důkaz.

P (\emptyset) = \sum_{k = 0}^{\infty} P (\emptyset)

Věta. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor a

A_{1}, \dots, A_{n}

jsou disjunktní jevy. Potom

P (\sum_{k = 1}^{n} A_{k}) = \sum_{k = 1}^{n} P (A_{k})

Věta. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor a

A, B

jsou jevy. Potom

P (A \cup B) = P (A) + P (B) - P (A \cap B)

Důkaz.

P (A \cup B) = P (A + (B ∖ A)) = P (A) + P (B ∖ A) = P (A) + P (B) - P (A \cap B)

Věta. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor a

A, B

jsou jevy. Potom

A \subset B ⟹ P (A) \leq P (B)

Důkaz.

P (B) = P (A) + P (B ∖ A) \geq P (A)

Věta. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor a

A

je jev. Potom

P (A^{∁}) = 1 - P (A)

Důkaz.

P (A^{∁}) = P (Ω ∖ A) = P (Ω) - P (A) = 1 - P (A)

Definice. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor a

A, B \in 𝒜, P (B) > 0

. Potom podmíněná pravděpodobnost

A

za podmínky

B

P (A | B) ≔ \frac{P (A \cap B)}{P (B)}

Věta. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor a

B \in 𝒜, P (B) > 0

. Potom funkce

A \mapsto P (A | B)

je pravděpodobnostní míra.

Důkaz.

$P (Ω | B) = \frac{P (Ω \cap B)}{P (B)} = \frac{P (B)}{P (B)} = 1$
$P (\sum_{k = 1}^{\infty} A_{k} | B) = \frac{P ((\sum_{k = 1}^{\infty} A_{k}) \cap B)}{P (B)} = \frac{P (\sum_{k = 1}^{\infty} (A_{k} \cap B))}{P (B)} = \frac{\sum_{k = 1}^{\infty} P (A_{k} \cap B)}{P (B)} = \sum_{k = 1}^{\infty} \frac{P (A_{k} \cap B)}{P (B)} = \sum_{k = 1}^{\infty} P (A_{k} | B)$

Věta (součinové pravidlo). Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor a

A_{0}, \dots, A_{n} \in 𝒜, P (⋂_{k = 0}^{n - 1} A_{k}) > 0

. Potom

P (⋂_{k = 0}^{n} A_{k}) = \prod_{k = 0}^{n} P (A_{k} | ⋂_{j = 0}^{k - 1} A_{j})

Důkaz. Indukcí. Základní případ i indukční krok plynou přímo z definice podmíněné pravděpodobnosti.

Definice. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor. Jevy

B_{1}, \dots, B_{n} \in 𝒜

tvoří úplný soubor jevů, pokud

$\forall i, j \in \hat{n}, i \neq j : B_{i} \cap B_{j} = \emptyset$
$\forall i \in \hat{n} : P (B_{i}) > 0$
$P (\sum_{i = 1}^{n} B_{i}) = 1$

Věta (o úplné pravděpodobnosti). Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor,

{B_{1}, \dots, B_{n}}

je úplný soubor jevů a

A \in 𝒜

. Potom

P (A) = \sum_{i = 1}^{n} P (A | B_{i}) \cdot P (B_{i})

Důkaz.

\begin{aligned} P (A) & = P (A \cap \sum_{i = 1}^{\infty} B_{i}) + P (A ∖ \sum_{i = 1}^{\infty} B_{i}) \\ = P (A \cap \sum_{i = 1}^{\infty} B_{i}) \\ = \sum_{i = 1}^{\infty} P (A \cap B_{i}) \\ = \sum_{i = 1}^{\infty} P (A | B_{i}) \cdot P (B_{i}) \end{aligned}

Věta (Bayesova). Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor a

{B_{1}, \dots, B_{n}}

je úplný soubor jevů a

A \in 𝒜, P (A) > 0

. Potom pro každé

i \in \hat{n}

platí

P (B_{i} | A) = \frac{P (A | B_{i}) \cdot P (B_{i})}{\sum_{k = 1}^{n} P (A | B_{k}) \cdot P (B_{k})}

Důkaz.

P (B_{i} | A) = \frac{P (B_{i} \cap A)}{P (A)} = \frac{P (A | B_{i}) \cdot P (B_{i})}{P (A)} = \frac{P (A | B_{i}) \cdot P (B_{i})}{\sum_{k = 1}^{n} P (A | B_{k}) \cdot P (B_{k})}

Definice. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor. Jevy

A, B \in 𝒜

jsou nezávislé, pokud

P (A \cap B) = P (A) \cdot P (B)

Věta. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor.

A, B \in 𝒜, P (B) > 0

jsou nezávislé právě tehdy, pokud

P (A | B) = P (A)

Důkaz. Opravdu je potřeba důkaz?

Definice. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor. Jevy

A_{1}, \dots, A_{n}

jsou sdruženě nezávislé, pokud pro každá

{i_{1}, \dots, i_{k}} \subset \hat{n}

platí

P (⋂_{j = 1}^{k} A_{i_{j}}) = \prod_{j = 1}^{k} P (A_{i_{j}})

Definice. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor. Jevy

A_{1}, \dots, A_{n}

jsou párově nezávislé, pokud pro každá

i, j \in \hat{n}, i \neq j

jsou

A_{i}, A_{j}

nezávislé.

Věta. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor. Pokud jsou jevy

A, B \in 𝒜

nezávislé, potom

A, B^{∁}

jsou také nezávislé.

Důkaz. Ano.

Konkrétní absolutně spojitá rozdělení

Definice. Rovnoměrné rozdělení s parametry

a, b \in ℝ, a < b

, značeno

X \sim U (a, b)

, je

f_{X} (x) ≔ \frac{[x \in (a, b)]}{b - a}

Definice. Gamma rozdělení s parametry

α, β \in ℝ

, značeno

X \sim Gamma (α, β)

, je

f_{X} (x) ≔ [x > 0] \frac{x^{α - 1} \exp (- \frac{x}{β})}{Γ (α) β^{α}}

Poznámka. Prý si nemusíme přesně pamatovat ten vzoreček, důležité je umět ho použít.

Definice. Normální (Gaussovo) rozdělení s parametry

μ \in ℝ, σ^{2} \in ℝ^{+}

, značeno

X \sim N (μ, σ^{2})

, je

f_{X} (x) = \frac{\exp (- \frac{{(x - μ)}^{2}}{2 σ^{2}})}{\sqrt{2 π σ^{2}}}

Důkaz (že to je rozdělení).

\begin{aligned} \int_{- \infty}^{\infty} f_{X} (x) d x & = \int_{- \infty}^{\infty} \frac{\exp (- \frac{{(x - μ)}^{2}}{2 σ^{2}})}{\sqrt{2 π σ^{2}}} d x \\ = | \begin{array}{c} y ≔ \frac{x - μ}{σ} \\ d y = \frac{d x}{σ} \end{array} | = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{\infty} \exp (- \frac{y^{2}}{2}) d y \\ = \frac{2}{\sqrt{2 π}} \int_{0}^{\infty} \exp (- \frac{y^{2}}{2}) d y \\ = | \begin{array}{c} t ≔ \frac{y^{2}}{2} \\ d t = y d y \end{array} | = \frac{1}{\sqrt{π}} \int_{0}^{\infty} \exp (- t) \sqrt{2 t} d t \\ = \frac{Γ (\frac{1}{2})}{\sqrt{π}} = 1 \end{aligned}

Poznámka.

μ

určuje střed zvonu,

σ

určuje, jak moc je rozplizlý.

Definice. Standardní normální rozdělení je normální rozdělení s

μ ≔ 0, σ^{2} ≔ 1

. Definujeme

φ (x) ≔ \frac{\exp (- \frac{x^{2}}{2})}{\sqrt{2 π}}

Φ (x) ≔ \int_{- \infty} φ (x) d x = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{x} \exp (- \frac{t^{2}}{2}) d t

Věta.

Φ (x) = 1 - Φ (- x)

Důkaz.

\begin{aligned} Φ (x) & = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{x} \exp (- \frac{t^{2}}{2}) d t \\ = | \begin{array}{c} t ≕ - y \\ d t = - d y \end{array} | = - \frac{1}{\sqrt{2 π}} \int_{\infty}^{- x} \exp (- \frac{y^{2}}{2}) d y \\ = \frac{1}{\sqrt{2 π}} \int_{- x}^{\infty} \exp (- \frac{y^{2}}{2}) d y \\ = \int_{- \infty}^{\infty} φ (y) d y - \int_{- \infty}^{- x} φ (y) d y = 1 - Φ (- x) \end{aligned}

Věta. Jestliže

X \sim N (μ, σ^{2})

, potom

F_{X} (x) = Φ (\frac{x - μ}{σ})

Důkaz. Plyne přímo z definic a věty o substituci.

Poznámka. Integrál

φ

nejde spočítat analyticky, ale numericky se snadno počítá tím, že

φ

roztaylorujeme a zintegrujeme po členech.

Věta. Nechť

X \sim N (μ, σ^{2})

a, b \in ℝ, a \neq 0

. Potom

a X + b \sim N (a μ + b, a^{2} σ^{2})

Důkaz. Nechť

y ≔ h (x) ≔ a x + b

. Potom

{(h^{- 1})}^{'} (y) = \frac{1}{a}

f_{Y} (y) = f_{X} (h^{- 1} (x)) \cdot | {(h^{- 1})}^{'} (y) | = \frac{f_{X} (\frac{y - b}{a})}{| a |} = \dots

Důsledek.

\frac{X - μ}{σ} \sim N (0,1)

Definice. Exponenciální rozdělení s parametry

μ, θ \in ℝ

, značeno

X \sim Exp (μ, θ)

, je

f_{X} (x) ≔ [x > μ] \frac{\exp (- \frac{x - μ}{θ})}{θ}

Poznámka.

Exp (0, θ) = Gamma (1, θ)

Poznámka. Distribuční funkce je

F_{X} (x) = 1 - \exp (- \frac{x - μ}{θ})

Věta. Pro exponenciální rozdělení platí

P [X > a + x | X > a] = P [X > x]

Důkaz.

P [X > a + x | X > a] = \frac{P [X > a + x]}{P [X > a]} = \frac{1 - F_{X} (a + x)}{1 - F_{X} (a)} = \frac{\exp (- \frac{a + x}{θ})}{\exp (- \frac{a}{θ})} = \exp (- \frac{x}{θ}) = P [X > x]

Poznámka. Díky tomuto se nazývá „rozdělení bez paměti“. Pokud průměrná doba do nějaké události je dána tímto rozdělením, potom to, jak dlouho ještě budeme čekat, nezávisí na tom, jak dlouho jsme už čekali. Často se s ním modeluje životnost elektronických součástek nebo obsluha zákazníků.

Poznámka. Mějme veličinu

X \sim Po (λ)

. Nechť

X_{t}

značí počet jevů, které nastanou za čas

t

, tedy

P [X_{t} = k] = \exp (- λ t) \frac{{(λ t)}^{k}}{k!}

. Nechť

T

je doba do první události. Potom zjevně platí vztah

P [T > t] = P [X_{t} = 0]

. Z toho snadno odvodíme, že

T \sim Exp (\frac{1}{λ})

Rozdělení používaná v matematické statistice

Definice. Pearsonovo

χ^{2}

rozdělení s

n \in ℕ

stupni volnosti, značeno

Y \sim χ^{2} (n)

, je

f_{Y} (x) ≔ n \overset{ˇ}{e} j a k \overset{ˊ}{y} p \overset{ˇ}{e} k n \overset{ˊ}{y} h n u s

(konkrétní vzoreček si nemusíme pamatovat)

Poznámka. Jsou-li

X_{1}, \dots, X_{n}

nezávislé a

X_{i} \sim N (0,1)

, potom

\sum_{k = 1}^{n} X_{k}^{2} \sim χ^{2} (n)

Definice. Nechť

X, Y

jsou nezávislé veličiny s

X \sim N (0,1), Y \sim χ^{2} (n)

. Studentovo rozdělení s

n

stupni volnosti má veličina

T ≔ \frac{X}{\sqrt{\frac{Y}{n}}}

Značíme

T \sim t (n)

Definice. Nechť

X, Y

jsou nezávislé veličiny s

X \sim χ^{2} (m), Y \sim χ^{2} (n)

. Fisherovo rozdělení s

m, n

stupni volnosti má veličina

Z ≔ \frac{\frac{X}{m}}{\frac{Y}{n}}

Značíme

Z \sim F (m, n)

Charakteristiky náhodných veličin

Definice. Nechť náhodná veličina

X

má diskrétní rozdělení. Potom její střední hodnota je

E X ≔ \sum_{i} x_{i} p_{i}

pokud řada absolutně konverguje.

Definice. Nechť náhodná veličina

X

má absolutně spojité rozdělení. Potom její střední hodnota je

E X ≔ \int_{- \infty}^{\infty} x f_{X} (x) d x

pokud integrál absolutně konverguje.

Věta. Nechť

X

Y ≔ h (X), h : ℝ \to ℝ

jsou náhodné veličiny. Potom pro diskrétní rozdělení

E Y = \sum_{i} h (x_{i}) p_{i}

a pro absolutně spojité

E Y = \int_{- \infty}^{\infty} h (x) f_{X} (x) d x

Důkaz. Pro diskrétní rozdělení jednoduché, jen se musí řešit, když

h

není prostá. Pro absolutně spojité dokážeme jen pro ostře rostoucí

h

\begin{aligned} \int_{- \infty}^{\infty} h (x) f_{X} (x) d x & = [\begin{array}{c} y ≔ h (x) \\ x = h^{- 1} (y) \\ d x = {(h^{- 1})}^{'} (y) d y \end{array}] = \int_{h (- \infty)}^{h (\infty)} y f_{X} (h^{- 1} (y)) {(h^{- 1})}^{'} (y) d y \\ = \int_{h (- \infty)}^{h (\infty)} y f_{Y} (y) d y \\ = \int_{- \infty}^{\infty} y f_{Y} (y) d y \end{aligned}

Poslední rovnost platí proto, že pokud

y > h (\infty)

, potom

f_{Y} (y) = 0

a analogicky pro dolní mez.

Věta.

E h (X, Y) = \sum_{i, j} h (x_{i}, y_{i}) p_{i, j}

E h (X, Y) = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} h (x, y) f_{X, y} (x, y) d x d y

Definice. Je-li

X

náhodný vektor, potom definujeme

E X ≔ (E X_{1}, \dots, E X_{n})

Věta. Nechť náhodné veličiny

X, Y

mají diskrétní nebo absolutně spojité rozdělení a existují

E X, E Y

. Potom existuje i

E (X + Y)

a platí

E (X + Y) = E X + E Y

Důkaz.

E (X + Y) = \sum_{i, j} (x_{i} + y_{j}) p_{i, j} = \sum_{i} x_{i} \sum_{j} p_{i, j} + \sum_{j} y_{j} \sum_{i} p_{i, j} = E X + E Y

E (X + Y) = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} (x + y) f_{X, Y} (x, y) d x d y = \int_{- \infty}^{\infty} x \int_{- \infty}^{\infty} f_{X, Y} (x, y) d y d x + \int_{- \infty}^{\infty} y \int_{- \infty}^{\infty} f_{X, Y} (x, y) d x d y = E X + E Y

Věta. Nechť

c \in ℝ

, náhodná veličina

X

má diskrétní nebo absolutně spojité rozdělení a existuje

E X

. Potom existuje i

E (c X)

a platí

E (c X) = c E X

Důkaz. Triviální.

Důsledek. Střední hodnota je lineární funkcionál na náhodných veličinách.

Věta. Pro

a \in ℝ

E a = a

Důkaz. Triviální s použitím Diracova rozdělení

P [X = x] ≔ [x = a]

Věta. Nechť nezávislé náhodné veličiny

X, Y

mají diskrétní nebo absolutně spojité rozdělení a existují

E X, E Y, E (X Y)

. Potom

E (X Y) = E X \cdot E Y

Důkaz.

E (X Y) = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} x y f_{X, Y} (x, y) d x d y = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} x f_{X} (x) y f_{Y} (y) d x d y = (\int_{- \infty}^{\infty} x f_{X} (x)) (\int_{- \infty}^{\infty} y f_{Y} (y)) = E X \cdot E Y

Definice. Nechť

X

je náhodná veličina a

k \in ℕ_{0}

. Potom

k

-tý obecný moment

X

μ_{k}^{'} (X) ≔ E X^{k}

k

-tý centrální moment

X

μ_{k} (X) ≔ E {(X - E X)}^{k}

Poznámka.

μ_{0}^{'} (X) = μ_{0} (X) = 1, μ_{1} (X) = 0

Definice. Druhý centrální moment se nazývá rozptyl:

Var X ≔ μ_{2} (X) = E {(X - E X)}^{2}

. Jeho odmocnina je směrodatná odchylka:

s.d. X ≔ \sqrt{Var X}

Věta. Nechť

X

je náhodná veličina. Potom

Var X = E X^{2} - {(E X)}^{2}

Důkaz.

Var X = E {(X - E X)}^{2} = E (X^{2} - 2 X E X + {(E X)}^{2}) = E X^{2} - E (2 X E X) + E {(E X)}^{2} = E X^{2} - 2 {(E X)}^{2} + {(E X)}^{2} = E X^{2} - {(E X)}^{2}

Věta. Nechť

X

je náhodná veličina a

a, b \in ℝ

. Potom

Var (a x + b) = a^{2} Var X

Důkaz.

Var (a X + b) = E {(a X + b - E (a X + b))}^{2} = E {(a (X - E X))}^{2} = a^{2} E {(X - E X)}^{2} = a^{2} Var X

Věta. Nechť

X, Y

jsou nezávislé náhodné veličiny. Potom

Var (X + Y) = Var X + Var Y

Důkaz.

Var (X + Y) = \dots = Var X + Var Y + 2 E ((X - E X) (Y - E Y))

Stačí dokázat, že kovariance

Cov (X, Y) ≔ E ((X - E X) (Y - E Y))

je pro nezávislé veličiny nulová. Spočteme

Cov (X, Y) = E (X Y) - E X E Y

Definice. Nechť

X

je náhodná veličiny. Potom koeficient šikmosti je

α_{3} (X) ≔ \frac{μ_{3} (X)}{{(Var X)}^{\frac{3}{2}}}

a koeficient špičatosti je

α_{4} (X) ≔ \frac{μ_{4} (X)}{{(Var X)}^{2}} - 3

Poznámka. Šikmost vyjadřuje, jak moc se graf hustoty nahýbá doprava. Špičatost vyjadřuje… jak moc je špičatý (kde

0

je jako normální rozdělení).

Poznámka. Pro

X \sim N (μ, σ^{2})

α_{3} (X) = α_{4} (X) = 0

Věta. Nechť

X \sim Bi (n, p)

. Potom

E X = n p

Var X = n p (1 - p)

Důkaz.

\begin{aligned} E X & = \sum_{k = 0}^{n} k \frac{n!}{(n - k)! \cdot k!} p^{k} {(1 - p)}^{n - k} \\ = \sum_{k = 1}^{n} \frac{n!}{(n - k)! \cdot (k - 1)!} p^{k} {(1 - p)}^{n - k} \\ = n p \sum_{k = 1}^{n} \frac{(n - 1)!}{(n - k)! \cdot (k - 1)!} p^{k - 1} {(1 - p)}^{n - k} \\ = n p \sum_{j = 0}^{n - 1} (\binom{n - 1}{j}) p^{j} {(1 - p)}^{n - 1 - j} \\ = n p {(p + (1 - p))}^{n - 1} = n p \end{aligned}

\begin{aligned} E X^{2} & = \sum_{k = 0}^{n} k^{2} (\binom{n}{k}) p^{k} {(1 - p)}^{n - k} \\ = \sum_{k = 0}^{n} k (k - 1) (\binom{n}{k}) p^{k} {(1 - p)}^{n - k} + \sum_{k = 0}^{n} k (\binom{n}{k}) p^{k} {(1 - p)}^{n - k} \\ \overset{\overset{}{analogicky}}{=} n^{2} p^{2} - n p^{2} + n p \end{aligned}

Var X = E X^{2} - {(E X)}^{2} = n p - n p^{2}

Poznámka. Speciálně pokud

X \sim Be (p)

, potom

E X = p

Var X = p (1 - p)

Věta. Nechť

X \sim N (μ, σ^{2})

. Potom

E X = μ

Var X = σ^{2}

Důkaz.

\begin{aligned} E X & = \int_{ℝ} x f_{X} (x) d x \\ = μ \underset{F_{X} (\infty) = 1}{\underset{⏟}{\int_{ℝ} f_{X} (x) d x}} + \int_{ℝ} (x - μ) f_{X} (x) d x \\ = μ + \frac{1}{\sqrt{2 π σ^{2}}} \int_{ℝ} (x - μ) \exp (- \frac{{(x - μ)}^{2}}{2 σ^{2}}) d x \\ = μ + \frac{1}{\sqrt{2 π}} \int_{ℝ} \underset{l i c h \overset{ˊ}{a} f u n k c e}{\underset{⏟}{t \exp (- \frac{t^{2}}{2})}} d t \\ = μ \end{aligned}

\begin{aligned} E X^{2} & = \int_{ℝ} x^{2} f_{X} (x) d x \\ = μ^{2} \underset{1}{\underset{⏟}{\int_{ℝ} f_{X} (x) d x}} + 2 μ \underset{0}{\underset{⏟}{\int_{ℝ} (x - μ) f_{X} (x) d x}} + \int_{ℝ} {(x - μ)}^{2} f_{X} (x) d x \\ = μ^{2} + \frac{1}{\sqrt{2 π σ^{2}}} \int_{ℝ} {(x - μ)}^{2} \exp (- \frac{{(x - μ)}^{2}}{2 σ^{2}}) d x \\ = μ^{2} + \frac{σ^{2}}{\sqrt{2 π}} \int_{ℝ} t^{2} \exp (- \frac{t^{2}}{2}) d t \\ = μ^{2} + \frac{2 σ^{2}}{\sqrt{2 π}} \int_{0}^{\infty} t^{2} \exp (- \frac{t^{2}}{2}) d t \\ = | \begin{array}{c} y ≔ \frac{t^{2}}{2} \\ d t = \frac{d y}{\sqrt{2 y}} \end{array} | = μ^{2} + \frac{2 σ^{2}}{\sqrt{2 π}} \int_{0}^{\infty} \frac{2}{\sqrt{2 y}} y \exp (- y) d y \\ = μ^{2} + \frac{2 σ^{2}}{\sqrt{π}} \int_{0}^{\infty} \sqrt{y} \exp (- y) d y \\ = μ^{2} + \frac{2 σ^{2}}{\sqrt{π}} Γ (\frac{3}{2}) \\ = μ^{2} + σ^{2} \end{aligned}

Var X = E X^{2} - {(E X)}^{2} = μ^{2} + σ^{2} - μ^{2} = σ^{2}

Věta. Nechť

X \sim Exp (μ, θ)

. Potom

E X = μ + θ

Var X = θ^{2}

Definice. Kovariance náhodných veličin

X, Y

Cov (X, Y) ≔ E ((X - E X) (Y - E Y))

Věta. Nechť

X, Y

jsou náhodné veličiny. Potom

Cov (X, Y) = E (X Y) - (E X) (E Y)

Definice. Koeficient korelace náhodných veličin

X, Y

ρ (X, Y) ≔ \frac{Cov (X, Y)}{s.d. X s.d. Y}

Lemma (Schwarzova nerovnost). Nechť

X, Y

jsou náhodné veličiny. Potom

{(E (X Y))}^{2} \leq E X^{2} E Y^{2}

Důkaz.

0 \leq E {(a X - Y)}^{2} = E (a^{2} X^{2} - 2 a X Y + Y^{2}) = a^{2} E X^{2} - 2 a E (X Y) + E Y^{2}

To je kvadratický výraz, který má být nezáporný, takže jeho diskriminant musí být nekladný:

0 \geq D = 4 {(E (X Y))}^{2} - 4 E X^{2} E Y^{2}

Věta. Nechť

X, Y

jsou náhodné veličiny. Potom

- 1 \leq ρ (X, Y) \leq 1

, přičemž rovnost

ρ (X, Y) = \pm 1

platí, právě pokud

(\exists β \in ℝ^{\pm}) (Y - E Y = β (X - E X))

Důkaz. Z definic a Schwarzovy nerovnosti plyne

{(Cov (X, Y))}^{2} \leq Var X Var Y

, z čehož triviálně

| ρ (X, Y) | \leq 1

. Co se týče tvrzení s rovností:

(\Leftarrow)

Nechť

Y - E Y = β (X - E X)

. Potom

Y = β X - β E X + E Y ≕ β X + C

Cov (X, Y) = Cov (X, β X + C) = E ((X - E X) (β X + C - E (β X + C))) = β Var X

Var Y = Var (β X + C) = β^{2} Var X

ρ (X, Y) = \frac{β Var X}{\sqrt{Var X β^{2} Var X}} = \frac{β}{| β |} = \pm 1

(\Rightarrow)

Ne.

Koeficient korelace vyjadřuje míru lineární závislosti mezi veličinami. Pokud je nízký, veličiny přesto mohou být korelované, akorát ne lineárně! A to, že veličiny jsou korelované, nemusí znamenat příčinný vztah mezi nimi.

Definice. Náhodné veličiny

X, Y

jsou nekorelované, pokud

ρ (X, Y) = 0

Věta. Jsou-li náhodné veličiny

X, Y

nezávislé, potom jsou nekorelované.

Důkaz. Triviálně plyne ze skutečnosti, že pro nezávislé veličiny je

E (X Y) = E X E Y

Poznámka. Vopáčná implikace neplatí: Nechť

X, Y

mají rovnoměrné rozdělení na jednotkovém kruhu, tedy

f_{X, Y} (x, y) = [x^{2} + y^{2} \leq 1] \frac{1}{π}

. Potom

f_{X} (x) = \int_{- \infty}^{\infty} f_{X, Y} (x, y) d y = \dots = [x \in [- 1, 1]] \frac{2}{π} \sqrt{1 - x^{2}}

f_{Y} (y) = analogicky = [y \in [- 1, 1]] \frac{2}{π} \sqrt{1 - x^{2}}

Veličiny

X, Y

nejsou nezávislé:

f_{X} (x) f_{Y} (y) = \frac{4}{π^{2}} \sqrt{1 - x^{2}} \sqrt{1 - y^{2}} \neq \frac{1}{π} = f_{X, Y} (x, y)

Veličiny

X, Y

jsou nekorelované:

E X = E Y = \int_{- 1}^{1} x f_{X} (x) d x = \dots = 0

E (X Y) = \iint_{\overline{B} ((0,0), 1)} x y f_{X, Y} (x, y) d x d y = \dots = 0

Definice. Kovarianční matice náhodného vektoru

X

je dána jako

Σ_{i, j} ≔ Cov (X_{i}, X_{j})

Poznámka. Matice

Σ

je symetrická, na diagonále má variace a pokud jsou veličiny nezávislé, potom je diagonální.

Definice. Nechť

X

je náhodná veličina a

α \in (0,1)

α

-kvantil veličiny

X

je bod

x_{α} ≔ \inf {x | F_{X} (x) \geq α}

Poznámka. Pokud

F_{X}

je spojitá a ostře rostoucí, potom

x_{α} = F^{- 1} (α)

Poznámka. Pokud

X

má absolutně spojité rozdělení, potom

\int_{- \infty}^{x_{α}} f_{X} = α

Poznámka. Některé kvantily mají speciální názvy:

x_{0.5}

= medián,

x_{0.25}

= dolní kvartil,

x_{0.75}

= horní kvartil,

x_{0.1}

= dolní decil,

x_{0.9}

= horní decil,

x_{0.75} - x_{0.25}

= mezikvartilové rozpětí.

Definice. Charakteristická funkce náhodné veličiny

X

φ_{X} : ℝ \to ℂ

definovaná jako

φ_{X} (t) ≔ E \exp (i t X)

Poznámka.

φ_{X} (t)

vždy existuje, platí

| φ_{X} (t) | \leq 1

a je-li

X

absolutně spojitě rozdělená, potom jde o její Fourierovu transformaci:

φ_{X} (t) = \int_{- \infty}^{\infty} f (x) \exp (i t x) d x

Definice. Momentová vytvářející funkce náhodné veličiny

X

M_{x} : ℝ \to ℝ

definovaná jako

M_{X} (t) ≔ E \exp (t X)

Poznámka. Momentová vytvářející funkce na rozdíl od charakteristické funkce nemusí existovat.

Příklad. Je-li

X \sim Po (λ)

, potom

M_{X} (t) = \exp (λ (\exp t - 1))

Příklad. Je-li

X \sim Gamma (α, β)

, potom

M_{X} (t) = {(1 - β t)}^{- α}

Věta. Nechť náhodná veličina

X

má momentovou vytvářecí funkci na intervalu

(- s, s)

. Potom pro každé

k \in ℕ

platí

M_{x}^{(k)} (0) = μ_{k}^{'} (X) = E X^{k}

Důkaz. Pro jednoduchost předpokládejme, že platí nějaká podmínka pro přehození integrálu a sumy.

M_{X} (t) = E \exp (t X) = \int_{ℝ} \exp (t x) f_{X} (x) d x = \int_{ℝ} \sum_{n = 0}^{\infty} \frac{{(t x)}^{n}}{n!} f_{X} (x) d x = \sum_{n = 0}^{\infty} \frac{t^{n}}{n!} \int_{ℝ} x^{n} f_{X} (x) d x = \sum_{n = 0}^{\infty} \frac{t^{n}}{n!} μ_{n}^{'} (x)

k

-tou derivací a dosazením

t = 0

dostaneme dokazovaný vztah.

Poznámka. Pokud má náhodná veličina

X

všechny momenty a momentovou vytvářející funkci, potom

M_{X}

jednoznačně definuje

F_{X}

(a navopák).

Věta. Nechť náhodná veličina

X

má momentovou vytvářející funkci. Potom pro náhodnou veličinu

Y ≔ a X + b

platí

M_{Y} (t) = \exp (b t) M_{X} (a t)

Důkaz. Jednoduchý.

Věta. Nechť náhodné veličiny

X_{1}, \dots, X_{n}

mají na intervalu

(- s, s)

momentové vytvářéjící funkce. Potom pro náhodnou veličinu

Y ≔ \sum_{j = 1}^{n} X_{j}

platí

M_{Y} (t) = \prod_{j = 1}^{n} M_{X_{j}} (t)

Důkaz. Jednoduchý.

Příklad. Pro

X_{i} \sim Po (λ_{1})

máme

\sum X_{i} \sim Po (\sum λ_{i})

Limitní věty

Motivace: Chceme odhadnout pravděpodobnost nějakého jevu nebo střední hodnotu nějaké náhodné veličiny tím, že provedeme spoustu nezávislých pokusů.

Definice. Nechť

(X_{n})

je posloupnost náhodných veličin a

c \in ℝ

. Řekneme, že

(X_{n})

konverguje k

c

podle pravděpodobnosti

P

, pokud pro každé

ε \in ℝ^{+}

\lim_{n \to \infty} P [| X_{n} - c | \geq ε] = 0

. Značíme

X_{n} \overset{\overset{}{P}}{\to} μ

Poznámka. Intuitivně: graf hustoty pravděpodobnosti se „přicucává“ k bodu

c

Věta (Čebyševova nerovnost). Nechť

X

je náhodná veličina se střední hodnotou a konečným rozptylem. Potom pro každé

ε \in ℝ^{+}

platí

P [| X - E X | \geq ε] \leq \frac{Var X}{ε^{2}}

Důkaz. Dokážeme pro absolutně spojité rozdělení. Nechť

Y

je náhodná veličina taková, že

E Y < \infty

. Potom

E Y^{2} = \int_{ℝ} y^{2} f_{Y} (y) d y \geq \int_{| y | \geq ε} y^{2} f_{Y} (y) d y \geq ε^{2} \int_{| y | \geq ε} f_{Y} (y) d y = ε^{2} P [| Y | \geq ε]

Nyní stačí dosadit

Y ≔ X - E X

, což můžeme, protože

E Y^{2} = Var X < \infty

Věta (zákon velkých čísel). Nechť

(X_{n})

je posloupnost nezávislých, (stejně rozdělených) náhodných veličin, přičemž pro každé

i \in ℕ

existují stejná

μ ≔ E X_{i}

σ^{2} ≔ E {(X_{i} - μ)}^{2}

. Potom

X_{n} ≔ \frac{\sum_{i = 1}^{n} X_{i}}{n} \overset{\overset{}{P}}{\to} μ

Důkaz.

E X_{n} = \frac{\sum_{i = 1}^{n} E X_{i}}{n} = μ

Var X_{n} = \frac{\sum_{i = 1}^{n} Var X_{i}}{n^{2}} = \frac{σ^{2}}{n}

Čebyševova nerovnost nám říká

P [| X_{n} - μ | \geq ε] \leq \frac{σ^{2}}{n ε^{2}}

Výraz nalevo je přesně to, co chceme dokázat, že konverguje k nule pro každé

ε

. To je podle této nerovnosti triviální.

Poznámka. Předpoklad stejného rozdělení ve skutečnosti není potřebný, ale z nějakého důvodu se s ním věta formuluje.

Důsledek (metoda Monte Carlo). Nechť

U_{1}, \dots, U_{n} \sim U (a, b)

f : ℝ \to ℝ

. Potom

\frac{\sum_{i = 1}^{n} f (U_{i})}{n} \overset{\overset{}{P}}{\to} E f (U_{1}) = \frac{\int_{a}^{b} f}{b - a}

To se dá využít k numerické aproximaci integrálu.

Definice. Posloupnost náhodných veličin

(X_{n})

konverguje k náhodné veličině

X

v distribuci, pokud pro všechna

x

, kde je

F_{X}

spojitá, platí

\lim_{n \to \infty} F_{X_{n}} (x) = F_{X} (x)

. Značíme

X_{n} \overset{\overset{}{L}}{\to} X

Poznámka. Je-li

X \sim N (μ, σ^{2})

, můžeme značit také

X_{n} \overset{\overset{}{L}}{\to} N (μ, σ^{2})

Věta (střední limitní). Nechť

(X_{n})

je posloupnost nezávislých, stejně rozdělených náhodných veličin se stejnou střední hodnotou

μ

a konečným rozptylem

σ^{2}

. Potom

\frac{\sum_{i = 1}^{n} X_{i} - n μ}{\sqrt{n} σ} \overset{\overset{}{L}}{\to} N (0,1)

Poznámka. Pro snadnější zapamatování můžeme formulovat takto, kde

Y_{n} ≔ \sum_{i = 1}^{n} X_{i}

\frac{Y_{n} - E Y_{n}}{s.d. Y_{n}} \overset{\overset{}{L}}{\to} N (0,1)

Důkaz. Dokážeme pouze pro

X

mající momentovou vytvářecí funkci, obecně by se to dokázalo pomocí charakteristické funkce. Nejprve uvažujme veličiny

U_{1}, \dots, U_{n}

E U_{i} = 0, Var U_{i} = 1

. Nechť

M_{U}

je jejich momentová vytvářecí funkce. Definujme

S_{n} ≔ \frac{\sum_{i = 1}^{n} U_{i}}{\sqrt{n}}

. Potom

M_{S_{n}} (t) = E \exp (t S_{n}) = E \prod_{i = 1}^{n} \exp (\frac{t U_{i}}{\sqrt{n}}) = \prod_{i = 1}^{n} E \exp (\frac{t U_{i}}{\sqrt{n}}) = {(M_{U} (\frac{t}{\sqrt{n}}))}^{n}

Roztaylorováním dostáváme

M_{U} (\frac{t}{\sqrt{n}}) = 1 + \frac{t E U}{\sqrt{n}} + \frac{t^{2} E U^{2}}{2 n} + o (\frac{t^{2}}{2 n}) = 1 + \frac{t^{2}}{2 n} + o (\frac{t^{2}}{2 n})

\lim_{n \to \infty} M_{S_{n}} (t) = \lim_{n \to \infty} {(1 + \frac{t^{2}}{2 n} + o (\frac{t^{2}}{2 n}))}^{n} = \lim_{n \to \infty} {({(1 + \frac{1}{\frac{2 n}{t^{2} + 2 n o (\frac{t^{2}}{2 n})}})}^{\frac{2 n}{t^{2} + 2 n o (\frac{t^{2}}{2 n})}})}^{\frac{t^{2} + 2 n o (\frac{t^{2}}{2 n})}{2}} = \exp (\frac{t^{2}}{2})

Tím je věta pro

(U_{n})

dokázaná. Pro

(X_{n})

stačí vzít

U_{n} ≔ n \overset{ˇ}{e} c o

Poznámka. V praxi aproximace funguje dobře pro

n \geq 30

(u diskrétních rozdělení může být potřeba trochu víc).

Důsledek (Moivre-Laplace). Nechť

(X_{n})

je posloupnost nezávislých veličin a

X_{i} \sim Be (p)

. Potom

\frac{\sum_{i = 1}^{n} X_{i} - n p}{\sqrt{n p (1 - p)}} \overset{\overset{}{L}}{\to} N (0,1)

Označíme-li

Y_{n} ≔ \sum_{i = 1}^{n} X_{i}

, potom

Y_{n} \sim Bi (n, p)

a platí

\lim_{n \to \infty} P [\frac{Y_{n} - n p}{\sqrt{n p (1 - p)}} \leq x] = Φ (x)

tedy binomické rozdělení lze aproximovat jako normální pro dostatečně velké

n p (1 - p)

(používá se

\geq 9

Matematická statistika

Vytvoříme model, na základě experimentu odhadneme hodnoty volných parametrů, testujeme o nich hypotézy a ověřujeme shodu modelu se skutečností.

Nejprve musíme odhadnout rozdělení, většinou podle intuitivní představy.

Bodový odhad = předpokládáme, že $X \sim F_{X} (x, θ)$ , a snažíme se odhadnout $θ (X)$ podle vektoru pozorování $X$ .

Intervalový odhad = hledáme interval, ve kterém se parametr $θ$ nachází s danou pravděpodobností.

Parametrické testy = odhadneme něco o parametru $θ$ a snažíme se ověřit, jestli to platí.

Testy dobré shody = ověřujeme, jestli se data skutečně řídí odhadnutým rozdělením.

Pořád máme prostor $(Ω, 𝒜, P)$ , ale tentokrát $Ω$ představuje populaci, $ω \in Ω$ představují individua a náhodná veličina $X : Ω \to ℝ$ představuje jejich vlastnost. Aby to sedělo s větami, které jsme si předtím odvodili, uděláme takový podvod a zavedeme si náhodné veličiny $X_{i} ≔ X (ω_{i})$ .

Definice. Nechť

(Ω, 𝒜, P)

je pravděpodobnostní prostor a

n \in ℕ

n

-tici nezávislých náhodných veličin

X_{1}, \dots, X_{n}

se stejným rozdělením

F

nazýváme náhodný výběr z rozdělení

F

Potom, co něco naměříme, už nemáme náhodné veličiny, ale nějaká konkrétní čísla, která označíme $x_{1}, \dots, x_{n}$ a nazveme realizace náhodného výběru.

Definice. Nechť

X_{1}, \dots, X_{n}

je náhodný výběr z rozdělení

F

. Statistika je funkce náhodného výběru

X_{1}, \dots, X_{n}

, která nezávisí na rozdělení

F

Příklad. Výběrový průměr

X_{n} ≔ \frac{\sum_{i = 1}^{n} X_{i}}{n}

Příklad. Výběrový rozptyl:

s_{n}^{2} ≔ \frac{\sum_{i = 1}^{n} {(X_{i} - X_{n})}^{2}}{n - 1}

(

n - 1

se dělí proto, že potom bude platit jistý hezký vzoreček)

Příklad. Výběrová směrodatná odchylka

s_{n} ≔ \sqrt{s_{n}^{2}}

Příklad. Výběrový

r

-tý moment

m_{r} ≔ \frac{\sum_{i = 1}^{n} X_{i}^{r}}{n}

Příklad. Značíme-li

x_{(1)}, \dots, x_{(n)}

data seřazená podle velikosti, potom výběrový medián je

{\tilde{x}}_{0.5} ≔ {\begin{matrix} x_{(\frac{n + 1}{2})}, & n l i c h \overset{ˊ}{e} \\ \frac{x_{(\frac{n}{2})} + x_{(\frac{n + 1}{2})}}{2}, & n s u d \overset{ˊ}{e} \end{matrix}

Příklad. Výběrový geometrický průměr

X_{n}^{G} ≔ \sqrt[n]{\prod_{i = 1}^{n} X_{i}}

(vhodnější než aritmetický, když modelujeme například nárůsty cen)

Bodové odhady

Uvažujme náhodný výběr $X_{1}, \dots, X_{n}$ z rozdělení $F \in {F_{X} (x, θ) | θ \in Θ}$ , kde $Θ \subset ℝ^{d}$ .

Definice. Bodový odhad parametru

θ

je jakákoli funkce

{\hat{θ}}_{n} (X_{1}, \dots, X_{n})

, jejíž předpis nezávisí na

θ

Poznámka. Bodový odhad je statistika a jelikož je to funkce náhodných veličin, taky je sám o sobě náhodná veličina, tedy má střední hodnotu, rozptyl a tak podobně. Samozřejmě by se nám líbilo, aby byl co nejblíž skutečné hodnotě.

Definice. Odhad

{\hat{θ}}_{n} (X_{1}, \dots, X_{n})

je nestranný, pokud pro všechna

θ \in Θ

E {\hat{θ}}_{n} (X_{1}, \dots, X_{n}) = θ

. Odhad, který není nestranný, se nazývá vychýlený.

Definice. Odhad

{\hat{θ}}_{n} (X_{1}, \dots, X_{n})

je konzistentní, pokud pro všechna

θ \in Θ

{\hat{θ}}_{n} (X_{1}, \dots, X_{n}) \overset{\overset{}{P}}{\to} θ

Poznámka. Nestrannost znamená, že odhad není zatížen systematickou chybou, zatímco konzistentnost znamená, že dostatečným počtem měření dokážeme zajistit libovolně malou chybu.

Věta. Nechť

X_{1}, \dots, X_{n}

je náhodný výběr s distribuční funkcí

F (X, μ, σ^{2})

, kde

μ ≔ E X, σ^{2} ≔ Var X

. Potom

X_{n}

je nestranný a konzistentní odhad

μ

s_{n}^{2}

je nestranný a konzistentní odhad

σ^{2}

Důkaz.

E X_{n} = \frac{\sum_{i = 1}^{n} E X_{i}}{n} = μ

Konzistence

X_{n}

plyne ze zákona velkých čísel. Konzistence

s_{n}^{2}

plyne z jeho obecnější verze, kterou si (zatím?) dokazovat nebudeme.

\begin{aligned} E s_{n}^{2} & = E \frac{\sum_{i = 1}^{n} {(X_{i} - X_{n})}^{2}}{n - 1} \\ = E \frac{\sum_{i = 1}^{n} {((X_{i} - μ) - (X_{n} - μ))}^{2}}{n - 1} \\ = E \frac{\sum_{i = 1}^{n} {(X_{i} - μ)}^{2} - 2 \sum_{i = 1}^{n} (X_{i} - μ) (X_{n} - μ) + \sum_{i = 1}^{n} {(X_{n} - μ)}^{2}}{n - 1} \\ = E \frac{\sum_{i = 1}^{n} {(X_{i} - μ)}^{2} - 2 (X_{n} - μ) \sum_{i = 1}^{n} (X_{i} - μ) + n {(X_{n} - μ)}^{2}}{n - 1} \\ = E \frac{\sum_{i = 1}^{n} {(X_{i} - μ)}^{2} - n {(X_{n} - μ)}^{2}}{n - 1} \\ = \frac{\sum_{i = 1}^{n} E {(X_{i} - μ)}^{2} - E n {(X_{n} - μ)}^{2}}{n - 1} \\ = \frac{\sum_{i = 1}^{n} Var X_{i} - Var X_{n}}{n - 1} \\ = \frac{n σ^{2} - n \frac{σ^{2}}{n}}{n - 1} \\ = σ^{2} \end{aligned}

Poznámka. Intuitivní vysvětlení, proč odčítáme jedničku, je to, že už jsme využili data ke spočtení paramteru

μ

, takže nám ubyl jeden stupeň volnosti. Pokud ale už

μ

známe předem, potom ho můžeme přidat k souboru a tím pádem při počítání

σ^{2}

dělit

n

Často existuje víc různých nestranných odhadů, potom si chceme vybrat ten, který má nejmenší rozptyl.

Definice. Odhad

{\hat{θ}}_{n} (X_{1}, \dots, X_{n})

je nejlepší nestranný, pokud je nestranný a má nejmenší rozptyl ze všech nestranných odhadů.

Věta (Rao-Cramer). Nechť

X_{1}, \dots, X_{n}

je náhodný výběr s distribuční funkcí

F (θ)

, která splňuje jakési podmínky regularity, a

{\hat{θ}}_{n}

je nestranný odhad

θ

. Potom

Var {\hat{θ}}_{n} \geq RCLB (θ) ≔ \frac{1}{n 𝒥 (θ)}

kde

𝒥

je Fisherova míra informace:

𝒥 (θ) ≔ E {(\partial_{θ} \ln f (X, θ))}^{2} = - E \partial_{θ}^{2} \ln f (X, θ)

(ta rovnost je jedna z podmínek regularity).

Důkaz. Není čas ani na pořádnou formulaci věty, natož na důkaz.

Věta. Je-li

X_{1}, \dots, X_{n}

náhodný výběr z binomického, Poissonova, exponenciálního nebo normálního rozdělení, potom

X_{n}

je nejlepší nestranný odhad

E X

Důkaz (pro $X_{i} \sim Exp (θ)$ ).

Věta. Je-li

X_{1}, \dots, X_{n}

náhodný výběr z exponenciálního rozdělení, potom

s_{n}^{2}

je nejlepší nestranný odhad

Var X

Důkaz. Použijeme Rao-Cramera:

\ln f (X, θ) = - \ln θ - \frac{x}{θ}

\partial_{θ} \ln f (X, θ) = - \frac{1}{θ} + \frac{x}{θ^{2}}

\partial_{θ}^{2} \ln f (X, θ) = \frac{1}{θ^{2}} - \frac{2 x}{θ^{3}}

𝒥 (θ) = - E (\frac{1}{θ^{2}} - \frac{2 x}{θ^{3}}) = \frac{1}{θ^{2}}

Metoda momentů

Je výpočetně jednoduchá, ale odhady někdy nemívají dobré vlastnosti.

Uděláme tolik rovnic, kolik chceme odhadnout parametrů, přičemž porovnáváme momenty a výběrové momenty:

E X^{k} = m_{k} ≔ \frac{\sum_{i = 1}^{n} X_{i}^{k}}{n}

Příklad. Máme-li binomické rozdělení

Bi (n, p)

a chceme odhadnout

n, p

, řešíme soustavu

n p = m_{1}

n p - n p^{2} + n^{2} p^{2} = m_{2}

Tím dostaneme

\hat{p} = \frac{m_{1}^{2} + m_{1} + m_{2}}{m_{1}}

\hat{n} = \frac{1}{m_{1}^{2} + m_{1} + m_{2}}

Definice. Věrohodnostní funkce je sdružená hustota pravděpodobnosti náhodného výběru

X_{1}, \dots, X_{n}

uvažovaná jako funkce parametru

θ

při dané realizace

x_{1}, \dots, x_{n}

. Značíme

L (θ)

\begin{matrix} L (θ) = \prod_{i = 1}^{n} f_{X_{i}} (x_{i}, θ) & (p r o a b s o l u t n \overset{ˇ}{e} s p o j i t \overset{ˊ}{e} r o z d \overset{ˇ}{e} l e n \overset{ˊ}{ı}) \end{matrix}

\begin{matrix} L (θ) = \prod_{i = 1}^{n} P_{θ} [X_{i} = x_{i}] & (p r o d i s k r \overset{ˊ}{e} t n \overset{ˊ}{ı} r o z d \overset{ˇ}{e} l e n \overset{ˊ}{ı}) \end{matrix}

Definice. Nechť

X_{1}, \dots, X_{n}

je náhodný výběr s distribuční funkcí

F (x, θ), θ \in Θ

. Hodnota

\hat{θ} \in Θ

je maximální věrohodný odhad parametru

θ

, pokud

\hat{θ} = \underset{θ \in Θ}{arg max} L (θ)

Poznámka. Jelikož maximum nemusí existovat, přesněji by to mělo být něco jako

\underset{θ \to \hat{θ}}{lim sup} = \sup_{θ \in Θ} L (θ)

Ale céčkaři zřejmě nerozlišují maximum a suprémum.

Pro získání odhadu se snažíme věrohodnostní funkci maximalizovat. Protože je to součin, většinou je jednodušší maximalizovat její logaritmus. Budeme tedy řešit věrohodnostní rovnice:

\partial_{θ_{j}} \ln L (θ_{1}, \dots, θ_{n}) = 0

Pokud jsou splněny podmínky regularity a rovnice mají jednoznačný kořen ${\hat{θ}}_{n}$ , potom je to konzistentní odhad parametru $θ$ a s pravděpodobností $1$ je to maximální věrohodný odhad.

Tyto odhady jsou často výpočetně náročné a musí se řešit numericky.

Intervalové odhady

Místo odhadu parametru $θ$ nás zajímá interval, v němž leží s nějakou velkou pravděpodobností.

Definice. Dvojice statistik

(θ, θ)

100 \cdot (1 - α)

-procentní interval spolehlivosti, pokud

P [θ (X_{1}, \dots, X_{n}) \leq θ \leq θ (X_{1}, \dots, X_{n})] \geq 1 - α

θ

je dolní mez,

θ

je horní mez,

α

je koeficient spolehlivosti. Většinou se používá

α = 0.05

nebo

α = 0.01

Poznámka. Obecně se to dělá blbě, ukážeme si jenom pro normální rozdělení.

Věta. Nechť

X_{1}, \dots, X_{n}

je náhodný výběr z rozdělení

N (μ, σ^{2})

a známe

σ^{2}

. Potom

P [X_{n} - u_{1 - \frac{α}{2}} \frac{σ}{\sqrt{n}} < μ < X_{n} + u_{1 - \frac{α}{2}} \frac{σ}{\sqrt{n}}] = 1 - α

kde

u_{β} ≔ Φ^{- 1} (β)

β

-kvantil standardního normálního rozdělení.

Důkaz. Někde jsme si už odvodili, že

X_{n} \sim N (μ, \frac{σ^{2}}{n})

. Znormujeme si to:

Z_{n} ≔ \frac{x_{n} - μ}{\sqrt{\frac{σ^{2}}{n}}} \sim N (0,1)

Přímo z definice

u

plyne, že

P [u_{\frac{α}{2}} \leq Z_{n} \leq u_{1 - \frac{α}{2}}] = 1 - α

Potom si to jen odnormujeme zpátky.

U binomického rozdělení můžeme díky centrální limitní větě přibližně použít odhad pro normální rozdělení.

Testování hypotéz

Varování: následující definice není v prezentaci napsaná jako definice, takže studenti často neví, že ji mají umět!

Definice. Nechť

X_{1}, \dots, X_{n}

je náhodný výběr z rozdělení

F_{θ}

s neznámým parametrem

θ \in Θ

. Nechť o parametru

θ

existují dvě vzájemně se vylučující hypotézy: nulová hypotéza

H_{0} : θ \in Θ_{0} \subset Θ

a alternativní hypotéza

H_{1} : θ \in Θ_{1} \subset Θ ∖ Θ_{0}

. Potom test nulové hypotézy proti alternativní hypotéze je rozhodovací proces založený na náhodném výběru, podle nějž zamítneme nebo nezamítneme hypotézu

H_{0}

. Můžou nastat čtyři možnosti:

platí $H_{0}$ a nezamítneme $H_{0}$ : správně ☺
platí $H_{0}$ a zamítneme $H_{0}$ : chyba prvního druhu
neplatí $H_{0}$ a nezamítneme $H_{0}$ : chyba druhého druhu
neplatí $H_{0}$ a zamítneme $H_{0}$ : správně ☺

Poznámka. Nezamítnutí hypotézy neznamená, že ji přijímáme!

Poznámka. Samozřejmě není možné se úplně vyhnout oběma druhům chyb. V praxi se to většinou dělá tak, že stanovíme toleranci pro chybu prvního druhu a snažíme se minimalizovat pravděpodobnost chyby druhého druhu.

Podle našeho rozhodovacího procesu se výběrový prostor

ℝ^{n}

rozpadne na dvě části podle toho, kterou hypotézu zvolíme. Množina bodů, pro které zamítneme hypotézu

H_{0}

, se nazývá kritický obor a značí

W

. Jestliže chceme, aby pravděpodobnost chyby prvního druhu byla menší než

α \in (0,1)

, volíme

W

tak, aby

\forall θ \in Θ_{0} : P_{θ} [(X_{1}, \dots, X_{n}) \in W] \leq α

Číslo

α

je hladina významnosti testu.

Příklad. Nechť

Θ \subset ℝ

(θ, θ)

100 \cdot (1 - α)

% interval spolehlivosti pro

θ

. Potom kritický obor pro hypotézy

H_{0} : θ = θ_{0}, H_{1} : θ \neq θ_{0}

bude

W = {x \in ℝ_{n} | θ_{0} \notin (θ (x), θ (x))}

Tedy hypotézu zamítneme, pokud odhadnutá hodnota parametru nepatří do intervalu spolehlivosti. Pokud bychom ale testovali proti hypotéze

H_{1} : θ > θ_{0}

, potom

W = {x \in ℝ_{n} | θ_{0} < θ (x)}

Testy o parametrech normálního rozdělení

Mějme náhodný výběr z rozdělení $N (μ, σ^{2})$ . Úkolem je otestovat hypotézu $H_{0} : μ = μ_{0}$ proti hypotéze $H_{1} : μ \neq μ_{0}$ nebo $H_{1}^{'} : μ > μ_{0}$ nebo $H_{1}^{''} : μ < μ_{0}$ .

Podívejme se na $H_{1}^{'} : μ > μ_{0}$ . Tak nějak intuitivně odhadneme, že $W$ bude mít tvar $X_{n} - μ_{0} > K$ pro nějaké $K$ . Znormováním dostáváme $P [(X_{1}, \dots, X_{n}) \in W] = P [σ_{n} \frac{X_{n} - μ_{0}}{σ} > K_{1}] \overset{\overset{}{z a p \overset{ˇ}{r} e d p o k l a d u μ = μ_{0}}}{=} P [σ_{n} \frac{X_{n} - μ}{σ} > K_{1}] ≕ P [Z_{n} > K_{1}] \overset{chceme}{\leq} α, Z_{n} \sim N (0,1)$ Volíme tedy $K_{1} ≔ u_{1 - α}$ .

Test poměrem věrohodností: Mějme náhodný výběr $(X_{1}, \dots, X_{n})$ z rozdělení $F_{X} (θ), θ \in Θ$ . Testujeme hypotézu $H_{0} : θ \in Θ_{0}$ proti $H_{1} : θ \in Θ ∖ Θ_{0}$ . Nechť $L (θ)$ je věrohodnostní funkce. Definujeme statistiku

Λ (x_{1}, \dots, x_{n}) ≔ \frac{\sup_{θ \in Θ_{0}} L (θ)}{\sup_{θ \in Θ} L (θ)}

Myšlenka je taková, že pokud platí $H_{0}$ , potom $Λ (X_{1}, \dots, X_{n}) \approx 1$ , jinak $Λ (X_{1}, \dots, X_{n}) ≪ 1$ .

Test bude vypadat tak, že $W$ zvolíme tak, aby pro nějaké $K \in ⟨ 0,1 ⟩$ platilo

(\forall x \in W : Λ (x) \leq K) \land (\forall x \notin W : Λ (x) \geq K)

Odvození pro normální rozdělení je na fotce tabule.

Pokud u něčeho měříme hodnoty dvou různých znaků, například změnu tlaku před a po podání léku, máme výběr dvojic $(X_{1}, Y_{1}), \dots, (X_{n}, Y_{n})$ , ovšem $X_{i}, Y_{i}$ jsou na sobě závislé. To snadno vyřešíme tím, že definujeme $Z_{i} ≔ X_{i} - Y_{i}$ a použijeme normální jednovýběrový test u nich. To je takzvaný párový test. Rozdíl dvou závislých normálních rozdělení ovšem nemusí být normální rozdělení, takže to musíme separátně ověřit!

Definice.

p

-hodnota testu je nejmenší možné

α

, při kterém bychom nulovou hypotézu ještě zamítli. Nebo ekvivalentně, je to pravděpodobnost, že bychom dostali náhodný výběr ještě více odporující nulové hypotéze než ten, co jsme skutečně napozorovali.

Definice. Síla testu je

β ≔ 1 - P [c h y b a d r u h \overset{ˊ}{e} h o d r u h u]

Testy dobré shody

Pearsonův $χ^{2}$ -test

Máme náhodný výběr z neznámého rozdělení $F$ . Chceme otestovat hypotézu, že jde o konkrétní rozdělení $F_{0}$ , tedy $H_{0} : F = F_{0}, H_{1} : F \neq F_{0}$ .

Věta (Pearson). Mějme nezávislé veličiny

X_{1}, \dots, X_{n}

, kde pro

j \in \hat{r}

každá veličina nabývá hodnotu

B_{j}

s pravděpodobností

p_{j}

, a hypotézu

H_{0} : \forall j \in \hat{r} : p_{j} = p_{j}^{0}

. Nechť

n_{j}

je počet veličin nabývajících hodnotu

B_{j}

, kde

j \in \hat{r}

, potom

T_{n} ≔ \sum_{j = 1}^{r} \frac{{(n_{j} - n p_{j}^{0})}^{2}}{n p_{j}^{0}} \overset{\overset{}{L}}{\to} χ^{2} (r - 1)

Člen $(n_{j} - n p_{j}^{0})$ tedy vyjadřuje rozdíl mezi tím, kolik veličin skutečně nabylo nějakou hodnotu, a tím, kolik jich ji v průměru mělo nabýt.

Test probíhá tak, že spočteme sumu a zamítneme hypotézu, pokud $\sum > χ_{1 - α}^{2} (r - 1)$ .

U spojitého rozdělení je potřeba provést kvantizaci, tedy vyrobit z ní diskrétní. Mějme náhodné veličiny $X_{1}, \dots, X_{n}$ s distribuční funkcí $F$ a chceme otestovat hypotézu $H_{0} : F = F_{0}$ . Pozorovací prostor si rozdělíme na nějakých $r$ intervalů $I_{j}$ a spočteme: $n_{j}$ počet pozorování v intervalu $I_{j}$ , $p_{j}^{0} ≔ P_{0} (X \in I_{j})$ naše hypotéza o tom, s jakou pravděpodobností bychom jednotlivé intervaly měli dostávat. Tím vytvoříme „diskrétní“ hypotézu $H_{0}^{'}$ , která je slabší než $H_{0}$ , tedy platí implikace $H_{0} ⟹ H_{0}^{'}$ , ale ne vopáčně!

Je důležité správně zvolit počet intervalů. Čím víc, tím líp aproximujeme spojité rozdělení, ale zároveň si tím zhoršíme asymptotickou aproximaci. V praxi se používá pravidlo $\forall j \in \hat{r} : n p_{j}^{0} \geq 5$ , tedy chceme mít v každém intervalu alespoň pět pozorování. Buňky, které mají méně, se pokusíme sloučit se sousedy. Jedna možnost, jak najít intervaly, je zvolit si $r$ tak, aby $\frac{n}{r} \geq 5$ , a dát dělicí body za každou pětici (nebo víc).

Pearsonův $χ^{2}$ -test pro složenou hypotézu

Chceme zjistit, jestli rozdělení nějakého výběru pochází z nějaké rodiny rozdělení (například jestli je normální).

Pro diskrétní rozdělení opět mějme konečně mnoho možných hodnot $B_{1}, \dots, B_{r}$ s pravděpodobnostmi $p_{1}, \dots, p_{r}$ . Hypotéza je, že $X_{i} \sim P_{θ}, θ \in Θ$ . Budeme postupovat tak, že odhadneme konkrétní hodnotu $θ = θ^{*}$ a poté již můžeme použít normální Pearsonův test. Dá se dokázat, že pokud $θ^{*}$ je maximální věrohodný odhad, potom $T_{n} (θ^{*}) \overset{\overset{}{L}}{\to} χ^{2} (r - s - 1)$ , kde $s$ je počet parametrů, které odhadujeme.

A co když máme spojité rozdělení? Potom opět rozdělíme data do kyblíčků a odvodíme si slabší hypotézu. Problém může být akorát v tom, že vhodné rozkyblíčkování vlastně závisí na $θ$ , které neznáme. Tudíž parametr $θ$ musíme odhadnout přímo z původních dat (například pokud zjišťujeme, jestli data mají normální rozdělení, spočteme si průměr a výběrový rozptyl).

Vzorová písemka

Cvičení. Jaká je pravděpodobnost, že součet dvou náhodně zvolených kladných čísel, z nichž žádné není větší než jedna, bude nejvýše roven jedné a jejich součin nebude větší než

\frac{2}{9}

Řešení

x, y \in (0,1)

x + y \leq 1 ⟺ y \leq 1 - x

x y \leq \frac{2}{3} ⟺ y \leq \frac{2}{3 x}

Nakreslíme si čtverec a do něj grafy funkcí

y = 1 - x, y = \frac{2}{3 x}

. Hledáme obsah plochy, která leží pod oběma grafy. Najdeme si průsečíky:

1 - x = \frac{2}{3 x}

x_{1,2} = \frac{1 \pm \frac{1}{3}}{2}

x_{1} = \frac{1}{3}, x_{2} = \frac{2}{3}

Mezi těmito dvěma průsečíky je níž hyperbola, mimo tento interval úsečka. Stačí tedy spočíst integrály:

μ (S_{A}) = \int_{0}^{\frac{1}{3}} (1 - x) d x + \int_{\frac{1}{3}}^{\frac{2}{3}} \frac{2}{3 x} d x + \int_{\frac{2}{3}}^{1} (1 - x) d x = \frac{1}{3} + \frac{2}{9} \ln 2

P (A) = \frac{μ (S_{A})}{μ (S)} = \frac{1}{3} + \frac{2}{9} \ln 2

Cvičení. Mezi šesti puškami jsou dvě zastřílené. Pravděpodobnost zásahu ze zastřílené pušky je

0.9

a z nezastřílené

0.2

. Výstřelem z jedné vybrané pušky byl cíl zasažen. Určete pravděpodobnost, že byla vybrána zastřílená, resp. nezastřílená puška.

Řešení

Označíme si jevy:

A

– máme zastřílenou pušku,

Z

– trefili jsme se. Známe:

P (A) = \frac{2}{6} = \frac{1}{3}

P (Z | A) = 0.9

P (Z | A^{∁}) = 0.2

Z Bayesovy věty:

P (A | Z) = \frac{P (Z | A) \cdot P (A)}{P (Z | A) \cdot P (A) + P (Z | A^{∁}) \cdot P (A^{∁})} = \frac{9}{13}

A jelikož nejsme naprostí idioti, pro nezastřílenou pušku to nebudeme počítat znovu, ale stačí vzít

P (A^{∁}) = 1 - P (A) = \frac{4}{13}

Cvičení. Určete hustotu pravděpodobnosti, střední hodnoty a kovarianci náhodných veličin

X, Y

definovaných v oblasti

{[0, \frac{π}{2}]}^{2}

, jestliže jejich sdružená distribuční funkce je

F_{X, Y} (x, y) = \sin x \sin y

Řešení

Hustotu spočteme derivací distribuční funkce podle obou proměnných (je jedno, v jakém pořadí, protože jsme v hezkém spojitém světě):

f_{X, Y} (x, y) = \partial_{x} \partial_{y} F_{X, Y} (x, y) = \cos x \cos y

Marginální hustoty dostaneme integrací sdružené hustoty přes celý definiční obor:

f_{X} (x) = \int_{0}^{\frac{π}{2}} f_{X, Y} (x, y) d y = \cos x

f_{Y} (y) = \int_{0}^{\frac{π}{2}} f_{X, Y} (x, y) d x = \cos y

Střední hodnoty vypočteme z marginálních hustot:

E X = \int_{0}^{\frac{π}{2}} x f_{X} (x) d x \overset{\overset{}{bubun sekibun}}{=} \frac{π}{2} - 1

E Y \overset{\overset{}{t a k y, p r o t o \overset{ˇ}{z} e j e t o s t e j n \overset{ˊ}{a} f u n k c e}}{=} \frac{π}{2} - 1

Pro výpočet kovarianční matice potřebujeme rozptyly a pro ty potřebujeme druhý moment:

E X^{2} = \int_{0}^{\frac{π}{2}} x^{2} f_{X} (x) d x \overset{\overset{}{bubun sekibun}}{=} \frac{π^{2}}{4} - 2

Var X = E X^{2} - {(E X)}^{2} = π - 3

A ještě potřebujeme kovarianci. Tu bychom obecně mohli spočítat vzorečkem

E (X Y) = \int_{0}^{\frac{π}{2}} \int_{0}^{\frac{π}{2}} x y f_{X, Y} (x, y) d x d y

Cov (X, Y) = E (X Y) - E X E Y

V našem případě ale vidíme, že veličiny jsou nezávislé, takže kovariance musí být nula. Sestavíme tedy kovarianční matici:

Σ = (\begin{array}{cc} Var X & Cov (X, Y) \\ Cov (X, Y) & Var Y \end{array}) = (\begin{array}{cc} π - 3 & 0 \\ 0 & π - 3 \end{array})

Cvičení. Nechť

X_{1}, \dots, X_{n}

je náhodný výběr z rozdělení s hustotou pravděpodobnosti

f_{X_{i}} (x_{i}) = {\begin{matrix} \frac{\exp (- \frac{x_{i} - 3}{θ})}{θ}, & x_{i} > 3 \\ 0, & x_{i} \leq 3 \end{matrix}

Najděte maximálně věrohodný odhad parametru

θ

. Je tento odhad nestranný?

Řešení

L (θ) = \prod_{i = 1}^{n} f_{X_{i}} (x_{i}) = [\forall i \in \hat{n} : x_{i} > 3] \frac{\exp (- \frac{\sum_{i = 1}^{n} (x_{i} - 3)}{θ})}{θ^{n}}

l (θ) = \ln L (θ) = - n \ln θ - \frac{\sum_{i = 1}^{n} (x_{i} - 3)}{θ}

l^{'} (θ) = - \frac{n}{θ} + \frac{\sum_{i = 1}^{n} (x_{i} - 3)}{θ^{2}} \overset{\overset{}{♡}}{=} 0

Řešením rovnice dostaneme

\hat{θ} = x_{n} - 3

Chceme zjistit, jestli je odhad nestranný, tedy jestli

E \hat{θ} = θ

E \hat{θ} = E (X_{n} - 3) = E X_{1} - 3

E X_{1} = \int_{3}^{\infty} x f_{X_{1}} (x) d x = θ + 3

Tedy odhad je nestranný.

Cvičení. Něco s laboranty a dusíkem

Řešení

Nejprve otestujeme, jestli rozptyly jsou stejné. K tomu použijeme poslední vzoreček v tabulce. Závěrem bude, že nezamítáme hypotézu, že rozptyly jsou stejné, tedy můžeme použít vzoreček pro porovnání středních hodnot při stejném rozptylu. Opět nezamítneme hypotézu, že jsou stejné.

Pravděpodobnost a statistika

Obsah

Historický model pravděpodobnosti

Pravděpodobnostní prostory

Náhodné veličiny a distribuční funkce

Diskrétní náhodné veličiny

Diskrétní náhodné vektory

Absolutně spojité náhodné veličiny

Absolutně spojité náhodné vektory

Funkce náhodných veličin

Konkrétní absolutně spojitá rozdělení

Rozdělení používaná v matematické statistice

Charakteristiky náhodných veličin

Limitní věty

Matematická statistika

Bodové odhady

Metoda momentů

Intervalové odhady

Testování hypotéz

Testy o parametrech normálního rozdělení

Testy dobré shody

Pearsonův $χ^{2}$ -test

Pearsonův $χ^{2}$ -test pro složenou hypotézu

Vzorová písemka

Pravděpodobnost a statistika

Obsah

Historický model pravděpodobnosti

Pravděpodobnostní prostory

Náhodné veličiny a distribuční funkce

Diskrétní náhodné veličiny

Diskrétní náhodné vektory

Absolutně spojité náhodné veličiny

Absolutně spojité náhodné vektory

Funkce náhodných veličin

Konkrétní absolutně spojitá rozdělení

Rozdělení používaná v matematické statistice

Charakteristiky náhodných veličin

Limitní věty

Matematická statistika

Bodové odhady

Metoda momentů

Intervalové odhady

Testování hypotéz

Testy o parametrech normálního rozdělení

Testy dobré shody

Pearsonův χ2-test

Pearsonův χ2-test pro složenou hypotézu

Vzorová písemka

Pearsonův $χ^{2}$ -test

Pearsonův $χ^{2}$ -test pro složenou hypotézu