Funkcia hustoty a pravdepodobnostná funkcia: prečo má spojitá premenná v bode pravdepodobnosť nula

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a X : Ω → ℝ diskrétna náhodná premenná (pozri diel Náhodná premenná), t. j. existuje najviac spočítateľná množina navzájom rôznych hodnôt H = {x₁, x₂, …} ⊆ ℝ s P(X ∈ H) = 1. Pravdepodobnostná funkcia premennej X je funkcia p_X : ℝ → [0, 1],

p_X(x) = P(X = x) = P({ω ∈ Ω : X(ω) = x})   pre x ∈ ℝ.

Hodnota p_X(x) je teda pravdepodobnosť, že X vyjde presne x; pre x ∉ H je nulová.

Nech X je diskrétna náhodná premenná, H = {x₁, x₂, …} ⊆ ℝ najviac spočítateľná množina navzájom rôznych hodnôt s P(X ∈ H) = 1, p : ℝ → [0, 1] pravdepodobnostná funkcia a F : ℝ → [0, 1] distribučná funkcia premennej X. Potom

1. p(x) ≥ 0 pre každé x ∈ ℝ;
2. ∑_i p(x_i) = 1;
3. F(x) = ∑_{i : xi ≤ x} p(x_i) pre každé x ∈ ℝ.

Body 2 a 3 vyplývajú z aditivity: javy {X = x_i} sú navzájom nezlučiteľné a ich zjednotenie je {X ∈ H}, resp. {X ∈ H, X ≤ x}, ktoré sa od {X ≤ x} líši len o jav s pravdepodobnosťou 0.

Všetkých 36 dvojíc (a, b) je rovnako možných. Súčet k dávajú dvojice (a, k − a), kde 1 ≤ a ≤ 6 a zároveň 1 ≤ k − a ≤ 6, teda max(1, k − 6) ≤ a ≤ min(6, k − 1). Takých a je

Stĺpce rastú o 1/36 až k sedmičke a potom rovnako klesajú — preto je graf trojuholník.

Nech λ ∈ ℝ, λ > 0, a X je náhodná premenná s distribučnou funkciou F : ℝ → [0, 1]. X má exponenciálne rozdelenie s parametrom (intenzitou) λ práve vtedy, keď pre každé x ∈ ℝ

F(x) = 1 − e^−λx   pre x ≥ 0   a   F(x) = 0   pre x < 0.

Číslo e = lim_n→∞ (1 + 1/n)ⁿ ≈ 2,718 je základ prirodzeného logaritmu. Premenná teda nadobúda len nezáporné hodnoty a pravdepodobnosť, že prekročí x ≥ 0, je 1 − F(x) = e^−λx.

Nech X je náhodná premenná, ktorej distribučná funkcia F : ℝ → [0, 1] je spojitá v každom bode ℝ. Potom

∀x ∈ ℝ :   P(X = x) = 0.

Dôkaz. Pre každé h > 0 je jav {X = x} časťou javu {x − h < X ≤ x}, takže 0 ≤ P(X = x) ≤ F(x) − F(x − h). Pravá strana ide pre h → 0 zo spojitosti F k nule, a preto P(X = x) = 0. ∎

Nech a, b ∈ ℝ, a < b, a f : [a, b] → ℝ je funkcia. Pre n ∈ ℕ, n ≥ 1, rozdeľme [a, b] na n dielikov [t_i−1, t_i], i = 1, …, n, kde

Δx = b − a/n,   t_i = a + i · Δx   (i = 0, 1, …, n),

a v každom dieliku zvoľme ľubovoľný bod x_i ∈ [t_i−1, t_i]. Funkcia f je (riemannovsky) integrovateľná na [a, b] práve vtedy, keď existuje číslo I ∈ ℝ také, že pri každej voľbe bodov x_i (pre každé n zvlášť) platí

lim_n→∞ ∑_i=1ⁿ f(x_i) · Δx = I.

Číslo I je potom určitý integrál funkcie f od a do b a označuje sa ∫_a^b f(x) dx. Integrál je teda limita súčtov plôch obdĺžnikov, ak existuje a nezávisí od toho, kde v dielikoch výšku meriame. (Obvyklá Riemannova definícia pripúšťa aj nerovnako široké dieliky, ktorých najväčšia šírka ide k nule; dáva rovnaký pojem.) Pre x ∈ ℝ a funkciu integrovateľnú na každom [a, x] sa definuje nevlastný integrál ∫_−∞^x f(t) dt = lim_a→−∞ ∫_a^x f(t) dt, ak limita existuje; obdobne ∫_a^∞ a ∫_−∞^∞.

Nech a, b ∈ ℝ, a < b, f : [a, b] → ℝ je spojitá funkcia a F : [a, b] → ℝ je funkcia, pre ktorú F′(x) = f(x) pre každé x ∈ [a, b] (v krajných bodoch jednostranná derivácia); taká F sa nazýva primitívna funkcia k f. Potom je f integrovateľná na [a, b] a

∫_a^b f(x) dx = F(b) − F(a).

Nech X je náhodná premenná s distribučnou funkciou F_X : ℝ → [0, 1] a f : ℝ → [0, ∞) funkcia integrovateľná na každom ohraničenom intervale. f je hustota premennej X práve vtedy, keď

∀x ∈ ℝ :   F_X(x) = ∫_−∞^x f(t) dt,

kde vpravo je nevlastný integrál z definície vyššie. Premenná, ktorá hustotu má, sa nazýva absolútne spojitá; jej distribučná funkcia je spojitá, takže je spojitá aj v zmysle dielu Náhodná premenná. Hustota nie je určená jednoznačne: ak zmeníme f v konečne mnohých bodoch, integrály sa nezmenia.

Nech X je náhodná premenná s distribučnou funkciou F a hustotou f. Potom

1. pre všetky a, b ∈ ℝ, a < b, platí P(a < X ≤ b) = ∫_a^b f(x) dx = F(b) − F(a);
2. ∫_−∞^∞ f(x) dx = 1;
3. ak je f spojitá v bode x ∈ ℝ, tak je F v bode x diferencovateľná a F′(x) = f(x).

Dôkaz. 1: F(b) − F(a) = ∫_−∞^b f − ∫_−∞^a f = ∫_a^b f a podľa vety o pravdepodobnosti intervalu je to P(a < X ≤ b). 2: ∫_−∞^∞ f = lim_x→∞ F(x) = 1. 3: F(x + h) − F(x)/h = 1/h ∫_x^x+h f(t) dt je priemer f na intervale dĺžky |h|, a ten ide zo spojitosti f v x k f(x). ∎

Nech a, b ∈ ℝ, a < b, a X je náhodná premenná. X má rovnomerné rozdelenie na intervale [a, b] práve vtedy, keď má hustotu f : ℝ → [0, ∞),

f(x) = 1/b − a   pre x ∈ [a, b],    f(x) = 0   pre x ∉ [a, b].

Integráciou dostaneme F(x) = x − a/b − a pre x ∈ [a, b], 0 vľavo a 1 vpravo — tá istá distribučná funkcia ako v definícii z dielu Náhodná premenná, obe definície sa teda zhodujú.

Nech n ∈ ℕ, n ≥ 1, x₁, …, x_n ∈ ℝ sú dáta, w > 0 šírka koša a c ∈ ℝ počiatok. Koše sú intervaly

B_k = [c + kw, c + (k + 1)w),   k ∈ ℤ;

navzájom sa neprekrývajú a pokrývajú celé ℝ, takže každé x ∈ ℝ leží v práve jednom koši B(x). Pre kôš B označme n_B = |{i ∈ {1, …, n} : x_i ∈ B}| počet dát v ňom. Histogram (odhad hustoty) je funkcia f̂ : ℝ → [0, ∞),

f̂(x) = n_B(x)/n · w   pre x ∈ ℝ.

Na každom koši je teda histogram konštantný a rovný podielu dát v koši delenému šírkou koša.

Nech λ ∈ ℝ, λ > 0, a U : Ω → [0, 1) je náhodná premenná s rovnomerným rozdelením na [0, 1] (hodnota 1 má pravdepodobnosť 0, takže ju smieme vynechať). Potom náhodná premenná

X = −ln(1 − U)/λ

má exponenciálne rozdelenie s parametrom λ.

Dôkaz. Keďže 1 − U ∈ (0, 1], je ln(1 − U) ≤ 0 a X ≥ 0, takže pre x < 0 je P(X ≤ x) = 0. Pre x ≥ 0 je −ln(1 − U)/λ ≤ x ⇔ 1 − U ≥ e^−λx ⇔ U ≤ 1 − e^−λx, takže P(X ≤ x) = P(U ≤ 1 − e^−λx) = 1 − e^−λx = F(x). ∎

Zo 100 čakaní je prvý stĺpec o 0,098 vyšší, než má byť — to je tá najväčšia odchýlka z textu vyššie.

Nech Θ je množina parametrov a pre každé θ ∈ Θ je f_θ : ℝ → [0, ∞) hustota (alebo pravdepodobnostná funkcia) nejakého rozdelenia — model. Nech n ≥ 1 a x₁, …, x_n ∈ ℝ sú dáta, ktoré považujeme za hodnoty nezávislých náhodných premenných X₁, …, X_n s rovnakým rozdelením. Vierohodnosť je funkcia L : Θ → [0, ∞),

L(θ) = ∏_i=1ⁿ f_θ(x_i) = f_θ(x₁) · f_θ(x₂) · … · f_θ(x_n).

Pre θ s L(θ) > 0 je záporná logaritmická vierohodnosť (NLL)

NLL(θ) = −ln L(θ) = −∑_i=1ⁿ ln f_θ(x_i).

Odhad metódou maximálnej vierohodnosti je θ̂ ∈ Θ, pre ktoré L(θ̂) ≥ L(θ) pre všetky θ ∈ Θ (ak také existuje). Keďže −ln je klesajúca, je to to isté ako NLL(θ̂) ≤ NLL(θ) pre všetky θ s L(θ) > 0 — metóda volí parametre, ktoré NLL minimalizujú.