Procesy stochastyczne

Proces stochastyczny to rodzina zmiennych losowych indeksowana czasem — model zjawiska, które losuje w kółko, a nie raz. Kluczowe pytania są tu inne niż w rachunku prawdopodobieństwa: nie „jaki jest rozkład X”, tylko „dokąd to zmierza po długim czasie” i „jak często wraca tam, gdzie było”. Każda odpowiedź jest tu podana dwa razy: raz policzona z twierdzenia, raz zmierzona na symulacji — i pokazana obok siebie, żeby było widać, że to naprawdę ta sama liczba.

πP = π

Łańcuchy Markowa

Własność braku pamięci, rozkład stacjonarny, potęgi macierzy i rola okresowości

Pⁿ → 1π^T

E[T] = 1/π

Czasy powrotu

Twierdzenie Kaca: średni czas powrotu do stanu to odwrotność jego prawdopodobieństwa

E[Tᵢ] = 1/πᵢ

Var = n

Błądzenie losowe

Dlaczego pijak oddala się jak √n, a nie jak n — i skąd bierze się rozkład normalny

E|Sₙ| ≈ √(2n/π)

[W]ₜ = t

Ruch Browna

Granica błądzenia losowego: trajektoria ciągła, nigdzie nieróżniczkowalna, o wariacji kwadratowej t

Wₜ − Wₛ ~ N(0, t−s)

ZADANIA

Przykłady krok po kroku

Rozkład stacjonarny z ręki, czas powrotu, prawdopodobieństwo ruiny gracza

3 rozwiązane zadania

Łańcuch Markowa i rozkład stacjonarny

Własność Markowa: przyszłość zależy od teraźniejszości, ale nie od tego, jak się do niej doszło. Cały łańcuch opisuje macierz przejścia P, gdzie Pᵢⱼ = P(Xₙ₊₁ = j | Xₙ = i), a każdy wiersz sumuje się do 1.

p_n+1 = p_nP ⇒ p_n = p₀Pⁿ

Rozkład stacjonarny π to taki, którego jeden krok już nie zmienia: πP = π, Σπᵢ = 1. Dla łańcucha nieprzywiedlnego i nieokresowego zachodzi więcej — Pⁿ zbiega do macierzy, której każdy wiersz to π, niezależnie od punktu startu.

do A

do B

do C

z A

z B

z C

liczba kroków n 6

rozkład początkowy p₀ — udział stanu A 1.00

rozkład stacjonarny π–

kontrola: max |πP − π|–

pₙ po n krokach–

‖pₙ − π‖ (odległość do π)–

drugi co do modułu λ₂ macierzy P–

graf przejść (grubość i podpis = prawdopodobieństwo)

rozkład pₙ krok po kroku — linia przerywana to π

Twierdzenie Kaca: średni czas powrotu

Skoro w długim biegu łańcuch spędza w stanie i ułamek πᵢ całego czasu, to musi tam wracać średnio co 1/πᵢ kroków. To twierdzenie Kaca:

E[Tᵢ] = 1 / πᵢ, gdzie Tᵢ = min{n ≥ 1 : Xₙ = i}, X₀ = i

Wynik jest zaskakująco mocny: nie trzeba znać ani rozkładu czasu powrotu, ani wielkości łańcucha — wystarczy jedna współrzędna π. Poniżej łańcuch jest naprawdę symulowany i liczone są wszystkie powroty, więc kolumna „zmierzone” nie pochodzi z tego samego wzoru, co kolumna „teoria”.

długość symulacji (kroków) 200000

ziarno losowe 7

Macierz P bierze się z zakładki Łańcuchy Markowa — zmiana jej tam natychmiast zmienia wszystkie liczby tutaj.

stan A: zmierzone / 1/π_A–

stan B: zmierzone / 1/π_B–

stan C: zmierzone / 1/π_C–

największy błąd względny–

zmierzone udziały czasu–

rozkład czasu powrotu do stanu A (histogram) — wartość średnia zaznaczona

udział czasu w każdym stanie w miarę wydłużania symulacji

Błądzenie losowe: dlaczego √n

Sₙ = X₁ + … + Xₙ, gdzie każde Xᵢ to niezależne ±1 (z prawdopodobieństwem p i 1−p). Dla p = ½ mamy E[Sₙ] = 0, ale

Var[Sₙ] = n ⇒ typowe oddalenie ≈ √n, E|Sₙ| → √(2n/π)

Wariancje się dodają, odchylenia standardowe nie — stąd pierwiastek. Skala √n jest też dokładnie tą, w której histogram Sₙ ma granicę: to centralne twierdzenie graniczne w najprostszym możliwym wydaniu.

liczba kroków n 200

liczba trajektorii M 4000

p (prawdopodobieństwo kroku w górę) 0.50

ziarno losowe 3

E[Sₙ] zmierzone / teoria n(2p−1)–

Var[Sₙ] zmierzone / teoria 4np(1−p)–

E|Sₙ| zmierzone / √(2n/π) (dla p=½)–

powrotów do zera (średnio na trajektorię)–

max |dystrybuanta − Φ| (test CTG)–

40 trajektorii i wstęga ±√n (dla p=½)

histogram Sₙ/√n kontra gęstość normalna

Ruch Browna i wariacja kwadratowa

Przeskalujmy błądzenie losowe: krok w czasie Δt, krok w przestrzeni √Δt. Przy Δt → 0 dostajemy proces Wienera: Wₜ − Wₛ ~ N(0, t−s), przyrosty niezależne, trajektorie ciągłe, ale nigdzie nieróżniczkowalne. Miarą tej dzikości jest wariacja kwadratowa:

Σ (W_{t_k+1} − W_{t_k})² → t (a nie do 0!)

Dla funkcji różniczkowalnej ta suma dąży do zera. Tu dąży do t — i właśnie dlatego rachunek Itō ma człon ½f″, którego zwykły rachunek różniczkowy nie ma.

liczba kroków N na przedziale [0, 1] 1000

dryf μ 0.00

zmienność σ 1.00

ziarno losowe 5

wariacja kwadratowa [X]₁ / teoria σ²–

wariacja całkowita Σ|ΔX| (rośnie z N)–

max |ΔX/Δt| (iloraz różnicowy)–

X₁ zmierzone / E[X₁] = μ–

Var[X₁] po 2000 powtórzeniach / σ²–

trajektoria X (i ta sama trajektoria w powiększeniu — samopodobieństwo)

wariacja kwadratowa narastająco kontra prosta σ²t

Przykłady krok po kroku

Przykład 1 Rozkład stacjonarny łańcucha pogodowego

Zadanie. Pogoda przyjmuje trzy stany: A = słonecznie, B = pochmurno, C = deszcz, z macierzą przejścia

P = ⎡0,7  0,2  0,1⎤
    ⎢0,3  0,4  0,3⎥
    ⎣0,2  0,3  0,5⎦

Jaki ułamek dni w długim okresie jest słoneczny?

Krok 1 — układ πP = π. Rozpisujemy trzy równania (kolumnami P):

π_A = 0,7π_A + 0,3π_B + 0,2π_C
π_B = 0,2π_A + 0,4π_B + 0,3π_C
π_C = 0,1π_A + 0,3π_B + 0,5π_C

Krok 2 — jedno równanie jest zbędne. Suma trzech równań to tożsamość 1 = 1 (bo wiersze P sumują się do 1), więc jedno z nich odrzucamy i zastępujemy warunkiem π_A + π_B + π_C = 1. To nie jest sztuczka rachunkowa — macierz P − I jest osobliwa z definicji, więc bez normalizacji układ ma nieskończenie wiele rozwiązań.

Krok 3 — rozwiązanie. Z pierwszego: 0,3π_A = 0,3π_B + 0,2π_C. Z trzeciego: 0,5π_C = 0,1π_A + 0,3π_B. Podstawiając π_B = 1 − π_A − π_C i eliminując, otrzymujemy

π = (21/46, 13/46, 12/46) ≈ (0,4565; 0,2826; 0,2609)

Krok 4 — kontrola. Mnożymy: 0,4565·0,7 + 0,2826·0,3 + 0,2609·0,2 = 0,3196 + 0,0848 + 0,0522 = 0,4565 ✓. Odpowiedź: ok. 45,7% dni.

W aplikacji: zakładka Łańcuchy Markowa, ustawienie pogoda — to dokładnie ta macierz. Suwak n pokazuje, że już po ~15 krokach pₙ nie da się odróżnić od π, a wiersz „max |πP − π|” to ta sama kontrola co w kroku 4, tylko liczona na maszynie.

Przykład 2 Ile dni mija między deszczami

Zadanie. W łańcuchu z przykładu 1: jeśli dziś pada, to średnio po ilu dniach spadnie następny deszcz?

Krok 1 — czego nie trzeba liczyć. Naiwne podejście to rozkład czasu powrotu T_C: P(T = 1) = 0,5, P(T = 2) = 0,2·0,1 + 0,3·0,3 = 0,11, … i sumowanie szeregu Σ n·P(T = n). Da się, ale jest to niepotrzebna praca.

Krok 2 — twierdzenie Kaca. Dla łańcucha nieprzywiedlnego o rozkładzie stacjonarnym π zachodzi E[T_i] = 1/π_i. Intuicja: w długim biegu stan C zajmuje ułamek π_C = 12/46 wszystkich dni, więc na jeden deszczowy dzień przypada 46/12 dni w ogóle.

E[T_C] = 1/π_C = 46/12 = 3,8̅3 dnia

Krok 3 — kontrola przez pierwszy krok. Sprawdźmy z drugiej strony. Niech k_i = oczekiwany czas dojścia do C ze stanu i (dla i ≠ C). Wtedy

k_A = 1 + 0,7k_A + 0,2k_B
k_B = 1 + 0,3k_A + 0,4k_B

Rozwiązanie: k_A = 20/3, k_B = 20/3 · 0,3/0,6 + 5/3 = 5. Stąd E[T_C] = 1 + 0,2k_A + 0,3k_B = 1 + 4/3 + 3/2 = 23/6 = 3,8̅3 ✓ — ta sama liczba, dwiema zupełnie różnymi drogami.

W aplikacji: zakładka Czasy powrotu. Kolumna „zmierzone” pochodzi z faktycznego przebiegu łańcucha (setki tysięcy kroków, zliczane wszystkie powroty), więc zgodność z 3,833 nie jest tautologią — to niezależne potwierdzenie.

Przykład 3 Ruina gracza

Zadanie. Gracz zaczyna z kapitałem k = 20 zł, w każdej rundzie wygrywa 1 zł z prawdopodobieństwem p = 0,49 albo traci 1 zł. Gra do bankructwa (0 zł) albo do N = 50 zł. Jaka jest szansa, że osiągnie 50 zł?

Krok 1 — równanie pierwszego kroku. Niech h(k) = P(dojdę do N | jestem w k). Warunkując po pierwszej rundzie:

h(k) = p·h(k+1) + q·h(k−1), q = 1 − p, h(0) = 0, h(N) = 1

Krok 2 — rozwiązanie równania różnicowego. Równanie charakterystyczne pr² − r + q = 0 ma pierwiastki r = 1 i r = q/p. Dla p ≠ q rozwiązanie ogólne to h(k) = A + B(q/p)^k, a warunki brzegowe dają

h(k) = (1 − (q/p)^k) / (1 − (q/p)^N)

Krok 3 — liczby. q/p = 0,51/0,49 = 1,040816. Wtedy (q/p)²⁰ = 2,2138, (q/p)⁵⁰ = 7,6822, więc

h(20) = (1 − 2,2138)/(1 − 7,6822) = (−1,2138)/(−6,6822) = 0,1817

Krok 4 — dlaczego to tak mało. Przy uczciwej grze (p = 0,5) wzór degeneruje się do h(k) = k/N = 20/50 = 0,4. Przewaga kasyna wynosi tu 2 punkty procentowe na rundę, a szansa gracza spada z 40% do 18% — bo błąd nie kumuluje się liniowo, tylko wykładniczo przez (q/p)^k. To ten sam mechanizm, co dryf w zakładce Błądzenie losowe: przy p ≠ ½ składnik n(2p−1) rośnie liniowo i po dostatecznie długim czasie zawsze przewyższa fluktuację rzędu √n.

W aplikacji: zakładka Błądzenie losowe, ustaw p = 0,49 i n = 1000 — wiersz „E[Sₙ]” pokaże ok. −20, czyli dokładnie tyle, ile wynosi kapitał startowy gracza.