Obraz jako signál: pixely, barvy, konvoluce a hrany

Nechť H, W ∈ ℕ (výška a šířka) a V je množina možných hodnot jasu — pro 8bitový obraz V = {0, 1, …, 255}, ve výpočtech V = ℝ. Digitální šedotónový obraz je funkce

I : {0, …, H − 1} × {0, …, W − 1} → V,

tedy matice I[y, x] s H řádky a W sloupci. Každá dvojice (y, x) je pixel a I[y, x] je jeho jas (řádek y shora, sloupec x zleva). Barevný obraz má v každém pixelu tři hodnoty, I : {0, …, H − 1} × {0, …, W − 1} → V³. Obraz je tak dvourozměrný signál, vzorkovaný (hodnoty jen v bodech mřížky) a kvantovaný (konečně mnoho úrovní jasu).

Výpočty v tomhle dílu pracují s jasem v ∈ ℝ jako s reálným číslem (0 = černá, 1 = bílá). Nechť round(t) značí celé číslo nejbližší k t ∈ ℝ (poloviny nahoru). Kvantování na 8 bitů je funkce q : ℝ → {0, 1, …, 255},

q(v) = round(255 · min(1, max(0, v))).

Hodnoty mimo [0, 1] se tedy nejdřív ořežou a pak se výsledek zaokrouhlí na nejbližší z 256 úrovní.

Nechť I : {0, …, H − 1} × {0, …, W − 1} → ℝ je obraz, σ > 0 a ε_y,x (pro všechny pixely (y, x)) jsou nezávislé náhodné veličiny s normovaným normálním rozdělením 𝒩(0, 1) (střední hodnota 0, rozptyl 1). Obraz s aditivním gaussovským šumem je

Ĩ[y, x] = I[y, x] + σ · ε_y,x   pro všechny pixely (y, x).

K jasu každého pixelu se tedy přičte vlastní náhodný výkyv se směrodatnou odchylkou σ, nezávisle na ostatních pixelech. U nás σ = 0,12 — na stupnici 0–255 typický výkyv kolem 31 úrovní. Je to nejjednodušší a nejběžnější model šumu snímače (skutečný šum je navíc závislý na jasu).

V modelu RGB je barva trojice (R, G, B) ∈ [0, 255]³ intenzit červené, zelené a modré složky, které se sčítají (aditivní míchání světla): (0, 0, 0) je černá, (255, 255, 255) bílá. Jas barvy (R, G, B) podle normy ITU-R BT.601 je číslo

Y = 0,299 R + 0,587 G + 0,114 B ∈ [0, 255].

Jas je tedy vážený součet složek; je to nejčastěji používaná volba vah.

Barvy podle vzorce výše:

Nechť I : ℤ² → ℝ je obraz (mimo svůj rozsah doplněný podle definice okrajů níže), m ∈ {0, 1, 2, …} a K : {−m, …, m}² → ℝ je jádro — matice vah velikosti (2m + 1) × (2m + 1), např. 3 × 3 pro m = 1. 2D konvoluce obrazu I s jádrem K je obraz I * K daný pro každý pixel (y, x) předpisem

(I * K)[y, x] = ∑_i=−m^m ∑_j=−m^m K[i, j] · I[y − i, x − j].

Jádro se tedy posouvá po obraze a v každé poloze se spočte vážený součet pixelů pod ním.

Pixel ve 4. řádku a 4. sloupci výřezu výše (v obraze řádek 17, sloupec 25; bez šumu by měl 230) a jeho sousedé, hodnoty 0–255:

Barvy podle vzorce výše:

Pixel leží těsně u okraje kruhu a vpravo od něj je tmavší pozadí. Průměr do něj přimíchá kus pozadí, zostření ho naopak od pozadí „odtlačí“ — a přetáhne až za bílou.

Na okraji chybí jádru sousedé. Nechť obraz I má H řádků a W sloupců (u nás H = W = 48) a pro N ∈ ℕ a t ∈ ℤ označme omez_N(t) = min(N − 1, max(0, t)). Doplnění opakováním okraje rozšíří obraz na celé ℤ² předpisem

I[y, x] = I[omez_H(y), omez_W(x)]   pro všechna (y, x) ∈ ℤ²,

tj. pixel mimo obraz nahradí nejbližším pixelem uvnitř (index se ořízne do rozsahu 0 … 47); to dělá náš kód. Jiné možnosti jsou doplnění nulami, I[y, x] = 0 mimo obraz (běžné v neuronových sítích), nebo zrcadlení. Výsledek konvoluce pak počítáme jen v pixelech původního obrazu, takže má stejnou velikost jako vstup.

Nechť Ĩ = I + σε je obraz s aditivním šumem, kde σ ≥ 0 a ε_y,x jsou nezávislé náhodné veličiny se střední hodnotou 0 a rozptylem 1, a nechť K : {−m, …, m}² → ℝ je jádro. Pak v každém pixelu (y, x), který je od okraje obrazu vzdálen aspoň m (takže se žádný pixel nepoužije dvakrát), má šumová složka výsledku (σε) * K směrodatnou odchylku

σ_po = σ · √∑_i,j K[i, j]².

Důkaz. Konvoluce je lineární, takže Ĩ * K = I * K + (σε) * K a šumová složka výsledku je ∑_i,j K[i, j] · σε_{y−i, x−j}. Rozptyl součtu nezávislých veličin je součet rozptylů a konstanta před veličinou se do rozptylu dostane na druhou: Var = ∑ K[i, j]² σ². Odmocnina dá tvrzení. ∎

U gaussovky jsme využili, že její váhy jsou součiny K[i, j] = g_ig_j/256 s (g_i) = (1, 4, 6, 4, 1), takže ∑ K² = (∑ g_i²)²/256² a √∑ K² = ∑ g_i²/256. Zbylý šum v naší scéně opravdu vyjde 0,041, 0,034 a 0,644. Celková odchylka v tabulce je větší, protože rozmazání poškodí i hrany scény: u průměru 3 × 3 tak vznikne další chyba 0,052 a zhruba √0,041² + 0,052² ≈ 0,066 (zjednodušeně — obě chyby bereme jako nezávislé). Lepšího filtru proti šumu tedy nedosáhneme jen menším ∑ K²; větší jádro šum potlačí víc, ale hrany rozmaže víc.

Nechť f : ℝ² → ℝ, (x, y) ↦ f(x, y), je diferencovatelná funkce jasu spojitého obrazu. Její gradient v bodě (x, y) je vektor

∇f(x, y) = (∂f/∂x(x, y), ∂f/∂y(x, y));

ukazuje směr, ve kterém jas nejrychleji roste, a jeho velikost |∇f| je strmost tohoto růstu.

Nechť I : ℤ² → ℝ je digitální obraz (doplněný za okraji). Sobelův operátor odhaduje gradient dvěma jádry 3 × 3, indexovanými i, j ∈ {−1, 0, 1} (řádek, sloupec):

S_x s řádky (−1, 0, 1), (−2, 0, 2), (−1, 0, 1),   S_y = S_x^T s řádky (−1, −2, −1), (0, 0, 0), (1, 2, 1),

a pro každý pixel (y, x) klade

G_x[y, x] = ∑_i,j=−1¹ S_x[i, j] · I[y + i, x + j],   G_y[y, x] = ∑_i,j=−1¹ S_y[i, j] · I[y + i, x + j]

(vzájemná korelace; konvoluce s týmiž jádry by dala jen opačné znaménko). Velikost hrany v pixelu je

|∇I|[y, x] = √G_x[y, x]² + G_y[y, x]².

G_x je tedy (až na kladný násobek) odhad ∂I/∂x a G_y odhad ∂I/∂y, kde y roste směrem dolů.

Plynulý přechod pozadí dá skoro nulu, skutečná hrana skoro třicetkrát víc. Nejlepší práh na čisté scéně vyjde zhruba 1,0 — a všechno nad ním se prohlásí za hranu.

Barvy podle vzorce výše:

Rozmazání si koupí 25 nalezených hran navíc za 21 falešných poplachů — preciznost klesne, úplnost stoupne víc, a F₁ tak vzroste.

Nechť k ∈ ℕ, k ≥ 2, f ≥ 0, φ ∈ ℝ a s[x] = cos(2πfx + φ), x ∈ ℤ, je kmit s frekvencí f cyklu na pixel. Zmenšení výběrem každého k-tého pixelu ponechá jen hodnoty s[kt], t ∈ ℤ; nová vzorkovací frekvence je 1/k cyklu na původní pixel a Nyquistova frekvence 1/2k. Pak:

1. pro každé n ∈ ℤ má kmit s frekvencí f − n/k (a toutéž fází φ) v bodech x = kt tytéž hodnoty jako s, protože se jeho fáze liší o 2πnt, celý násobek 2π;
2. zvolíme-li n jako celé číslo nejbližší k · f, je

f_a = |f − n/k| ∈ [0, 1/2k]

a zmenšený obraz kmitu se nedá odlišit od kmitu s frekvencí f_a mezi 0 a Nyquistovou frekvencí (absolutní hodnota jen obrátí znaménko fáze, cos je sudá funkce). Tomuto kmitu říkáme alias.

Na vodorovné ose desky (řádek 48) ve vzdálenosti r od středu:

Mimo osy je místní frekvence vektor (x − 48/96, y − 48/96) a každá složka se „přeloží“ zvlášť. Falešný střed vznikne tam, kde jsou obě složky násobky 1/4, tedy kde jsou x − 48 i y − 48 násobky 24 — to je pravidelná mřížka falešných středů v prostředním obrázku.

k = 4, barvy podle vzorce výše:

Ve vnějším prstenci propustí průměr v jednom směru nejvýš asi čtvrtinu amplitudy; šikmé kroužky tlumí ve dvou směrech zároveň, a tak naměřený kontrast spadne z 0,35 až na 0,04. Pod Nyquistovou frekvencí ale ubírá i to, co by zmenšení zvládlo (0,65 na hranici) — proto zmenšený obrázek působí měkce. Lepší zmenšovací filtry (např. Lanczos) mají ostřejší přechod mezi „propustit“ a „utlumit“.

Nechť vstup má šířku W ∈ ℕ, jádro velikost k × k (k ∈ ℕ), okraj p ∈ {0, 1, 2, …} je počet pixelů doplněných na každé straně a krok s ∈ ℕ je počet pixelů, o který se jádro posouvá, přičemž k ≤ W + 2p. Jádro se přiloží v polohách, kde jeho levý okraj leží na sloupci 0, s, 2s, … doplněného vstupu a celé jádro se do doplněné šířky W + 2p vejde. Počet těchto poloh, tedy šířka výstupu, je

W_out = ⌊W − k + 2p/s⌋ + 1

(pro výšku totéž; ⌊t⌋ je dolní celá část). Příklad pro W = 224 a k = 3: s p = 1, s = 1 vyjde ⌊223/1⌋ + 1 = 224 — velikost se zachová; s p = 1, s = 2 vyjde ⌊223/2⌋ + 1 = 112 — obraz se zmenší na polovinu; bez okraje (p = 0, s = 1) 222.

Rozdíl je přes dvě stě milionů krát. Konvoluce si to může dovolit, protože předpokládá dvě věci, které pro obrazy platí: pixel souvisí hlavně se svým okolím (malé jádro) a co je užitečné hledat na jednom místě, je užitečné i jinde (stejné váhy všude).