Derivate, gradiente e regola della catena: come un modello capisce in quale direzione imparare

La derivata come velocità di variazione, derivate parziali, gradiente e regola della catena — e la retropropagazione dell’errore calcolata numero per numero su un singolo neurone.

14 minuti Matěj Žalmánek 2026-10-15

Serie Basi di IA Parte 10 di 52

1. Mappa dell’intelligenza artificiale: che cos’è ciascuna cosa e come si incastra tutto
2. Breve storia dell’intelligenza artificiale: da Turing ai modelli linguistici
3. Dati, modello, addestramento, inferenza: i concetti di base su un unico esempio
4. Come leggere la notazione matematica: simboli, indici, sommatorie e quantificatori
5. Insiemi e relazioni: i mattoncini con cui si costruiscono le definizioni nell’IA
6. Funzioni e applicazioni: perché ogni modello di IA è una funzione
7. Logica e dimostrazioni: le regole con cui si ragiona nell’IA
8. Grafi e alberi: la struttura su cui poggiano la ricerca e le reti neurali
9. Algebra lineare per l’apprendimento automatico: vettori, matrici e perché l’IA soprattutto moltiplica
10. Derivate, gradiente e regola della catena: come un modello capisce in quale direzione imparare
11. Discesa del gradiente: come impara un modello
12. Che cos’è la probabilità: dal lancio di un dado agli assiomi di Kolmogorov
13. Probabilità condizionata e teorema di Bayes: come cambiare una stima quando scopri qualcosa di nuovo
14. Variabile aleatoria e funzione di ripartizione: una sola funzione che dice tutto sulla distribuzione
15. Funzione di densità e funzione di massa: perché una variabile continua ha probabilità zero in un punto
16. Valore atteso, varianza e covarianza: dove si trova una distribuzione, quanto è larga e che cosa è legato a che cosa
17. Panoramica delle distribuzioni di probabilità: Bernoulli, binomiale, Poisson, uniforme, normale ed esponenziale
18. Legge dei grandi numeri e teorema del limite centrale: perché le medie si comportano in modo così prevedibile
19. Statistica e stima dei parametri: massima verosimiglianza, MAP e intervalli di confidenza
20. Teoria dell’informazione: entropia, entropia incrociata e divergenza KL — da dove vengono le funzioni di perdita
21. Ricerca nello spazio degli stati: BFS, DFS, UCS e A* con animazioni
22. Giochi e avversari: minimax, potatura alfa-beta e Monte Carlo tree search
23. Soddisfacimento di vincoli: backtracking, propagazione dei vincoli e AC-3 su un sudoku e una mappa delle regioni ceche
24. Logica e sistemi basati sulla conoscenza: concatenazione in avanti e all’indietro, risoluzione e sistemi esperti
25. Pianificazione: STRIPS, il mondo dei blocchi, euristiche dal rilassamento e pianificazione negli agenti IA
26. Ricerca locale e ricottura simulata: un commesso viaggiatore tra i capoluoghi di regione cechi
27. Algoritmi genetici: popolazione, incrocio, mutazione e selezione su uno zaino per l’escursione
28. Strategie evolutive e programmazione genetica: dalla regola di un quinto alla legge di Keplero
29. Ottimizzazione con colonie di formiche: come una traccia di feromone trova un percorso breve
30. Ottimizzazione a sciame di particelle: inerzia, esperienza propria ed esperienza dello sciame
31. Neuroevoluzione: evoluzione dei pesi e della forma delle reti neurali e l’algoritmo NEAT
32. Insiemi fuzzy e funzioni di appartenenza: come scrivere «un po’ caldo»
33. Logica fuzzy e probabilità: perché «un po’ caldo» non significa «probabilmente caldo»
34. Logica fuzzy: t-norme, implicazioni e regole SE–ALLORA
35. Controllo fuzzy: Mamdani e Sugeno, dal ventilatore al pendolo inverso su un carrello
36. Clustering fuzzy: l’algoritmo fuzzy c-means e i punti tra i cluster
37. Sistemi neuro-fuzzy (ANFIS): regole fuzzy che imparano dai dati
38. Catene di Markov: matrice di transizione, distribuzione stazionaria e PageRank
39. Modelli di Markov nascosti: l’algoritmo di Viterbi e il casinò disonesto
40. Reti bayesiane: perché l’erba è bagnata e che cosa significa per l’irrigatore
41. Filtro di Kalman: come stimare da misure imprecise dove si trova un’auto e a che velocità va
42. Tipi di apprendimento automatico: supervisionato, non supervisionato, semi-supervisionato e altri
43. Prompt, contesto e RAG: come dare a un modello le informazioni giuste
44. Autoencoder variazionali (VAE): immagini nuove da uno spazio latente continuo
45. Reti generative avversarie (GAN): il falsario contro il detective
46. Modelli di diffusione: come il rumore puro diventa un’immagine
47. Processi decisionali di Markov: stati, azioni, ricompense ed equazioni di Bellman
48. Q-learning e DQN: imparare il valore delle azioni, dalla tabella alla rete neurale
49. Policy gradient e PPO: imparare direttamente la politica
50. Come funziona un agente IA: un modello linguistico in un ciclo con strumenti
51. Programmare con agenti IA: incarico, test e controllo
52. Valutazione e sicurezza dei sistemi di IA: come misurare e come sorvegliare

Programma completo della serie 52 di 83 argomenti pubblicati

Un modello impara modificando i propri parametri a piccoli passi. Per sapere in quale direzione modificarli, gli serve la risposta a un’unica domanda: se giro un po’ questa manopola, come cambia l’errore? A questa domanda risponde la derivata. Per milioni di manopole contemporaneamente è il gradiente. E come calcolarlo attraverso un’intera rete neurale lo dice la regola della catena.

Questa parte è l’ultimo pezzo di matematica che ti manca per capire come impara davvero una rete neurale. Si basa sulle funzioni e sul grafo computazionale di un neurone della parte sui grafi.

1. La derivata: quanto velocemente cambia una funzione

Definizione — derivata

La derivata di una funzione f nel punto x è il limite

f ′(x) = lim_{h → 0} (f(x + h) − f(x)) / h,

se esiste. La frazione sotto il limite è la pendenza della secante al grafico tra i punti x e x + h; la derivata è la pendenza della tangente. Altra notazione: df/dx.

La secante al grafico di f(x) = x² nel punto 3 ha, per h = 2, pendenza 8; per h = 1, pendenza 7; per 0,5, pendenza 6,5 e per 0,1, pendenza 6,1. Più il passo è piccolo, più la secante si avvicina alla tangente — e la derivata è f ′(3) = 6:

2. Regole e derivate delle funzioni dell’IA

In pratica le derivate non si calcolano con il limite, ma con delle regole. Le più importanti:

Regole di derivazione

(c)′ = 0,   (xⁿ)′ = nxⁿ⁻¹,   (e^x)′ = e^x,   (ln x)′ = 1/x

(f + g)′ = f ′ + g ′,   (cf)′ = cf ′,   (fg)′ = f ′g + fg ′

Nota che la derivata della sigmoide si può calcolare a partire dal solo valore della sigmoide — questo fa risparmiare lavoro, perché la rete lo ha già calcolato durante il passaggio in avanti. E la derivata di ReLU è la più semplice possibile: o 0, o 1. Anche per questo ReLU è così apprezzata.

3. La derivata indica la strada verso il minimo

Teorema — condizione necessaria di estremo

Se una funzione derivabile f ha nel punto x* un minimo o un massimo locale, allora f ′(x*) = 0. Il viceversa non vale: f ′ = 0 può verificarsi anche in un punto di flesso (x³ in zero).

Per f(x) = x² si ha f ′(x) = 2x, che si annulla solo nel punto 0 — e lì c’è il minimo. Per funzioni più complicate non sappiamo risolvere l’equazione f ′ = 0, e per questo il minimo si cerca passo dopo passo: un po’ nella direzione opposta alla derivata, ricalcolare, un altro po’.

4. Derivate parziali

Definizione — derivata parziale

Per f : ℝⁿ → ℝ, la derivata parziale rispetto a x_i, ∂f/∂x_i, è la derivata ordinaria rispetto a x_i quando tutte le altre variabili sono tenute costanti.

5. Il gradiente: la direzione di massima salita

Definizione — gradiente

Il gradiente di una funzione f : ℝⁿ → ℝ è il vettore di tutte le sue derivate parziali: ∇f = (∂f/∂x₁, …, ∂f/∂x_n).

Teorema. Il gradiente indica la direzione in cui la funzione cresce più rapidamente, e la sua lunghezza è proprio quella massima velocità di crescita. −∇f indica la direzione di massima discesa. Il gradiente è perpendicolare alla curva di livello.

Per la ciotola f(x, y) = x² + 3y² si ha ∇f = (2x, 6y); nel punto (1, 1) vale (2, 6). Le frecce nella figura mostrano −∇f, cioè da che parte si scende — e tutte attraversano le curve di livello perpendicolarmente verso il fondo:

Le frecce non puntano dritte al centro: nella direzione y la ciotola è più ripida, quindi lì il gradiente è più grande. È proprio questo «zigzag» che poi mette in difficoltà la discesa del gradiente nelle valli strette.

6. La regola della catena

Teorema — derivata della funzione composta

Per una funzione composta h = g ∘ f, cioè h(x) = g(f(x)), vale h ′(x) = g ′(f(x)) · f ′(x).

Nella notazione di Leibniz, se y = g(u) e u = f(x): dy/dx = (dy/du) · (du/dx). In una catena più lunga si moltiplicano tutti gli anelli.

7. Retropropagazione dell’errore in un singolo neurone

Ora mettiamo tutto insieme. Il neurone della parte sui grafi calcola ŷ = σ(wx + b) e il suo errore è L = (ŷ − y)². Prendiamo l’ingresso x = 2, il peso w = 0,5, il bias b = −0,5 e la risposta corretta y = 1.

Il passaggio in avanti calcola i valori da sinistra a destra: wx = 1, z = 0,5, ŷ = σ(0,5) ≈ 0,622 e l’errore L ≈ 0,143.

Il passaggio all’indietro percorre lo stesso grafo da destra a sinistra e in ogni nodo moltiplica ciò che arriva per la derivata di quell’operazione:

Entrambi i gradienti sono negativi. Significa che se aumentiamo un po’ sia w sia b, l’errore diminuisce — il neurone risponderà allora più vicino a uno. La discesa del gradiente fa esattamente questo: sposta i parametri di poco nella direzione opposta al gradiente. Un’intera rete neurale impara allo stesso modo, solo che al posto di un neurone ne ha milioni e il passaggio all’indietro attraversa centinaia di strati. A proposito, il risultato si può verificare con la forza bruta — spostare w di pochissimo, ricalcolare l’errore e dividere. Viene lo stesso, solo più lentamente.

8. Le derivate nell’intelligenza artificiale

• Differenziazione automatica — librerie come PyTorch e JAX durante il calcolo costruiscono un grafo computazionale e ricavano da sole il gradiente con il passaggio all’indietro. Nessuno scrive a mano le derivate di una rete.
• La differenziazione numerica (h piccolo) è troppo lenta per milioni di parametri — un calcolo in più per ogni parametro. La retropropagazione ottiene tutte le derivate parziali al costo di circa un solo passaggio in avanti.
• Gradiente evanescente — la derivata della sigmoide è al massimo 0,25. La regola della catena attraverso cinque sigmoidi di fila moltiplica al massimo per 0,25⁵ ≈ 0,001, così gli strati profondi quasi non imparano. Per questo negli strati nascosti si è affermata ReLU, con derivata 1.
• Il gradiente rispetto all’ingresso mostra quali pixel di un’immagine hanno influito di più sulla decisione della rete — così si disegnano le «mappe di salienza» e si cercano i punti deboli dei modelli.

9. Riepilogo

• La derivata è la velocità di variazione — la pendenza della tangente a cui si avvicinano le secanti.
• In un minimo la derivata è zero, e il suo segno dice da che parte scendere.
• La derivata parziale muove una sola manopola; il gradiente è il vettore di tutte queste derivate e punta nella salita più ripida.
• La regola della catena moltiplica le derivate degli anelli di una funzione composta.
• La retropropagazione è la regola della catena applicata a un grafo computazionale — così si calcola il gradiente di un’intera rete neurale.

La vedi diversamente? Scrivi a support@coden-app.com.