Fil rouge : A = (2 1 ; 0 3) (λ = 3, 2 ; u₁ = (1,1), u₂ = (1,0)), la matrice symétrique S = (2 1 ; 1 2) (λ = 3, 1), et un nuage centré de trois points dont la covariance vaut (1 1 ; 1 4).
Applications linéaires — colonnes, noyau, affine
QVue « par colonnes » de Ax : que vaut-il, et que dit-elle sur l'image de A ?›
Ax est la combinaison linéaire des colonnes de A pondérée par les coordonnées de x : Ax = Σ xj cj. L'image de A est donc l'espace engendré par ses colonnes.
c₁ = (1,4), c₂ = (2,5), c₃ = (3,6), x = (7, −2, 4) : Ax = 7c₁ − 2c₂ + 4c₃ = (15, 42).
« Chaque coordonnée de x multiplie une colonne, donc Ax est une combinaison des colonnes, donc tout ce que A peut produire vit dans l'espace des colonnes. »
QPourquoi une matrice qui « écrase » (noyau non réduit à {0}) ne peut-elle pas être inversée ?›
Écraser détruit de l'information, et aucune fonction ne peut la ressusciter. Si Ak = 0 avec k ≠ 0, alors A(x + k) = Ax : deux entrées distinctes ont la même image, donc pas d'inverse.
Conséquence : Ax = b a zéro solution (b hors de l'image) ou une infinité (solution particulière + noyau), jamais exactement une.
« Un vecteur non nul est envoyé sur 0, donc deux entrées différentes ont la même sortie, donc l'application n'est pas injective, donc elle n'a pas d'inverse. »
QPourquoi la couche y = Wx + b d'un réseau n'est-elle pas linéaire au sens algébrique ?›
Elle est affine : le biais b casse f(0) = 0. Toute application linéaire envoie 0 sur 0.
En dimension 1, h(x) = 3x + 1 a pour graphe une droite mais h(0) = 1.
« Une application linéaire vérifie f(0) = 0, donc dès que b ≠ 0 la couche ne le vérifie plus, donc elle est affine, pas linéaire. »
QPour établir une borne sur un minimum : pourquoi le majorer est-il facile et le minorer difficile ?›
Majorer : exhiber un seul témoin atteignable — le minimum lui est ≤ par définition. Minorer : montrer que tout élément est ≥ la borne, donc un argument sur l'ensemble entier.
Que d'autres éléments fassent mieux que le témoin ne peut que renforcer la conclusion. C'est l'argument derrière « R² ne peut que croître » (fiche 05).
« Le minimum est inférieur à n'importe quel élément, donc un seul témoin le majore, donc majorer coûte un exemple et minorer coûte une preuve universelle. »
Valeurs propres et diagonalisation
QDans Av = λv, pourquoi la clause v ≠ 0 est-elle indispensable, et à quoi une valeur propre est-elle attachée ?›
Sans v ≠ 0, tout λ serait valeur propre de toute matrice (A0 = λ0). Une valeur propre est attachée à toute la droite, le sous-espace propre : Av = λv entraîne A(cv) = λ(cv). Signe et norme d'un vecteur propre sont arbitraires.
« Le vecteur nul vérifie l'équation pour tout λ, donc il faut l'exclure ; et si v marche, cv marche aussi, donc c'est la direction qui est propre, pas le vecteur. »
QD'où vient det(A − λI) = 0 ? Chaîne complète.›
Av = λv ⟺ (A − λI)v = 0 avec v ≠ 0. L'identité répare l'homogénéité : A − λ n'a pas de sens. Si A − λI était inversible, v = 0, contradiction. Donc A − λI est non inversible, donc son déterminant est nul.
A = (3 1 ; 0 2) : (3 − λ)(2 − λ) = 0, λ ∈ {2, 3}. Polynôme caractéristique de degré n → au plus n valeurs propres ; sur ℝ parfois moins (rotation de 90° : λ² + 1).
« Un vecteur propre non nul est envoyé sur 0 par A − λI, donc cette matrice a un noyau, donc elle n'est pas inversible, donc son déterminant vaut 0. »
QLis A = PDP⁻¹ comme trois actions successives sur un vecteur w.›
P⁻¹ décompose w dans la base propre (traduction) ; D multiplie chaque coordonnée par sa valeur propre, sans mélange ; P recompose en coordonnées ordinaires. Les colonnes de P sont les vecteurs propres.
u₁ = (1,0), λ₁ = 3 ; u₂ = (1,−1), λ₂ = 2 ; w = (5,−2) = 3u₁ + 2u₂. P⁻¹w = (3,2) ; D → (9,4) ; P → 9u₁ + 4u₂ = Aw. D'où Aᵏ = PDᵏP⁻¹.
« P⁻¹ exprime w dans la base propre, donc D agit axe par axe, donc P ramène le résultat dans la base canonique, donc Aᵏ ne coûte que Dᵏ. »
QA diagonalisable, |λ₁| > |λ₂| ≥ … : que devient la direction de Aᵏw quand k grandit, et pourquoi ?›
Aᵏw = λ₁ᵏ [c₁u₁ + Σi≥2 ci(λi/λ₁)ᵏ ui]. Chaque ratio est < 1 en valeur absolue, donc le crochet tend vers c₁u₁, donc la direction tend vers u₁ — sauf si c₁ = 0.
Direction ≠ norme : le facteur λ₁ᵏ est hors du crochet et décide seul de la norme (explosion si |λ₁| > 1, stabilité si = 1 : Markov). Même mécanisme : PageRank, distribution stationnaire, première composante d'une PCA.
Fil rouge, w = 3u₁ + 2u₂ : A¹⁰w = 3¹⁰[3u₁ + 2(2/3)¹⁰u₂], (2/3)¹⁰ ≈ 0,017 → à 0,3° de u₁, norme × 4,3·10⁴. La direction a convergé, la grandeur non.
« On factorise par λ₁ᵏ, donc les autres composantes sont multipliées par des ratios plus petits que 1 élevés à la puissance k, donc elles s'éteignent, donc seule la direction u₁ survit. »
QQuel signal, dans un énoncé, indique qu'il faut sortir les valeurs propres ?›
Trois marqueurs conjoints : (1) une application linéaire itérée (Mᵏx₀) ; (2) une question de long terme (équilibre, stationnarité, stabilité) ; (3) une matrice carrée qui agit sur son propre espace.
Plateforme à deux états, chaque mois 30 % des actifs deviennent dormants et 10 % des dormants reviennent : la distribution stationnaire est le vecteur propre de λ = 1.
« Une itération linéaire se lit dans la base propre, donc le comportement à long terme est dicté par la valeur propre dominante, donc dès qu'on itère et qu'on demande l'équilibre, on diagonalise. »
Théorème spectral et SVD
QThéorème spectral (cas réel) : hypothèse et affirmation exacte ?›
Hypothèse : S réelle symétrique. Affirmation : (1) valeurs propres réelles ; (2) base orthonormée de vecteurs propres ; donc (3) S = PDPᵀ avec P orthogonale (P⁻¹ = Pᵀ).
Où sert la symétrie : (Su)ᵀv = uᵀSv, donc (λ₁ − λ₂)⟨u,v⟩ = 0, donc ⟨u,v⟩ = 0 dès que λ₁ ≠ λ₂. Valeur propre multiple → orthogonalité choisie (Gram-Schmidt). Sans symétrie, trois échecs : vecteurs propres non orthogonaux ; non diagonalisable ; λ complexes (rotation).
S = (2 1 ; 1 2) : λ = 3, 1 ; vecteurs (1,1) et (1,−1), orthogonaux ; P = (1/√2)(1 1 ; 1 −1).
« La symétrie fait passer S d'un côté à l'autre du produit scalaire, donc deux vecteurs propres de valeurs distinctes sont orthogonaux, donc il existe une base orthonormée propre, donc P est orthogonale et S = PDPᵀ. »
QLa matrice de covariance est symétrique par construction. Que garantit le théorème spectral gratuitement pour la PCA ?›
(1) Toujours diagonalisable : les composantes principales existent quel que soit le jeu de données. (2) Axes orthogonaux : les composantes sont décorrélées. (3) Valeurs propres réelles (et ≥ 0 car ce sont des variances) : lisibles comme variances expliquées.
« Une covariance est symétrique, donc le théorème spectral s'applique, donc les axes principaux existent, sont orthogonaux et portent des variances réelles positives. »
QPourquoi une matrice rectangulaire n × p n'a-t-elle pas de valeurs propres — et que fait-on à la place ?›
L'équation Av = λv est malformée : v ∈ ℝᵖ mais Av ∈ ℝⁿ, deux espaces différents. À la place : la SVD, A = UΣVᵀ, qui existe pour toute matrice. Contraste : diagonaliser exige carrée ET diagonalisable ; la SVD n'exige rien.
« Av et v ne vivent pas dans le même espace, donc on ne peut pas les comparer, donc il n'y a pas de valeur propre, donc on remplace l'idée par deux bases orthonormées reliées par Σ. »
QA rectangulaire : les valeurs propres de quelle matrice donnent ses valeurs singulières, et pourquoi la racine est-elle légitime ?›
Celles de AᵀA, carrée et symétrique : AᵀA = V(ΣᵀΣ)Vᵀ, donc σi = √λi(AᵀA). Légitime car vᵀAᵀAv = ‖Av‖² ≥ 0, donc les λi sont réelles et ≥ 0. Les colonnes de V sont les vecteurs propres de AᵀA, celles de U ceux de AAᵀ.
« AᵀA est symétrique positive, donc ses valeurs propres sont réelles positives, donc leur racine existe, donc ce sont les valeurs singulières de A. »
QValeurs propres et valeurs singulières d'une même matrice carrée : est-ce le même objet ?›
Deux questions différentes. Valeur propre : quelle direction est conservée (Av ∥ v) et par combien. Valeur singulière : par combien A étire au maximum, quelle que soit la direction de sortie. Symétrique SDP : σi = λi ; symétrique non SDP : σi = |λi|.
Rotation de 90° : aucune valeur propre réelle, deux valeurs singulières égales à 1. Cisaillement (1 1 ; 0 1) : λ = 1, 1 mais σ = 1,618 et 0,618.
« La valeur propre demande une direction invariante, la valeur singulière demande un étirement maximal, donc elles ne coïncident qu'en cas symétrique, donc en général σ ≠ λ même pour une matrice carrée. »
QQuel signal indique qu'il faut sortir les valeurs singulières plutôt que les valeurs propres ?›
Trois marqueurs : (1) matrice rectangulaire (données n × p) ; (2) question d'approximation de rang faible ou de compression ; (3) question de conditionnement ou de stabilité numérique (κ = σmax/σmin). Côté valeurs propres : Markov, PageRank, stabilité d'une dynamique.
« La SVD parle d'étirement et de rang, donc dès qu'on compresse, approxime ou mesure la sensibilité, on sort les σ ; les valeurs propres parlent d'invariance sous itération, donc on les sort pour la dynamique. »
QExtraire des directions en formant AᵀA ou en travaillant directement sur A : lequel, et pourquoi ?›
Directement sur A (SVD). Former AᵀA élève le conditionnement au carré : κ(AᵀA) = κ(A)². κ est le facteur d'amplification des erreurs relatives : une perturbation de 10⁻¹⁶ devient 10⁻¹⁶ × κ².
« Les valeurs singulières de AᵀA sont les carrés de celles de A, donc leur rapport est élevé au carré, donc toute erreur d'arrondi est amplifiée quadratiquement, donc on évite de former AᵀA explicitement. »
PCA
QPourquoi doit-on centrer avant une PCA ? Que se passe-t-il sinon ?›
Le centrage fait de AᵀA une covariance : Ĉ = AᵀA/(n − 1) n'est vraie que si les colonnes sont de moyenne nulle. Sans centrage, Σ xijxik est un moment non centré, dominé par le produit des moyennes : PC1 pointe vers le centre de gravité au lieu de la direction d'étalement.
A = (1 2 ; −1 0 ; 0 −2), colonnes centrées : AᵀA = (2 2 ; 2 8), Ĉ = (1 1 ; 1 4). Le facteur 1/(n − 1) ne change pas les vecteurs propres.
« AᵀA est le produit scalaire des colonnes, donc ce n'est une covariance que si les colonnes sont centrées, donc sans centrage on mesure de la position au lieu de la variance. »
QQuand seulement centrer, quand aussi standardiser ?›
Centrer toujours. Unités hétérogènes → standardiser = PCA sur la corrélation. Unités homogènes (pixels, canaux) → centrer suffit = PCA sur la covariance. Le fit (moyennes, écarts-types, axes) se calcule sur le train seul, dans un Pipeline.
Salaire (variance ~10⁶) et ancienneté (variance ~10) : sans standardisation PC1 = l'axe salaire, rien appris. À l'inverse, standardiser des pixels amplifie le bruit des directions à faible variance.
« La PCA sur covariance n'est pas invariante par changement d'échelle, donc des unités hétérogènes laissent la plus grande variance numérique capter PC1, donc on standardise ; des unités homogènes portent une information dans leur échelle, donc on la garde. »
QVocabulaire PCA : composantes principales, lien avec la SVD, interprétation des valeurs propres ?›
Les vecteurs propres de la covariance sont les composantes principales = colonnes de V dans A = UΣVᵀ. La valeur propre = variance des données projetées sur cet axe. Trois formulations d'un seul calcul : diagonaliser la covariance = SVD des données centrées.
λ = (6, 2) : PC1 capture 6/8 = 75 % de la variance. La positivité des λ (des variances) rend légitime la part expliquée σi²/Σσj².
« La covariance centrée vaut AᵀA/(n−1), donc ses vecteurs propres sont les colonnes de V de la SVD, donc chaque λ est la variance projetée sur l'axe correspondant. »
Calcul différentiel — jacobienne, chain rule, backprop
QAu-delà de sa taille : qu'est la jacobienne d'une fonction en un point ?›
L'application linéaire qui approxime f autour de ce point : bouger l'entrée de δ bouge la sortie de Jδ. Taille (sorties × entrées).
g(x,y) = (x + 2y, xy) en (3,2) : J = (1 2 ; 2 3).
« Au voisinage d'un point, f se comporte comme une application linéaire, donc sa jacobienne est cette application, donc δ en entrée donne Jδ en sortie. »
QChain rule matricielle : où s'évalue la jacobienne de f dans Jf∘g(x) ?›
Jf∘g(x) = Jf(g(x)) · Jg(x). La jacobienne de f s'évalue au point d'arrivée de g, jamais en x — piège le plus fréquent.
« f reçoit g(x), pas x, donc sa linéarisation se prend en g(x), donc les jacobiennes se composent en s'évaluant chacune là où sa fonction agit. »
QDans la descente de gradient, pourquoi −∇f et non +∇f ?›
Le gradient pointe vers la plus forte montée : le gain d'un pas unitaire dans la direction u vaut ⟨∇f, u⟩, maximal quand u = ∇f/‖∇f‖ (Cauchy-Schwarz). Descendre = prendre l'opposé.
En (2,5) avec ∇f = (4,3), le meilleur pas unitaire est (0,8 ; 0,6) = ∇f/5 ; la descente prend (−0,8 ; −0,6).
« La variation de f pour un pas u vaut le produit scalaire avec le gradient, donc elle est maximale dans la direction du gradient, donc minimale dans la direction opposée. »
QPourquoi la backpropagation parcourt-elle le graphe depuis la sortie ?›
La loss est un scalaire, donc ∂L/∂z est un vecteur ligne (1 × m), donc chaque étape est un produit vecteur-matrice — un vector-Jacobian product. Argument de coût, pas de maths : le produit est associatif.
J₁J₂J₃ de shapes (1,m), (m,m), (m,n) : depuis la loss O(m² + mn) ; depuis l'entrée O(m²n). Un facteur m — toute la différence entre mode reverse et mode forward.
« La loss est un scalaire, donc son gradient par rapport à la dernière couche est une ligne, donc chaque produit reste ligne × matrice, donc on ne propage jamais une matrice pleine. »