Formation ML/LLM — fiches

Rangées par dépendance, pas par deck : chaque chaîne suppose les précédentes. Une chaîne = hypothèses → mécanisme → où ça casse → résumé ; un déroulé = la même chaîne sur des exemples chiffrés ; un pont = un mécanisme vu dans plusieurs domaines. Anki teste l'atome ; ici on relit l'enchaînement.

Carte des prérequis · Timeline

0 · Socle probabiliste

01Lois usuelles — quelle situation déclenche quelle loichaîne · socle — une loi est une hypothèse sur le mécanisme, pas une formule à retenirv1 02Espérance, variance, masse vs densitéchaîne · socle — les deux nombres qui résument une loi, et pourquoi une densité s'évalue mais ne se lit pasv1 03Conditionnement et Bayes — le base rate en effectifschaîne · socle — inverser un conditionnement sans se tromper de sensv1 04Moyenne, loi des grands nombres, théorème central limitechaîne · socle — pourquoi une moyenne se resserre en 1/√n et prend une forme de clochev1

1 · L'objet aléatoire (fil A)

01L'objet aléatoire — échantillon, estimateur, distribution d'échantillonnage, SEchaîne · fil A — « qu'est-ce qui varierait si je refaisais l'expérience ? »v1 02IC et test — centre, largeur, p-value, et sur quoi porte le 95 %chaîne · fil A, cas 1 — l'intervalle porte sur la procédurev1 03Inférence en régression — σ̂², t, Student, n − pchaîne · fil A ↔ fil B — d'où viennent le SE d'une pente et la loi de tv1 04Comparer deux modèles, et pourquoi le max mentchaîne · fil A, cas 2 et 3 — appariement, McNemar, multiplicité, train/val/testv1 05Bootstrap — la distribution d'échantillonnage quand il n'y a pas de formulechaîne · fil A — rééchantillonner l'échantillon pour imiter la procédurev1 D01L'intervalle porte sur la procédure (D1)déroulé · fil A, cas 1 — déroulé existantv1 D02Comparer deux modèles sur le même tirage (D2)déroulé · fil A, cas 2 — déroulé existantv1 D03Le biais du max (D3)déroulé · fil A, cas 3 — déroulé existant, 4 marchesv1 D04De l'accuracy au SE en quatre maillons — la sondedéroulé · fil A — le déroulé de 3 minutes qui sert de sonde de fatiguev1 D05La chaîne du test en régression, hypothèse par hypothèsedéroulé · fil A — huit marches sur cinq points ; à chaque ligne, la règle et l'hypothèse qui servent, et rien de plusv1

2 · Le bruit décide (fil B)

01Du bruit à la loss — le geste en six paschaîne · fil B — hypothèse de bruit → densité → produit → log → négatif → jeterv1 02Du prior à la pénalité — ce que la régularisation fournitchaîne · fil B — MAP, λ = σ²/τ², +λI translate, L1 tranche ailleursv1 03Le posterior entier — conjugués, lissage, et pourquoi MCMC/VI existentchaîne · fil B — Beta-Binomiale, pseudo-comptes, prior noyé quand n granditv1 D01Une chaîne, trois exemples (D4)déroulé · fil B, de la vraisemblance à la pénalité — déroulé existantv1

3 · Critère et descente (fil C, optim)

01Critère en escalier vs critère sensiblechaîne · fil C — un seul argument, quatre habits : split, loss, pénalité, margev1 02Gradient et descente — pente, pas, convexité, conditionnementchaîne · la porte d'entrée de la Phase 2 : ce que voit un optimiseurv1 D01Descente sur un bol allongé — ridge à deux paramètresdéroulé · p03-02 appliqué aux chiffres de D4 : κ = 71, forme fermée contre 114 itérationsv1

4 · Matrice = action

01Une matrice est une action — colonnes, image, noyau, affinechaîne · lire Ax comme un geste sur le plan, pas comme un tableau de nombresv1 02Valeurs propres et itération — ce qui survit à Aᵏchaîne · les directions qu'une matrice ne tourne pas, et pourquoi elles gouvernent le long termev1 03Spectral, SVD, conditionnement — rotation, étirement, rotationchaîne · toute matrice est un étirement entre deux rotations ; le rapport des étirements mesure la difficultév1 04PCA — diagonaliser la covariancechaîne · trouver les directions de variance maximale, et les quatre pièges qui rendent le résultat faux sans erreurv1

5 · Modèles linéaires

01Régression linéaire — le modèle, OLS, ce que R² ne dit paschaîne · modèles linéaires — une hypothèse sur y sachant x, des carrés parce que gaussien, une forme fermée parce que linéairev1 02Régression logistique — logit, odds ratio, effet marginalchaîne · modèles linéaires — linéaire en log-cote, jamais en probabilité ; e^β multiplie une cotev1 03Régularisation vue en biais-variance — le chemin de λchaîne · modèles linéaires — rétrécir les coefficients échange un biais contre de la variance ; λ se lit sur une courbe en Uv1

6 · Évaluer

01Biais, variance, bruit — la décompositionchaîne · évaluer — le tirage est le dataset entier, et l'erreur se coupe en troisv1 02Estimer l'erreur — validation croisée, LOOCV, fuitechaîne · évaluer — imiter des données non vues sans en gaspiller, et ne rien laisser passer du futurv1 03Seuil, matrice de confusion, ROC, PRchaîne · évaluer — un score devient une décision par un seuil, et chaque métrique regarde une colonnev1 04Scores, calibration, déséquilibre — que vaut un 0,8 ?chaîne · évaluer — discriminer n'est pas être calibré, et le déséquilibre se traite par le seuil avant toutv1

7 · Arbres, ensembles, k-means

01Arbres — impureté, split, profondeurchaîne · arbres et ensembles — un arbre coupe là où l'impureté baisse le plus, et sa profondeur est sa variancev1 02Bagging et forêt aléatoire — la variance seulechaîne · arbres et ensembles — moyenner des arbres profonds réduit la variance, et tirer m features baisse ce que la moyenne ne peut pas baisserv1 03Gradient boosting — une descente dans l'espace des fonctionschaîne · arbres et ensembles — chaque arbre ajuste le gradient négatif de la loss au modèle cumulé ; ν est le pasv1 04k-means — une descente alternée sur l'inertiechaîne · arbres et ensembles — Lloyd alterne deux minimisations exactes et converge vers un optimum local ; l'initialisation décidev1

8 · Calcul, numérique, tenseurs

01Jacobienne, chain rule, backprop — pourquoi on part de la sortiechaîne · la porte d'entrée de B1 (micrograd) : une dérivée est une matrice, et l'ordre des produits décide du coûtv1 02Flottants et log-sum-exp — raisonner en float32, pas en mathématiqueschaîne · ce qui arrive vraiment quand on additionne, compare, exponentiev1 03Cross-entropy, entropie, KL — trois noms pour un −log pchaîne · ce que vaut la loss au départ, ce que mesure exp(loss), et pourquoi CE = H + KLv1 04Tenseurs — ruban, strides, vue vs copie, broadcastingchaîne · un tenseur est une grille posée sur un ruban de mémoire, pas un objet mathématiquev1

9 · Coding

C00TAP — invariant, variant, conclusion, complexitécoding · coding — le rituel qui rend une solution défendable au tableau ; jamais le code, toujours la preuvev1 C01Fenêtre glissante — fixe, variable, avec budgetcoding · coding — deux pointeurs qui n'avancent que vers la droite ; l'invariant vit sur [l:r+1)v1 C02Deux pointeurs — éliminer une classe à chaque pascoding · coding — sur un tableau trié, chaque comparaison écarte tout un bloc de paires ; sans tri, on majore les deux facteursv1 C03Binary search — le premier vraicoding · coding — un espace monotone, un prédicat, deux bornes qui se referment ; chercher sur la réponse quand elle est monotonev1 C04Listes chaînées — pointeurs qui se suiventcoding · coding — lent/rapide, inversion en place, tête factice : trois invariants sur des flèchesv1 C05Arbres — récursion, parcours, bornescoding · coding — la récursion porte l'invariant ; l'ordre du parcours est le seul choix ; un BST se valide par des bornes, pas par les enfantsv1 C06Graphes — marquer à l'enfilementcoding · coding — parcours = frontière + ensemble de vus ; le seul bug qui compte est de marquer trop tardv1 C07Heap — le top-k par un min-heap de taille kcoding · coding — le plus petit du tas est le seuil d'entrée ; quand les clés sont bornées, un bucket bat le logv1 C08Intervals — trier par début, garder le dernier fusionnécoding · coding — après tri, un seul intervalle en cours suffit ; l'invariant porte sur la liste fusionnéev1 C09DP 1D — un sous-problème par positioncoding · coding — la relation de récurrence est l'invariant ; l'ordre de remplissage et le roulement O(1) en sont les conséquencesv1
C10Préfixes et deque monotonecoding · signal → pattern → invariant → complexitéà venir

Ponts

P01Une seule descentepont · pont — le même pas −η·gradient, sur un vecteur, sur une fonction, sur des centroïdes, sur des poidsv1 P02Le témoin atteignablepont · pont — majorer un minimum par un point qu'on peut exhiber ; pourquoi « choisir le meilleur » ne peut que monterv1 P03Biais et variance partoutpont · pont — le même compromis à sept échelles : estimateur, modèle, estimation de l'erreur, ensembles, pénalité, prior, boostingv1 P04La variance d'une moyenne corréléepont · pont — ρσ² + (1 − ρ)σ²/B : à ρ = 0,2, mille lignes n'en valent que 208 et le SE est 2,19 fois plus grandv1 P05Escalier vs sensiblepont · pont — un critère n'apprend que là où sa pente n'est pas nulle — la table des habits, et où chacun est écritv1 P06Convexité et forme ferméepont · pont — quand annuler le gradient donne un système linéaire on résout ; sinon on itère, et la convexité dit si l'on arrive au bon endroitv1

Phase 2 · micrograd

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 2 · makemore

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 2 · transformer

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 2 · tokenizer

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 2 · mech interp

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 3 · evals

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 3 · fine-tuning

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 3 · inference

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 4 · system design

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Archive — fiches thématiques Q/A (11/09/2026), remplacées par Anki

AProbabilités & lois — fiche thématiquearchive AInférence fréquentiste — fiche thématiquearchive AVraisemblance, MLE, MAP, régularisation — fiche thématiquearchive AAlgèbre linéaire, calcul & PCA — fiche thématiquearchive ARégression linéaire & logistique — fiche thématiquearchive AÉvaluation, métriques, biais-variance — fiche thématiquearchive AArbres, ensembles, clustering — fiche thématiquearchive ATenseurs & numérique — numpy, PyTorch, flottants — fiche thématiquearchive ACoding patterns — signal → pattern, preuves, complexité — fiche thématiquearchive ABackend, architecture & estimation système — fiche thématiquearchive AHTTP, web, JS/TS & sécurité — fiche thématiquearchive