Formation ML/LLM — fiches

Rangées par dépendance, pas par deck : chaque chaîne suppose les précédentes. Une chaîne = hypothèses → mécanisme → où ça casse → résumé ; un déroulé = la même chaîne sur des exemples chiffrés ; un pont = un mécanisme vu dans plusieurs domaines. Anki teste l'atome ; ici on relit l'enchaînement.

Carte des prérequis · Timeline

0 · Socle probabiliste

01Lois usuelles — quelle situation déclenche quelle loichaîne · socle — une loi est une hypothèse sur le mécanisme, pas une formule à retenirv1 02Espérance, variance, masse vs densitéchaîne · socle — les deux nombres qui résument une loi, et pourquoi une densité s'évalue mais ne se lit pasv1 03Conditionnement et Bayes — le base rate en effectifschaîne · socle — inverser un conditionnement sans se tromper de sensv1 04Moyenne, loi des grands nombres, théorème central limitechaîne · socle — pourquoi une moyenne se resserre en 1/√n et prend une forme de clochev1

1 · L'objet aléatoire (fil A)

01L'objet aléatoire — échantillon, estimateur, distribution d'échantillonnage, SEchaîne · fil A — « qu'est-ce qui varierait si je refaisais l'expérience ? »v1 02IC et test — centre, largeur, p-value, et sur quoi porte le 95 %chaîne · fil A, cas 1 — l'intervalle porte sur la procédurev1 03Inférence en régression — σ̂², t, Student, n − pchaîne · fil A ↔ fil B — d'où viennent le SE d'une pente et la loi de tv1 04Comparer deux modèles, et pourquoi le max mentchaîne · fil A, cas 2 et 3 — appariement, McNemar, multiplicité, train/val/testv1 05Bootstrap — la distribution d'échantillonnage quand il n'y a pas de formulechaîne · fil A — rééchantillonner l'échantillon pour imiter la procédurev1 D01L'intervalle porte sur la procédure (D1)déroulé · fil A, cas 1 — déroulé existantv1 D02Comparer deux modèles sur le même tirage (D2)déroulé · fil A, cas 2 — déroulé existantv1 D03Le biais du max (D3)déroulé · fil A, cas 3 — déroulé existant, 4 marchesv1 D04De l'accuracy au SE en quatre maillons — la sondedéroulé · fil A — le déroulé de 3 minutes qui sert de sonde de fatiguev1

2 · Le bruit décide (fil B)

01Du bruit à la loss — le geste en six paschaîne · fil B — hypothèse de bruit → densité → produit → log → négatif → jeterv1 02Du prior à la pénalité — ce que la régularisation fournitchaîne · fil B — MAP, λ = σ²/τ², +λI translate, L1 tranche ailleursv1 03Le posterior entier — conjugués, lissage, et pourquoi MCMC/VI existentchaîne · fil B — Beta-Binomiale, pseudo-comptes, prior noyé quand n granditv1 D01Une chaîne, trois exemples (D4)déroulé · fil B, de la vraisemblance à la pénalité — déroulé existantv1

3 · Critère et descente (fil C, optim)

01Critère en escalier vs critère sensiblechaîne · fil C — un seul argument, quatre habits : split, loss, pénalité, margev1 02Gradient et descente — pente, pas, convexité, conditionnementchaîne · la porte d'entrée de la Phase 2 : ce que voit un optimiseurv1 D01Descente sur un bol allongé — ridge à deux paramètresdéroulé · p03-02 appliqué aux chiffres de D4 : κ = 71, forme fermée contre 114 itérationsv1

4 · Matrice = action

01Une matrice est une action — colonnes, image, noyau, affinechaîne · lire Ax comme un geste sur le plan, pas comme un tableau de nombresv1 02Valeurs propres et itération — ce qui survit à Aᵏchaîne · les directions qu'une matrice ne tourne pas, et pourquoi elles gouvernent le long termev1 03Spectral, SVD, conditionnement — rotation, étirement, rotationchaîne · toute matrice est un étirement entre deux rotations ; le rapport des étirements mesure la difficultév1 04PCA — diagonaliser la covariancechaîne · trouver les directions de variance maximale, et les quatre pièges qui rendent le résultat faux sans erreurv1

5 · Modèles linéaires

01Régression linéaire — le modèle et OLSchaîne · à écrireà venir
02Régression logistique — logit, odds ratio, effet marginalchaîne · à écrireà venir
03Régularisation vue en biais-variance — le chemin de λchaîne · à écrireà venir

6 · Évaluer

01Biais, variance, bruit — la décompositionchaîne · à écrireà venir
02Estimer l'erreur — CV, LOOCV, leakagechaîne · à écrireà venir
03Seuil, matrice de confusion, ROC, PRchaîne · à écrireà venir
04Scores, calibration, déséquilibrechaîne · à écrireà venir

7 · Arbres, ensembles, k-means

01Arbres — impureté, split, profondeurchaîne · à écrireà venir
02Bagging et random forest — la variance seulechaîne · à écrireà venir
03Gradient boosting — une descente dans l'espace des fonctionschaîne · à écrireà venir
04k-means — descente alternée sur l'inertiechaîne · à écrireà venir

8 · Calcul, numérique, tenseurs

01Jacobienne, chain rule, backprop — pourquoi on part de la sortiechaîne · la porte d'entrée de B1 (micrograd) : une dérivée est une matrice, et l'ordre des produits décide du coûtv1 02Flottants et log-sum-exp — raisonner en float32, pas en mathématiqueschaîne · ce qui arrive vraiment quand on additionne, compare, exponentiev1 03Cross-entropy, entropie, KL — trois noms pour un −log pchaîne · ce que vaut la loss au départ, ce que mesure exp(loss), et pourquoi CE = H + KLv1 04Tenseurs — ruban, strides, vue vs copie, broadcastingchaîne · un tenseur est une grille posée sur un ruban de mémoire, pas un objet mathématiquev1

9 · Coding

C00TAP — invariant, variant, conclusion, complexitécoding · signal → pattern → invariant → complexitéà venir
C01Fenêtre glissantecoding · signal → pattern → invariant → complexitéà venir
C02Deux pointeurscoding · signal → pattern → invariant → complexitéà venir
C03Binary searchcoding · signal → pattern → invariant → complexitéà venir
C04Listes chaînéescoding · signal → pattern → invariant → complexitéà venir
C05Arbrescoding · signal → pattern → invariant → complexitéà venir
C06Graphescoding · signal → pattern → invariant → complexitéà venir
C07Heapcoding · signal → pattern → invariant → complexitéà venir
C08Intervalscoding · signal → pattern → invariant → complexitéà venir
C09DP 1Dcoding · signal → pattern → invariant → complexitéà venir

Ponts

P01Une seule descentepont · pont — un mécanisme, plusieurs domainesà venir
P02Le témoin atteignablepont · pont — un mécanisme, plusieurs domainesà venir
P03Biais et variance partoutpont · pont — un mécanisme, plusieurs domainesà venir
P04La variance d'une moyenne corréléepont · pont — un mécanisme, plusieurs domainesà venir
P05Escalier vs sensiblepont · pont — un mécanisme, plusieurs domainesà venir
P06Convexité et forme ferméepont · pont — un mécanisme, plusieurs domainesà venir

Phase 2 · micrograd

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 2 · makemore

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 2 · transformer

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 2 · tokenizer

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 2 · mech interp

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 3 · evals

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 3 · fine-tuning

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 3 · inference

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Phase 4 · system design

·partie videla sheet du bloc arrive avec la revue du vendrediPhase à venir

Archive — fiches thématiques Q/A (11/09/2026), remplacées par Anki

AProbabilités & lois — fiche thématiquearchive AInférence fréquentiste — fiche thématiquearchive AVraisemblance, MLE, MAP, régularisation — fiche thématiquearchive AAlgèbre linéaire, calcul & PCA — fiche thématiquearchive ARégression linéaire & logistique — fiche thématiquearchive AÉvaluation, métriques, biais-variance — fiche thématiquearchive AArbres, ensembles, clustering — fiche thématiquearchive ATenseurs & numérique — numpy, PyTorch, flottants — fiche thématiquearchive ACoding patterns — signal → pattern, preuves, complexité — fiche thématiquearchive ABackend, architecture & estimation système — fiche thématiquearchive AHTTP, web, JS/TS & sécurité — fiche thématiquearchive