Filtre spam Naive Bayes : compter les mots, trancher

Nourris des lignes spam et ham étiquetées, règle le lissage de Laplace et regarde un classifieur bag-of-words façon années 90 noter ton message, avec des pentes log-vraisemblance par mot.

y26w43

La semaine dernière, un réseau de Hopfield rappelait des visages avec de la physique. Cette semaine, pas de neurones : seulement des comptages de mots et un mensonge audacieux, l’indépendance conditionnelle. Ça a fait tourner les filtres de boîte mail des années avant que l’apprentissage profond prenne la vision et le langage.

Naive Bayes traite chaque mail comme un sac de jetons. Tu montres des exemples spam et ham ; il estime la fréquence de chaque mot par classe, multiplie des vraisemblances lissées (Laplace évite les zéros) et choisit le plus grand posterior. C’est de l’apprentissage supervisé classique : lignes étiquetées en entrée, label de classe en sortie, le même esprit statistique que beaucoup de l’apprentissage automatique et du traitement automatique des langues, mais lisible à l’écran.

Comment jouer :

  1. Parcours les lignes d’entraînement spam et ham (modifie ou ajoute les tiennes, un message par ligne).
  2. Le champ message démarre avec un exemple spam du jeu d’entraînement ; appuie sur Classer (ou Exemple spam / Exemple ham).
  3. Fais glisser Lissage et vois les mots rares peser moins (ou plus).
  4. Lis Contributions par mot : quels jetons penchent vers spam ou ham ?

Essaie ceci :

  1. Classer sur la ligne par défaut (« gagnez argent gratuit cliquez ici maintenant ») : verdict spam net.
  2. Exemple ham (« réunion équipe déplacée mardi après-midi ») : le ham devrait dominer.
  3. Tape une phrase mixte et regarde les barres vaciller. Message vide ? Le gadget te le signale poliment.

Pourquoi c’est important

L’essai de Paul Graham en 2002 a popularisé le filtrage bayésien chez les développeurs indés ; des outils comme SpamAssassin mélangeaient règles et statistiques. L’hypothèse « naïve » est fausse (les mots ne sont pas indépendants), mais la frontière suffit souvent. Les LLM modernes sont ailleurs, mais l’intuition reste : des traits comptables plus des probabilités explicables, jusqu’à chaque jeton.

Tu as manqué les éditions précédentes ? Entraîne un perceptron, regarde une chaîne de Markov bafouiller, perds au morpion imbattable, apprends à un filtre à voir les bords, vois un agent apprendre par récompense, regarde un modèle lire le texte en jetons, suis une bille en descente de gradient, laisse la machine trouver des groupes, vois une ligne se courber, observe l’attention entre les mots, joue explorer vs exploiter, discute avec ELIZA ou griffonne une mémoire Hopfield.

Chaque ligne est un mail étiqueté. Le modèle compte les mots par classe, suppose l’indépendance (le « naïf ») et multiplie des vraisemblances lissées. Fais glisser le lissage pour voir le poids des mots rares.