Naive-Bayes-Spamfilter: Wörter zählen, würfeln

Füttere gelabelte Spam- und Ham-Zeilen, dreh an der Laplace-Glättung und sieh zu, wie ein Bag-of-Words-Klassifikator im Stil der 1990er deine Nachricht bewertet, mit sichtbaren Wort-Anteilen.

y26w43

Letzte Woche hat ein Hopfield-Netz Gesichter mit Physik zurückgeholt. Diese Woche keine Neuronen; nur Wortzähler und eine kühne Lüge namens bedingte Unabhängigkeit. Damit liefen Postfach-Filter jahrelang, bevor große Deep-Learning-Stacks Vision und Sprache übernahmen.

Naive Bayes behandelt jede Mail als Wortsack. Du zeigst Spam- und Ham-Beispiele; es schätzt, wie oft jedes Wort in jeder Klasse vorkommt, multipliziert geglättete Likelihoods (Laplace rettet vor Nullen) und wählt die größere Posterior-Wahrscheinlichkeit. Das ist klassisches überwachtes Lernen: gelabelte Zeilen rein, Klassenlabel raus, derselbe statistische Kern wie vieles im maschinellen Lernen und in der maschinellen Sprachverarbeitung, nur so transparent, dass du es ablesen kannst.

So spielst du:

  1. Lies die Spam- und **Ham-**Trainingszeilen (bearbeiten oder eigene hinzufügen, eine Nachricht pro Zeile).
  2. Das Nachrichtenfeld startet mit einem Spam-Beispiel aus dem Training; Klassifizieren (oder Spam-Beispiel / Ham-Beispiel).
  3. Glättung verschieben und sehen, wie seltene Wörter weniger (oder mehr) dominieren.
  4. Wort-Anteile lesen: welche Tokens Richtung Spam vs Ham neigen?

Probier das:

  1. Klassifizieren auf der Standardzeile („gratis geld gewinnen jetzt hier klicken“): klares Spam-Urteil.
  2. Ham-Beispiel („team meeting auf dienstag nachmittag verschoben“): Ham sollte dominieren.
  3. Einen Mischsatz tippen und die Balken beobachten. Leere Nachricht? Das Gadget meckert freundlich.

Warum das zählt

Paul Grahams Essay von 2002 machte Bayessche Spamfilter bei Indie-Entwicklern populär; Tools wie SpamAssassin mischten Regeln und Statistik. Die „naive“ Annahme ist falsch (Wörter sind nicht unabhängig), trotzdem reicht die Grenze oft. Moderne LLMs sind Lichtjahre entfernt, aber die Intuition bleibt: zählbare Merkmale plus erklärbare Wahrscheinlichkeiten, bis zu einzelnen Tokens.

Verpasste Ausgaben? Trainiere ein Perzeptron, lass eine Markov-Kette plappern, verliere gegen unbesiegbares Tic-Tac-Toe, zeig einem Filter Kanten, sieh einem Agenten beim Lernen aus Belohnung zu, lies wie Modelle Text in Tokens zerlegen, roll einen Ball beim Gradientenabstieg, lass die Maschine Gruppen finden, sieh eine Linie sich biegen, beobachte Aufmerksamkeit zwischen Wörtern, balanciere Erkunden vs Ausnutzen, chatte mit ELIZA oder kritzele Hopfield-Speicher.

Jede Zeile ist eine gelabelte Mail. Das Modell zählt Wörter pro Klasse, nimmt Unabhängigkeit an (das „naive“) und multipliziert geglättete Likelihoods. Glättung verschiebt, wie stark seltene Wörter zählen.