Diferentemente do SVM, esse é um tipo de classificador chamado classificador probabilístico, relacionando objetos (vetores, conteúdo de imagens, textos, etc) com classes, que pode ser já conhecida ou que eu possa nomear, criando labels por métodos não supervisionados, por exemplo. Classificadores bayesianos são aqueles onde conheço a priori a probabilidade das categorias, situação que raramente ocorre na prática, mas muitas vezes permite prever o erro que teremos ao generalizar para outros padrões e comparar qual classificador ideal (Bayesiano) que podemos usar. Vale agora uma referência o livro “Pattern Classification”, onde há partes dedicadas a entender casos onde a probabilidade em relação às categorias não é conhecida.

Alguns slides do Departamento de Ciência da Computação da UDESC Joinville que achei bacana e podem ser acessados aqui.

Esse algoritmo é muito usado para, por exemplo, entender se uma palavra como “amor” é usada em uma frase como algo positivo ou negativo, da uma olhada nesse material da Poli/USP que achei bastante explicativo. Porém aqui vou usar no dataset sintético que já temos trabalhado acima para fins de comparação.
Não podemos seguir sem olhar a conhecida fórmula de Bayes, achei uma num blog bacana, podia fazer, mas vou compartilhar com a fonte:

Exemplo de implementação em python de um modelo de regressão polinomial: