Classificador Bayesian baseado no algoritmo KNN

Classificador Bayesian baseado no algoritmo KNN

A base teórica para projetar classificadores para tomar decisões de classificação é a teoria da decisão de Bob Bezos:

Comparando P (ωi) x; ondeωi é a classe i e x é um dado a ser observado e a ser classificado, P (ωi) x representa a probabilidade de julgar que o dado pertence à classe i com base em vetores característicos conhecidos, o que também se torna uma probabilidade posterior. De acordo com a fórmula de Bayes, pode ser expresso como:

Dentre eles, P (x) é chamado de probabilidade de semelhança ou probabilidade de condição de classe; P (ω) é chamado de probabilidade de antecedência, porque não tem relação com o experimento e pode ser conhecido antes do experimento.

Ao classificar, dado x, a categoria que faz com que a probabilidade posterior seja maior pode ser selecionada; quando comparada com a grandeza de P em cada categoria,ωi é a variável e x é o fixo; portanto, P (x) pode ser eliminado e não considerado.

Então, no final, isso se resume a um problema de calcular P (x) x (ωi) * P (ωi). A probabilidade preliminar P ((ωi) é boa, desde que o treinamento estatístico concentre a proporção de dados que aparecem sob cada classificação.

O cálculo da probabilidade de semelhança P (x ∈ I) é muito complicado, porque o x é o dado do conjunto de testes e não pode ser obtido diretamente com base no conjunto de treinamento. Então precisamos descobrir a lei da distribuição dos dados do conjunto de treinamento para obter P (x ∈ I).

A seguir é apresentado o algoritmo k de vizinhança, em inglês é KNN.

Temos que ajustar a distribuição desses dados sob a categoriaωi com base nos dados x1, x2...xn do conjunto de treinamento (cada um dos quais é de m dimensões); se x for qualquer ponto no espaço de m dimensões, como calcular P (xωi)?

Sabemos que, quando o volume de dados é grande o suficiente, é possível usar a probabilidade aproximada proporcional. Utilizando este princípio, em torno do ponto x, é possível encontrar o k ponto de amostra mais próximo do ponto x, onde há ki da categoria i. Calcule o volume V da menor superesfera que rodeia esse k ponto de amostra; ou então, o número de indivíduos da categoria ωi em todos os dados da amostra Ni:

Como você pode ver, o que nós fizemos foi realmente calcular a densidade de probabilidade das condições de classe no ponto x.

Então, o que é p (ωi)? De acordo com o método acima, P ((ωi) = Ni/N ⋅ onde N é o número total de amostras ⋅ Além disso, P ((x) = k/ ((N*V), onde k é o número de todos os pontos da amostra que cercam este superesférico; N é o número total de amostras. Então p (ωi ∈ x) pode ser calculado: trazendo a fórmula, é fácil de obter:

P(ωi|x)=ki/k

Explique a fórmula acima, dentro de uma superesfera do tamanho de V, são cercados k amostras, das quais há ki da classe i. Assim, quais são as amostras mais cercadas, podemos determinar a qual classe x deve pertencer aqui.