KNN アルゴリズムに基づくベイズ分類器

KNN アルゴリズムに基づくベイズ分類器

設計した分類器が分類決定を行うための理論的基礎 ベイスの意思決定理論:

比較P (ωi) の場合,ωiはクラスiであり,xは観測され,分類されるデータであり,P (ωi) は,このデータの特征ベクトルが知られている場合,それがクラスiに属することを判断する確率はどれであるかを表します.これは後述の確率はになります.ベイヤス式によれば,以下のように表される:

このうち,P (x) は似通りの確率またはクラス条件の確率と呼ばれ,P (ω) は前向きな確率と呼ばれ,実験とは関係なく,実験の前に知ることができる.

分類する際には,x が与えられた場合,後定確率P (ωi) が最大であるカテゴリーを選択することができる.各カテゴリーでP (ωi) が大きい場合,ωi は変数であり,x は固有である.したがって,P (ωi) を排除し,考慮に入れない.

この問題は,P (x) を計算し,P (x) を計算し, 予備確率P (ωi) は,統計訓練を集約すれば,各分類下にあるデータの比率を集約すればよい.

類似確率P (x) の計算は折りたたみになりますが,このxはテスト集のデータなので,トレーニングセットから直接得られないので,トレーニングセットのデータの分布法則を見つけなければなりません.

KNN (KNN) は,KNN (KNN) と呼ばれる近隣アルゴリズムである.

訓練集のデータ x1,x2...xn (それぞれのデータは m次元) を基に,カテゴリωi の下にこれらのデータの分布を調整します. x を m次元空間内の任意の点として設定すると,P (xωi) をどのように計算するでしょうか?

データ量が十分に大きいとき,比例近似確率を用いる.この原理を利用して,点xの周りに距離を xに最も近いkのサンプルポイントを見つけ,その内 iのカテゴリーに属しているkiがある.このkのサンプルポイントを取り巻く最小超球の体積Vを計算し,また,すべてのサンプルのデータの中でωiのカテゴリーに属している Niの数を計算する.

確率の密度は,x点に等しいです.

この式は,この式を,この式で表します. 上記の方法により,P (ωi) = Ni/N 、 N がサンプル総数である. また,P (x) =k/ (N*V) で,k はこの超球体を取り巻くすべてのサンプルポイントの数であり,N はサンプル総数である. この式を入れると,簡単に解くことができます.

P(ωi|x)=ki/k

上記の式をさらに説明すると,Vサイズの超球体の中で,k個のサンプルを取り囲み,そのうちのiのクラスに属しているkiがある.このように,どのサンプルが最も多く取り囲まれているか,ここでxがどのクラスに属すべきかを決定します.これはk近隣アルゴリズムで設計された分類器です.