脳のサポートベクトルマシン

脳のサポートベクトルマシン

サポートベクトルマシン (SVM) は重要な機械学習分類機であり,低次元特性を高次元に投影する非線形変換を巧みに利用し,より複雑な分類作業 (高次元打撃) を実行することができる.SWMは,数学的な技巧を使用しているように見えますが,実際は,脳コードの仕組みに一致していることが偶然です. 2013年のNature論文から読むように,機械学習と脳の働きを理解するための深いつながりの表面的なつながりは,機械学習の研究の脳を使用することです. 論文名:複雑な認知課題における混合選択性の重要性 (Omri Barak al.)

• SVM

  まず,動物が特定の信号を受け取り,それに基づいて特定の行動をとるという神経コードの本質についてお話ししましょう. 一つは外部信号を神経信号に変換し,もう一方は神経信号を意思決定信号に変換します. 前者はコード化と呼ばれ,後者は解読と呼ばれるプロセスです. そして,神経コードの本当の目的は,次に解読して意思決定を行うことです. したがって,機械学習の視覚解読の方法として,最も簡単な方法は,分類器,あるいは論理モデルのような線形分類器を作ることです. 輸入信号を特定の特徴の分類に合わせて分類します. 例えば,老虎が逃げるのを見たり,を食べるのを見たりすると.

  ニューロンのコードはどのように進行するのか見てみましょう. まず,ニューロンは基本的に電圧と電容量を外部電圧によって調整するRC回路として考えられます. 外部の信号が十分に大きい場合,それは伝導され,他の場合は閉じて,特定の時間に放電される周波数で信号を表示します. そして,コードについて話すとき,私たちはしばしば時間に対して分散処理を行います.

  

  縦軸は細胞,横軸は時間です. この図は,神経コードを抽出する方法を示しています.

  N次元ベクトルとニューロンのコードの真次元は違います. ニューロンのコードの真次元はどのように定義されますか? まず,このN次元ベクトルで標識されたN次元空間に入ります. その後,あらゆる可能な任務の組み合わせを与えます. 例えば,あなたに1000枚の絵を見せると仮定します. これらの絵は世界を代表します. ニューロンのコードが与えられたたびに,このスペースの1つの点として標識します. 最後に,ベクトル代数思考を使用して,この1000個のポイントが構成するサブスペースの次元,すなわちニューロンの表現の真次元として定義します.

  暗号化における実際の次元に加えて,我々は外部信号の実際の次元という概念をもっています. ここで信号は神経ネットワークによって表現される外部信号を指します. もちろん,あなたは外部信号のすべての詳細を繰り返す必要があります. それは無限の問題です. しかし,私たちの分類と意思決定は常に重要な特徴に基づいて,減量プロセスです. これはPCAの考えです.

  科学者が直面する 根本的な問題は なぜこの問題を 真の問題よりもはるかに高い 暗号化次元や 神経の数で 解決するのでしょうか?

  計算神経科学と機械学習は,神経表現の高次元特性が,その強い学習能力の基礎であることを教えてくれます. プログラミングの次元が高くなるほど,学習能力が強くなるのです. 注意してください,ここでは,深層ネットワークについて話していません. なぜそう言えるのでしょう?

  ここで議論される神経コードは,PFCのような上位神経センターのコードを指すが,下位神経センターのコードの法則は分類と決定にあまり関わっていない.

  

  PFCが代表する脳の上位領域

  神経コードの秘訣は,まさに,ニューロンの数Nと実問題次元Kの関係から明らかになる. (この差は200倍にも達する).なぜ,見かけの冗長なニューロンの数が質の飛躍をもたらすのか? まず,我々のコードの次元が実問題における重要な変数の次元に等しいとき,線形分類機を使用して非線形分類問題を処理できないと仮定します. (もしあなたがオレンジからオレンジを分離しようとすると仮定すると,あなたは線形境界でオレンジをオレンジから取り除くことができないと仮定します),これはまた,深層学習とSVMが機械学習に入っていないとき,我々が解くのが難しい典型的な問題です.

  SVM (ベクトルマシンに対応):

  

  SVMでは,図の赤点と青点を分離するなど非線形な分類を行うことができる.線形境界では赤点と青点を分離できない (左図),したがってSVMでは,単に変数の数を増やす方法ができない.例えば,図の2次元空間にx1,x2をマッピングする (図は赤点と青の点を平面上に描いている場合),非線形関数のみを使用する (x1^2,x1*x2,x2^2) のように,実質的な低次元から高次元への横断がある.このとき,あなたは青点を空に投げ,そしてあなたは空間に点を描き,青と赤の平面を分ける.

  実際,実際のニューラルネットワークは,まさに似たようなことをします. このように,線形分類器 (解読器) が行う分類の種類は大きく増加し,つまり,私たちは以前よりもはるかに強いパターン認識能力を獲得しました. ここで,高次元は高性能であり,高次元打撃は真実です.

  では,光神経コードの高次元はどうやって得られますか? 光神経の個数が多くても役に立たない. なぜなら,線形代数を学んだので,我々が知っているように,もし我々が膨大な数のN個のニューロンを持っていて,それぞれのニューロンの放電率は,Kの鍵特性の線形にのみ関連している場合,我々の最終表現の次元は,問題そのものの次元にのみ等しいものとなり,あなたのNつのニューロンは何の役にも立たない.この点を突破するには,あなたはKの特性の線形に関連したニューロンを持たなければならない.ここで,我々は非線形混合型ニューロンを呼びます.

  

  図:ニューロン1と2は,それぞれ特征aとbにのみ敏感であり,3は特征aとbの線形混合に敏感であり,4は特征非線形混合に敏感である.最終的に,ニューロン1,2,4の組み合わせだけで,神経コードの次元が上昇する (下図).

  このコードの公式名称は混合選択性 (混合選択性) であるが,このコードの原理が発見されなければ,理解できないと考えられる.それは神経ネットワークが特定の信号に対する反応として混乱しているようだ.周辺神経系では,ニューロンがセンサーのような役割を果たし,信号の異なる特性を抽出し,パターンを認識する.各ニューロンの機能はかなり特定されている.例えば,網膜のロッドとコーンが光子を受信し,その後ガンゲリオン細胞によってコードが続行する.各ニューロンは専門的に訓練された哨戒のようなものです.しかし,高度な脳では,明確な分泌は困難です.

  自然界のあらゆる細部には謎が隠されており,冗長で混ざった暗号化が多くて,非プロフェッショナルなやり方や混沌とした信号のように見えるが,最終的にはより優れた計算能力が得られる.この原理を持つと,私たちは簡単にこのようなタスクを処理することができます:

  

  この作業では,マヌケは,まず1つの画像が前のものと同じであるかどうかを識別 (recognition) する訓練を受け,次に2つの異なる画像が現れる順序 (recall) を判断する訓練を受けます.この作業を完了するには,マヌケは,タスクの種類 (recall or recognition),画像種類など,タスクの異なる側面をコードすることが必要であり,これは混合非線形コーディングメカニズムが存在するかどうかを実験的にテストするのに最適です.実験では,多くの神経が混合特性に敏感であり,非線形 (例えば,同じことが花のコードで行われ,神経細胞の放出強度は,タスクの記憶か認識か,特性の間には独立しません) に依存するものであることが示されています.混合編成は,これらの複数の側面のタスクを含む神経コードが高次元特性を表し,コードを解読し,手作業に適していることが示されています.

  この記事を読んで,私たちが理解したのは,設計されたニューラルネットワークには,非線形単位を導入すれば,パターンの認識能力が大幅に向上し,SVMはこれを非線形分類問題を処理するために適用しているということです.

  脳領域の機能を研究し,まず機械学習の方法でデータを処理し,例えばPCAで問題の重要な次元を見つけ,次に機械学習のパターン認識の思考で神経コードを解読し,最終的に新しいインスピレーションを得れば,機械学習の方法を改善することができます. 脳や機械学習アルゴリズムにとって,最終的には最も重要なことは,情報を最も適切な表現方法で得ることであり,良い表現があれば,何でも簡単です. これは機械学習が線形論理から,高度な機械学習を支える段階的な進化のプロセスへと戻ったこと,あるいは,それが進化したことで,私たちは世界に対してますます高い制御能力を獲得しました.

川崎市 川崎市 川崎市 川崎市