뇌의 지원 벡터

뇌의 지원 벡터

지원 벡터 머신 (SVM) 은 중요한 기계 학습 분류기이며, 그것은 비선형 변환을 능숙하게 사용하여 낮은 차원의 특징을 높은 차원으로 투영하여 비교적 복잡한 분류 작업을 수행 할 수 있습니다. SWM은 수학적인 기법을 사용하는 것처럼 보이지만 실제로는 뇌의 코딩 메커니즘에 일치하는 것으로 나타났습니다. 우리는 2013 년 자연 논문에서 읽을 수 있습니다. 기계 학습과 뇌의 작동 원리를 이해하는 깊은 연결의 표면 연결은 머신을 연구하는 기계 학습을 사용하는 것입니다. 논문 제목: 복잡한 인지 과제에서 혼합 선택의 중요성 (Omri Barak al. by)

• SVM

  이 놀라운 연결은 어디서 볼 수 있을까요? 먼저 신경 코딩의 본질에 대해 이야기해보죠. 동물은 특정 신호를 받아서 그에 따라 특정 행동을 합니다. 하나는 외부 신호를 신경 전기 신호로 변환하고 다른 하나는 신경 전기 신호를 의사 결정 신호로 변환합니다. 첫 번째 프로세스는 코딩, 두 번째 프로세스는 디코딩이라고 불립니다. 신경 코딩의 진정한 목적은 나중에 의사 결정을 하기 위해 디코딩을 하는 것입니다. 따라서, 기계 학습의 시력을 사용하여 암호를 해독하는 가장 간단한 방법은 분류기, 심지어는 로지스틱 모델의 선형 분류기입니다.

  그럼 어떻게 신경 코딩이 진행되는지 살펴보자. 먼저 신경은 기본적으로 외부 전압에 따라 저항과 용량을 조정하는 RC 회로로 볼 수 있습니다. 외부 신호가 충분히 큰 경우, 그것은 유도됩니다. 그렇지 않으면 닫히고, 특정 시간에 전압을 방출하는 주파수를 통해 신호를 표시합니다.

  

  그래프: 가로축은 세포이고 가로축은 시간입니다. 그래프는 우리가 신경 코드를 추출하는 방법을 보여줍니다.

  물론 N차원 벡터와 신경코딩의 실제 차이는 다릅니다. 신경코딩의 실제 차이는 어떻게 정의되는가? 먼저, 우리는 N차원 벡터로 표시된 N차원 공간에 들어가고, 그 다음 우리는 모든 가능한 작업 조합을 제공합니다. 예를 들어, 당신에게 1000개의 그림을 보여 주자. 이 그림들이 세계를 대표한다고 가정합니다. 우리가 얻을 때마다 신경코딩을 이 공간의 한 지점으로 표시합니다. 마지막으로 우리는 벡터 대수학적 사고를 사용하여 이 천개의 지점을 구성하는 하위 공간의 차원을 봅니다. 즉, 신경표현의 실제 차원을 정의합니다.

  코딩의 실제 차원 외에도 우리는 외부 신호의 실제 차원이라는 개념을 가지고 있습니다. 여기서 신호는 신경망에 의해 표현된 외부 신호입니다. 물론 당신은 외부 신호의 모든 세부 사항을 반복해야 합니다. 그것은 무한한 문제입니다. 그러나 우리의 분류와 의사 결정의 기준은 항상 중요한 특징이며, 저차원화 과정입니다. 이것은 PCA의 생각입니다. 우리는 실제 임무의 핵심 변수를 임무의 실제 차원으로 볼 수 있습니다. 예를 들어, 팔의 움직임을 제어하려면 관절의 회전 각도를 제어해야합니다.

  그래서 과학자들은 근본적인 문제에 직면하게 됩니다. 왜 실제 문제보다 훨씬 더 많은 크기의 코딩 차원과 신경 세포를 가지고 문제를 해결해야 할까요?

  그리고 계산 신경과학과 기계 학습이 함께 우리에게 알려주는 것은 신경표현의 고차원적 특성이 바로 그들이 가진 강력한 대학 학습 능력의 기초가 된다는 것입니다. 코딩 차원이 높을수록 학습 능력이 더 강해질 것입니다. 여기서 우리는 깊이 네트워크에 대해 이야기하기조차 시작하지 않았음을 유의하십시오. 왜 그렇게 말할 수 있습니까? 우리는 여기서 신경 코딩 메커니즘이 SVM와 유사한 원리를 사용한다고 말하고 있습니다. 우리가 낮은 차원의 신호를 고차원으로 투사하면 더 많은 분류를 할 수 있습니다. 심지어 선형 분량자일지라도 수많은 문제를 해결할 수 있습니다.

  참고로, 여기서 논의되는 신경 코딩은 주로 전두엽 전두엽 피질 (PFC) 과 같은 고급 신경 센터의 신경 코딩을 의미합니다. 왜냐하면 낮은 수준의 신경 센터의 코딩 규칙은 분류와 의사 결정에 거의 관여하지 않기 때문입니다.

  

  PFC가 대표하는 높은 뇌 영역

  신경코딩의 미스터리는 바로 신경체수 N와 실제 문제 차원 K의 관계에서 밝혀진다. (이런 차이는 200배에 달할 수 있다.); 왜 겉으로 보기에는 불필요한 신경체수가 질적 도약을 가져올 수 있을까? 첫째, 우리는 우리의 코딩 차원이 실제 과제에서 핵심 변수의 차원과 같을 때, 우리가 선형 분류기를 사용할 때 비선형 분류 문제를 처리할 수 없을 것이라고 가정한다. (당신이 수달에서 수달을 분리하려고 한다면, 당신은 수달을 선형 경계로 제거할 수 없다.)

  SVM (벡터 기계를 지원합니다):

  

  SVM는 그래프의 빨간 점과 파란색 점을 분리하는 것과 같은 비선형 분류를 수행할 수 있습니다. 선형 경계로 우리는 빨간 점과 파란색 점 (왼쪽 그림) 을 분리할 수 없습니다. 따라서 SVM의 방법은 고차원입니다. 그러나 단순히 변수 개수를 추가하는 것은 불가능합니다. 예를 들어, x1, x2, x1 + x2 시스템을 2 차원 또는 2 차원의 선형 공간에 매핑하는 것.

  사실, 실제 신경망이 하는 일은 정확히 비슷합니다. 이렇게 선형 분류기 (해독기) 가 할 수 있는 분류의 종류는 크게 증가합니다. 즉, 우리는 이전보다 훨씬 더 강력한 패턴 인식 능력을 얻었습니다. 여기, 고차원 = 고효율, 고차원 타격 = 진실입니다.

  그렇다면, 신경의 고차원적 코딩은 어떻게 될까요? 광신경의 개수가 더 많으면 쓸모가 없습니다. 왜냐하면 선형 대수학을 배웠기 때문에 우리는 우리가 많은 N 개의 신경을 가지고 있고, 각각의 신경의 방출율이 단지 K의 핵심 특성에 선형적으로 연관되어 있다면, 우리의 최종 표현의 차원은 문제 자체의 차원과 같을 것이고, 당신의 N 개의 신경은 아무런 역할도 하지 않습니다. (이분의 신경은 K의 전신경의 선형적 구성입니다.) 이 점을 돌파하려면, 당신은 K의 특성에 대한 선형적이지 않은 신경을 가지고 있어야 합니다. 여기서 우리는 선형적이지 않은 혼합형 신경이라고 부릅니다.

  

  그림: 신경세포 1과 2는 특징 a와 b에만 민감하고, 3은 특징 a와 b의 선형 혼합에 민감하고, 4은 특징의 비선형 혼합에 민감하다. 결국 신경세포 1, 2, 4의 조합만이 신경코딩 차원을 높인다.

  이 코딩의 공식적인 명칭은 혼합 선택성 (mixed selectivity) 이며, 사람들이 이 코딩의 원리를 발견하지 않는 한 우리는 이것을 이해할 수 없다고 생각합니다. 왜냐하면 그것은 신경망이 어떤 신호에 반응하는 것 처럼 엉망인 것처럼 보이기 때문입니다. 주변 신경계에서, 신경 세포는 센서와 같은 역할을 하며, 신호의 다른 특성을 추출하고 패턴을 인식합니다. 각 신경 세포의 기능은 상당히 특정합니다. 망막의 로드와 코너와 같이 광선을 수신하는 역할을 하고, 그 후 원형 간젤리온 세포에 의해 계속 코딩됩니다. 각 신경 세포는 전문적으로 훈련된 경비원과 같습니다.

  자연의 모든 세부 사항에는 기묘한 것들이 숨겨져 있고, 무작위적이고 혼합된 코딩이 많이 이루어져 있습니다. 이러한 무능한 방법과 혼란스러운 신호는 결국 더 나은 계산 능력을 얻습니다. 이 원칙을 가지고 우리는 다음과 같은 작업을 쉽게 처리 할 수 있습니다.

  

  이 작업에서, 코코드는 먼저 하나의 이미지가 이전과 동일하는지 (인식) 을 구별하는 훈련을 받고, 그 다음 두 개의 다른 이미지가 나타나는 순서를 (기억) 판단하는 훈련을 받는다. 코코드는 작업의 다른 측면을 코드화할 수 있어야 한다. 예를 들어 작업의 유형 (기억 또는 인식), 이미지 종류 등이 있어야 한다. 그리고 이것은 혼합된 비선형 코딩 메커니즘이 있는지에 대한 실험에서 가장 좋은 테스트이다. 실험에서 많은 신경들이 혼합된 특성에 민감하고 비선형이 있다는 것이 입증되었다.

  이 기사를 읽은 후, 우리는 신경망을 설계하는 데 비선형 단위를 도입하면 패턴 인식 능력을 크게 향상시킬 수 있다는 것을 알았습니다. 그리고 SVM은 비선형 분류 문제를 해결하는 데 이것을 적용했습니다.

  우리는 뇌 영역의 기능을 연구합니다. 먼저 기계 학습의 방법으로 데이터를 처리합니다. 예를 들어, PCA를 사용하여 문제의 핵심 차원을 찾습니다. 그런 다음 기계 학습 패턴 인식의 사고를 통해 신경 코드를 이해하고 암호화합니다. 결국 우리는 새로운 영감을 얻으면 기계 학습 방법을 개선 할 수 있습니다. 뇌 또는 기계 학습 알고리즘의 경우, 궁극적으로 가장 중요한 것은 정보를 가장 적절하게 표현하는 방법입니다. 그리고 좋은 표현으로 모든 것이 쉽습니다. 바로 기계 학습이 선형 논리에서 원격적인 기계 학습을 지원하는 단계적 진화 과정으로 돌아가는 것입니다. 또는 아마도 뇌가 진화하여 점점 더 높은 통제력을 가지고있는 세계를 이해하게 될 것입니다. 또는 아마도 더 명확한 목적이 될 것입니다. 누가 호랑이, 누가 양, 누가 먹을 수 있으며, 그 과정에서 세계 자체에 대한 이해가 발전하고 있습니다.

이 글은 철-크루세이퍼 기술자로부터 가져온 것입니다.