Mesin vektor sokongan di dalam otak

Mesin vektor sokongan di dalam otak

Peranti vektor sokongan (SVM) adalah pemeringkat pembelajaran mesin yang penting, yang dengan bijak menggunakan transformasi bukan linear untuk memproyeksikan ciri-ciri dimensi rendah ke dimensi tinggi untuk melaksanakan tugas pemeringkatan yang lebih kompleks (pembunuhan dimensi tinggi). SWM nampaknya menggunakan teknik matematik yang kebetulan sesuai dengan mekanisme pengekodan otak, yang kita boleh baca dari kertas kerja Nature 2013 bahawa hubungan permukaan untuk memahami pembelajaran mesin yang mendalam dan cara kerja otak adalah menggunakan pembelajaran mesin untuk mengkaji otak. Judul makalah: The importance of mixed selectivity in complex cognitive tasks (by Omri Barak al.)

• SVM

  Di mana hubungan yang luar biasa ini dapat dilihat? Pertama, mari kita bincangkan tentang kod saraf: haiwan menerima isyarat tertentu dan melakukan tindakan tertentu mengikutnya, satu adalah mengubah isyarat luar menjadi isyarat saraf, yang lain mengubah isyarat saraf menjadi isyarat keputusan, proses pertama dipanggil pengekodan, proses kedua dipanggil dekoding. Dan tujuan sebenar kod saraf adalah untuk menguraikan isyarat kemudian untuk membuat keputusan. Oleh itu, dengan melihat kod pembelajaran mesin, cara yang paling mudah adalah dengan menggunakan pemindai mata, bahkan model logistik, pemindai linear yang melihat isyarat masuk mengikut isyarat ciri tertentu.

  Kemudian mari kita lihat bagaimana pengekodan saraf berjalan. Pertama, neuron pada dasarnya boleh dilihat sebagai litar RC yang menyesuaikan daya tahan dan kapasiti mengikut voltan luar, apabila isyarat luaran cukup besar, ia akan menyalurkan, jika tidak, ia akan ditutup, dan menggambarkan isyarat dengan frekuensi pelepasan dalam masa tertentu.

  

  Gambar: sumbu tegak adalah sel, sumbu melintang adalah masa, dan gambar menunjukkan bagaimana kita mengekstrak kod saraf.

  Pertama, kita masuk ke ruang dimensi N yang ditandakan oleh vektor dimensi N ini, dan kemudian kita memberikan semua kombinasi tugas yang mungkin, seperti menunjukkan kepada anda seribu gambar. Misalkan gambar-gambar ini mewakili seluruh dunia, menandai setiap kali kita mendapat kod saraf sebagai satu titik dalam ruang ini, dan akhirnya kita menggunakan pemikiran aljabar vektor untuk melihat dimensi ruang kecil yang terdiri daripada seribu titik ini, iaitu yang ditandakan sebagai dimensi sebenar persembahan saraf. Saya menganggap semua titik sebenarnya berada di satu bahagian ruang dimensi N ini, maka persembahan ini adalah satu dimensi, yang sepadan jika semua titik berada di satu sisi dua dimensi ruang dimensi tinggi, maka ia adalah dua dimensi.

  Selain dimensi sebenar kod, kita juga mempunyai konsep dimensi sebenar isyarat luaran, di mana isyarat merujuk kepada isyarat luaran yang dinyatakan oleh rangkaian saraf, tentu saja anda perlu mengulangi semua butiran isyarat luaran. Ini adalah masalah yang tidak berkesudahan, namun kami mengklasifikasikan dan membuat keputusan berdasarkan ciri-ciri utama, proses pengurangan dimensi, dan ini adalah idea PCA. Kita boleh melihat pembolehubah utama dalam tugas sebenar sebagai dimensi sebenar tugas, contohnya jika anda ingin mengawal pergerakan lengan, anda biasanya hanya perlu mengawal sudut putaran sendi, jika anda melihatnya sebagai masalah anatomi, dimensi mungkin tidak lebih daripada 10, kita memanggilnya K. Walaupun anda ingin membezakan masalah wajah, dimensi masih jauh lebih rendah daripada satu unit saraf.

  Jadi, para saintis menghadapi satu persoalan utama, mengapa perlu menyelesaikan masalah ini dengan dimensi pengekodan dan bilangan neuron yang jauh lebih tinggi daripada masalah sebenar?

  Dan ilmu saraf pengkomputeran dan pembelajaran mesin bersama-sama memberitahu kita bahawa ciri-ciri dimensi tinggi persembahan saraf adalah asas untuk kemampuan belajar yang kuat yang mereka miliki. Lebih tinggi dimensi pengekodan, lebih kuat kemampuan pembelajaran. Perhatikan bahawa di sini kita bahkan tidak memulakan dengan rangkaian mendalam. Mengapa kita mengatakan ini?

  Perhatikan bahawa kod saraf yang dibincangkan di sini merujuk kepada kod saraf pusat saraf yang lebih tinggi, seperti Prefrontal Cortex (PFC) yang dibincangkan dalam artikel ini, kerana undang-undang kod pusat saraf yang lebih rendah tidak banyak melibatkan pengelompokan dan keputusan.

  

  Bahagian otak yang lebih tinggi yang diwakili oleh PFC

  Misteri kod saraf juga didedahkan dari hubungan antara bilangan neuron N, dan dimensi K masalah sebenar (perbezaan ini boleh mencapai 200 kali ganda). Mengapa bilangan neuron yang kelihatan berlebihan boleh membawa kepada lompatan kualitatif? Pertama, kita menganggap bahawa apabila dimensi kod kita sama dengan dimensi pembolehubah utama dalam tugas sebenar, kita tidak akan dapat menangani masalah klasifikasi yang tidak linear dengan pemangkasan linear (andaikan anda ingin memisahkan squid dari squid, anda tidak boleh memisahkan squid dari squid dengan sempadan linear), yang juga merupakan masalah tipikal yang sukar kita selesaikan dalam pembelajaran mendalam dan tanpa masuk ke dalam pembelajaran mesin.

  SVM (membantu mesin vektor):

  

  SVM boleh melakukan pengelasan bukan linear, seperti memisahkan titik merah dan titik biru dalam grafik, dengan sempadan linear kita tidak dapat memisahkan titik merah dan titik biru (gambar kiri), jadi kaedah yang digunakan oleh SVM adalah dengan meningkatkan dimensi. Tetapi hanya menambah bilangan pembolehubah tidak dapat dilakukan, seperti memetakan x1, x2 ke dalam sistem x1, x2, x1 + x2 yang sebenarnya adalah ruang linear dua dimensi (gambar adalah titik merah dan titik biru di atas satu bidang), hanya menggunakan fungsi bukan linear (gambar x1 ^ 2, x1 * x2, x2 ^ 2) kita mempunyai penyeberangan dimensi rendah ke dimensi tinggi yang sebenar, ketika ini anda hanya membuang titik biru ke udara, dan anda hanya melukis satu titik di ruang kosong, memisahkan bidang biru dan titik merah, dan memulakannya.

  Sebenarnya, apa yang dilakukan oleh rangkaian saraf sebenar adalah sama. Jenis pengklasifikasian yang dapat dilakukan oleh pengklasifikasi linear (pengkode) meningkat dengan ketara, yang bermaksud kita mendapat keupayaan pengenalan corak yang jauh lebih kuat daripada sebelumnya. Di sini, dimensi tinggi adalah tenaga tinggi, dan pukulan dimensi tinggi adalah kebenaran.

  Jadi, bagaimana kita mendapatkan dimensi tinggi untuk kod saraf? Jumlah neuron cahaya yang lebih banyak tidak berguna. Kerana kita telah mempelajari aljabar linear, kita tahu bahawa jika kita mempunyai sejumlah besar N neuron, dan kadar pelepasan setiap neuron hanya berkaitan dengan K ciri utama yang linear, maka dimensi akhir kita hanya sama dengan dimensi masalah itu sendiri, N neuron anda tidak berperanan. Jika anda ingin menembusi ini, anda mesti mempunyai neuron yang berkaitan dengan ciri K yang tidak linear, di sini kita memanggilnya neuron campuran yang tidak linear, yang mempunyai persembahan yang sangat rumit, yang mempunyai prinsip yang serupa dengan fungsi nukleus yang tidak linear di SVM.

  

  Gambar: Neuron 1 dan 2 hanya sensitif terhadap ciri a dan b, 3 sensitif terhadap campuran linear ciri a dan b, dan 4 sensitif terhadap campuran non-linear ciri. Akhirnya, hanya gabungan neuron 1, 2, 4 yang meningkatkan dimensi pengekodan saraf (gambar di bawah).

  Penggambaran ini secara rasmi dipanggil penggambaran bercampur ("mixed selectivity"), dan kita tidak dapat memahaminya sebelum penemuan prinsip penggambaran ini, kerana ia adalah rangkaian saraf yang bertindak balas terhadap isyarat tertentu yang kelihatan berantakan. Dalam sistem saraf sekitar, fungsi neuron seperti sensor untuk mengekstrak dan mengenali corak isyarat yang berbeza. Fungsi setiap sel saraf agak tertentu, seperti rod dan kerucut retina yang bertanggungjawab untuk menerima foton, dan kemudian terus dikodkan oleh sel ganglion, setiap neuron seperti seorang pengawal yang dilatih secara profesional.

  Setiap perincian alam semula jadi yang tersimpan dalam fantasi, banyak redundansi dan pengekodan campuran yang kelihatan tidak profesional, sinyal yang kelihatan kacau, akhirnya mendapat daya pengiraan yang lebih baik. Dengan prinsip ini, kita dapat dengan mudah menangani beberapa tugas seperti:

  

  Dalam tugas ini, monyet mula-mula dilatih untuk membezakan sama ada satu imej adalah sama dengan yang sebelumnya (pengiktirafan) dan kemudian dilatih untuk menilai urutan kemunculan dua imej yang berbeza (pengiktirafan). Untuk menyelesaikan tugas sedemikian, monyet perlu dapat mengkodkan bahagian yang berbeza daripada tugas, seperti jenis tugas (pengiktirafan atau pengiktirafan), jenis gambar, dan sebagainya, dan ini adalah ujian yang sangat baik untuk menguji sama ada terdapat mekanisme pengkodean bukan linear campuran.

  Setelah membaca artikel ini, kita tahu bahawa merancang rangkaian saraf dengan memasukkan beberapa unit bukan linear akan meningkatkan keupayaan pengenalan corak dengan ketara, dan SVM telah menggunakan ini untuk menangani masalah klasifikasi bukan linear.

  Kami mengkaji fungsi kawasan otak, mula-mula memproses data dengan kaedah pembelajaran mesin, seperti mencari dimensi utama masalah dengan PCA, kemudian memahami kod dan pengekodan saraf dengan pemikiran pengenalan corak pembelajaran mesin, dan akhirnya jika kita mendapat inspirasi baru, kita boleh memperbaiki kaedah pembelajaran mesin. Untuk otak atau algoritma pembelajaran mesin, yang paling penting pada akhirnya adalah cara yang paling sesuai untuk mendapatkan maklumat, dan dengan ciri yang baik, semuanya mudah dilakukan.

Dibaharui oleh: Xie Xie Iron-Cruiser Technologies