Bayes - Memahami Misteri Probabilitas, Menjelajahi Kebijaksanaan Matematika di Balik Keputusan

Statistik Bayesian adalah disiplin yang kuat di bidang matematika, dengan aplikasi luas di banyak bidang termasuk keuangan, penelitian medis, dan teknologi informasi.

Dalam artikel ini, kita akan secara singkat memperkenalkan beberapa matematikawan utama yang mendirikan bidang ini.

Sebelum Bayes Untuk lebih memahami statistik Bayesian, kita perlu kembali ke abad ke-18 dan merujuk pada matematikawan De Moivre dan makalahnya The Doctrine of Chances.

Dalam makalahnya, De Moivre memecahkan banyak masalah yang berkaitan dengan probabilitas dan perjudian pada zamannya.

Salah satu pertanyaan paling sederhana dalam makalahnya adalah:

Berapakah probabilitas mendapatkan tiga kepala saat melempar koin adil tiga kali berturut-turut?

Membaca melalui masalah yang dijelaskan dalam The Doctrine of Chances, Anda mungkin memperhatikan bahwa kebanyakan mulai dengan asumsi dari mana mereka menghitung probabilitas untuk peristiwa tertentu.

Ini akan dinyatakan hari ini dalam istilah matematika sebagai:

Rumus

𝑃(𝑋|𝜃)

Namun, bagaimana jika kita tidak tahu apakah koin itu adil?𝜃 ?

Thomas Bayes dan Richard Price

Hampir lima puluh tahun kemudian, pada tahun 1763, sebuah makalah berjudul A Solution to the Problems in the Doctrine of Chances diterbitkan dalam Philosophical Transactions of the Royal Society of London.

Dalam beberapa halaman pertama dokumen ini, ada sebuah karya yang ditulis oleh matematikawan Richard Price yang meringkas makalah yang ditulis oleh temannya Thomas Bayes beberapa tahun sebelum kematiannya.

Bahkan, ia merujuk pada satu masalah khusus:

Mengingat peristiwa yang tidak diketahui jumlah keberhasilan dan kegagalan, cari peluang antara dua derajat yang diberi nama.

Dengan kata lain, setelah mengamati sebuah peristiwa kita menentukan apa yang kemungkinan bahwa parameter yang tidak diketahuiθini sebenarnya salah satu masalah pertama yang berkaitan dengan kesimpulan statistik dalam sejarah dan itu menimbulkan istilah kebarangkalian terbalik dalam istilah matematika:

Rumus

𝑃( 𝜃 | 𝑋）

Ini tentu saja apa yang kita sebut distribusi posterior dari Bayes teorema hari ini.

Untuk Alasan Tanpa Penyebab dan Akibat

Memahami motivasi di balik penelitian kedua pendeta tua ini,Thomas BayesdanRichard PriceTapi untuk melakukan ini, kita perlu untuk sementara mengesampingkan beberapa pengetahuan tentang statistik.

Kita berada di abad ke-18 ketika probabilitas menjadi bidang yang semakin menarik bagi matematikawan. Matematikawan seperti de Moivre atau Bernoulli telah menunjukkan bahwa beberapa peristiwa terjadi dengan tingkat keacakan tertentu tetapi masih diatur oleh aturan tetap. Misalnya, jika Anda melempar dadu beberapa kali, seperenam dari waktu itu akan mendarat di enam. Seolah-olah ada aturan tersembunyi yang menentukan peluang nasib.

Sekarang bayangkan jika Anda seorang matematikawan dan orang percaya yang taat hidup pada periode ini. Anda mungkin tertarik untuk memahami hubungan antara aturan tersembunyi ini dan Tuhan.

Ini memang pertanyaan yang diajukan oleh Bayes dan Price sendiri. Mereka berharap bahwa solusi mereka akan langsung berlaku untuk membuktikan bahwa dunia harus merupakan hasil dari kebijaksanaan dan kecerdasan; oleh karena itu memberikan bukti keberadaan Tuhan sebagai penyebab utama - yaitu penyebab tanpa kausalitas.

Laplace

Anehnya, sekitar dua tahun kemudian pada tahun 1774, tanpa membaca makalah Thomas Bayes, matematikawan Prancis Laplace menulis makalah berjudul On the Causes of Events by Probability of Events, yang membahas masalah probabilitas terbalik.

Jika suatu peristiwa dapat disebabkan oleh n alasan yang berbeda, maka rasio antara penyebab-penyebab ini probabilitas yang diberikan pada peristiwa sama dengan probabilitas kejadian yang diberikan pada penyebab-penyebab ini; dan setiap penyebab kemungkinan keberadaan sama dengan probabilitas penyebab yang diberikan pada peristiwa ini dibagi dengan total probabilitas peristiwa yang diberikan pada masing-masing penyebab ini.

Ini adalah apa yang kita ketahui hari ini sebagai teorema Bayes:

Di mana?P(θ)adalah distribusi yang seragam.

Percobaan Koin

Kami akan membawa statistik Bayesian ke masa kini dengan menggunakan Python dan PyMC perpustakaan, dan melakukan eksperimen sederhana.

Misalkan seorang teman memberi Anda koin dan bertanya apakah Anda pikir itu adalah koin yang adil. Karena dia terburu-buru, dia memberi tahu Anda bahwa Anda hanya dapat melempar koin 10 kali. Seperti yang Anda lihat, ada parameter yang tidak diketahuipdalam masalah ini, yang merupakan probabilitas mendapatkan kepala dalam melempar koin, dan kita ingin memperkirakan nilai yang paling mungkin darip.

(Catatan: Kami tidak mengatakan bahwa parameterpadalah variabel acak tetapi lebih bahwa parameter ini tetap; kita ingin tahu di mana itu paling mungkin antara.)

Untuk memiliki pandangan yang berbeda tentang masalah ini, kita akan menyelesaikannya di bawah dua keyakinan sebelumnya yang berbeda:

• 1. Anda tidak memiliki informasi sebelumnya tentang keadilan koin, jadi Anda menetapkan probabilitas yang sama untukpDalam hal ini, kita akan menggunakan apa yang disebut non-informatif sebelumnya karena Anda belum menambahkan informasi untuk keyakinan Anda.
• 2. Dari pengalaman Anda, Anda tahu bahwa bahkan jika koin mungkin tidak adil, sulit untuk membuatnya sangat tidak adil.ptidak mungkin kurang dari 0,3 atau lebih dari 0,7. dalam hal ini, kita akan menggunakan informasi sebelumnya.

Untuk kedua skenario ini, keyakinan kami sebelumnya adalah sebagai berikut:

Dengan bukti ini, di mana kita mungkin menemukan parameterp?

Seperti yang Anda lihat, dalam kasus pertama, distribusi parameter sebelumnyapterkonsentrasi pada perkiraan kemungkinan maksimum (MLE)p=0.2, yang merupakan metode yang mirip dengan yang digunakan oleh sekolah frekuensi. parameter yang tidak diketahui benar akan berada dalam interval konfidensi 95%, antara 0,04 dan 0,48.

Di sisi lain, dalam kasus-kasus di mana ada kepercayaan tinggi bahwa parameterpDalam hal ini, parameter yang tidak diketahui benar akan berada dalam interval konfidensi 95% antara 0,23 dan 0,57.

Oleh karena itu, dalam skenario kasus pertama, Anda akan mengatakan kepada teman Anda dengan pasti bahwa koin ini tidak adil tetapi dalam situasi lain Anda akan mengatakan tidak pasti apakah itu adil atau tidak.

Seperti yang dapat Anda lihat bahkan ketika menghadapi bukti yang identik (dua kepala dari sepuluh lemparan), di bawah keyakinan sebelumnya yang berbeda hasil dapat sangat bervariasi; satu keuntungan dari statistik Bayesian atas metode tradisional terletak di sini: seperti metodologi ilmiah memungkinkan kita untuk memperbarui keyakinan kita dengan menggabungkan mereka dengan pengamatan dan bukti baru.

Penghentian

Dalam artikel hari ini, kita melihat asal-usul statistik Bayesian dan kontributor utamanya.quantdare.com.