লুকানো ম্যালকভ মডেল

লুকানো ম্যালকভ মডেল

• ১। পরিচিত হওয়া

  আজকে আমরা শেয়ারের ক্ষেত্রে এইচএমএম (ইনমার্কভ মডেল) এর একটি সহজ অ্যাপ্লিকেশন সম্পর্কে জানাবো।

  মার্কভ মডেল, যা প্রথমে উচ্চমানের শোনাচ্ছে, এবং আমরা জানি না এটি আসলে কী, আসুন আমরা এক ধাপ পিছিয়ে যাই এবং প্রথমে মার্কভ চেইনটি দেখি।

  মার্কভ শৃঙ্খলা, যার নাম এ.এ. মার্কভ (A.A.Markov, ১৮৫৬-১৯২২) এর নামে রাখা হয়েছে, এটি গণিতে মার্কভীয় প্রকৃতির বিচ্ছিন্ন ঘটনার একটি এলোমেলো প্রক্রিয়া। বর্তমান জ্ঞান বা তথ্যের ক্ষেত্রে, অতীত (অর্থাৎ বর্তমানের পূর্ববর্তী historical state) ভবিষ্যতের ভবিষ্যদ্বাণী করার জন্য (অর্থাৎ বর্তমানের পরে ভবিষ্যতের state) অপ্রাসঙ্গিক।

  

  এই প্রক্রিয়াটি একটি n-স্তরের মডেল নামে পরিচিত, যেখানে n হল প্রতিস্থাপিত অবস্থার সংখ্যা। সবচেয়ে সহজ মার্কভ প্রক্রিয়াটি হল এক-স্তরের প্রক্রিয়া, যেখানে প্রতিটি অবস্থার প্রতিস্থাপন শুধুমাত্র তার পূর্ববর্তী অবস্থার উপর নির্ভর করে।

• ২। উদাহরণ

  এটি একটি গাণিতিক অভিব্যক্তি যা নিম্নরূপ দেখায়ঃ

  

  উদাহরণস্বরূপ, আমরা একটি দৈনন্দিন জীবনের উদাহরণ দিচ্ছি যেখানে আমরা বর্তমান আবহাওয়ার উপর ভিত্তি করে ভবিষ্যতের আবহাওয়ার পূর্বাভাস দিতে চাই। একটি উপায় হল এই মডেলের প্রতিটি অবস্থা পূর্ববর্তীটির উপর নির্ভরশীল বলে অনুমান করা, যা মার্কভের অনুমান। এই অনুমানটি সমস্যাটিকে ব্যাপকভাবে সরল করে তোলে। অবশ্যই, এই উদাহরণটিও কিছুটা অনুপযুক্ত। তবে, এই জাতীয় সরলীকৃত সিস্টেমটি আমাদের বিশ্লেষণের পক্ষে উপকারী হতে পারে, তাই আমরা সাধারণত এই অনুমানটি গ্রহণ করি কারণ আমরা জানি যে এই জাতীয় সিস্টেমগুলি আমাদের কিছু দরকারী তথ্য দেয়, যদিও এটি খুব সঠিক নয়।

  

  উপরের চিত্রটি আবহাওয়ার স্থানান্তরিত মডেল দেখায়।

  মনে রাখবেন যে N টি অবস্থা ধারণকারী একটি প্রথম পর্যায়ের প্রক্রিয়ার N2 টি অবস্থা স্থানান্তর রয়েছে। প্রতিটি স্থানান্তরের সম্ভাবনাকে অবস্থা স্থানান্তর সম্ভাবনা বলা হয়, অর্থাৎ এক অবস্থা থেকে অন্য অবস্থায় স্থানান্তরের সম্ভাবনা। এই সমস্ত N2 সম্ভাব্যতাকে একটি অবস্থা স্থানান্তর ম্যাট্রিক্স দ্বারা উপস্থাপন করা যেতে পারে, যা উপরের আবহাওয়ার উদাহরণের অবস্থা স্থানান্তর ম্যাট্রিক্সের মতোঃ

  

  এই ম্যাট্রিক্সটি বলে যে যদি গতকাল মেঘলা আবহাওয়া হয়, তাহলে আজকের দিনে ২৫% সম্ভাবনা আছে, ১২.৫% সম্ভাবনা আছে মেঘলা আবহাওয়া হওয়ার, ৬২.৫% সম্ভাবনা আছে বৃষ্টির, এবং এটা স্পষ্ট যে ম্যাট্রিক্সের প্রতিটি সারির যোগফল ১।

  এই ধরনের একটি সিস্টেম ইনস্টল করার জন্য, আমাদের একটি প্রাথমিক সম্ভাব্যতা ভেক্টর প্রয়োজনঃ

  

  এই ভেক্টরটি প্রথম দিনটি উজ্জ্বল দিনকে নির্দেশ করে। এখানে, আমরা উপরের প্রথম স্তরের মার্কভ প্রক্রিয়ার জন্য নিম্নলিখিত তিনটি অংশকে সংজ্ঞায়িত করেছিঃ

  পরিস্থিতিঃ দিনটি শুভ, মেঘলা এবং বৃষ্টির।

  প্রাথমিক ভেক্টরঃ সময় 0 এ সিস্টেমের অবস্থা সংজ্ঞায়িত করার সম্ভাবনা।

  অবস্থা স্থানান্তর ম্যাট্রিক্সঃ প্রতিটি আবহাওয়ার রূপান্তরের সম্ভাবনা। এইভাবে বর্ণনা করা যায় এমন সমস্ত সিস্টেম একটি মার্কভ প্রক্রিয়া।

  তবে, যখন মার্কভ প্রক্রিয়াটি যথেষ্ট শক্তিশালী না হয় তখন আমরা কী করব? কিছু ক্ষেত্রে, মার্কভ প্রক্রিয়াটি এমন একটি প্যাটার্ন বর্ণনা করতে যথেষ্ট নয় যা আমরা আবিষ্কার করতে চাই।

  উদাহরণস্বরূপ, আমাদের স্টক মার্কেট, যদি আমরা কেবলমাত্র মার্কেটটি পর্যবেক্ষণ করি, তাহলে আমরা কেবলমাত্র দিনের মূল্য, লেনদেন ইত্যাদির তথ্য জানতে পারি, কিন্তু বর্তমান স্টক মার্কেটটি কী অবস্থায় আছে তা জানি না (গরু বাজার, হরিণ বাজার, কম্পন, বিদ্রোহ ইত্যাদি) । এই ক্ষেত্রে আমাদের দুটি স্টেট সেট আছে, একটি পর্যবেক্ষণযোগ্য স্টেট সেট (স্টক মার্কেট লেনদেনের অবস্থা ইত্যাদি) এবং একটি লুকানো স্টেট সেট (স্টক মার্কেট অবস্থা) । আমরা একটি অ্যালগরিদম খুঁজে পেতে চাই যা স্টক মার্কেট লেনদেনের অবস্থা এবং মার্কভ অনুমানের উপর ভিত্তি করে স্টক মার্কেটের অবস্থা পূর্বাভাস দিতে পারে।

  উপরোক্ত ক্ষেত্রে, পর্যবেক্ষণযোগ্য এবং লুকানো ধারাবাহিকতা সম্ভাব্যতার সাথে সম্পর্কিত। সুতরাং, আমরা এই ধরনের প্রক্রিয়াটিকে একটি লুকানো মার্কভ প্রক্রিয়া এবং একটি লুকানো মার্কভ প্রক্রিয়া সম্ভাব্যতার সাথে সম্পর্কিত এবং পর্যবেক্ষণযোগ্য ধারাবাহিকতা হিসাবে মডেল করতে পারি, যা লুকানো মার্কভ মডেল।

  লুকানো মার্কভ মডেল হল একটি পরিসংখ্যানগত মডেল যা একটি মার্কভ প্রক্রিয়া বর্ণনা করে যার মধ্যে লুকানো অজানা পরামিতি রয়েছে। এর অসুবিধা হল পর্যবেক্ষণযোগ্য পরামিতি থেকে প্রক্রিয়াটির লুকানো পরামিতিগুলি নির্ধারণ করা এবং তারপরে এই পরামিতিগুলি ব্যবহার করে আরও বিশ্লেষণ করা। নীচের চিত্রটি একটি তিন-অবস্থার লুকানো মার্কভ মডেলের অবস্থা স্থানান্তর গ্রাফ, যেখানে x লুকানো অবস্থা, y পর্যবেক্ষণযোগ্য আউটপুট, a অবস্থা রূপান্তর সম্ভাবনা, এবং b আউটপুট সম্ভাবনা।

  

  একটি জুতার উদাহরণ দিয়ে ব্যাখ্যা করুনঃ ধরুন আমার হাতে তিনটি ভিন্ন জুতা আছে। প্রথম জুতার নাম D6 এবং এর প্রতিটা মুখের সম্ভাবনা 1/6। দ্বিতীয় জুতার নাম D4 এবং এর প্রতিটা মুখের সম্ভাবনা 1/4. তৃতীয় জুতার আটটি মুখের সম্ভাবনা D8 এবং এর প্রতিটা মুখের সম্ভাবনা 1/8.

  

  ধরুন, আমরা একটি ডেক দিয়ে শুরু করি, আমরা প্রথমে তিনটি ডেক থেকে একটি বেছে নিই, এবং প্রতিটি ডেকের সম্ভাবনা 1/3। তারপর আমরা ডেক, একটি সংখ্যা পাই, 1, 2, 3, 4, 5, 6, 7, 8 এর মধ্যে একটি। এই প্রক্রিয়াটি অবিরতভাবে পুনরাবৃত্তি করুন, আমরা একটি সংখ্যা পাই, প্রতিটি সংখ্যা 1, 2, 3, 4, 5, 6, 7, 8 এর মধ্যে একটি। উদাহরণস্বরূপ, আমরা এই ধরণের সংখ্যা পেতে পারি ((ডেক 10 বার) 1: 6 3 5 2 7 3 5 2 4

  এই সংখ্যাগুলিকে দৃশ্যমান অবস্থা শৃঙ্খলা বলা হয়। কিন্তু লুকানো মার্কফ মডেলের মধ্যে, আমাদের কেবলমাত্র দৃশ্যমান অবস্থা শৃঙ্খলা নয়, একটি লুকানো অবস্থা শৃঙ্খলাও রয়েছে। এই উদাহরণে, লুকানো অবস্থা শৃঙ্খলাটি আপনার ব্যবহার করা শৃঙ্খলের একটি সিরিজ। উদাহরণস্বরূপ, লুকানো অবস্থা শৃঙ্খলা হতে পারেঃ D4 D6 D8 D6 D4 D8 D6 D6 D4 D4 D6 D6 D4 D6 D4 D6 D6 D6 D4 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6 D6

  一般来说，HMM中说到的马尔可夫链其实是指隐含状态链，因为隐含状态（骰子）之间存在转换概率。在我们这个例子里，D6的下一个状态是D4，D6，D8的概率都是1/3。D4，D8的下一个状态是D4，D6，D8的转换概率也都一样是1/3。这样设定是为了最开始容易说清楚，但是我们其实是可以随意设定转换概率的。比如，我们可以这样定义，D6后面不能接D4，D6后面是D6的概率是0.9，是D8的概率是0.1。这样就是一个新的HMM。

  একইভাবে, যদিও দৃশ্যমান অবস্থার মধ্যে কোন রূপান্তর সম্ভাবনা নেই, তবে একটি সম্ভাব্যতা আছে যা নিহিত অবস্থার এবং দৃশ্যমান অবস্থার মধ্যে আউটপুট সম্ভাব্যতা নামে পরিচিত। আমাদের উদাহরণে, ষষ্ঠ পাত্রের (D6) আউটপুট সম্ভাবনা 1/6। 2, 3, 4, 5, 6 আউটপুট সম্ভাবনা 1/6। আমরা একইভাবে আউটপুট সম্ভাব্যতার জন্য অন্যান্য সংজ্ঞা করতে পারি। উদাহরণস্বরূপ, আমার একটি ষষ্ঠ পাত্র রয়েছে যা ক্যাসিনো দ্বারা চালিত হয় এবং আউটপুট সম্ভাবনা 1 এর চেয়ে বড়, যা 1/2 এবং আউটপুট সম্ভাবনা 2, 3, 4, 5, 6।

  

  এইচএমএমের জন্য, যদি আপনি সমস্ত নিহিত অবস্থার মধ্যে রূপান্তর সম্ভাবনা এবং সমস্ত নিহিত অবস্থার মধ্যে সমস্ত দৃশ্যমান অবস্থার মধ্যে আউটপুট সম্ভাব্যতা আগে থেকে জানেন তবে অনুকরণ করা বেশ সহজ। তবে এইচএমএম মডেলটি প্রয়োগ করার সময়, প্রায়শই কিছু তথ্য অনুপস্থিত থাকে, কখনও কখনও আপনি জানেন যে কয়েকটি কুপ রয়েছে, প্রতিটি কুপ কী, তবে কুপের ক্রমটি জানেন না; কখনও কখনও আপনি কেবল কুপের ফলাফলগুলি অনেকবার দেখেছেন এবং বাকিগুলি জানেন না। যদি আপনি এই অনুপস্থিত তথ্যগুলি অনুমান করতে অ্যালগরিদম প্রয়োগ করেন তবে এটি একটি গুরুত্বপূর্ণ সমস্যা।

  এইচএমএম মডেলের সাথে সম্পর্কিত অ্যালগরিদমগুলি মূলত তিনটি শ্রেণীতে বিভক্ত এবং তিনটি সমস্যা সমাধান করেঃ

  • জেনে নিন কতগুলি কুপন আছে (অনুপ্রেত অবস্থা সংখ্যা) এবং প্রতিটি কুপন কী (রূপান্তর সম্ভাব্যতা) এবং কুপনের ফলাফলের উপর ভিত্তি করে (দৃশ্যমান অবস্থা শৃঙ্খলা) আমি জানতে চাই যে প্রতিটি কুপন কী (অনুপ্রেত অবস্থা শৃঙ্খলা) ।

  • এছাড়াও, আমি জানি যে, মক এর বিভিন্ন ধরনের (অনুপ্রত্যয়ী অবস্থা সংখ্যা) আছে, এবং প্রতিটি মক এর কি (রূপান্তরিত সম্ভাবনা) আছে, এবং মক এর ফলাফল (দৃশ্যমান অবস্থা শৃঙ্খলা) এর উপর ভিত্তি করে, আমি এই ফলাফলের সম্ভাবনা জানতে চাই।

  • আমি জানি যে বিভিন্ন মুন আছে (অনুপ্রত্যয়ী অবস্থা সংখ্যা), আমি জানি না যে প্রতিটি মুন কি (পরিবর্তনের সম্ভাবনা), আমি অনেক মুনের ফলাফল দেখেছি (দৃশ্যমান অবস্থা শৃঙ্খলা) এবং আমি প্রতিস্থাপন করতে চাই যে প্রতিটি মুন কি (পরিবর্তনের সম্ভাবনা) ।

    যদি আমরা এই সমস্যা সমাধান করতে চাই তাহলে আমাদের প্রথম এবং তৃতীয় সমস্যা সমাধান করতে হবে।

মুনিকোড সম্পর্কে জানার জন্য