৫.৪ কেন আমাদের একটি নমুনা পরীক্ষা দরকার

সংক্ষিপ্তসার

পূর্ববর্তী বিভাগে, আমরা আপনাকে দেখিয়েছি কিভাবে কৌশল ব্যাকটেস্টিং পারফরম্যান্স রিপোর্টটি পড়তে হয় বিভিন্ন গুরুত্বপূর্ণ পারফরম্যান্স সূচকগুলিতে ফোকাস করে। আসলে, ব্যাকটেস্টিং পারফরম্যান্স রিপোর্টে মুনাফা অর্জনের কৌশল লিখতে কঠিন নয়। ভবিষ্যতে এই কৌশলটি বাস্তব বাজারে কার্যকর হতে থাকবে কিনা তা মূল্যায়ন করা কঠিন। তাই আজ আমি অফ-স্যাম্পল পরীক্ষা এবং এর গুরুত্ব ব্যাখ্যা করব।

ব্যাকটেস্টিং বাস্তব বাজারের সমান নয়

অনেক নতুন ট্রেডার সহজেই তাদের ট্রেডিং কৌশল সম্পর্কে নিশ্চিত হয়ে যায় এবং একটি পারফরম্যান্স রিপোর্ট বা ফান্ড কার্ভ দিয়ে তাদের চিন্তাভাবনাকে বাস্তবে রূপান্তর করতে প্রস্তুত হয় যা ভাল দেখাচ্ছে। অবশ্যই, এই ব্যাকটেস্টিং ফলাফলটি তাদের পর্যবেক্ষণ করা বাজারের নির্দিষ্ট অবস্থার সাথে পুরোপুরি ফিট করে, তবে একবার ট্রেডিং কৌশলটি দীর্ঘমেয়াদী যুদ্ধে রাখা হলে, তারা দেখতে পাবে যে কৌশলটি আসলে কার্যকর নয়।

আমি অনেক ট্রেডিং কৌশল দেখেছি, এবং ব্যাকটেস্টিংয়ের সময় সাফল্যের হার 50% পর্যন্ত পৌঁছতে পারে। এই ধরনের উচ্চ বিজয়ী হারের ভিত্তিতে, 1: 1 এর উচ্চতর মুনাফা এবং ক্ষতির অনুপাত রয়েছে। তবে, একবার এই কৌশলগুলি অনুশীলনে স্থাপন করা হলে, তারা সবাই অর্থ হারাচ্ছে। এর অনেক কারণ রয়েছে। এই কারণগুলির মধ্যে, ডেটা নমুনাটি খুব ছোট, যা ডেটা বিচ্যুতির দিকে পরিচালিত করে।

যাইহোক, ট্রেডিং এমন একটি জটিল জিনিস, এবং এটি পরে খুব স্পষ্ট, কিন্তু যদি আমরা মূলটিতে ফিরে যাই, আমরা এখনও অভিভূত বোধ করি। এটি পরিমাণের মূল কারণ জড়িত - historicalতিহাসিক ডেটা সীমাবদ্ধতা। সুতরাং, যদি আমরা কেবলমাত্র সীমিত historicalতিহাসিক ডেটা ব্যবহার করি ট্রেডিং কৌশল পরীক্ষা করতে, ব্যাকভিউ মিরর তাকিয়ে ড্রাইভিংয়ের সমস্যা এড়ানো কঠিন

নমুনা ছাড়াই পরীক্ষা কি?

ডেটা সীমিত হলে কীভাবে সীমিত ডেটা ব্যবহার করে বৈজ্ঞানিকভাবে ট্রেডিং কৌশলটি পরীক্ষা করা যায়? উত্তরটি হল অফ-স্যাম্পল টেস্ট পদ্ধতি। ব্যাকটেস্টিংয়ের সময়, historicalতিহাসিক ডেটাগুলি সময় ক্রম অনুসারে দুটি বিভাগে বিভক্ত করা হয়। পূর্ববর্তী ডেটা সেগমেন্টটি কৌশল অপ্টিমাইজেশনের জন্য ব্যবহৃত হয়, যাকে প্রশিক্ষণ সেট বলা হয় এবং ডেটার শেষ সেগমেন্টটি অফ-স্যাম্পল পরীক্ষার জন্য ব্যবহৃত হয়, যাকে টেস্ট সেট বলা হয়।

যদি আপনার কৌশলটি সর্বদা বৈধ হয়, তবে প্রশিক্ষণ সেট ডেটাতে সেরা পরামিতিগুলির বেশ কয়েকটি সেট অপ্টিমাইজ করুন এবং ব্যাকটেস্টের জন্য আবার পরীক্ষার সেট ডেটাতে এই পরামিতিগুলির সেটগুলি প্রয়োগ করুন। আদর্শভাবে, ব্যাকটেস্টের ফলাফলগুলি প্রশিক্ষণ সেটগুলির সাথে প্রায় একই হওয়া উচিত, বা পার্থক্যটি যুক্তিসঙ্গত পরিসরের মধ্যে রয়েছে। তারপরে এটি বলা যেতে পারে যে এই কৌশলটি তুলনামূলকভাবে কার্যকর।

কিন্তু যদি একটি কৌশল প্রশিক্ষণ সেটে ভাল কাজ করে, কিন্তু পরীক্ষা সেট খারাপ কাজ করে, অথবা অনেক পরিবর্তন, এবং যখন ব্যবহৃত অন্যান্য পরামিতি একই থাকে, তারপর কৌশল তথ্য মাইগ্রেশন পক্ষপাত থাকতে পারে।

উদাহরণস্বরূপ, ধরুন আপনি কমোডিটি ফিউচার রিবার ব্যাকটেস্ট করতে চান। এখন যে রিবারটিতে প্রায় 10 বছরের ডেটা রয়েছে (2009 ~ 2019) আপনি 2009 থেকে 2015 পর্যন্ত ডেটা একটি প্রশিক্ষণ সেট হিসাবে ব্যবহার করতে পারেন, 2015 থেকে 2019 পর্যন্ত, একটি পরীক্ষার সেট হিসাবে ব্যবহৃত। যদি প্রশিক্ষণ সেটে সেরা প্যারামিটার সেট হয় (15, 90), (5, 50), (10, 100)... তাহলে আমরা এই প্যারামিটার সেটগুলি পরীক্ষার সেটে রাখি। এই দুটি ব্যাকটেস্ট পারফরম্যান্স রিপোর্ট এবং তহবিল বক্ররেখা তুলনা করে নির্ধারণ করুন যে তাদের পার্থক্য যুক্তিসঙ্গত পরিসরের মধ্যে রয়েছে কিনা।

আপনি যদি নমুনা পরীক্ষা ব্যবহার না করেন তবে কৌশলটি পরীক্ষা করার জন্য সরাসরি ২০০৯ থেকে ২০১৯ সালের ডেটা ব্যবহার করুন। ফলাফলটি historicalতিহ্যবাহী ডেটা অতিরিক্ত ফিটিংয়ের কারণে একটি ভাল ব্যাকটেস্ট পারফরম্যান্স রিপোর্ট হতে পারে তবে এই জাতীয় ব্যাকটেস্টের ফলাফলগুলির বাস্তব বাজারের জন্য খুব কম অর্থ রয়েছে এবং এর কোনও গাইডিং প্রভাব নেই, বিশেষত আরও পরামিতি সহ সেই কৌশলগুলি।

নমুনা ছাড়াই উন্নত পরীক্ষা

উপরে উল্লিখিত হিসাবে, ঐতিহাসিক তথ্যের অভাবের ভিত্তিতে, নমুনার ভিতরে এবং বাইরে ডেটা গঠনের জন্য ডেটা দুটি অংশে বিভক্ত করা ভাল ধারণা। তবে আপনি যদি পুনরাবৃত্তি পরীক্ষা এবং ক্রস-চেক পরীক্ষা করতে পারেন তবে এটি আরও ভাল হতে পারে।

পুনরাবৃত্তিমূলক পরীক্ষার মৌলিক নীতিঃ মডেলকে প্রশিক্ষণের জন্য পূর্ববর্তী দীর্ঘ historicalতিহাসিক তথ্য ব্যবহার করুন, এবং তারপরে মডেলটি পরীক্ষা করার জন্য অপেক্ষাকৃত সংক্ষিপ্ত তথ্য ব্যবহার করুন, এবং তারপরে ডেটা পুনরুদ্ধার করতে সময় উইন্ডোটি অবিচ্ছিন্নভাবে সরান, প্রশিক্ষণ এবং পরীক্ষার পদক্ষেপগুলি পুনরাবৃত্তি করুন।

• প্রশিক্ষণের তথ্যঃ ২০০০ থেকে ২০০১, পরীক্ষার তথ্যঃ ২০০২;

• প্রশিক্ষণের তথ্যঃ ২০০১ থেকে ২০০২, পরীক্ষার তথ্যঃ ২০০৩;

• প্রশিক্ষণের তথ্যঃ ২০০২ থেকে ২০০৩, পরীক্ষার তথ্যঃ ২০০৪;

• প্রশিক্ষণের তথ্যঃ ২০০৩ থেকে ২০০৪, পরীক্ষার তথ্যঃ ২০০৫;

• প্রশিক্ষণের তথ্যঃ ২০০৪ থেকে ২০০৫, পরীক্ষার তথ্যঃ ২০০৬;

...এবং তাই...

অবশেষে, কৌশলটির কার্যকারিতা ব্যাপকভাবে মূল্যায়ন করার জন্য পরীক্ষার ফলাফলগুলি (2002, 2003, 2004, 2005, 2006...) পরিসংখ্যানগতভাবে বিশ্লেষণ করা হয়েছিল।

নিম্নলিখিত চিত্রটি পুনরাবৃত্তিমূলক পরীক্ষার নীতিকে স্বজ্ঞাতভাবে ব্যাখ্যা করতে পারেঃ

উপরের চিত্রটি পুনরাবৃত্তিমূলক পরীক্ষার দুটি পদ্ধতি দেখায়।

প্রথম প্রকারঃ ছোট পরিমাণ কিন্তু একাধিক বার পরীক্ষা

দ্বিতীয় প্রকারঃ বড় পরিমাণ কিন্তু কম বার পরীক্ষা

প্রাকটিক্যাল অ্যাপ্লিকেশনগুলিতে, স্টেশনারি নয় এমন ডেটার প্রতিক্রিয়ায় মডেলের স্থিতিশীলতা নির্ধারণের জন্য পরীক্ষার ডেটার দৈর্ঘ্য পরিবর্তন করে একাধিক পরীক্ষা সম্পাদন করা যেতে পারে।

ক্রস-চেকিং পরীক্ষার মূল নীতিঃ সমস্ত ডেটাকে N অংশে বিভক্ত করুন, প্রতিটি সময় প্রশিক্ষণের জন্য N-1 অংশ ব্যবহার করুন এবং পরীক্ষার জন্য অবশিষ্ট অংশটি ব্যবহার করুন।

২০০০ থেকে ২০০৩ সাল পর্যন্ত, এটি বার্ষিক বিভাগ অনুযায়ী চারটি অংশে বিভক্ত। ক্রস-চেক পরীক্ষার অপারেশন নিম্নরূপঃ

• প্রশিক্ষণের তথ্যঃ ২০০১-২০০৩, পরীক্ষার তথ্যঃ ২০০০;

• প্রশিক্ষণের তথ্যঃ ২০০০-২০০২, পরীক্ষার তথ্যঃ ২০০৩;

• প্রশিক্ষণের তথ্যঃ 2000, 2001, 2003, পরীক্ষার তথ্যঃ 2002;

• প্রশিক্ষণের তথ্যঃ 2000, 2002, 2003, পরীক্ষার তথ্যঃ 2001;

উপরের চিত্র থেকে দেখা যায়ঃ ক্রস-চেক পরীক্ষার সবচেয়ে বড় সুবিধা হল সীমিত ডেটা সম্পূর্ণরূপে ব্যবহার করা, এবং প্রতিটি প্রশিক্ষণ ডেটাও পরীক্ষার ডেটা। তবে ব্যাকটেস্টে ক্রস-চেকিং প্রয়োগ করার সময় সুস্পষ্ট ত্রুটিও রয়েছেঃ

• যখন দামের তথ্য স্থিতিশীল হয় না, তখন মডেলের পরীক্ষার ফলাফলগুলি প্রায়শই অবিশ্বাস্য হয়। উদাহরণস্বরূপ, প্রশিক্ষণের জন্য ২০০৮ সালের ডেটা এবং পরীক্ষার জন্য ২০০৫ সালের ডেটা ব্যবহার করুন। ২০০৫ সালের তুলনায় ২০০৮ সালে বাজারের পরিবেশ অনেক পরিবর্তন হয়েছে বলে খুব সম্ভবত, তাই মডেল পরীক্ষার ফলাফলগুলি বিশ্বাসযোগ্য নয়।

• প্রথমটির মতোই, ক্রস-চেক পরীক্ষায়, যদি মডেলটি সর্বশেষতম তথ্য দিয়ে প্রশিক্ষিত হয় এবং মডেলটি পুরানো তথ্য দিয়ে পরীক্ষা করা হয়, এটি নিজের মধ্যে খুব যৌক্তিক নয়।

উপরন্তু, পরিমাণগত কৌশল মডেল পরীক্ষা করার সময়, উভয় পুনরাবৃত্তিমূলক পরীক্ষা এবং ক্রস-চেক পরীক্ষা ডেটা ওভারল্যাপ সমস্যা সম্মুখীন হয়েছে।

একটি ট্রেডিং কৌশল মডেল বিকাশ করার সময়, বেশিরভাগ প্রযুক্তিগত সূচক একটি নির্দিষ্ট সময়ের ঐতিহাসিক তথ্যের উপর ভিত্তি করে। উদাহরণস্বরূপ, গত 50 দিনের ঐতিহাসিক তথ্য গণনা করার জন্য প্রবণতা সূচক ব্যবহার করে, কিন্তু পরবর্তী ট্রেডিং দিনের জন্য, যা আবার ট্রেডিং দিনের প্রথম 50 দিনের তথ্য থেকে গণনা করা হয়, দুটি সূচক গণনার জন্য তথ্য 49 দিনের জন্য একই। এর ফলে প্রতি সংলগ্ন দুই দিনের জন্য সূচকটিতে খুব সামান্য পরিবর্তন হবে।

ডেটা ওভারল্যাপ নিম্নলিখিত প্রভাব থাকতে পারেঃ

• মডেল দ্বারা পূর্বাভাসিত ফলাফলের ধীর পরিবর্তন অবস্থানগুলির ধীর পরিবর্তনের দিকে পরিচালিত করে, যা আমরা প্রায়শই বলি যে সূচকগুলির হিস্টেরেসিস।

• মডেলের ফলাফলের পরীক্ষার জন্য কিছু পরিসংখ্যানগত মান উপলব্ধ নেই। পুনরাবৃত্তি তথ্য দ্বারা সৃষ্ট ক্রমগত সম্পর্কের কারণে, কিছু পরিসংখ্যানগত পরীক্ষার ফলাফল নির্ভরযোগ্য নয়।

একটি ভাল ট্রেডিং কৌশল ভবিষ্যতে লাভজনক হওয়া উচিত। নমুনা পরীক্ষা, বস্তুনিষ্ঠভাবে ট্রেডিং কৌশল সনাক্ত করার পাশাপাশি, পরিমাণগত ব্যবসায়ীদের জন্য সময় বাঁচাতে আরও দক্ষ। বেশিরভাগ ক্ষেত্রে, সরাসরি সমস্ত নমুনার সর্বোত্তম পরামিতি ব্যবহার করা খুব বিপজ্জনক।

যদি প্যারামিটার অপ্টিমাইজেশনের সময়ের আগে সমস্ত historicalতিহাসিক ডেটা আলাদা করা হয় এবং ডেটাটি নমুনার মধ্যে থাকা ডেটা এবং নমুনার বাইরে থাকা ডেটাতে বিভক্ত করা হয় তবে নমুনার মধ্যে থাকা ডেটা ব্যবহার করে প্যারামিটারটি অপ্টিমাইজ করা হয় এবং তারপরে নমুনার বাইরে থাকা নমুনাটি অফ-নমুনা পরীক্ষার জন্য ব্যবহৃত হয়। ত্রুটিটি সনাক্ত করা হবে এবং একই সাথে এটি পরীক্ষা করা যেতে পারে যে অপ্টিমাইজড কৌশলটি ভবিষ্যতের বাজারের জন্য উপযুক্ত কিনা।

সংক্ষেপে

ট্রেডিংয়ের মতোই, আমরা কখনই সময় ফিরে যেতে পারি না এবং নিজের জন্য সঠিক সিদ্ধান্ত নিতে পারি না। যদি আপনার সময় ভ্রমণের ক্ষমতা থাকে তবে আপনার ট্রেডিং করার দরকার নেই। সর্বোপরি, আমরা সবাই মানব, আমাদের কৌশলটি historicalতিহাসিক তথ্যে যাচাই করতে হবে।

তবে, বিশাল ইতিহাসের ডেটা সহ, অন্তহীন এবং অনির্দেশ্য ভবিষ্যতের সামনেও ইতিহাস অত্যন্ত বিরল। অতএব, ইতিহাসের উপর ভিত্তি করে ট্রেডিং সিস্টেম শেষ পর্যন্ত সময়ের সাথে সাথে ডুবে যাবে। কারণ ইতিহাস ভবিষ্যতকে ক্লান্ত করতে পারে না। অতএব, একটি সম্পূর্ণ ইতিবাচক প্রত্যাশা ট্রেডিং সিস্টেমকে এর অন্তর্নিহিত নীতি এবং যুক্তি দ্বারা সমর্থিত হতে হবে।

বিশ্বাস করুন, কিন্তু যাচাই করুন. - রাষ্ট্রপতি রেগান

স্কুলের পর ব্যায়াম

1. বাস্তব জীবনে কোন ঘটনাগুলো বেঁচে থাকার পক্ষপাতিত্ব?

2. নমুনার ভিতরে এবং বাইরে ব্যাকটেস্ট তুলনা করতে FMZ Quant প্ল্যাটফর্ম ব্যবহার করুন।