5.4 ہمیں غیر نمونہ ٹیسٹ کی ضرورت کیوں ہے

خلاصہ

پچھلے حصے میں ، ہم نے آپ کو کئی اہم کارکردگی کے اشارے پر توجہ مرکوز کرکے حکمت عملی بیک ٹیسٹنگ کارکردگی کی رپورٹ کو پڑھنے کا طریقہ دکھایا۔ در حقیقت ، حکمت عملی لکھنا مشکل نہیں ہے جو بیک ٹیسٹنگ کارکردگی کی رپورٹ میں منافع بخش ہو۔ یہ اندازہ لگانا مشکل ہے کہ آیا یہ حکمت عملی مستقبل میں بھی حقیقی مارکیٹ میں موثر رہے گی۔ لہذا آج میں آپ کو نمونے کے باہر ٹیسٹ اور اس کی اہمیت کی وضاحت کروں گا۔

بیک ٹیسٹنگ حقیقی مارکیٹ کے برابر نہیں ہے

بہت سے ابتدائی لوگ اپنی تجارتی حکمت عملیوں پر آسانی سے قائل ہوجاتے ہیں اور کارکردگی کی رپورٹ یا فنڈ وکر کے ساتھ اپنے خیالات کو عملی جامہ پہنانے کے لئے تیار ہوجاتے ہیں جو اچھا لگتا ہے۔ یہ تسلیم کرنا ضروری ہے کہ یہ بیک ٹیسٹنگ کا نتیجہ ان کی مشاہدہ کردہ مارکیٹ کی ایک خاص حالت کے ساتھ بالکل فٹ بیٹھتا ہے ، لیکن ایک بار جب تجارتی حکمت عملی کو طویل مدتی لڑائی میں ڈال دیا جاتا ہے تو ، وہ دریافت کریں گے کہ حکمت عملی اصل میں موثر نہیں ہے۔

میں نے بہت سی تجارتی حکمت عملیاں دیکھی ہیں ، اور بیک ٹیسٹنگ کے دوران کامیابی کی شرح 50٪ تک پہنچ سکتی ہے۔ اس طرح کی اعلی جیت کی شرح کے پیش نظر ، اب بھی منافع اور نقصان کا تناسب 1: 1 ہے۔ تاہم ، ایک بار جب ان حکمت عملیوں کو عملی جامہ پہنا جاتا ہے تو ، وہ سب پیسہ کھو رہے ہیں۔ اس کی بہت سی وجوہات ہیں۔ ان وجوہات میں سے ، ڈیٹا کا نمونہ بہت چھوٹا ہے ، جو ڈیٹا کے انحراف کا باعث بنتا ہے ، سب سے اہم ہے۔

تاہم ، تجارت ایک ایسی پیچیدہ چیز ہے ، اور یہ بعد میں بہت واضح ہے ، لیکن اگر ہم اصل میں واپس آجائیں تو ، ہم پھر بھی مغلوب محسوس کرتے ہیں۔ اس میں مقداری کی بنیادی وجہ شامل ہے - تاریخی اعداد و شمار کی حدود۔ لہذا ، اگر ہم صرف تجارتی حکمت عملی کی جانچ کے لئے محدود تاریخی اعداد و شمار کا استعمال کرتے ہیں تو ، پیچھے کی طرف دیکھنے والے آئینے کے مطابق ڈرائیونگ کے مسئلے سے بچنا مشکل ہے۔

غیر نمونہ ٹیسٹ کیا ہے؟

جب اعداد و شمار محدود ہوتے ہیں تو تجارتی حکمت عملی کو سائنسی طور پر جانچنے کے لئے محدود اعداد و شمار کا بھرپور استعمال کیسے کیا جائے؟ اس کا جواب آف سیمپل ٹیسٹ کا طریقہ ہے۔ بیک ٹیسٹنگ کے دوران ، تاریخی اعداد و شمار کو وقت کے تسلسل کے مطابق دو حصوں میں تقسیم کیا جاتا ہے۔ اعداد و شمار کا پچھلا حصہ حکمت عملی کی اصلاح کے لئے استعمال ہوتا ہے ، جسے ٹریننگ سیٹ کہا جاتا ہے ، اور اعداد و شمار کا آخری حصہ آف سیمپل ٹیسٹ کے لئے استعمال ہوتا ہے ، جسے ٹیسٹ سیٹ کہا جاتا ہے۔

اگر آپ کی حکمت عملی ہمیشہ موزوں ہے تو ، پھر ٹریننگ سیٹ کے اعداد و شمار میں بہترین پیرامیٹرز کے کئی سیٹوں کو بہتر بنائیں ، اور ان پیرامیٹرز کے سیٹوں کو ٹیسٹ سیٹ کے اعداد و شمار پر بیک ٹیسٹ کے لئے دوبارہ لاگو کریں۔ مثالی طور پر ، بیک ٹیسٹ کے نتائج تربیتی سیٹوں کے ساتھ تقریبا ایک جیسے ہونے چاہئیں۔ یا فرق معقول حد کے اندر ہے۔ پھر یہ کہا جاسکتا ہے کہ یہ حکمت عملی نسبتا effective موثر ہے۔

لیکن اگر ایک حکمت عملی ٹریننگ سیٹ میں اچھی کارکردگی کا مظاہرہ کرتا ہے، لیکن ٹیسٹ سیٹ خراب کارکردگی کا مظاہرہ کرتا ہے، یا بہت کچھ بدلتا ہے، اور جب استعمال کیا جاتا ہے دیگر پیرامیٹرز ایک ہی ہیں، تو حکمت عملی ڈیٹا منتقلی تعصب ہو سکتا ہے.

مثال کے طور پر ، فرض کریں کہ آپ خام مال کے فیوچر ریبر کو بیک ٹیسٹ کرنا چاہتے ہیں۔ اب اس ریبر میں تقریبا 10 سال (2009 ~ 2019) کے اعداد و شمار موجود ہیں ، آپ 2009 سے 2015 تک کے اعداد و شمار کو بطور ٹریننگ سیٹ ، 2015 سے 2019 تک کے اعداد و شمار کو بطور ٹیسٹ سیٹ استعمال کرسکتے ہیں۔ اگر ٹریننگ سیٹ میں بہترین پیرامیٹر سیٹ ہے (15, 90) ، (5, 50) ، (10, 100)... پھر ہم پیرامیٹرز کے ان سیٹوں کو ٹیسٹ سیٹ میں ڈالتے ہیں۔ ان دو بیک ٹیسٹ کارکردگی کی رپورٹوں اور فنڈ منحنی خطوط کا موازنہ کرکے یہ طے کریں کہ آیا ان کا فرق معقول حد کے اندر ہے۔

اگر آپ غیر نمونہ ٹیسٹ کا استعمال نہیں کرتے ہیں تو ، حکمت عملی کی جانچ کے لئے براہ راست 2009 سے 2019 تک کے اعداد و شمار کا استعمال کریں۔ نتیجہ تاریخی اعداد و شمار کو زیادہ فٹ کرنے کی وجہ سے بیک ٹیسٹ کی کارکردگی کی ایک اچھی رپورٹ ہوسکتی ہے ، لیکن اس طرح کے بیک ٹیسٹ کے نتائج کا حقیقی مارکیٹ کے لئے بہت کم معنی ہے اور اس کا کوئی رہنما اثر نہیں ہے ، خاص طور پر زیادہ پیرامیٹرز والی حکمت عملی۔

نمونے سے باہر اعلی درجے کی جانچ

جیسا کہ اوپر ذکر کیا گیا ہے ، تاریخی اعداد و شمار کی کمی کے پیش نظر ، اعداد و شمار کو دو حصوں میں تقسیم کرنا ایک اچھا خیال ہے تاکہ نمونہ کے اندر اور باہر کے اعداد و شمار تشکیل دیئے جاسکیں۔ لیکن اگر آپ تکرار ٹیسٹ اور کراس چیک ٹیسٹ لے سکتے ہیں تو ، یہ اور بھی بہتر ہوسکتا ہے۔

تکرار ٹیسٹ کا بنیادی اصول: ماڈل کو تربیت دینے کے لئے پچھلے طویل تاریخی اعداد و شمار کا استعمال کریں ، اور پھر ماڈل کو جانچنے کے لئے نسبتا short مختصر اعداد و شمار کا استعمال کریں ، اور پھر اعداد و شمار کو بازیافت کرنے کے لئے وقت کی ونڈو کو مستقل طور پر منتقل کریں ، تربیت اور جانچ کے اقدامات کو دہرائیں۔

• تربیت کے اعداد و شمار: 2000 سے 2001 تک، ٹیسٹ کے اعداد و شمار: 2002؛

• تربیت کے اعداد و شمار: 2001 سے 2002 تک، ٹیسٹ کے اعداد و شمار: 2003؛

• تربیت کے اعداد و شمار: 2002 سے 2003 تک، ٹیسٹ کے اعداد و شمار: 2004؛

• تربیت کے اعداد و شمار: 2003 سے 2004 تک، ٹیسٹ کے اعداد و شمار: 2005؛

• تربیت کے اعداد و شمار: 2004 سے 2005 تک، ٹیسٹ کے اعداد و شمار: 2006؛

...اور اسی طرح...

آخر میں، ٹیسٹ کے نتائج (2002، 2003، 2004، 2005، 2006...) کو اعداد و شمار کا تجزیہ کیا گیا تاکہ حکمت عملی کی کارکردگی کا جامع اندازہ لگایا جاسکے.

مندرجہ ذیل ڈایاگرام میں تکرار ٹیسٹ کے اصول کو بدیہی طور پر بیان کیا جاسکتا ہے:

مندرجہ بالا اعداد و شمار میں تکرار ٹیسٹنگ کے دو طریقے دکھائے گئے ہیں۔

پہلی قسم: چھوٹی مقدار لیکن متعدد بار ٹیسٹ

دوسری قسم: بڑی مقدار لیکن کم بار ٹیسٹ

عملی ایپلی کیشنز میں، غیر مستحکم اعداد و شمار کے جواب میں ماڈل کی استحکام کا تعین کرنے کے لئے ٹیسٹ کے اعداد و شمار کی لمبائی کو تبدیل کرکے متعدد ٹیسٹ انجام دیئے جاسکتے ہیں۔

کراس چیک ٹیسٹ کا بنیادی اصول: تمام ڈیٹا کو N حصوں میں تقسیم کریں ، ہر بار ٹریننگ کے لئے N-1 حصوں کا استعمال کریں ، اور ٹیسٹ کے لئے باقی حصہ استعمال کریں۔

2000 سے 2003 تک ، اسے سالانہ تقسیم کے مطابق چار حصوں میں تقسیم کیا گیا ہے۔ کراس چیک ٹیسٹ کا کام مندرجہ ذیل ہے:

• تربیت کے اعداد و شمار: 2001-2003، ٹیسٹ کے اعداد و شمار: 2000؛

• تربیت کے اعداد و شمار: 2000-2002، ٹیسٹ کے اعداد و شمار: 2003؛

• تربیت کے اعداد و شمار: 2000، 2001، 2003، ٹیسٹ کے اعداد و شمار: 2002؛

• تربیت کے اعداد و شمار: 2000، 2002، 2003، ٹیسٹ کے اعداد و شمار: 2001

جیسا کہ مندرجہ بالا شبیہہ میں دکھایا گیا ہے: کراس چیک ٹیسٹ کا سب سے بڑا فائدہ محدود اعداد و شمار کا بھرپور استعمال کرنا ہے ، اور ہر ٹریننگ ڈیٹا بھی ٹیسٹ ڈیٹا ہے۔ تاہم ، جب بیک ٹیسٹ پر کراس چیک کا اطلاق ہوتا ہے تو واضح خامیاں بھی ہوتی ہیں۔

• جب قیمت کے اعداد و شمار مستحکم نہیں ہوتے ہیں تو ، ماڈل کے ٹیسٹ کے نتائج اکثر ناقابل اعتماد ہوتے ہیں۔ مثال کے طور پر ، تربیت کے لئے 2008 کے اعداد و شمار اور ٹیسٹنگ کے لئے 2005 کے اعداد و شمار کا استعمال کریں۔ یہ بہت امکان ہے کہ 2008 میں مارکیٹ کا ماحول 2005 کے مقابلے میں بہت بدل گیا ہے ، لہذا ماڈل ٹیسٹ کے نتائج قابل اعتماد نہیں ہیں۔

• پہلے کی طرح ، کراس چیک ٹیسٹ میں ، اگر ماڈل کو تازہ ترین ڈیٹا کے ساتھ تربیت دی جاتی ہے اور ماڈل کو پرانے ڈیٹا کے ساتھ تجربہ کیا جاتا ہے ، تو یہ خود میں بہت منطقی نہیں ہے۔

اس کے علاوہ، مقداری حکمت عملی کے ماڈل کی جانچ کرتے وقت، دونوں تکرار ٹیسٹ اور کراس چیک ٹیسٹ کو ڈیٹا اوورلیپ کے مسائل کا سامنا کرنا پڑا ہے.

تجارتی حکمت عملی ماڈل تیار کرتے وقت ، زیادہ تر تکنیکی اشارے کسی خاص مدت کے تاریخی اعداد و شمار پر مبنی ہوتے ہیں۔ مثال کے طور پر ، پچھلے 50 دنوں کے تاریخی اعداد و شمار کا حساب لگانے کے لئے رجحان کے اشارے کا استعمال کرتے ہوئے ، لیکن اگلے تجارتی دن کے لئے ، جو دوبارہ تجارتی دن کے پہلے 50 دنوں کے اعداد و شمار سے حساب کیا جاتا ہے ، دونوں اشارے کے حساب کے لئے اعداد و شمار 49 دن کے لئے ایک جیسے ہوتے ہیں۔ اس کے نتیجے میں ہر ملحقہ دو دن کے لئے اشارے میں بہت معمولی تبدیلی آئے گی۔

اعداد و شمار کے اوورلیپ کے مندرجہ ذیل اثرات ہوسکتے ہیں:

• ماڈل کی طرف سے پیش گوئی کے نتائج میں سست تبدیلی پوزیشنوں میں سست تبدیلی کی طرف جاتا ہے، جو کہ ہم اکثر کہتے ہیں اشارے کی hysteresis ہے.

• ماڈل کے نتائج کے ٹیسٹ کے لئے کچھ شماریاتی اقدار دستیاب نہیں ہیں۔ بار بار اعداد و شمار کی وجہ سے ترتیب کے تعلق کی وجہ سے ، کچھ شماریاتی ٹیسٹوں کے نتائج قابل اعتماد نہیں ہیں۔

ایک اچھی تجارتی حکمت عملی کو مستقبل میں منافع بخش ہونا چاہئے۔ غیر نمونہ ٹیسٹنگ ، تجارتی حکمت عملیوں کا معروضی طور پر پتہ لگانے کے علاوہ ، مقداری تاجروں کے لئے وقت کی بچت میں زیادہ موثر ہے۔ زیادہ تر معاملات میں ، براہ راست تمام نمونے کے زیادہ سے زیادہ پیرامیٹرز کا استعمال کرنا بہت خطرناک ہے۔

اگر پیرامیٹر کی اصلاح کے وقت سے پہلے کے تمام تاریخی اعداد و شمار کو ممتاز کیا جائے ، اور اعداد و شمار کو نمونے میں موجود اعداد و شمار اور نمونے سے باہر کے اعداد و شمار میں تقسیم کیا جائے ، تو نمونے میں موجود اعداد و شمار کا استعمال کرکے پیرامیٹر کو بہتر بنایا جاتا ہے ، اور پھر نمونے سے باہر کے نمونے کو نمونے سے باہر کے ٹیسٹ کے لئے استعمال کیا جاتا ہے۔ غلطی کا پتہ چل جائے گا ، اور اسی وقت یہ جانچ پڑتال کی جاسکتی ہے کہ آیا بہتر حکمت عملی مستقبل کی مارکیٹ کے لئے موزوں ہے۔

خلاصہ

صرف تجارت کی طرح ، ہم کبھی بھی وقت میں واپس نہیں جاسکتے اور اپنے لئے صحیح فیصلہ نہیں کرسکتے ہیں۔ اگر آپ کے پاس وقت میں سفر کرنے کی صلاحیت ہے تو ، آپ کو تجارت کرنے کی ضرورت نہیں ہوگی۔ آخر میں ، ہم سب فانی ہیں ، ہمیں اپنی حکمت عملی کو تاریخی اعداد و شمار میں تصدیق کرنا ہوگی۔

تاہم ، تاریخ کے بہت بڑے اعداد و شمار کے ساتھ بھی ، لامحدود اور غیر متوقع مستقبل کے سامنے ، تاریخ انتہائی کم ہے۔ لہذا ، تاریخ پر مبنی تجارتی نظام آخر کار وقت کے ساتھ ساتھ ڈوب جائے گا۔ کیونکہ تاریخ مستقبل کو ختم نہیں کرسکتی ہے۔ لہذا ، ایک مکمل مثبت توقعات کا تجارتی نظام اس کے موروثی اصولوں اور منطق کی حمایت کرنا چاہئے۔

اعتماد رکھو، لیکن تصدیق کرو۔ - صدر ریگن

اسکول کے بعد کی مشقیں

1. حقیقی زندگی میں کون سے مظاہر ہیں جو زندہ بچ جانے والے تعصب ہیں؟

2. ایف ایم زیڈ کوانٹ پلیٹ فارم کا استعمال نمونہ کے اندر اور باہر بیک ٹیسٹ کا موازنہ کرنے کے لئے کریں۔