关于科学与伪科学的衡量，有一个广泛被接受的学说，叫做波普尔的证伪说。
即所有的说科学定律都是永远无法“证实”的，通俗的讲就是科学规律永远不可能用摆事实讲道理的方法来给你证明的，尤其是证明给那些钻牛角的。举个例子，我们都现在知道，地球是围绕太阳转的，我想证明给你看，要怎么办呢，最好的办法是有个巨大的望远镜，从远处录像发给你看。但是你可以说，现在的地球是围绕太阳转的，你不能证明唐朝的地球也是围绕太阳转的，这下就比较难了，我要找古籍，翻出从地球上看到太阳升起的文字记录，但你可以说，这可能是太阳围绕地球，而且不能证明恐龙时代，地球也围绕太阳转，这个就更难了，起码没文字记录了。再举个例子，根据相对论，速度越接近光速，质量会越大，你要我举个例子，只能去欧洲实验室看了实验结果，看了以后，你也可以说在200年前的中国杭州，结论不是这样的。所以科学规律永远不可能用摆事实讲道理的方法来给你证明，即使你每一次实验，也只能增加这个结果的可信度。
这下就麻烦了，该怎么定义科学呢。科学可以这么定义：科学是经验主义即历史上他是能“证实”的，并且要能做出一些“预言”，而这些预言恰恰是要能够被“证伪”的，也就是说这个科学理论做出的预言是有可能被试验所推翻的，只有满足了“预言”和“证伪”这两个条件，我们才能冠以科学之名。反过来说，如果你提出的一个理论并且做出的预言是永远不可能被实验推翻的，那么这个就可以称之为伪科学了。
举个例子，你说有个人能长到5米高，我们统计了全世界所有的人，也没发现一个，但是仍旧不能推翻你的结论，因为我们不能证明唐朝有一个人长到了5米，既然不能推翻你的结论，为什么不承认你说的是科学呢，因为你既不能证实存在高5米的人，又不能做出预言，什么时候会有一个5米的人。因此，当一个理论只能“证实”而不能“证伪”时，并且不能“预言”时，我们暂不能承认他是科学的。再举个著名的黑天鹅例子，在没发现黑天鹅之前，所有天鹅都是白的是不是科学呢，根据科学的定义，历史上天鹅都是白的，而且我也能预言，你家里下个出生的天鹅也是白的，并且你也可以抓一个黑天鹅来证实我的理论错误。所以在发现黑天鹅之前，我们认为所有天鹅是白的，这是科学的。同理我们认为人不能长到5米高是科学的。
以上的科学都是100%正确的科学，可以无数次检验，只要有次检验证伪，就不是科学，比如发现一个黑天鹅，就可以认定所有天鹅都是白的不科学。那么问题来了，如果我提一个命题，95%的天鹅是白的，这是不是科学？这显然很难证实，也很难证伪。
这下就他妈很尴尬了，我们生活中到处是概率，比如我根据过去几百年统计，得出结论，每年8月份有台风的概率是90%，你信不信。比如明天下雨概率50%，你信不信。海龟交易正确率40%，你该不该信？这也就是问题的关键了，即理论本身不严谨的统计概率该怎么相信，准确的说是：不是因为理论能计算出概率，而是仅仅是根据统计得到的概率，改怎么相信？（举个反例：量子理论是可以用数学推出概率的，理论严谨，而不是统计后得到的概率）。
当然你可以选择理论不严谨的统计概率通通不可信，但其实不管你信不信，也被深深的影响着。举个例子，打仗10年了，你要上前线，然后你一统计这10年上前线死亡率10%，觉得自己运气还行，就会想报名参军，但是如果一统计，死亡率60%，感觉吓尿了，肯定不去了，你说你不信这种统计概率，你妈肯定也拦着你。再举个例子，有个无限的口袋，里面装满了红球白球，没人知道真正的比例，但先取了2400个球，发现红球比白球是6比4，你正好要赌球，你怎么下注？肯定下注红球出现的概率大吧。但事实上未来红白球比例会不会变化没人知道，但之前的概率必定会影响你。股市就可以认为是这个无限大的口袋，07年至今2400个交易日不到点，你正在下注，按照你以为的大概率下注。
根据统计得到的概率，显然要证明有反例很简单，但要证伪这个概率很难。统计得到的概率能不算科学，这个有争议，不是我说了算，这里就不争论了，我只能谈谈它怎么才能被相信。
这里就涉及一个可检验次数了，过去可检验的次数越多，那就越可信，预言后被检验次所越多，那就越可信。过去实验1一万次，得出的结论，比实验1千次可信。预言后检验1万次，发现正确，比实验1千次可信。（ 逻辑思维有期节目讲贝叶斯定理，差不多也是这个意思）。例如上一个例子，如果你只统计近2个月前线死亡率10%，你就报名参军了，后来一统计近10年死亡率是60%，肯定后怕并后悔。
那么关键的来了，高收益的量化策略该怎么相信？
按科学方法来，首先，历史证实的策略确实高收益，当然检验时间越长越好，检验次数越多越好。然后做出预言，接下去几年（例如3年）仍然会保持高收益概率很大。直到黑天鹅出现来证伪。所以在策略失效前，策略是可信的。 当然做出预言，也就是实盘后，时间也该足够长。
举个例子，果仁的小成交额策略证实能跑赢沪深300，而且我预言，未来10年也能跑赢，虽然证实需要很长时间，10年后如果预言正确，那也可以认为这是可信的
也有人会说，创建策略都是07年至今的，要等长时间检验太久了，等待太漫长。我提一个好方法，策略测试时间设置为07年到11年底，做一个最优策略，然后看07年到16年，就相当于测试了5年，预言后又检验了5年，有没有效就看出来了。 （在我眼里那些测试只有一年的次新股策略是不可信的）
至于检验次数，例如都是07年至今的策略，调仓周期是2天的就比调仓周期是1天的检验次数少了一半，我也常常发现，对于权重非常复杂的策略，调仓时间改变1天，策略年化就可能下降100%。所以4天调仓的策略，要测4个起始时间。60天或者更久的策略，至少每隔5天测一次。
当你有两个或多个处于竞争地位的理论能得出同样的结论，那么简单或可证伪的那个更好。这一表述也有一种更为常见的强形式：如果你有两个或多个原理，它们都能解释观测到的事实，那么你应该使用简单或可证伪的那个，直到发现更多的证据。对于现象最简单的解释往往比较复杂的解释更正确。如果你有两个或多个类似的解决方案，选择最简单的。需要最少假设的解释最有可能是正确的。但是奥卡姆剃刀本身不是科学，是经验之谈
举个例子，皇帝新衣。看到皇帝在大街上光着屁股走路这个奇怪的现象时，总理大臣和邻居家流着鼻涕的小毛都各自有一翻解释。先看总理大臣的解释：一、假设皇帝身上穿着一件世界上最华美的衣服。二、假设只有聪明人才能看见。三、假设我是蠢人。所以我看到的是光着屁股的皇帝。小毛的解释：一、假设皇帝根本没有穿衣服。所以我看到的是光着的皇帝。根据奥卡姆剃刀原理，小毛的解释最有可能接近真相！因为他的假设最少。
那么关键的来了，越简单的策略，越是有效的。同样收益的策略，选择条件少的。
答案是会。尤其是检验次数相对较少的策略
比如次新股，大盘股都会有特别好的时候，今年表现特别好，但它很有可能明年就失效。比如07年的大盘股，低价股，表现非常好，现在很一般
比如就是28趋势那种，它基于28两种风格必定会分化，且能有足够长的趋势，但在未来为什么28不能同涨同跌？
比如均线择时，我们觉得MA（2.20）对于沪深300有效，非常好，但对标普500非常不好，但其实沪深300的MA（2.20）已经没有以前有效了，那它是不是失效了。趋势和28都是检验次数太少，碰到大行情，一年可能检验了两三次。
比如中小板pb（3,6.5）实在太好用了，可是07年至今只检验了3次，你怎么知道它以后不会像沪深300那样，长期变低？
最后举个例子是小成交额，这么好的策略，你没想到它在沪深300是失效的吧，可以看我这篇帖子
奥卡姆剃刀那段还不够充分，以后想想能不能写的更有说服力
以上文字，参考了，《时间的形状》、《哲学家们都干了些什么》、百度百科