5.4 표본 이외의 테스트가 필요한 이유는

요약

이전 섹션에서, 우리는 몇 가지 중요한 성능 지표에 초점을 맞추어 전략 백테스팅 성능 보고서를 읽는 방법을 보여주었습니다. 사실, 백테스팅 성능 보고서에서 수익을 창출하는 전략을 작성하는 것은 어렵지 않습니다. 이 전략이 미래에 실제 시장에서 계속 효과적 인지 여부를 평가하는 것이 어렵습니다. 그래서 오늘 나는 샘플 테스트와 그 중요성을 설명 할 것입니다.

백테스팅은 실제 시장과 같지 않습니다.

많은 초보자 들 은 자기 들 의 거래 전략 에 대해 쉽게 확신 하고 있으며, 좋은 것 처럼 보이는 성과 보고서 나 펀드 곡선 을 통해 자기 들 의 생각 을 실천 에 옮기기 위해 준비 되어 있다. 사실, 이 백테스팅 결과 는 자신 들 이 관찰 한 시장 의 특정 상태 와 완벽하게 일치 한다. 그러나 거래 전략 이 장기적 싸움 에 투입 될 때, 그 전략 이 사실상 효과적 이 아니라는 것 을 알게 된다.

나는 많은 거래 전략을 보았고, 백테스팅을 할 때 성공률은 50%까지 도달 할 수 있습니다. 그러한 높은 승률의 전제 하에, 1: 1의 높은 이익과 손실 비율이 여전히 있습니다. 그러나 이러한 전략이 실행되면 모두 돈을 잃습니다. 많은 이유가 있습니다. 이러한 이유 중에서도 데이터 샘플이 너무 작아서 데이터의 오차로 이어지는 주요한 것입니다.

그러나 거래는 매우 복잡하고 나중에 매우 분명하지만 원래로 돌아간다면 여전히 압도감을 느낍니다. 이것은 수치화의 근본 원인을 포함합니다. 역사적 데이터의 한계입니다. 따라서 거래 전략을 테스트하기 위해 제한된 역사적 데이터를만 사용하는 경우 후면 거울에 따라 운전하는 문제를 피하는 것이 어렵습니다.

표본 없는 검사란 무엇일까요?

데이터가 제한되어 있을 때 제한된 데이터를 완전히 활용하여 과학적으로 거래 전략을 테스트하는 방법? 답은 아프 샘플 테스트 방법이다. 백테스팅 과정에서 역사적 데이터는 시간 순서에 따라 두 세그먼트로 나뉘어진다. 이전의 데이터 세그먼트는 트레이닝 세트라고 불리는 전략 최적화를 위해 사용되며, 후자의 데이터 세그먼트는 테스트 세트라고 불리는 아프 샘플 테스트를 위해 사용됩니다.

만약 당신의 전략이 항상 유효하다면, 훈련 세트 데이터에 있는 몇 개의 최선 매개 변수 세트를 최적화하고, 이러한 매개 변수 세트를 테스트 세트 데이터에 다시 백테스트에 적용한다. 이상적으로, 백테스트 결과는 훈련 세트와 거의 동일해야 한다. 또는 차이는 합리적인 범위 내에 있다. 그러면 이 전략이 상대적으로 효과적이라고 말할 수 있다.

하지만 훈련 세트에서 전략이 잘 작동하지만, 테스트 세트에서는 성능이 좋지 않거나 많이 변하고, 다른 매개 변수가 동일하게 사용되면, 전략은 데이터 마이그레이션 편향을 가질 수 있습니다.

예를 들어, 재화 선물 리버를 백테스트하고 싶다고 가정하십시오. 이제 리버에는 약 10 년 (2009 ~ 2019) 의 데이터가 있습니다. 2009 년부터 2015 년까지의 데이터를 훈련 세트로, 2015 년부터 2019 년까지 테스트 세트로 사용할 수 있습니다. 훈련 세트의 최고의 매개 변수 세트가 (15, 90), (5, 50), (10, 100)...라면 이러한 매개 변수 세트를 테스트 세트에 넣습니다. 이 두 백테스트 성능 보고서와 펀드 곡선을 비교하여 차이점이 합리적인 범위 내에 있는지 여부를 결정합니다.

만약 당신이 샘플 테스트를 사용하지 않는다면, 전략을 테스트하기 위해 2009년부터 2019년까지의 데이터를 직접 사용한다. 결과는 역사적 데이터에 대한 과도한 적합성 때문에 좋은 백테스트 성능 보고서가 될 수 있지만, 그러한 백테스트 결과는 실제 시장에 거의 의미가 없으며, 특히 더 많은 매개 변수를 가진 전략에는 가이드 효과가 없다.

첨단 표본 없는 시험

앞서 언급했듯이, 역사적 데이터의 부족이라는 전제 아래, 데이터를 두 부분으로 나누는 것이 좋습니다. 샘플 내부와 외부의 데이터를 형성하기 위해. 그러나 재귀 테스트와 교차 검사 테스트를 수행 할 수 있다면 더 좋을 수 있습니다.

재귀 테스트의 기본 원리는: 이전 긴 역사 데이터를 사용하여 모델을 훈련시키고, 비교적 짧은 데이터를 사용하여 모델을 테스트하고, 데이터를 검색하기 위해 시간 창을 지속적으로 이동하고, 훈련과 테스트 단계를 반복합니다.

• 교육 자료: 2000년에서 2001년, 시험 자료: 2002년

• 교육 데이터: 2001~2002년, 시험 데이터: 2003년

• 교육 자료: 2002~2003년, 시험 자료: 2004년

• 교육 자료: 2003년에서 2004년, 시험 자료: 2005년

• 교육 자료: 2004년에서 2005년, 시험 자료: 2006년

...그렇게 계속...

마지막으로 테스트 결과 (2002, 2003, 2004, 2005, 2006...) 를 통계적으로 분석하여 전략의 성과를 포괄적으로 평가했습니다.

다음 다이어그램은 재귀 테스트의 원리를 직관적으로 설명 할 수 있습니다.

위의 그림은 재귀 테스트의 두 가지 방법을 보여줍니다.

첫 번째 유형: 작은 양이지만 여러 번 테스트

두 번째 유형: 많은 양이지만 적은 테스트 시간

실제 응용분야에서는, 고정되지 않은 데이터에 반응하여 모델의 안정성을 결정하기 위해 테스트 데이터의 길이를 변경하여 여러 가지 테스트를 수행할 수 있다.

크로스 체크 테스트의 기본 원칙: 모든 데이터를 N 부분으로 나누고, N-1 부분을 매번 훈련에 사용하고, 나머지 부분을 테스트에 사용합니다.

2000년에서 2003년까지, 연간 분할에 따라 네 부분으로 나뉘어 있습니다.

• 교육 데이터: 2001-2003, 시험 데이터: 2000

• 교육 데이터: 2000-2002년, 시험 데이터: 2003년

• 훈련 데이터: 2000, 2001, 2003, 시험 데이터: 2002

• 훈련 데이터: 2000, 2002, 2003, 테스트 데이터: 2001

위 그림에서 보이는 것처럼, 크로스 체크 테스트의 가장 큰 장점은 제한된 데이터를 최대한 활용하는 것이며, 각 훈련 데이터는 테스트 데이터이기도 합니다. 그러나 백테스트에 크로스 체크를 적용할 때 명백한 단점도 있습니다.

• 가격 데이터가 안정적이지 않은 경우 모델의 테스트 결과는 종종 신뢰할 수 없습니다. 예를 들어, 훈련을위한 2008 데이터와 테스트을위한 2005 데이터를 사용하십시오. 2008 년 시장 환경이 2005 년과 비교하여 많이 변경되었을 가능성이 높으므로 모델 테스트의 결과는 신뢰할 수 없습니다.

• 첫 번째와 마찬가지로, 크로스 체크 테스트에서 모델이 최신 데이터로 훈련되고 모델이 오래된 데이터로 테스트되면, 그 자체로 매우 논리적이지 않습니다.

또한, 양적 전략 모델을 테스트할 때, 재귀 테스트와 교차 검사 테스트 모두 데이터 중복 문제가 발생했습니다.

거래 전략 모델을 개발 할 때 대부분의 기술적 지표는 특정 기간의 역사적 데이터에 기반합니다. 예를 들어, 트렌드 지표를 사용하여 지난 50 일 동안의 역사적 데이터를 계산하지만 다음 거래 날에는 거래 날의 첫 50 일 데이터에서 다시 계산됩니다. 두 지표를 계산하는 데이터는 49 일 동안 동일합니다. 이것은 인접한 두 일마다 지표의 매우 중요하지 않은 변화를 초래합니다.

데이터 중복은 다음과 같은 영향을 줄 수 있습니다.

• 모델에 의해 예측된 결과의 느린 변화는 위치의 느린 변화를 가져옵니다. 우리가 흔히 말하는 지표의 히스테레시입니다.

• 모델 결과의 테스트를위한 일부 통계 값은 사용할 수 없습니다. 반복 된 데이터로 인한 순서 상관관계로 인해 일부 통계 테스트의 결과는 신뢰할 수 없습니다.

좋은 거래 전략은 미래에 수익성이 있어야합니다. 표본 이외의 테스트는 거래 전략을 객관적으로 탐지하는 것 외에도 양적 거래자에게 시간을 절약하는 데 더 효과적입니다. 대부분의 경우 모든 표본의 최적 매개 변수를 직접 사용하는 것이 매우 위험합니다.

매개 변수 최적화 시점 이전의 모든 역사적 데이터를 구분하고, 데이터를 표본 내 데이터와 표본 외 데이터로 나누면, 표본 내 데이터를 사용하여 매개 변수를 최적화하고, 그 다음 표본 외 표본을 표본 외 테스트에 사용합니다. 오류가 검출되며, 동시에 최적화된 전략이 미래 시장에 적합한지 여부를 테스트 할 수 있습니다.

요약하면

무역 자체와 마찬가지로, 우리는 결코 시간을 거슬러 올라가 스스로 올바른 결정을 내릴 수 없습니다. 만약 당신이 시간 여행을 할 수있는 능력을 가지고 있다면, 당신은 전혀 거래를 할 필요가 없습니다. 결국, 우리는 모두 필사자입니다, 우리는 역사적 데이터에 우리의 전략을 확인해야합니다.

그러나 거대한 역사 데이터에도 불구하고 끝없는 예측 불가능한 미래 앞에 역사는 극히 희박합니다. 따라서 역사에 기반한 거래 시스템은 시간이 지남에 따라 결국 가라앉을 것입니다. 역사는 미래를 고갈 할 수 없기 때문입니다. 따라서 완전한 긍정적 인 기대 거래 시스템은 고유의 원칙과 논리로 지원되어야합니다.

믿지만 확인하세요. - 레이건 대통령

학교 밖 운동

1. 실생활에서 어떤 현상이 생존자의 편견이라고 할까요?

2. FMZ 퀀트 플랫폼을 사용하여 샘플과 샘플 외부 백테스트를 비교합니다.