과최적화(오버피팅) 위험

개요와 원리

과최적화(오버피팅, overfitting)란 과거 시세 데이터에 전략의 매매 규칙과 파라미터를 지나치게 세밀하게 맞춘 나머지, 그 데이터에만 우연히 들어맞는 잡음(noise)까지 마치 의미 있는 신호인 것처럼 학습해 버리는 현상이다. 예를 들어 “이동평균 12일선과 27일선이 교차하고, RSI가 정확히 34 이하이며, 거래량이 5일 평균의 1.8배를 넘을 때 매수”처럼 조건을 여러 겹 쌓아 과거 수익률을 극대화한 전략은, 그 특정 구간의 우연한 가격 흐름에 맞춰 파라미터가 결정된 것일 뿐 미래에도 반복될 근거가 약하다.

문제는 파라미터 수가 늘어날수록 커진다. 조건이 하나 늘어날 때마다 자유도가 늘어나고, 자유도가 늘어날수록 과거 데이터 안에서 우연히 맞아떨어지는 조합을 찾기 쉬워진다. 수십, 수백 개의 파라미터 조합을 자동으로 탐색해 가장 성과가 좋았던 조합을 채택하는 방식(그리드서치, 유전 알고리즘 최적화)은 필연적으로 데이터마이닝 편향(data-mining bias)을 만든다. 표본 안에서는 승률 80%, 손익비 3:1 같은 화려한 성과가 나오지만, 이는 전략이 시장의 본질을 포착해서가 아니라 그 표본에만 존재하는 특수한 잡음에 회귀분석을 한 것에 가깝다.

이렇게 만들어진 전략은 실전(표본 외, out-of-sample)에 투입되는 순간 성과가 급격히 무너지는 경우가 많다. 과거에 통했던 조건들이 새로운 구간의 잡음과는 맞지 않기 때문이다. 이 간극, 즉 표본 내 성과와 표본 외 성과의 괴리가 클수록 과최적화 정도가 심하다고 판단할 수 있다.

핵심 규칙

진입

전략을 실전에 채택하기 전 반드시 확인해야 할 기준이다.

• 파라미터 개수를 최소화한다. 진입·청산 조건이 2~3개를 넘어가면, 그 전략이 정말 시장의 구조를 포착한 것인지 표본에 맞춘 것인지부터 의심해야 한다.
• 전체 데이터를 반드시 두 구간 이상으로 나눈다. 파라미터를 최적화하는 구간(표본 내, in-sample)과 한 번도 사용하지 않은 구간(표본 외, out-of-sample)을 분리하고, 표본 외 구간에서 성과가 표본 내 대비 크게 훼손되지 않는지 확인한 뒤에만 실전에 투입한다.
• 워크포워드(walk-forward) 검증을 적용한다. 일정 구간으로 최적화하고 다음 구간에 적용한 뒤 구간을 밀어 가며 반복하는 방식으로, 특정 한 시점의 데이터에만 맞춘 결과가 아닌지 여러 번 교차 확인한다.
• 몬테카를로 시뮬레이션이나 거래 순서를 무작위로 섞는 검증으로, 성과가 특정 거래 몇 건에 좌우되는 취약한 결과는 아닌지 점검한다.

청산과 손절

전략을 폐기하거나 실거래를 중단해야 하는 기준이다.

• 표본 외 구간에서 최대낙폭(MDD)이나 손실 연속 횟수가 표본 내 대비 뚜렷하게 악화되면, 규칙을 조금 손보는 대신 전략 자체를 폐기하는 것을 원칙으로 한다.
• 실전 투입 이후 일정 기간(예: 3~6개월) 성과를 반드시 기록하고, 실전 성과가 백테스트 대비 현저히 낮으면 즉시 실거래 자금을 축소하거나 중단하는 “킬 스위치” 기준을 미리 정해 둔다.
• 손실이 났다고 해서 파라미터를 곧바로 재조정해 다시 백테스트에 끼워 맞추는 행위(리커브피팅, re-curve-fitting)는 과최적화를 반복하는 것에 불과하므로 금지한다.

실전 적용

한국 시장에서는 개인 투자자도 증권사 HTS·MTS의 백테스트 기능이나 상용 트레이딩 툴을 이용해 손쉽게 다중 파라미터 최적화를 시도할 수 있다. 문제는 코스닥 중소형주처럼 상장 기간이 짧고 유동성이 낮은 종목일수록 사용 가능한 과거 데이터 자체가 부족해, 몇 개월치 데이터만으로 파라미터를 정교하게 맞추는 과최적화 위험이 특히 크다는 점이다. 또한 국내 개인 투자자들 사이에서는 검증 절차 없이 특정 종목·구간에서 우연히 통했던 규칙을 온라인 커뮤니티에서 공유하며 “필승 공식”처럼 소비하는 경향이 있어 주의가 필요하다.

미국 시장은 방대한 장기 데이터와 저렴한 컴퓨팅 자원 덕분에 개인 퀀트 투자자부터 대형 헤지펀드까지 수천 개 조합을 자동으로 탐색하는 대규모 파라미터 최적화가 흔하다. 이 때문에 오히려 과최적화 문제를 더 체계적으로 경계하는 문화가 자리잡아, 워크포워드 분석과 표본 외 검증을 표준 절차로 요구하는 경우가 많고, 상장폐지된 종목을 제외한 생존 편향(survivorship bias) 데이터로 백테스트했는지도 중요한 점검 항목으로 다룬다.

두 시장 모두 공통적으로, 파라미터 수를 줄이고 표본 외 구간에서 반드시 재검증하는 절차는 동일하게 적용해야 한다.

장단점

흔한 실수

1. 진입·청산 조건에 지표를 3개 이상 겹겹이 쌓고, 각 지표의 세부 수치(기간, 임계값)를 표본 내 수익률이 가장 높아질 때까지 반복적으로 조정한다.
2. 표본 외 검증 없이, 표본 내 백테스트 성과만 보고 곧바로 실거래 자금을 투입한다.
3. 백테스트 기간이 너무 짧아(예: 6개월~1년) 특정 국면(강세장 또는 특정 테마 랠리)에만 맞는 규칙을 일반적인 규칙으로 착각한다.
4. 실전에서 손실이 나자 파라미터를 다시 조정해 과거 데이터에 재적합시키고, 이를 “개선”이라 부르며 같은 실수를 반복한다.
5. 상장폐지·거래정지된 종목이 제외된 생존 편향 데이터로만 백테스트해, 실제보다 낙관적인 성과를 얻는다.

같이 쓰면 좋은 기법

워크포워드 분석과 표본 외 검증은 과최적화를 가려내는 가장 직접적인 도구로, 어떤 매매 기법을 검증할 때도 함께 적용해야 한다. 몬테카를로 시뮬레이션은 특정 거래 몇 건에 성과가 좌우되는 취약한 전략을 걸러내는 데 유용하다. 이동평균 교차나 지지선·저항선 매매처럼 파라미터가 적고 원리가 단순한 기법은 애초에 과최적화 여지가 작아 강건성이 높으므로, 복잡한 다중 지표 조합보다 우선 검토할 가치가 있다. 손절매 규칙과 포지션 사이징을 병행하면, 설령 전략이 예상과 다르게 움직이더라도 손실을 제한된 범위 안에 묶어 둘 수 있다.