알고리즘 트레이딩 기초

개요와 원리

알고리즘 트레이딩은 사람이 매 순간 화면을 보며 판단하는 대신, 미리 정의한 규칙에 따라 신호 생성부터 주문 제출까지를 프로그램이 자동으로 수행하는 매매 방식이다. 넓게는 규칙 기반 자동매매 전체를 가리키고, 좁게는 대량 주문을 여러 개로 쪼개 시장 충격을 줄이는 실행 알고리즘만을 뜻하기도 한다. 이 글은 개인 투자자가 실제로 접근할 수 있는 규칙 기반 자동매매를 기준으로 다룬다.

시스템은 크게 세 단계로 나뉜다. 첫째, 시세와 지표를 분석해 매수·매도 신호를 만드는 신호 생성 단계다. 이동평균 교차, 변동성 돌파, 상대강도(RSI) 과매수·과매도처럼 사전에 정의되고 반복 검증할 수 있는 조건을 쓴다. 둘째, 신호를 실제 체결로 옮기는 주문집행 단계다. 호가 스프레드와 슬리피지를 고려해 지정가·시장가를 고르고, 필요하면 주문을 나눠 낸다. 셋째, 손실을 통제하는 리스크관리 단계다. 손절가, 포지션 크기, 하루 최대 손실 한도를 시스템 차원에서 강제한다. 세 단계 중 하나라도 사람이 그때그때 임의로 개입한다면 그 시점부터는 알고리즘 매매라 부르기 어렵다.

핵심 원리는 “사전에 정의한 규칙을 예외 없이 반복 적용한다”는 데 있다. 규칙을 세울 때는 과거 데이터로 백테스트해 승률·손익비·최대낙폭(MDD)을 확인하고, 실계좌에 투입하기 전 모의투자나 소액 계좌로 일정 기간 검증하는 과정을 반드시 거쳐야 한다.

핵심 규칙

진입

진입 규칙은 재현 가능하고 객관적으로 판정할 수 있어야 한다. 대표적으로 단기 이동평균이 장기 이동평균을 위로 뚫는 골든크로스, 일정 기간 고점을 돌파하는 추세추종형 조건, 밴드 하단 이탈 후 복귀를 노리는 평균회귀형 조건 등이 쓰인다. 10일 이동평균을 기준으로 종가가 위로 교차하는 지점에서 매수 신호가, 아래로 교차하는 지점에서 매도 신호가 발생하는 구조가 가장 단순하면서도 대표적인 규칙 기반 진입·청산 예시다.

신호는 하나의 조건만으로 판단하기보다, 거래량 증가 여부나 상위 시간대 추세와의 정합성 같은 보조 조건을 함께 걸어 거짓 신호(휩소)를 줄이는 것이 일반적이다. 조건이 복잡해질수록 과최적화 위험도 함께 커지므로, 조건 수는 백테스트로 정당화할 수 있는 만큼만 늘리는 것이 바람직하다.

청산과 손절

청산 규칙은 크게 세 가지로 구성된다. 목표 수익률에 도달했을 때의 익절, 진입과 반대 신호가 나왔을 때의 신호 청산, 손실이 정해둔 한도를 넘었을 때의 손절이다. 이 중 손절은 시스템 오류 상황에서도 반드시 작동해야 하는 최후의 안전장치이므로, 가격 조건뿐 아니라 시간 조건(예: 일정 시간 내 미체결 시 주문 취소)과 함께 설계하는 경우가 많다.

정상적인 변동 구간에서 매수 진입한 뒤 급락으로 손절가를 이탈하면 시스템이 규칙대로 자동 청산해야 한다. 손절 이후에도 가격이 추가로 하락하는 상황을 함께 놓고 보면, 자동 손절이 없었을 때 손실이 더 커졌을 것임을 확인할 수 있다.

리스크관리 단계에서는 개별 매매의 손절 외에도, 하루 누적 손실이 일정 금액을 넘으면 시스템 전체를 정지시키는 킬 스위치, 시세·주문 응답이 비정상일 때 신규 주문을 막는 이상 감지 로직을 함께 두는 것이 바람직하다. 2013년 한맥투자증권 사고는 이 원칙이 왜 중요한지 보여주는 사례다. 옵션 가격 계산에 쓰이는 이자율 변수를 잘못 입력한 채 알고리즘이 그대로 작동해 짧은 시간에 대규모 이상 주문이 체결됐고, 회사는 462억원대 손실을 내고 2015년 파산했다. 신호·주문집행 로직이 아무리 정교해도, 입력값 검증과 이상 주문 차단 장치가 없으면 시스템 전체가 무너질 수 있음을 보여주는 대표적인 예다.

실전 적용

한국과 미국은 개인 투자자가 알고리즘 매매에 접근하는 방식과 시장 미시구조가 다르다.

한국에서는 한국투자증권 KIS Developers, 키움증권을 비롯한 주요 증권사가 개인투자자에게 오픈API를 제공하며, 이를 통해 파이썬 등으로 만든 프로그램이 시세 조회부터 주문 제출까지 처리할 수 있다. 다만 코스피·코스닥 시장은 하루 가격 변동폭이 기준가 대비 ±30%로 제한되고, 특정 조건에서 변동성완화장치(VI)와 서킷브레이커가 발동해 거래가 일시 정지될 수 있다. 알고리즘이 이런 시장 정지 상황을 인지하지 못하면 주문이 쌓이거나 체결이 지연되는 문제가 생길 수 있으므로 규칙에 반드시 반영해야 한다.

미국은 API 기반 개인 자동매매 생태계가 더 오래됐고 브로커도 다양하다. 다만 시장에 직접 접근하는 브로커·딜러에게는 증권거래위원회(SEC)의 시장접근규칙(Rule 15c3-5)이 적용되어, 주문 규모나 가격 이상치를 걸러내는 위험관리 통제와 이상 주문 탐지 체계를 갖추도록 요구한다. 개인 투자자가 브로커의 API로 주문을 낼 때도 결국 이 규칙에 따라 설계된 브로커 쪽 안전장치의 영향을 받는다.

개인 알고리즘 매매는 기관의 고빈도매매(HFT)와 근본적으로 다르다는 점도 알아둘 필요가 있다. 고빈도매매는 마이크로초 단위의 지연시간 경쟁, 거래소 코로케이션, 전용 회선 같은 막대한 인프라 투자를 전제로 하며 주로 시세 조성이나 차익거래에서 이익을 낸다. 반면 개인이 접근 가능한 알고리즘 매매는 초 단위 이상의 신호를 이용한 규칙 기반 매매가 대부분이며, 속도 경쟁이 아니라 규칙의 타당성과 리스크관리로 승부한다. 이 차이를 혼동해 “빠르게 돌리면 유리하다”는 식으로 설계하면 실익 없이 비용과 오류 가능성만 늘어난다.

장단점

흔한 실수

• 백테스트 성과만 보고 과최적화 여부를 점검하지 않은 채 곧바로 실전에 투입한다.
• 모의투자나 소액 계좌 검증 없이 처음부터 큰 규모로 자동매매를 시작한다.
• 손절·킬 스위치를 코드로 강제하지 않고 “필요하면 수동으로 끄겠다”는 식으로 남겨둔다.
• 호가단위, 체결 지연, 거래정지(VI·서킷브레이커) 같은 시장 미시구조를 설계에 반영하지 않는다.
• 하루 최대 손실 한도나 최대 포지션 크기 같은 계좌 단위 리스크 한도를 정해두지 않는다.

같이 쓰면 좋은 기법

• 이동평균 교차매매, 변동성 돌파 전략처럼 조건이 명확한 기법은 알고리즘화하기 좋은 출발점이 된다.
• 손절매와 포지션 사이징(자금관리) 규칙은 알고리즘 매매의 리스크관리 단계를 구체화하는 데 그대로 활용할 수 있다.
• 백테스팅 방법론을 함께 익히면 규칙을 실전에 투입하기 전 과최적화 여부를 점검하는 데 도움이 된다.