예전부터 주식 및 외환 시장에서 자동 거래 에이전트 개발에 대한 연구는 인기 있는 주제였습니다. 본 연구 역시 그러한 자동 거래 에이전트 개발이라는 주제를 다루고 있습니다. 기존 연구와의 차이점은, 기존에는 거래 에이전트가 관찰하는 시장 내 데이터를 연구자의 의도에 따라 추출 및 가공하여 전달하는 반면, 본 연구에서는 관찰 대상(예: 주가 변동 관련 시각자료 등) 그 자체를 에이전트에 전달합니다. 예를 들어, 기존 연구에서는 흔히 사용하는 캔들스틱 차트(이른바 봉차트라 불리는)에서 연구자가 필요하다고 판단한 정보, 즉 해당 종목의 시가, 종가, 최고가, 최저가, 거래량 등의 정량적 데이터를 이미지로부터 추출하여 알고리즘의 입력값으로 제공합니다. 그러나 실제로 캔들스틱 차트에는 이러한 정보뿐만 아니라, 시간의 흐름에 따라 캔들의 모양이 어떻게 바뀌는지에 대한 시공간적 흐름 정보도 담겨 있습니다. 이러한 모든 정보를 정량화하여 추출하는 것은 정보의 양이 너무 많을 뿐만 아니라 이미지 상의 모든 표현 정보를 추출하는 것 자체도 거의 불가능합니다. 하지만 투자 전문가의 입장에서는 캔들스틱 차트가 주어졌을 때모든 요소를 다 보는 것이 아니라 자신만의 방식으로 주목하는 캔들의 흐름이 있을 것입니다. 이러한 흐름은 기존의 시가나 종가 등 정량적 데이터로 설명하기에는 너무 복잡한 패턴일 수 있으며 모든 정보를 표현하기도 힘든 부분이 있습니다.

본 연구에서는 이러한 점을 착안하여, 캔들스틱 차트의 정보를 추출하고 가공하는 기존 방식이 아닌, 차트 자체를 이미지 형태로 학습 알고리즘에 주입하고 해당 알고리즘(본 연구에서는 딥러닝을 활용한 강화학습)이 스스로 찾아내는 이른바 end-to-end(종단 학습) 방식으로 에이전트 훈련을 수행하였습니다. 쉽게 이야기하자면, 에이전트 알고리즘에 특정 지표에 주목하라는 명령을 내리는 것이 아니라, 차트 그 자체를 보여주고 에이전트가 알아서 판단하게 하는 것과 유사합니다.

테스트 대상으로는 다양한 외적 요소와 거래 시간이 정해져 있는 주식시장이 아닌 암호화폐 시장(비트코인)을 선택하였습니다. 암호화폐 역시 가격 변동에 영향을 줄 수 있는 외부 요인이 존재하지만, 펀더멘털 분석이 중요한 주식시장과는 달리 암호화폐 시장은 여전히 차트 분석에 주로 의존하는 기술적 분석이 지배적이면서도 효과적인 시장이기 때문에 이를 대상으로 선정하였습니다.

기술적으로는, 캔들스틱 차트 이미지를 다양한 시간 윈도우(5분봉, 30분봉, 2시간봉등)와 거래량 지표 등을 하나의 이미지에 디자인하여 삽입한 후 이를 그대로 임베딩하여 상태 벡터를 생성하고, 이 정보만을 사용하여 거래 신호를 생성하는 심층 강화학습 알고리즘에 활용하였습니다. 거래 신호는 다중 에이전트 가중 투표 앙상블 접근 방식을 통해 생성됩니다. 제안된 방법은 강세 및 약세 시장 시나리오에서 대표적인 암호화폐  거래소인 바이낸스의 BTC/USDT 데이터셋으로 훈련 및 검증하였으며, 기존에 자주 활용되던 기법들과 비교하여 준수한 수익률을 기록하였습니다. 무엇보다 캔들 차트 내에서 에이전트가 어떤 시각적 부분에 주목했는지를 설명 가능한 인공지능 기법을 활용해 히트맵 형태로 표현하였고, 이를 통해 다양한 시나리오에서 차트의 어떤 측면(예: 상승, 하강 등)이 고려되었는지 분석가가 알 수 있도록 표현한 부분이 주요 기여점이라 할 수 있습니다.

본 연구를 시작할 당시, 거래 시장에서 활용할 수 있는 강화학습 기반 에이전트에 대한 회의적인 시각이 많았습니다. 실제로 알고리즘 매매 등의 기법은 전통적으로 보수적인 입장을 견지하는 금융 분야에서는 여전히 논란의 대상입니다. 본 연구에서는 이러한 논란들이 기존 알고리즘이 사용하는 정보를 어떻게 가공하고 활용하는지 그 방식에 있다고 가정하였으며, 실제 전문 투자자들이 다양한 지표를 "눈"으로 직접 확인하고 그들만의 "감"을 활용한다는 점에서, 최근 딥러닝 기술이 이러한 "눈" 역할 및 "감"을 모방하는데 특화될 수 있다고 판단하여 연구를 시작하게 되었습니다. 저희는 4명의 리뷰어로부터 2번의 리비전을 거치는 동안 이러한 의구심을 해소하는데 주력하였습니다. 캔들스틱 차트를 시각적 이미지로 그대로 받아들이는 시도는 과거에도 몇 차례 있었지만, 본 연구처럼 강화학습, 딥러닝, 그리고 설명 가능한 인공지능 기법을 종합적으로 적용한 연구는 없었습니다. 우연의 일치로, 본 연구가 발표되기 전후로 《Journal of Finance》와 《European Journal of Finance》에서도 유사한 연구들이 발표 되었고, 이를 통해 저희가 견지하고 있던 관점이 틀리지 않았다는 점을 알게 된게 매우 고무적이었습니다.

본 논문은 JCR의 Operations Research & Management Science 분야에서 Q1(상위 5.2%)인 《Expert Systems with Applications》에 게재되었으며, 무엇보다 제가 이화에서  대학원생(석사 졸업생)과 함께 처음으로 SCI급 저널에 게재한 논문이라 개인적으로 큰 의미가 있습니다.