1만번 계산할 걸 100번 만에 '뚝딱'...'양자컴' 만난 AI학습

UNIST 인공지능대학원, 양자 알고리즘 AI 학습 기법 'QRIM' 개발
ICML 2026서 공개

기존 학습 기술과 QRIM 학습 기법을 적용했을 때 학습 속도를 비교한 그래프. 주황색 선이 QRIM, 파란색 선이 기존 학습 기술. 서로 다른 두 실험 환경에서 환경 정보를 확인한 누적 횟수(오라클 호출 횟수)에 따라 AI가 임무를 수행해 얻은 평균 점수가 어떻게 달라지는지 비교했다. /사진=UNIST
국내 연구팀이 양자컴퓨터를 활용해 AI(인공지능) 계산 비용을 기존의 최대 5분의 1로 줄이는 데 성공했다.

6일 UNIST(울산과학기술원)는 윤성환 인공지능대학원 교수 연구팀이 김중헌 고려대 전기전자공학부 교수연구팀과 함께 양자 알고리즘을 이용한 새로운 AI 학습 기법 'QRIM'(Quantum Robust Inner Minimization)을 개발했다고 밝혔다.

이번 연구는 세계 3대 AI 학회인 '국제머신러닝학회'(ICML) 2026에 채택됐다. 올해 ICML이 채택한 양자 분야 AI 논문 중 유일하게 한국 연구기관이 주도한 연구다.

강화학습은 AI가 시행착오를 거치며 스스로 행동 전략을 찾아가는 것을 말한다. 인간의 학습 방식과 유사하지만, AI의 경우 실제 환경과 학습한 상황이 조금만 달라져도 성능이 급격히 떨어지는 한계가 있다. 이를테면 맑은 날의 도로만 학습한 자율주행차는 비나 눈으로 노면이 미끄러운 상황에 제대로 대응하지 못한다.

이를 보완하기 위해 등장한 것이 '강인한 강화학습'이다. 학습 과정에서 발생할 수 있는 최악의 상황을 미리 찾아내고, AI가 이에 대비하도록 훈련한다. 그런데 최악의 상황을 찾아내는 과정이 매우 비효율적이다. 가능한 모든 경우의 수를 모두 찾아 하나하나 계산해야 하기 때문이다. 변화 가능성이 높은 환경일수록 계산 비용이 폭증한다.

연구팀은 양자컴퓨터의 중첩 원리로 이 문제를 풀었다. 양자컴퓨터는 상태를 순차적으로 계산하는 고전 컴퓨터와 달리 대신 여러 상태를 동시에 계산한다. 다수의 후보 환경을 한꺼번에 계산해 빠르게 결과를 도출하는 것이다.

연구팀이 개발한 'QRIM'은 이같은 양자의 특성