게임 AI 평가 혁신: 크래프톤, LLM 기반 벤치마크 'Orak' 공개

크래프톤이 게임 분야 인공지능 기술 발전에 새로운 이정표를 세웠다.

김창한 대표가 이끄는 크래프톤은 대규모 언어 모델 기반 AI 에이전트의 게임 수행 능력을 체계적으로 평가할 수 있는 벤치마크 'Orak'을 공개했다.

사진 제공 = 크래프톤

'오락'에서 영감을 받은 이름의 Orak은 게임 환경에서 AI의 상황 인식과 판단, 행동 결정 과정을 정량적으로 분석할 수 있는 평가 체계다.

이 벤치마크는 액션, 어드벤처, RPG, 시뮬레이션, 전략, 퍼즐 등 6개 주요 게임 장르를 포괄하며 설계됐다.

AI 게임 플레이어의 새로운 기준

Orak의 개발 배경에는 크래프톤과 엔비디아가 공동으로 개발한 CPC 프로젝트의 경험이 녹아있다.

이 벤치마크는 AI 에이전트가 복잡한 게임 맥락 속에서 상황을 해석하고 적절한 결정을 내리는 능력을 객관적으로 평가한다.

사진 제공 = 크래프톤

핵심 기술인 MCP는 게임 정보를 언어 모델이 처리할 수 있는 텍스트 기반 데이터로 변환하고, AI의 응답을 다시 게임에 적용 가능한 행동으로 전환한다. 이를 통해 LLM은 마치 인간 플레이어처럼 게임 상태를 인식하고 최적의 행동을 선택할 수 있게 된다.

예를 들어, 액션 게임에서는 장애물 위치를 파악한 후 이동이나 점프와 같은 적절한 판단을 수행한다.

게임을 넘어선 AI 연구의 확장

크래프톤은 Orak을 통해 AI 기술 연구의 새로운 표준을 제시하고, 이를 게임 산업을 넘어 다양한 분야로 확장할 계획이다. 또한 연구자들을 위해 LLM 파인튜닝용 데이터셋도 함께 제공한다.

이를 활용해 사전 학습된 LLM을 실제 게임 환경에 최적화할 수 있을 것으로 기대된다.

이강욱 크래프톤 딥러닝 본부장은 "Orak은 크래프톤의 선행 연구와 노하우가 집약된 게임 특화형 LLM 벤치마크로, 이를 기반으로 향후 LLM 에이전트 설계 역량을 겨루는 대회도 기획 중이다"라며, "앞으로도 게임 분야에 최적화된 LLM 기술을 지속적으로 고도화해 AI를 통한 게임 플레이 경험의 혁신을 주도해 나가겠다"고 밝혔다.

한편, 크래프톤의 AI 연구 역량은 국제적으로도 인정받고 있다. 세계 최고 권위의 AI 학회인 ICLR과 ICML에 올해 크래프톤이 제출한 논문 10편이 채택됐으며, 이 중 3편은 ICLR Spotlight에 선정되어 글로벌 AI 연구 생태계에서 주목받고 있다.