- 디지털 트윈과 피지컬 AI를 결합해 철도 시설 점검 자동화 -

- 가상공간 활용,‘로봇의 눈’과 ‘로봇의 손·발’ 동시 개발 -

□ 한국철도기술연구원(이하 철도연, 원장 사공명)은 철도 시설물의 상태를 가상공간에서 확인하는 기존 디지털 트윈을 넘어, 자율 점검 로봇이 실제 철도 선로 현장에서 작동할 수 있도록 하는 ‘철도 특화 로봇 기반 선로점검 핵심기술 개발’에 착수했다.

ㅇ 이번 연구는 자율 점검 로봇이 다양한 선로 환경과 위험 상황을 가상 철도 환경에서 반복 학습하고 경험하도록, 가상 철도 환경 (디지털 트윈)을 ‘동적 학습장’으로 활용하는 것이 핵심이다. 이를 통해 철도 유지보수 체계를 사후 대응 중심에서 예방적·자율적 점검 체계로 전환이 가능할 것으로 기대된다.

□ 철도 선로 점검은 작업자 안전, 희귀 결함 데이터 부족이라는 문제가 복합적으로 존재하며, 점검자의 숙련도에 따른 차이도 발생하는 분야다. 특히 실제 사고나 결함사례가 드물기 때문에, AI 학습에 필요한 결함사례를 충분히 확보하기 어렵고, 위험 상황을 실제 현장에서 반복 실험하기도 어렵다.

□ 철도연은 이러한 한계를 극복하기 위해 가상공간을 구축한다. 실제 선로와 주변 환경을 드론·카메라·라이다로 수집하여 3차원 가상공간을 만든 후, 로봇의 시각 인지와 이동 제어를 학습시키는 디지털 학습장으로 활용한다.

ㅇ 가상공간에서는 현실세계와 같이 선로 침입·장애물 등 각종 돌발 변수와 폭설·폭우 등 기상, 야간·역광 등 환경 조건, 자갈·비탈면과 같은 지형을 적용할 수 있어 다양한 조건에서의 학습이 가능하다.

ㅇ 가상공간에서 학습된 데이터는 실물 로봇의 움직임에 반영되며, 실제 작동상황에서의 데이터와 함께 지속 보완할 수 있다.

□ 철도연은 이번 기술이 사후 대응 중심의 철도 유지보수를 예방적·자율적 체계로 전환해 현장 작업자의 안전을 확보하는 동시에, 한국형 자율 철도 점검 솔루션의 경쟁력 확보로 이어질 것으로 기대하고 있다.

□ 이 기술은 국가과학기술연구회(이사장 김영식, 이하 NST) 소관 철도연의 기본사업으로 개발 중이다.

※ 관련 연구과제
- 과제명 : 철도 특화 로봇 기반 선로점검 핵심기술 개발
- 연구기간 : 2026. 1. 1. ~ 2028. 12. 31. (3년)
- 연구기관(연구책임자) : 한국철도기술연구원(변성준 선임연구원)

□ 연구책임자인 변성준 철도연 선임연구원은 “자율 점검 로봇의 성능은 얼마나 정확하게 보고, 얼마나 안정적으로 움직이느냐에 달려 있다”며, “이번 연구는 월드 파운데이션 모델로 로봇의 시각 인지 능력을 높이고, 강화학습과 Sim2Real 기술을 통해 실제 선로 환경에서도 안정적으로 이동할 수 있는 제어 정책을 확보하는 것이 핵심”이라고 밝혔다.

□ 사공명 철도연 원장은 “앞으로의 철도 유지보수는 위험을 사전에 발견하고 작업자의 안전을 확보하는 예방적·자율적 체계로 나아가야 한다”며, “철도연은 피지컬 AI와 로봇 기술을 통해 국민이 안심하고 이용할 수 있는 철도 안전 기술 개발에 최선을 다하겠다”고 전했다.


※참고 : 기술 설명자료 및 관련 사진


참고 1

자율 선로점검 로봇 및 가상공간 시뮬레이션 기술 설명 자료


□ 가상공간 구축
ㅇ 개요: 실제 사고나 결함사례가 흔치 않아, AI 학습에 필요한 결함 사례 확보 및 위험 상황의 반복 현장실험을 위한 가상공간 구축
ㅇ 방법
- 철도 선로와 주변 환경을 드론·카메라·라이다로 수집, 수집된 데이터를 가우시안 스플랫팅(Gaussian Splatting)* 기반 3차원 재구성 기술과 물리 시뮬레이션을 결합해 실제 철도 환경과 유사한 공간 구축
* 가우시안 스플랫팅(Gaussian Splatting):여러 장의 2D 사진/영상만으로 실제와 같은 3D 공간을 만들어내는 기술
- 해당 가상공간은 로봇의 시각 인지와 이동 제어를 함께 학습시키는 공통 학습장으로 활용

□ ‘로봇의 눈’ 학습
ㅇ 영상·물리·행동 데이터를 통합 학습한 월드 파운데이션 모델(World Foundation Model, WFM)*을 활용, 철도 환경 영상의 생성·변환·추론 기능을 통해 자율 점검 로봇의 시각 인지 성능 향상
* 월드 파운데이션 모델: 인공지능이 현실세계의 물리법칙, 시·공간, 환경변화 등을 시뮬레이션할 수 있도록 하는 기술

- 생성(Predict): 초기 영상 프레임을 바탕으로 미래 장면을 예측, 선로 침입·낙하물·장애물 등 희귀 이상 상황을 가상으로 생성
- 변환(Transfer): 동일한 선로 장면을 폭설·폭우·야간·역광 등 다양한 환경 조건으로 변환
- 추론(Reason): 영상 시퀀스의 변화와 맥락을 분석해 현재 상황을 설명하고 향후 위험 가능성을 예측
ㅇ 이렇게 생성된 변형 데이터는 ‘디지털 커즌(Digital Cousin)’*으로, 실제 데이터의 희소성을 보완하고 다양한 환경 조건에서의 인지 성능을 높이는 기반으로 활용
* 원본 데이터: 실제 측정된 데이터
디지털 트윈(Digital Twin): 원본과 1:1로 대응되는 가상 복제 데이터
디지털 커즌(Digital Cousin): 원본을 기반으로 조건·특성을 일부 변형한 유사 데이터

□ ‘로봇의 손·발’ 학습
ㅇ 디지털 트윈을 강화학습(Reinforcement Learning)의 학습장으로 활용해, 로봇이 자갈 노반·비탈면 같은 비정형 지형을 통과하고 다양한 마찰 조건에서도 자세를 유지하는 동작 정책을 학습
ㅇ 학습된 정책은 시뮬레이션-실세계 전이(Sim2Real)* 기법을 거쳐 실제 로봇에 옮겨지며, 이는 레일·험지를 모두 주행하는 사족보행 로봇의 이동 능력의 토대 확립
* 시뮬레이션-실세계 전이(Sim2Real):가상의 시뮬레이션 환경에서 인공지능(AI)이나 로봇 제어 모델을 학습시킨 뒤, 이를 실제 현실 환경에 적용하는 기술

□ 두 학습의 결과물(시각 인지 모델·제어 정책)은 하나의 자율 점검 로봇으로 통합되어, 학습과 운용이 서로를 강화하는 선순환 체계를 이룸

ㅇ (통합 흐름) ❶현장 데이터 수집 → ❷디지털 트윈 구축 → ❸이원 학습(시각 인지·이동 제어) → ❹인지·제어 알고리즘 분리 배포 → ❺현장 자율 운용 → ❻데이터 환류(다음 학습의 출발점)

< 그림 1. 보는 디지털트윈에서 행동하는 피지컬AI로 >


< 그림 2. 월드파운데이션모델 기반 철도 환경 데이터 증강 및 도메인 변환 >
<그림2 영상링크>
https://youtu.be/_3Ugb77aK-M?si=BKjGFrDZ-LsHMKYm

< 그림 3. 선로 주변 험지 주행을 위한 Sim2Real 강화학습 시뮬레이션 >
<그림3 영상링크>
https://youtu.be/DfYiv8Hekt0?si=oUPkK5aO7eTfXVcF