Project 04 · Research · Individual Project · Reinforcement Learning & Sim-to-Real
Kookmin Final – Reinforcement Learning & Sim-to-Real
Project Goal
예선 Imitation Learning에서 고속 주행 시 발생한 좌우 oscillation을 개선하기 위해 Reinforcement Learning을 시도하고, 반복 학습을 위한 simulation과 실차 이전 구조를 구축하는 것을 목표로 했다.
Why Simulation / Approach
고속 oscillation 개선을 위해 학습 범위를 확장
- 예선에서 사람의 주행 데이터를 이용해 직선·곡선·장애물·보행자 회피까지 구현했지만, 속도를 높이자 차선 주행 중 차량이 좌우로 흔들리는 oscillation이 나타났다.
- 이를 개선하기 위해 주행 결과에 따른 보상을 이용하는 Reinforcement Learning을 시도했다.
- 반복 주행이 필요한 강화학습을 실제 차량에서 계속 수행하기 어려워, 대회 환경을 모사한 Gazebo simulation을 구축했다.
- simulation과 real camera image의 차이를 줄이기 위해 Canonical BEV 표현을 사용하고, Behavioral Cloning 이후 temporal TD3+BC까지 확장했다.
- 실차의 sensor delay, control delay와 차량 거동을 반복 측정해 simulation 파라미터와 동역학을 실제 차량에 가깝게 보정하려 했다.
Validation
Simulation에서 실차 저속 주행까지
- Behavioral Cloning과 TD3+BC 정책을 Gazebo 폐루프 주행에서 검증했다.
- 시뮬레이션에서 학습한 정책을 실차에 적용해 저속 주행까지 확인했다.
Limitation
고속에서 다시 커진 Sim-to-Real gap
- sensor/control delay와 차량 동역학을 반복 측정해 반영했지만, 속도가 높아질수록 마찰, 노면·타이어 상호작용과 실제 차량 거동처럼 simulator에서 완전히 재현하기 어려운 물리적 차이의 영향이 커졌다. Canonical BEV와 파라미터 보정만으로는 고속 주행 안정성을 충분히 확보하지 못했다.
Insight
Sim-to-Real은 영상 표현 정규화만으로 끝나지 않는다
- Sim-to-Real 성능은 perception gap뿐 아니라 시뮬레이션의 물리적 재현 수준에도 크게 영향을 받았다. 실차의 지연과 차량 거동을 측정해 보정했지만, 마찰과 실제 차량 동역학을 완전히 재현하지 못하면서 고속 영역에서 차이가 남았다.
Next Project
본선 시스템으로의 전환
- 고속 주행에서 simulation과 real vehicle 사이의 차이를 대회 일정 내 충분히 줄이지 못했고, 이 과정에서 얻은 perception 및 control-frequency 경험을 바탕으로 최종 본선용 Rule-based 시스템과 새로운 중앙선 인지 모델을 설계했다.
Visual evidence
사진과 주행 기록
이미지나 영상을 누르면 크게 볼 수 있습니다.