카이스트, 악천후에서도 자율주행 가능케 하는 4D 레이더 인공지능 기술 개발

[에너지경제신문 송기우 에디터] 카이스트(총장 이광형)는 조천식모빌리티대학원 공승현 교수(사진) 연구팀이 세계 최초로 악천후 상황에서 안정적인 자율주행을 가능하게 하는 4D 레이더(Radar)의 주변 객체 인지 인공지능 기술을 개발했다고 20일 밝혔다.

연구팀은 구축된 인공지능 학습 데이터셋(Dataset)인 카이스트-레이더(이하 K-레이더)와 개발된 인공지능 신경망(RTN4D) 그리고 전 세계 연구자를 위한 4D 레이더 인공지능 개발 플랫폼(Platform)과 관련 벤치마크(Benchmark)를 모두 공개한다고 밝혔다.

현재 전 세계적으로 개발되고 있는 자율주행 자동차는 주로 카메라와 라이다(LiDAR)에서 출력되는 이미지와 포인트 클라우드(Pointcloud) 데이터를 적절한 인공지능 신경망으로 처리해 자동차 주변의 객체들을 인식하는 방식으로 구현돼 있다. 그러나 카메라와 라이다는 각각 가시광선과 적외선을 사용하므로 눈비 또는 안개 상황에서 측정 성능이 크게 떨어지는데, 이로 인해 주변 객체들에 대한 인식이 어려워져 안전한 자율주행이 불가능하다.

▲ 그림 1. K-레이더 구축을 위한 자율주행 센서 수트 자동차 지붕에 설치한 외부 라이다(LiDAR)와 카메라, 그리고 전방 범퍼 위에 설치한 4D 레이더와 실내 카메라 등으로 구성되어 있다. 측정치를 보면 레이더는 차량 외부에 장착되는 센서 중에서 악천후 상황과 흙먼지에 가장 강인한 센서임을 확인할 수 있다. (자료=카이스트)

더구나, 차내에 설치할 수 있는 카메라와 달리 자동차의 지붕에 설치하는 라이다는 외부 환경에 노출돼 있어서 그 표면에 눈비 또는 흙먼지가 묻는 경우 라이다를 이용한 전방 탐지가 어려워진다. 공승현 교수는 "젖은 도로에서 전방에 주행 차량이 있는 경우, 그 바퀴에서 일어나는 흙먼지가 섞인 물보라로 라이다 표면이 빠르게 더럽혀지고, 결과적으로 모든 전방 객체에 대한 라이다 측정이 불가능해진다"고 설명한다.(그림 1 참조)

적외선을 사용하는 라이다와는 달리 77기가헤르츠(GHz) 대역의 자동차 레이더는 눈, 비, 안개 등의 악천후 상황에 매우 강건하며 표면에 눈비나 흙먼지가 묻은 상황에서도 안정적인 측정 결과를 보인다. 최근에는 고해상도의 4D 레이더(대상까지의 거리, 방위각, 높이, 도플러 주파수를 측정)가 개발돼 상용화되고 있으며, 그 성능도 빠르게 향상되고 있다.

이에 따라서 전 세계적으로 4D 레이더에 인공지능을 이용한 주변 인지 기술 연구가 시작되고 있지만, 4D 레이더에 필요한 인공지능 연구는 매우 더디게 진행되고 있다. 카메라나 라이다와 달리, 고성능 인공지능 개발에 필수적인 충분한 데이터셋이 구축되지 못하고 있기 때문이다. 2021년부터 4D 레이더의 포인트 클라우드 데이터셋이 일부 공개됐으나, 데이터의 양이 충분하지 않고 측정치가 매우 희소해 신뢰할 만한 객체 인식 인공지능 신경망 개발이 쉽지 않다.

연구팀이 공개하는 K-레이더는 악천후를 포함한 다양한 날씨 및 교통 상황에서 수집된 다양성 높은 데이터셋이며, 정확히 동기된 카메라와 라이다 측정 데이터와 함께 구축된 13테라바이트(TB)에 이르는 대용량으로 세계 최초의 4D 레이더 데이터셋이다. 특히, K-레이더는 포인트 클라우드 형태가 아닌 인공지능 신경망의 성능을 극대화할 수 있는 텐서(Tensor) 형태의 데이터셋으로, 이는 일반적인 레이더의 잡음 제거 방식을 사용하지 않아 잡음 수준의 미약한 미세 측정치를 온전히 담고 있는 형태의 데이터셋이다.

연구팀이 개발한 4D 레이더 인공지능 신경망(RTN4D)은 K-레이더로 수많은 학습을 진행했고, 그 결과 다양한 날씨와 도로 상황에서 70m 이내의 객체에 대해 객체 판별, 위치 추정 및 주행 방향 추정의 3가지 추정을 정확히 수행하는 경우가 최종 62.5%인 세계 최고의 성능을 가진다. 또한, 연구팀은 전 세계의 연구자들이 자체적으로 데이터를 추가 구축하고 신경망 기술을 개발하며 그 성능을 자체 평가할 수 있도록 레이더용 인공지능 신경망 개발 플랫폼과 벤치마크도 공개 제공한다.

▲ 그림 2. 4D 레이더 인공지능 신경망 및 인공지능 신경망 차량 인식 결과 비교 위 그림은 동일한 위치에서 4D 레이더 인공지능 신경망과 라이다 인공지능 신경망의 차량 인식 결과(추론: 빨간색 실선 사각형으로 표시)와 도로상의 실제 차량(정답: 노란색 실선 사각형으로 표시)을 표시한 그림이다. 또한, 인공지능 신경망이 인식하지 못하고 놓친 차량은 보라색 바탕에 점선 박스로 표시하고 잘 못 인식하여 존재하지 않는 차량을 추론한 경우에는 해당 위치에 옅은 녹색 바탕에 점선 박스를 표시했다.(자료=카이스트)

카이스트 조천식모빌리티대학원 공승현 교수는 "눈이나 비가 오는 날씨에서 4D 레이더 인공지능 신경망은 기존 라이다 인공지능 신경망 보다 훨씬 더 안정적인 주변 객체 인지 성능을 갖는데, 이는 4D 레이더가 악천후에서 자율주행을 위한 필수 센서임을 보여주는 결과이며(그림 2 참조), 최근 미국의 웨이모(Waymo)와 이스라엘의 모빌아이(Mobileye)가 수년 내로 4D 레이더를 자율주행의 주요 인지 센서로 활용할 계획임을 공개적으로 밝힌 이유"라며, "우리 연구팀이 공개한 K-레이더와 4D 레이더 인공지능 개발 플랫폼 및 벤치마크를 통해, 향후 4D 레이더에 관한 인공지능 연구가 더욱 활발히 진행될 것으로 기대한다"고 말했다.

K-레이더, 4D 레이더 인공지능 신경망(RTN4D), 4D 레이더 인공지능 개발 플랫폼과 벤치마크는 연구실 홈페이지와 깃허브를 통해서 배포될 예정이다. 이번 연구는 한국연구재단(NRF) 및 정보통신기획평가원(IITP)의 지원과 ㈜스마트레이더시스템의 협력으로 수행됐으며, 연구 성과는 백동희 박사과정 학생이 2022년 12월에 열리는 세계적인 인공지능 컨퍼런스인 ‘뉴립스(NeurIPS) 2022’ 데이터셋&벤치마크 트랙(Datasets and Benchmark Track)에서 발표할 예정이다(논문명: K-Radar: 4D Radar Object Detection Dataset and Benchmark for Autonomous Driving in Various Weather Conditions)