Research Highlight
이번 리서치 하이라이트에서는 최한림 교수님의 정보 및 제어시스템 연구실(LiCS)에서 수행하는 연구에 대하여 소개하겠습니다. LiCS 연구실에서는 자동화된 객체의 네트워크 시스템에서의 (예, 군집 UAV 및 지상로봇 등) 정보 흐름과 의사결정이 이루어지는 시스템에 대해 중점을 두고 연구를 하고 있으며 UAV, UGV, 무선 센서 네트워크, 다기능 레이더, 항공 교통관제 시스템, 탄도탄 요격 관제 시스템, 환경 감지 시스템 등 다양한 분야에 걸쳐 적용 가능한 폭넓은 연구가 진행되고 있습니다.
이번 Research Highlight에서는 지난 7월에 방위사업청 주관의 국제 군사과학기술 경진대회에서 우승했던 “딥러닝을 이용한 무인항공기 영상 기반 다수 대상체 추적에 관한 연구”를 소개하도록 하겠습니다.
실시간 정찰 감시체계에 대한 인공지능 기술 적용의 필요성
인공지능은 다양하고 복잡한 임무를 수행해야 하는 미래군 무기체계의 발전을 위해 필수적으로 적용되어야 할 기술분야 중 하나입니다. 특히 바둑으로 인간을 제압한 ‘알파고’로 유명한 ‘딥 러닝(Deep Learning)’ 기법은 다른 여러 인공지능 기법 중에서도 영상 및 음향신호 등 데이터의 특징들을 학습하여 인식하고 분류하는데 탁월한 성능을 보이며, 이는 각종 감시 장비의 영상을 운용인력을 통하여 인지하는 현 감시체계를 혁신적으로 개선할 수 있는 탁월한 기술이라 할 수 있습니다. 칼만필터는 이러한 딥러닝 알고리즘이 실시간으로 보다 강인하게 적용될 수 있도록 현장 플랫폼에 적합한 추적기술입니다. 이 기술들을 영상감시체계에 적용하면 지금까지 수행해온 정찰·감시 작전에 중대한 혁신을 불러올 수 있습니다. 이 기술들은 최근 유행하는 드론이나 무인기를 이용한 조기경보에 적용할 수 있을 뿐만 아니라 현재 각 군에서 운용되고 있는 공중조기경보기나 해상초계기 등의 공중플랫폼은 물론, 지상군의 과학화 경계체계, 동/서해 섬과 해안에 배치된 RADAR 사이트의 TOD(열상감시장치) 등 영상감시체계, 해상에서 경비중인 함정 광학장비 등 동영상을 통해 24시간 실시간 감시에 임하고 있는 모든 감시체계에 동일하게 적용될 수 있다는 탁월한 장점이 있습니다. 이 기술은 특히 다수의 표적들이 지상과 해상에서 좁은 구역에 복잡하게 배치되어 있을 때 매우 유용하게 적용될 수 있습니다. 표적의 종류와 특성을 수 초 내에 구분하고 위치는 물론 이동방향까지 실시간으로 파악하여 전시해줌으로써 현장 지휘관의 정확한 상황판단을 지원해주기 때문입니다. 단적인 예로, 지난 수 십 년간 문제가 되어 왔던 서해상 NLL 일대의 북한경비정 및 북한어선과 중국어선 등의 표적획득 및 식별에 큰 도움이 될 수 있고, 전쟁 발발시 개전 초 적 세력들이 지상 또는 해상의 집결지에 모여들 때 세부적인 표적 유형을 식별하여 고가치표적(HVT)만을 골라 타격하는데 결정적인 역할을 하게 될 것입니다. 이 기술은 추가적으로 국지전/근접전 상황에서 RADAR 상 2차원 표적이 뒤섞여 재추적에 어려움을 겪을 때나 피아식별기(IFF)가 우군만을 식별할 수 있어 기타 표적의 종류와 특성을 모르는 상황에 직면했을 때, 드론이나 UAV를 이용해 영상만 확보할 수 있다면 이러한 한계를 극복할 수 있는 결정적인 해결책이 될 수 있습니다. 한편으로 이 기술은 인간의 눈만으로 식별해내기 힘든, 순간적인 포착이 절실한 상황에서도 큰 위력을 발휘할 것으로 예상됩니다. 해상초계기가 스노켈링(Snorkeling) 중인 적 잠수함 잠망경을 식별할 때, 또한 다수의 중국어선군 사이에서 적 공작모선 등을 식별해낼 때, 전방 GOP 등 중요거점에 기습 침투하는 적 특작부대를 식별하여 대응하는 등에도 모두 유용하게 적용될 수 있습니다. 이와 더불어, 사물인터넷(IoT) 기술은 이러한 딥러닝 알고리즘이 보다 빠르게 적용될 수 있도록 각종 체계와 운용자를 실시간으로 통합·연동해주는 기술입니다.
그림 1. 인공지능/사물인터넷을 이용한 지상·해상에서의 표적영상 자율인식 개념도
합성곱 신경망(CNN) 기법
합성곱 신경망 (CNN)은 신경망(neural network) 기술 분야 중 하나로 이미지 분류 및 해석에 효과적인 성능을 가지고 있습니다. 합성곱 신경망은 운용자의 요구에 따라 다양한 형태로 변형이 가능하여 목적에 맞게 설계하여 사용하며, 본 연구에서는 표적이 되는 물체를 인식하기 위한 합성곱 신경망을 설계하였습니다.
그림 2. CNN 기법을 이용한 단독 표적(Single Target) 영상 인식(Classification) 사례
그림 3. CNN 기법을 이용한 다수 표적(Single Target) 영상 인식(Classification) 사례
합성곱 신경망(CNN) 기법을 이용한 실시간 영상인식 및 다수 표적 탐지/추적
그림 4. CNN 기법 기반의 다수 표적 탐지 개념
이에 추적 필터(Tracking Filter), 자료연관(Data Association), 추적 관리(Track Management) 기술을 접목함으로써 표적 추적의 강건성을 확보할 수 있었습니다.
실험 결과
1. 실내 드론 실험장(KARPE)
그림 5와 6은 다중표적 인식을 위한 실내 실험장 구성을 나타낸 것으로, 정찰기의 지상 감시 상황을 가정하였습니다. 정찰기의 역할은 Parrot AR-Drone을 이용하여 묘사하였고, 지상의 탱크는 2개의 LEGO Mindstorms EV3를 이용하여 묘사하였습니다. 광각 영상정보로부터 탐지된 다수 물체를 학습한 정보를 바탕으로 각각 전차임을 인식하고 표적상공으로 기동하여 확대한 영상정보를 활용하여 전차의 탑승인원까지 탐지, 인식하는 것을 확인할 수 있습니다.
그림 5.(a) LEGO Mindstorm as Tanks (b) Parrot AR-Drone
그림 6 다수 표적 자율인식, 속도 및 자세각 도출(드론 촬영 영상)
2. 야외 실험
그림 7은 수조 안에서 기동하는 실제 RC보트들을 상공에서 일반카메라 및 적외선(IR) 카메라를 이용해 촬영한 영상입니다. 이 영상을 통해 군함모형과 일반선박 구분은 물론 위치좌표를 함께 실시간으로 자동 전시하는 모습을 볼 수 있습니다. 그림 8은 야외에서 주차된 차량과 이동 중인 차량을 드론을 이용하여 촬영한 영상으로 마찬가지로 표적의 개수 및 자세각(이동방향) 벡터를 잘 전시해주고 있습니다. 영상정보내의 다수 표적은 각각의 형태와 위치가 다르므로 다중 인식을 위해서는 후보영역을 나누어 그 특징들을 이용하여 적절한 사각형 영역을 표시하고 위치를 파악하는 모든 단계를 통합하여 효율적으로 실행하여 시간을 단축해야 합니다. 이것을 위해 CNN의 구조를 효율적으로 구성할 필요가 있는데 이 연구에서는 4개의 Convolutional layer와 3개의 Fully-connected layer로 이루어져 있습니다. 이렇게 구현된 CNN은 일반 PC에서 실시간보다 빠르게 동작 가능하며 On-board 시스템에서도 실시간으로 운영가능하게 합니다.
그림 7. 가시광(좌)/적외선(우) 영상 표적정보(표적성질 및 좌표) 자율인식 실험결과
그림 8. 영상 표적정보(표적성질 및 좌표) 자율인식 실험결과
원고 이우철[wclee90@kaist.ac.kr]
편집 박진우[jinpark57@kaist.ac.kr]
Comment 0
- Total
- 56호
- 55호
- 54호
- 53호
- 52호
- 51호
- 50호
- 49호
- 48호
- 47호
- 46호
- 45호
- 44호
- 43호
- 42호
- 41호
- 40호
- 39호
- 38호
- 37호
- 36호
- 35호
- 34호
- 33호
- 32호
- 31호
- 30호
- 29호
- 28호
- 27호
- 26호
- 25호
- 24호
- 23호
- 22호
- 21호
| No. | Subject |
|---|---|
| Notice | 자유기고 모집 |
| Notice | Fund Raising |
| 9 | Photo Album |
| 8 |
항공우주공학과 News
 |
| 7 |
신규사업 소개
|
| 6 |
특집인터뷰 (이지윤 교수)
|
| 5 |
연구실탐방 (Strategic Aerospace Initiative Lab.)
|
| 4 |
동문소개 (한국항공대학교, 장대성 교수)
|
| 3 |
학부생 소식
|
| 2 |
항공우주 핫이슈 (머지않은 우주 관광)
|
| » |
Research Highlight
|