Research Highlight

---

 

   스마트 구조 및 하드웨어 시스템 연구실(지도교수: 한재흥)의 석사과정 박정환 학생은 2021년 AIAA(American Institute of Aeronautics and Astronautics) Region VII Student Conference (2021. 11월 호주 Melbourne/virtual)의 Masters Category에 참가하여 3위 입상하였다. 발표 주제는 “A Perception and Control System for In-Flight Collision Avoidance of UAVs” 로, 무인 비행체의 공중 충돌 방지를 위한 인지 및 제어 시스템이다. 무인 항공기에 스테레오 카메라를 장착하여 충돌 가능성을 사전에 인지하여 회피기동을 수행하는 내용으로, 무인항공기의 자율 운용에 대응하고 차세대 무인항공기에 적용될 수 있는 핵심기술이다.

 

 

- 무인 비행체의 공중 출동 방지를 위한 인지 및 제어 시스템 -

 

   최근 전자공학과 제어공학의 발전에 힘입어 등장한 고정밀 전자부품은 성능과 신뢰성을 갖춘 무인 항공기(Unmanned Aerial Vehicles) 의 등장과 대량 생산을 가능케 하였으며, 다양한 형태의 무인 항공기들이 항공 영상 촬영, 감시 및 경비, 물품 배달 등 다양한 업무를 수행하고 있다.

 

   특히 근래에는 카메라를 사용해 공간을 인식하고 물체를 인지하는 시각 기반 시스템의 성능이 발전하고 있기에, 다양한 목적으로 사용될 수 있는 자율비행 시스템에 대한 활발한 연구가 이루어지고 있다. 다만, 현재 상용화된 소형 무인 항공기의 자율비행 시스템은 GPS(Global Positioning System)를 이용해 정해진 위도/경도 좌표들을 따라 이동하는 수준에 그치며, 임의의 복잡한 환경에서 장애물을 피해 경로를 계획하며 목적지까지 이동할 수 있는 고수준의 자율비행 시스템은 연구가 진행 중인 분야이다.

 

   자율비행 시스템의 상황 대처 능력이 완벽하지 않은 상황에서 소형 무인 항공기의 자율 운용에서의 시급한 과제들 중 하나는 공중 충돌 방지이다. 1km 이상의 고고도에서 비행하는 대형 항공기들과 달리 건물 높이의 저고도에서 비행하는 소형 무인 항공기들은 조류, 지상으로부터의 공격 또는 다른 무인 항공기 등 공중 충돌을 야기할 수 있는 요인들이 다양하다. 특히 근래 소형 무인 항공기의 대부분을 차지하게 된 멀티콥터의 경우에는 고정익기와 달리 활강할 수 있는 수단이 전무하며, 로터의 손상이 곧바로 비행 불능으로 이어질 수 있기에 공중 충돌에 더욱 취약하다. 따라서 다른 비행 물체와의 충돌 가능성을 사전에 인지하고 필요에 따라 충돌을 방지하기 위한 기동을 수행할 수 있는 공중 충돌 방지 시스템의 필요성이 대두되고 있다.

 

   본 연구에서는 무인 항공기에 장착된 스테레오 카메라를 이용한 공중 충돌 가능성 인지 및 회피 기동 결정 시스템을 설계 및 시험하였다. 스테레오 카메라는 주변 환경에 이미지 정보에 더해 특정 물체까지의 거리를 추정할 수 있는 기능을 갖춘 카메라로, 고차원의 다양한 정보를 제공하나 그 중 필요한 정보를 추출하기 위한 각종 영상처리 알고리즘이 필요하다. 공중 충돌 방지 시스템의 요구 조건인 저지연성을 만족하기 위해 카메라의 운동 모델에 의한 이미지의 변화를 2차원 변환으로 근사하고, 배경 제거를 통해 카메라의 운동과 다른 특성을 지닌 영상의 영역을 추출한다. 영상 데이터의 특성과 2차원 변환 근사 과정에 의해 발생하는 잡음을 제거하기 위해 영상 필터와 이진화를 사용하며, 각각의 물체를 구분하고 시간의 흐름에 따라 추적하기 위해 군집화 및 추적 알고리즘을 사용한다. 추정 가능 거리에 제한이 있는 스테레오 카메라의 단점을 보완하기 위해 추정 가능 거리 밖에서는 2차원 이미지 상에서 물체를 추적하고, 추정 가능 거리 안으로 물체가 이동하면 설정된 문턱값에 따라 회피기동 여부를 결정하는 방식을 사용한다. 해당 을 스테레오 카메라 및 제어 컴퓨터가 탑재된 쿼드로터 무인기에 구현하여 회피 기동을 시험하고 운용 조건에 따른 적절한 작동 변수를 도출하였다.

 

 

 

<그림 1> 회피 기동 시스템 구성

 

 

   본 시스템은 크게 탐지-인식-추적-판단 및 기동 단계로 구성되어 있으며, 첫 번째 절차인 탐지 단계에서는 투영 변환과 광학 흐름 등의 영상처리 기법을 사용해 “배경 제거”기법을 구현하였다. 배경 제거를 통해 카메라(기체)의 움직임으로 인해 움직이는 것처럼 보이는 배경 영역과 실제로 움직이고 있는 물체가 존재하는 영역을 논리적으로 구분하는 것이 가능하다. 영상 데이터 특유의 불명확한 요소들과 투영 변환 근사 과정에서의 잡음을 없애기 위해 다양한 필터링 및 이진화 작업을 수행하였다.

 

<그림 2> 투영 변환을 이용한 물체들의 모습 변화 근사 과정

 

 

<그림 3> 투영 변화를 이용한 배경 제거 프로세스

 

 

   두 번째인 인식 절차에서는 움직이는 물체가 탐지된 영역들을 군집화해 독립된 물체들을 인식하는 작업이 이루어진다. 이를 위해 DBSCAN이라 불리는 군집화 방법론이 적용되었으며, 군집화와 동시에 잡음 필터링의 효과가 있도록 영역의 넓이 정보를 이용하여 잡음과 물체를 구분할 수 있는 부분을 추가적으로 구현하였다.

 

<그림 4> 변형된 DBSCAN 알고리즘 작동 개념도

 

 

   세 번째인 추적 절차에서는 매 영상 프레임마다의 이동 물체 탐지 결과를 시간의 흐름에 따라 연관지어 각각의 독립된 물체의 이동 경로를 연속적으로 추적하게 된다. 추적 알고리즘에는 독립된 물체를 구분하고 탐지 결과를 연관짓기 위해 식별과 탐지 알고리즘이 내장되어 있으며, 물체가 시야에 들어오거나 사라지는 과정을 포착하는 구분 절차 또한 내장되어 있다. 또한 이 세 가지 절차를 통해 잠깐 동안의 오탐지나 탐지 실패를 추가적으로 필터링하는 것이 가능해진다.

 

 

<그림 5> 거리 기반 추적 알고리즘 작동 개념도

 

 

   판단 및 기동 단계에서는 물체와의 거리를 기준으로 회피 기동의 여부 및 방향을 결정한다. 구체적으로는 물체가 안전 영역 내로 접근하면 미리 설정한 복수의 문턱값의 침범 여부를 기준으로 회피기동을 결정하게 되며, 안전 영역 내의 물체는 적대적 물체로 인식하고, 이 물체가 회피 기동 문턱값 거리 내로 다가오면 회피기동을 수행한다. 만약 최초 탐지 시의 거리가 긴급 정지 문턱값 거리 이하라면 충돌 가능성이 크다고 판단하고 긴급 정지를 수행한다.

 

 

<그림 6> 회피기동 판단 및 수행 기준

 

 

   해당 시스템을 시험하기 위해 제어 컴퓨터와 스테레오 카메라가 장착된 쿼드로터 무인기에 시스템을 통합하여 다양한 시나리오에서의 실험을 진행하였다. 자율적으로 전진 비행 중인 무인기에 물체를 투척하여 인식 및 추적 결과에 따라 적절한 방향으로 회피 기동을 성공적으로 수행하는지 확인하였으며, 그 과정에서 기체 자신과 물체의 경로를 로깅하는 작업을 수행하였다. 시험용 하드웨어 플랫폼의 모습과 회피 기동 수행 모습, 그리고 획득된 경로 데이터는 다음과 같다.

 

<그림 7> 시험용 하드웨어 플랫폼

 

 

<그림 8> 회피 기동 수행 모습

 

 

<그림 9> 회피 기동 상황에서 기록된 기체와 물체의 이동 경로

 

 

<그림 10> 기체 시점에서의 장애물 관측 및 인지

 

 

   본 연구에서는 자동 비행 중인 무인기의 공중 충돌 방지를 위한 시각 기반 능동적 회피 기동 시스템을 제안하였다. 투영 변환과 광학 흐름을 이용한 배경 제거와 이동 물체 탐지 및 필터링과 이진화를 이용한 잡음 제거, 군집화 알고리즘을 이용한 독립 물체 인식, 거리 기반 추적 알고리즘을 이용한 물체 경로 추정, 스테레오 카메라의 거리 추정을 이용한 회피기동 여부 및 방향 판단 등이 구현되었다. 특히 본 시스템은 상대적으로 저가인 카메라 센서만을 사용하여 실시간 처리 성능의 구현에 성공하였으며, 향후 시스템의 독립된 구성 요소를 다른 알고리즘 등으로 대체하여 성능을 개선하고 예측 절차를 포함하여 선제적 대응이 가능한 시스템으로 발전시킨다면 실기체에 완성된 비행 안전 시스템으로써 포함되어 보다 안전한 무인 운용에 기여할 수 있을 것으로 기대된다.

 

 

---

 

 

 

원문          박정환[jhpark97@kaist.ac.kr]

편집          이규진[pos2323@kaist.ac.kr]