Research Highlight

---

 

- A Study on Deep Learning based Automated Aerial Docking System -

 

   이번 리서치 하이라이트에서는 2021년 10월에 ICAS Congress Pitch Competition에 참가하여 최종 Winner로 선정된 최재용 박사의 (한재흥 교수님 연구실 졸업, 현재 LG전자 CTO 재직 중) “A Study on Deep Learning based Automated Aerial Docking System” 연구를 소개하도록 하겠습니다.

 

 

 

   무인 항공 시스템(Unmanned Aerial System, UAS)의 넓은 활용성과 중요성이 강조됨에 따라, 지속적으로 관련 연구 및 개발이 활발하게 진행 중이다. 초기 무인 항공기는 조종사의 희생을 줄이기 위한 군사 목적이었으나, 현재는 재난구조, 기상관측, 경비, 산림감시, 드론 배송 등 민간 분야로 활용 범위가 점차 커지고 있다. 최근 무인 항공기(UAV)와 컴퓨팅 기술(Computing Technology)의 큰 발전으로 인해, 첨단 무인 항공 시스템 기술 발전 속도가 빨라지고 있다. 스마트 무인 항공기 개발 과정에서 인공지능 (Embedded Artificial Intelligence) 기술을 적용하면 위험하고 복잡한 임무 수행을 스마트 무인 항공기를 통해 수행할 수 있다.

 

   스마트 무인 항공기의 임무 수행 시간을 연장하기 위해, 자동 공중급유(Automated Aerial Refuleing, AAR) 및 모선-자선 무인 항공기(Parent-child Unmanned Aerial Vehicle, PCUAV)와 같은 시스템의 연구가 관심을 받고 있다. 공중급유는 1번의 급유로 감당하기 어려운 장거리 작전이나 체공 시간이 많이 요구되는 작전에 효율적으로 사용된다. 하지만 고속으로 비행하는 기체들이 근접한 상태로 비행을 하고, 연결된 상태를 유지해야 하므로 전투기 조종사의 높은 기량과 공중급유기의 기술요원(boom operator)의 정교한 조작 능력을 요구한다. 따라서 자동화 시스템에 관한 연구가 크게 주목을 받고 있다. 또한, 최근 무인기 기술의 급속한 발달과 더불어 기존 유인기와 무인기간 통합 운용에 대한 중요성이 높아지고 있다. 1998년 MIT(Massachusetts Institute of Technology)와 미국 DARPA 연구소에서 처음으로 소개된 모선-자선 형식의 군사용 무인 항공 시스템이 최근 들어 다시 큰 관심을 받고 있다. 모선-자선 형식의 무인 항공 시스템은 장시간의 원거리 임무수행과 함께 근거리의 근접감시 및 공격이 가능한 큰 장점을 갖고 있다. 

 

   본 연구에서는 <그림1>과 같이 자동 공중급유와 모선-자선 형식의 무인 항공 시스템에 반드시 요구되는 공중 분리/재결합 시스템을 제안했다. 공중에서 높은 확률의 결합을 위해 쌍안정성(Bi-stable)을 갖는 Probe-and-Drogue 형식의 공중 분리/재결합 장치를 제작하였다. 또한, 공중 결합의 높은 견고성을 위해 심층학습 기반 Drogue Detection 및 Tracking 시스템을 개발하였다. 개발된 공중 분리/재결합 장치와 심층학습 기반 탐지 및 추적 시스템의 성능평가 및 반복성 시험을 위해, 두 개의 로봇팔과 드론을 이용하였다.

 

 

<그림1> 공중 분리/재결합 장치의 사용 예시

 

 

 

   분리/재결합의 견고성을 높이기 위해, 쌍안정성 특성을 갖는 공중 분리/재결합 장치를 <그림2>와 같이 설계하고, 3D 프린터를 이용해 제작하였다. 또한 장치에 비틀림 스프링(Torsional Spring)을 삽입하여, 작은 힘으로도 장치가 쉽고 빠르게 닫히도록 하였다. 장치는 열림상태(Opened State)와 닫힘상태(Closed State), 두개의 안정 상태를 갖게 된다. 스프링의 개수와 장치를 닫기 위해 요구되는 힘은 선형성을 갖고 있다. 따라서 스프링의 개수 또는 스프링 상수를 수정하며, 무인기 성능에 맞도록 재설계가 가능하다. 분리를 위해 장치에 형상기업합금 스프링(SMA Spring)을 부착하여, <그림3>과 같이 닫힌 장치를 다시 열도록 하였다.

 

<그림2> 공중 분리/재결합 장치

 

<그림3> SMA Spring을 이용한 분리/재결합 장치의 분리 시험

 

 

 

   모델링 된 분리/재결합 장치의 동적해석(Dynamic Analysis) 결과와 3D프린터로 제작된 분리/재결합 장치의 동적해석 결과를 실험적으로 비교하였다. 로봇팔과 모션 캡쳐 카메라(Stereo Motion Capture Camera)를 이용하여, 분리/재결합 장치의 동적해석을 <그림4>와 같이 진행하였다. 본 시험을 통해 (1) 결합 시 장치를 닫기 위해 요구되는 힘, (2) 결합 시 장치가 닫히는 속도, (3) 분리 시 장치를 열기 위해 요구되는 힘, (4) 분리 시 장치가 열리는 속도를 <그림5>와 같이 측정하였다.

 

 

<그림4> 로봇팔을 이용한 분리/재결합 장치의 동적해석 시험

 

 

(a) 결합, 분리 시 요구되는 힘 분석 결과

 

(b) 결합, 분리 시 장치의 작동 속도 분석 결과

<그림5> 분리/재결합 장치의 동적해석 결과

 

 

 

   공중에서 물체를 효과적으로 탐지(Detection)하기 위해, 영상 기반 딥러닝 기법을 본 연구에 적용하였다. 객체 탐지(Object Detection)는 이미지나 영상 내의 물체의 종류와 그 위치를 정확하게 찾는 컴퓨터 비전 기술이다. 일반적인 컴퓨터 비전 기술로 객체 탐지에 관한 연구는 많이 진행되어 왔다. 하지만 특정 모양을 갖는 물체(원, 네모 등)만 인식이 잘 됐으며, 영상 속 빛의 밝기정도와 같이 주변 환경에 따라 성능 차이가 많이 발생했다. 특히 항공기에 적용 시에는 햇빛의 밝기가 큰 변수로 작용되어, 연구의 한계점을 보이곤 했다.

   하지만 딥러닝 기법을 이용하면 보다 쉽고, 정확하게 특정 물체를 탐지할 수 있다. 본 연구에서는 약 1,000장의 분리/재결합 장치 사진을 이용해 컨볼루션 뉴럴 네트워크(CNN) 모델을 학습시켰다. 본 연구에서 사용된 모델은 Single-Stage Detector 중 잘 알려진 YOLOv4-Tiny 모델을 사용하였다. 또한 ARM Onboard Computer에 적용하여, 실제 항공기에 탑재할 수 있도록 제작하였다. 영상 기반 딥러닝을 통해 탐지된 분리/재결합 장치의 위치를 실시간으로 받기위해, 점군 데이터(Point-Cloud)를 적용하였다. 점군 데이터는 Lidar 센서, RGB-D 센서 등으로 수집되는 데이터를 의미한다. 이러한 센서들은 물체에 빛/신호를 보내서 돌아오는 시간을 기록하여 거리 정보를 계산하는 기법이다. 본 연구에서는 RGB-D 카메라를 이용하여, 탐지된 분리/재결합 장치의 위치를 실시간으로 <그림6>과 같이 얻었다.

 

 

(a) 영상 기반 딥러닝 기법을 이용한 분리/재결합 장치 탐지 결과

 

(b) Point-Cloud 기법을 적용한 분리/재결합 장치의 실시간 추적 결과

<그림6> ARM 기반 Onboard Computer에서 적용된 실시간 Detection 및 Tracking 결과

 

 

   본 연구에서 개발된 분리/재결합 장치와 영상 기반 딥러닝 Detection 및 Tracking 알고리즘의 성능 검증과 반복성 시험을 위해, <그림 7>과 <그림 8>과 같이 두 개의 로봇팔과 드론을 이용하였다.

 

<그림7> 두 대의 로봇팔을 이용한 자동 도킹 시험

 

<그림8> 드론을 이용한 자동 공중 도킹 시험

 

 

 

원문             최재용[ajchoi@kaist.ac.kr]

편집          이규진[pos2323@kaist.ac.kr]