2년 전, 스위스 취리히 대학교의 다비데 스카라무자(Davide Scaramuzza)의 연구소의 로봇공학자들은 등산객의 머리에 장착한 카메라로 촬영한 사진 세트를 이용하여 심층신경망을 훈련시켰다. 이를 이용하여 저렴한 드론을 숲길로 띄울 수 있었다. 이처럼 이러한 기술을 이용하여 최소한의 온보드 센서와 컴퓨터를 통해 완전히 자율비행 할 수 있는 드론을 만들고 훈련 데이터를 수집한다.
아직 온라인으로 구매한 물건을 배달하는 드론을 아직 현실에서 만날 수 없는 이유 가운데 하나는 이러한 자율 드론이 곤란한 상황에서는 임무를 제대로 수행하지 못하는 경향이 있기 때문이다.
기술적 어려움 가운데 하나는 카메라 데이터를 만들고 해석하는데 걸리는 시간이다. 주변을 감시하는 표준적인 카메라를 이용한 자율 주행 드론은 자신의 위치를 갱신하는 데 1/5초 정도 소요되며 이것은 통상적인 운행 조건에서는 충분하다. 그러나 예기치 않은 상황을 처리하기에는 충분하지 않다.
미국 매사추세츠 공대(MIT) 정보 및 판단 시스템 연구실(Laboratory for Information and Decision Systems)의 연구자인 안드레아 센시(Andrea Censi)는 이러한 문제에 대한 해답이 기존의 카메라를 사건(event) 기반의 새로운 형태의 센서로 보완하는 것이 될 수 있다고 생각한다. 이 센서는 뇌신경 센서(neuromorphic sensor)라고도 하며, 초당 백만 번의 측정이 가능하다.
안드레아 센시와 스위스의 취리히 대(University of Zurich) 다비데 스카라무자(Davide Scaramuzza)는 로봇공학 및 자동화 관련 국제 학술회의(International Conference on Robotics and Automation)에서 사건 기반의 센서로부터 얻은 데이터를 처리하기 위하여 최초 상태 추정 알고리즘(first state-estimation algorithm)을 발표했다. 이 알고리즘은 로봇이 자신의 위치를 판단하는 데 사용하는 알고리즘으로, 이 알고리즘으로 동작하는 로봇은 1/1,000초 정도마다 자신의 위치를 갱신할 수 있어서 훨씬 더 날렵한 동작을 수행할 수 있다.
안드레아 센시는 ‘통상적인 카메라는 센서 배열과 시계를 가지고 있다. 초당 30프레임의 카메라를 가지고 있다면, 매 30밀리 초마다 모든 값을 정지시키고 이 값들이 순서대로 판독된다"고 말했다. 반면 사건 기반의 센서의 경우 각각의 화소는 독립적인 센서로 동작한다. 양의 방향이든 음의 방향이든 밝기(luminance)의 변화가 한계 값보다 크면 해당 화소는 자신이 흥미로운 어떤 것을 보았다고 말하면서 이 정보를 사건(event)으로 전달한다. 센서는 또 다른 변화가 있을 때까지 기다린다’고 말했다.
표준 알고리즘이 로봇에 설치된 카메라로부터 이미지를 수신하면, 우선 물체 간의 경계로 볼 수 있는 색깔이나 색조의 단계적 변화인 특징(feature)을 식별한다. 그런 다음 알고리즘은 새로운 관점에서 많이 변하지 않으리라고 여겨지는 이러한 특징들의 부분집합을 선택한다.
30밀리 초 후에 카메라가 다시 영상을 촬영할 때, 알고리즘은 동일한 형태의 분석을 수행하고, 두 이미지 간에 일치하는 특징을 찾는다. 이러한 과정은 시행착오 방법으로 수행되며, 얼마나 장면이 변화되었는가에 따라 50~250밀리 초 정도의 시간이 소요된다.
대부분의 자율비행 드론은 지도를 구축하고 자신을 지도에 적응시킨 후 비행하게 된다. 이것이 안전하며 확실히 신뢰할 수 있는 방법이다. 그러나 이러한 방식은 크고 복잡하며 매우 비싸고 에너지를 많이 소비하는 센서와 컴퓨터를 필요로 한다. 상업용 드론에는 이러한 방식을 적용하는 것이 어렵다.
다행히 모든 하드웨어를 데이터 중심으로 대체할 수 있다. 충분한 데이터세트를 이용하여 신경망이 복잡하지 않은 행동에 반응하도록 교육할 수 있다. 그러나 도시와 같은 복잡하고 실제적인 환경에서 교육데이터를 쉽게 수집하기는 매우 어렵다. 자율주행자동차를 이용하면 도시 환경에서 이용할 수 있는 데이터세트를 수집할 수 있기는 하지만 카메라 각도와 공중 충돌을 고려하지 않은 데이터로 인해 드론을 훈련시키는 데에는 이상적인 데이터가 아니다. 다비데 스카라무자 연구팀은 고프로 카메라를 자전거에 싣고 취리히 시내를 주행하며 교육데이터를 수집했다.
자율주행자동차와 자전거로 수집한 데이터세트는 자율주행드론을 훈련시키는 드로넷(DroNet) 훈련에 사용되었다.
안드레아 센시와 다비데 스카라무자의 알고리즘은 사건 기반의 센서에 의하여 보고된 사건으로 카메라 데이터를 보충한다. 이 사건 기반의 센서는 공동연구자로, 스위스 취리히에 있는 신경정보 연구소(Institute for Neuroinformatics)의 토비 델브뤼크(Tobi Delbruck)에 의하여 설계되었다.
이 새로운 알고리즘이 가지는 첫 번째 장점은 특징을 식별할 필요가 없다는 것이다. 모든 사건은 본질적으로 밝기(luminance)에서의 변화이며, 이것은 특징(feature)을 정의하는 것이다. 더구나 이 알고리즘은 여러 예비 특징들에 상응하여 로봇이 얼마나 이동하였는지에 대한 가설을 생성한다. 충분한 사건들이 축적된 후에 알고리즘은 단순하게 가장 빈번하게 나타난 가정을 선택한다. 카메라와 사건 기반의 센서가 설치된 로봇이 포함된 실험에서, 이 알고리즘은 기존의 상태 추정 알고리즘만큼 정확하다는 것을 증명하였다.
미국 펜실베이니아 대학교(University of Pennsylvania)의 비제이 쿠마르(Vijay Kumar)가 최근 4개의 회전자를 가진 드론인 쿼드로터(quadrotor)를 이용하여 놀랍도록 유연한 동작을 수행할 수 있음을 시연한 실험은 이 새로운 연구에 영감을 제공하였다. 이 실험에서 비제이 쿠마르는 초당 1,000개의 노출을 포착하는 일련의 외부 카메라를 이용하여 로봇의 위치를 판단하였다.
안드레아 센시와 그의 동료 연구자들은 신뢰성 있는 상태 추정 알고리즘을 가지고 있기 때문에, 다음 단계는 이러한 상태 추정에 기초하여 무엇을 수행할지를 결정하는 제어 알고리즘을 개발하는 것이라고 안드레아 센시가 전했다. 이것은 매사추세츠 공대(MIT) 우주항공공학과 교수인 에밀리오 프라졸리(Emilio Frazzoli)와 함께 현재 진행하고 있는 공동 연구의 주제이다.