컴퓨터 비전(Optical Flow, MoCap, VIO, Avoidance)

컴퓨터 비전은 컴퓨터가 실재하는 환경을 시각 데이터를 활용하여 이해할 수 있게 하는 기술입니다.

PX4는 다음 기능을 지원하기 위해 컴퓨터 비전 시스템(보조 컴퓨터에서 주로 실행)을 활용합니다.

광학 추적(Optical Flow) 기술은 2차원 평면상의 속도 추정 정보를 제공합니다(아래 방향으로 향한 카메라와 아래 방향으로 향한 거리 센서 활용).
움직임 촬영(Motion Capture) 기술은 기체 외부의 비전 시스템을 통해 3차원 자세 추정 정보를 제공합니다. 실내 운행에 주로 활용합니다.
시각적 관성 주행 측정 기술은 내장 비전 시스템과 관성 측정부(IMU)를 활용하여 3차원 자세와 속도 추정 정보를 제공합니다. 광역 위치 정보가 빠져있거나 신뢰할 수 없을 때, 운행에 활용합니다.
장애물 회피 기술은 계획 경로를 비행할 때 장애물 주변의 완전한 이동 가능 공간 정보를 제공합니다(현재 missions에서 지원함). 이 기술은 보조 컴퓨터에서 실행하는 PX4/avoidance를 활용합니다.
충돌 방지 기술은 (주로 매뉴얼 모드로 비행할 때) 기체가 장애물로 돌진하기 전에 이동을 멈출 때 활용합니다.

Tip PX4 비전 자율 개발 키트 (Holybro)는 개발자들이 PX4 컴퓨터 비전 기술을 다루는데 활용할 수 있는 견고하고 저렴한 키트입니다. PX4 avoidance 프로그램을 미리 설치한 상태로 나오며, 개발자 여러분이 자체적으로 보유한 알고리즘을 시험해볼 수 있는 기반으로 활용할 수 있습니다.

움직임 촬영(Motion Capture) {#mocap}

움직임 촬영(Motion Capture, a.k.a MoCap)은 기체 외부의 위치 결정 방법으로 3차원 자세(위치와 방향) 를 추정하는 기술입니다. MoCap 시스템은 보통 적외선 카메라로 움직임을 감지하나, 광선 레이더, 광대역 주파(UWB) 형태 기술을 활용할 수도 있습니다.

Note MoCap은 GPS가 빠져있는 상황에서 기체 탐색 운용을 할 때 활용하며, 상대적인 로컬 좌표 체계 위치 정보를 제공합니다.

MoCap 기술에 대해 더 알아보려면 다음을 참고하십시오:

시각적 관성 주행 측정 {#vio}

시각적 관성 주행 측정(VIO) 기술은 로컬 시작점으로부터 상대적인 위치로 기체가 이동할 경우 3차원 자세 (위치와 방향)와 속도를 추정할 때 활용합니다. 보통 GPS가 빠졌거나 (예: 실내) 신뢰할 수 없을 때(예: 다리 아래로 비행할 경우) 기체 운행에 활용합니다.

시각적 관성 주행 측정(VIO) 기술은 관성 측정부(IMU)에서 시각 정보와 관성 측정 수치를 결합(저화질 이미지를 촬영하는 고속 기체 이동시 오류 보정)하여 기체의 자세를 추정하는 시각 주행 측정 기술을 활용합니다.

Note VIO 와 MoCap간의 차이점이 있다면, VIO 카메라/관성 측정부(IMU)는 기체 중심이며, 속도 정보가 추가로 붙습니다.

PX4의 VIO 설정 방법을 더 알아보려면 다음을 참고하십시오:

광류 센서(Optical Flow) {#optical_flow}

광류 센서(Optical Flow) 기술로 2차원 평면상의 속도를 추정합니다(아래 방향으로 향한 카메라와 아래 방향으로 향한 거리 센서 활용).

광류 센서(Optical Flow) 기술에 대해 더 알아보려면 다음을 참고하십시오:

외부 참고 자료

XTDrone - 컴퓨터 비전용 ROS + PX4 시뮬레이션 환경입니다. XTDrone 설명서에 시작에 필요한 모든 내용을 넣었습니다!