:: The Journal of the Institute of Internet, Broadcasting and Communication ::, Vol.21 No.3 | (2021) pp.59~66
실내 환경에서 Chirp Emission과 Echo Signal을 이용한 심층신경망 기반 객체 감지 기법
Abstract
인간은 오감 (시각, 청각, 후각, 촉각, 미각) 중 시각 및 청각 정보를 위주로 사용하여 주변 물체를 인식한다. 최신의 객체 인식과 관련한 주요 연구에서는 주로 이미지센서 정보를 이용한 분석에 초점이 맞추어져 있다. 본 논문에서 는 다양한 chirp 오디오 신호를 관측공간에 방출하고 2채널 수신센서를 통해 echo를 수집하여 스펙트럼 이미지로 변화 시킨 후 딥러닝을 기반으로 이미지 학습 알고리즘을 이용하여 3D 공간상의 객체 인식 실험을 진행하였다. 본 실험은 무향실의 이상적 조건이 아닌 일반적인 실내 환경에서 발생하는 잡음 및 echo가 있는 환경에서 실험을 진행하였고 echo를 통해 객체 인식률을 83% 정확도로 물체의 위치 추정할 수 있었다. 또 한 추론 결과를 관측공간과 3D Sound 공간 신호로 mapping 하여 소리로 출력하여 3D 사운드의 학습을 통해 소리를 통한 시각 정보를 얻을 수 있었다. 이는 객체 인식 연구를 위해서 이미지 정보와 함께 다양한 echo 정보의 활용이 요구된다는 의미이며 이런 기술을 3D 사운드 를 통한 증강현실 등에 활용 가능할 것이다.
Humans mainly recognize surrounding objects using visual and auditory information among the five senses (sight, hearing, smell, touch, taste). Major research related to the latest object recognition mainly focuses on analysis using image sensor information. In this paper, after emitting various chirp audio signals into the observation space, collecting echoes through a 2-channel receiving sensor, converting them into spectral images, an object recognition experiment in 3D space was conducted using an image learning algorithm based on deep learning. Through this experiment, the experiment was conducted in a situation where there is noise and echo generated in a general indoor environment, not in the ideal condition of an anechoic room, and the object recognition through echo was able to estimate the position of the object with 83% accuracy. In addition, it was possible to obtain visual information through sound through learning of 3D sound by mapping the inference result to the observation space and the 3D sound spatial signal and outputting it as sound. This means that the use of various echo information along with image information is required for object recognition research, and it is thought that this technology can be used for augmented reality through 3D sound.
Audio-Visual,Chirp,echolocator,Deep convolutional neural network (DCNN)
