:: The Journal of the Institute of Internet, Broadcasting and Communication ::, Vol.23 No.6 | (2023) pp.33~39
강화학습 기반 무인항공기 이동성 모델에 관한 연구
Abstract
최근 비행 애드-훅 네트워크(Flying Ad-hoc Network) 환경에서 강화학습을 이용한 통신 성능 개선과 이동성 모델 설계에 관한 연구가 진행되고 있다. 무인항공기(UAV)에서의 이동성 모델은 움직임을 예측하고 제어하기 위한 핵심 요소로 주목받고 있다. 본 논문에서는 무인항공기가 운용되는 3차원 가상 환경을 구현하고, 무인항공기의 경로 최적화를 위해 푸리에 기저 함수 근사를 적용한 Q-learning과 DQN 두 가지 강화학습 알고리즘을 적용하여 모델을 설계 및 성능 을 분석하였다. 실험 결과를 통해 3차원 가상 환경에서 DQN 모델이 Q-learning 모델 대비 최적의 경로 탐색에 적합한 것을 확인하였다.
Recently, reinforcement learning has been used to improve the communication performance of flying ad-hoc networks (FANETs) and to design mobility models. Mobility model is a key factor for predicting and controlling the movement of unmmaned aerial vehicle (UAVs). In this paper, we designed and analyzed the performance of Q-learning with fourier basis function approximation and Deep-Q Network (DQN) models for optimal path finding in a three-dimensional virtual environment where UAVs operate. The experimental results show that the DQN model is more suitable for optimal path finding than the Q-learning model in a three-dimensional virtual environment.
Deep-Q Network,Flying Ad-hoc Network,Fourier Basis,Reinforcement Learning,Q-learning
