:: The Journal of the Institute of Internet, Broadcasting and Communication ::, Vol.20 No.6 | (2020) pp.1~6
차량에서 배출되는 대기 오염 물질의 빅 데이터에 대한 병렬 데이터 처리 모델의 강화 및 성능 최적화에 관한 연구
Abstract
도로이동 오염원 대기환경 빅데이터는 상시 교통량 조사장비인 AVC, VDS, WIM, DTG를 활용한 차종, 속도, 하중 등 실시간 교통류 데이터와 GIS를 활용한 도로형상(오르막, 내리막, 회전구간) 데이터를 연계한 교통류 데이터로 구성되어 있다. 또한, 일반적인 데이터와 달리 단위시간 당 데이터가 많이 발생하고, 다양한 포맷을 가지고 있다. 특히, 이들 상세 교통류 정보로 수집되는 대용량의 실시간 데이터들은 약 총 740만 건/시간 이상이 수집되어 저장 및 가공되 기 때문에 효율적으로 데이터를 처리할 수 있는 시스템이 필요하다. 따라서 본 연구에서는 도로이동 오염뭔 대기환경 빅데이터 시각화를 위한 오픈소스 기반의 데이터 병렬처리 성능 최적화 연구를 수행한다.
Road movement pollutant air environment big data is a link between real-time traffic data such as vehicle type, speed, and load using AVC, VDS, WIM, and DTG, which are always traffic volume survey equipment, and road shape (uphill, downhill, turning section) data using GIS. It consists of traffic flow data. Also, unlike general data, a lot of data per unit time is generated and has various formats. In particular, since about 7.4 million cases/hour or more of large-scale real-time data collected as detailed traffic flow information are collected, stored and processed, a system that can efficiently process data is required. Therefore, in this study, an open source-based data parallel processing performance optimization study is conducted for the visualization of big data in the air environment of road transport pollution.
Big Data,Pollutants,Vehicles,HDFS,Map-Reduce
