:: The Journal of the Institute of Internet, Broadcasting and Communication ::, Vol.19 No.1 | (2019) pp.117~126

IoT 환경을 위한 빅데이터 기반 센서 데이터 처리 및 분석

Dong-Jin Shin

(준회원, 한국산업기술대학교 스마트팩토리융합학과 석사과정)

Ji-Hun Park

(준회원, 한국산업기술대학교 컴퓨터공학과 학부생)

Ju-Ho Kim

(준회원, 한국산업기술대학교 컴퓨터공학과 학부생)

Kwang-Jin Kwak

(준회원, 한국산업기술대학교 스마트팩토리융합학과 박사과정)

Jeong-Min Park

(정회원, 한국산업기술대학교 컴퓨터공학과 조교수)

Jeong-Joon Kim

(정회원, 한국산업기술대학교 컴퓨터공학과 조교수)

Abstract

IoT 환경에서 발생하는 데이터는 아주 다양하고, 4차 산업혁명의 발전으로 인해 특히 스마트팩토리와 같은 제조 설비 공장에서 발생하는 정형, 비정형 데이터도 확연하게 증가하는 추세이다. 이를 빅데이터 관련 솔루션을 이용하면 다양한 대용량 데이터의 수집, 저장, 처리, 분석 및 시각화 과정을 거쳐 정확한 분석 및 데이터 기반 의사결정을 통한 시스템의 개선 및 확장을 할 수 있다. 따라서 본 논문에서는 IoT 환경에서 사용되는 라즈베리 파이를 이용하여 직접 데이터를 생성하고, 다양한 빅데이터 솔루션을 이용하여 분석한다. 수집에는 Sqoop 솔루션을 이용하여 데이터베이스에서 HDFS로 수집 및 저장 하고, 처리에는 Hadoop과 연결되어 병렬 처리가 가능한 Hive 솔루션을 사용하여 데이터를 처리한다. 마지막으로 범용적으로 쓰이는 R 프로그래밍을 통해 처리된 데이터를 분석 및 시각화하여 최종 검증하고자 한다.
The data generated in the IoT environment is very diverse. Especially, the development of the fourth industrial revolution has made it possible to increase the number of fixed and unstructured data generated in manufacturing facilities such as Smart Factory. With Big Data related solutions, it is possible to collect, store, process, analyze and visualize various large volumes of data quickly and accurately. Therefore, in this paper, we will directly generate data using Raspberry Pi used in IoT environment, and analyze using various Big Data solutions. Collected by using an Sqoop solution collected and stored in the database to the HDFS, and the process is to process the data by using the solutions available Hive parallel processing is associated with Hadoop. Finally, the analysis and visualization of the processed data via the R programming will be used universally to end verification.
  IoT; Raspberry Pi; Big Data; Data Sensing; Verification

Download PDF List