:: The Journal of the Institute of Internet, Broadcasting and Communication ::, Vol.21 No.1 | (2021) pp.69~77
영상 처리와 딥러닝을 이용한 악보 코드 변환 프로그램
Abstract
본 논문은 사용자가 입력한 PDF 악보를 사용자가 원하는 조(chord)의 MIDI 파일로 제공하는 앱의 개발을 다룬 다. 이 앱은 사용자가 PDF 악보 파일과 바꾸고자 하는 조를 입력하면 조 변환을 위해 PDF 파일을 PNG 파일로 변환한 다. 이를 영상 처리 알고리즘을 통해 악보의 음계를 인식하여 구분하고, 딥러닝을 통해 악보 음표의 박자를 인식하여 구분한다. 이를 통해 사용자가 원하는 조와 기존 악보의 MIDI 파일을 제공한다. 개발한 영상 처리 알고리즘과 딥러닝은 2, 4, 8, 16분 음표, 2, 4, 8, 16분 쉼표, 잇단 음표, 화음 음표가 인식 가능하다. 실험결과 악보의 음표 인식률 100%, 딥러닝 모델을 통한 박자 인식률은 90% 이상인 것을 확인하였다.
This paper deals with the development of an application that converts the PDF music score entered by the user into a MIDI file of the chord the user wants. This application converts the PDF file into a PNG file for chord conversion when the user enters the PDF music score file and the chord which the user wants to change. After recognizing the melody of sheet music through image processing algorithm and recognizing the tempo of sheet music notes through deep learning, then the MIDI file of chord for existing sheet music is produced. The OpenCV algorithm and deep learning can recognize minim note, quarter note, eighth note, semi-quaver note, half rest, eighth rest, quarter rest, semi-quaver rest, successive notes and chord notes. The experiment shows that the note recognition rate of the music score was 100% and the tempo recognition rate was 90% or more.
Music Score,Chord Conversion,MIDI,OpenCV,Deep Learning
