:: The Journal of the Institute of Internet, Broadcasting and Communication ::, Vol.22 No.3 | (2022) pp.1~8
위치 분포 및 그래프 절단에 의한 모발 분류와 영역 분할
Abstract
최근 소개된 구글 MediaPipe의 모발 분할 방식은 실시간 모바일 애플리케이션을 위해 특별히 설계된 단일 카메 라 입력에서 신경망 기반 모발 분할을 위한 새로운 접근 방식을 제시한다. 상대적으로 작은 신경망으로 가상 머리카락 다시 칠하기와 같은 증강 현실 효과에 매우 적합한 고품질 머리카락 분할 마스크를 생성한다. 그렇지만, 모발 스타일 또는 모발 영역에 잡음이 있는 경우에 모발 분할 정확도가 떨어지는 문제점들이 있다. 이에 본 연구에서는 지정된 라벨 에서 모발 위치와 모발 색상 가능성의 추정된 사전 분포에 따라 이미지의 에너지 함수를 구성하고, 이것을 그래프 절단 알고리즘에 따라 최적화시키는 방식으로 초기 모발 영역을 얻는 방식을 도입한다. 그런 다음에, 초기 모발 영역에 클러스 터링 알고리즘과 사후 처리 기법을 적용하여 최종 모발 영역을 정밀하게 분할 할 수 있도록 한다. 제안된 방식은 MediaPipe의 모발 분할 파이프라인에 적용된다.
Recently, Google MedeiaPipe presents a novel approach for neural network-based hair segmentation from a single camera input specifically designed for real-time, mobile application. Though neural network related to hair segmentation is relatively small size, it produces a high-quality hair segmentation mask that is well suited for AR effects such as a realistic hair recoloring. However, it has undesirable segmentation effects according to hair styles or in case of containing noises and holes. In this study, the energy function of the test image is constructed according to the estimated prior distributions of hair location and hair color likelihood function. It is further optimized according to graph cuts algorithm and initial hair region is obtained. Finally, clustering algorithm and image post-processing techniques are applied to the initial hair region so that the final hair region can be segmented precisely. The proposed method is applied to MediaPipe hair segmentation pipeline.
Clustering,Energy function,Hair segmentation,Location distribution,Mediapipe
