Bayes Theory를 이용한 도로 영상 분할

식 (1)에서 부류를 나타내는 $X$는 차선($L$), 도로($P$), 물체($O$), 기타($U$)의 4가지이다. $X=[L, P, O, U]$이다. Given $z$(측정값, 즉 어떤 하나의 픽셀이 주어졌을 때)에서 사후 확률(이 픽셀이 4가지의 부류 중에서 어디에 속할지를 나타내는 $X$를 결정하는)을 바로 계산할 수가 없기 때문에 베이스 이론을 적용하여 우도(likelihood)와 사전 확률(prior)을 통해 계산하고자 한다.

           $p(X|z) = {p(z|X)p(X) \over p(z)}$                                                           (1)

(1) 우도의 계산

우도는 $p(z|X)$이고 우도 계산에 사용할 측정 데이터는 2가지가 존재한다. 하나는 원 이미지(흑백 이미지) 데이터에서 나온 확률 분포이다.

           $p(i|X)$                                                                                                    (2)

다른 하나는 차선추출을 위해 적용한 모폴로지 필터가 적용된 결과 영상에서 나온 분포이다.

           $p(L|X)$                                                                                                   (3)

그런데 두 데이터의 측정은 서로 독립적이다. 따라서

           $p(z|X) = p(i|X)p(L|X)$                                                                                   (4)

이다.  이제 남은 문제는 $p(i|X)$와 $p(L|X)$의 결정이다. 서로 관계가 없으므로 $p(i|X)$만 따로 결정해 보고, 이 방법을 $p(L|X)$를 결정하는데 그대로 사용한다.

$p(i|X)$에서 부류 $X$는 4가지이고, 각각의 부류는 정규분포(normal distribution)을 가진다고 가정하자.  그러면 $p(i|X)$는 4가지의 부류가 서로 합성된 분포, 즉 Gaussian분포 4개가 섞인 혼합모델이 된다. 즉 Gaussian Mixture Model(GMM)이다.

따라서 지금부터 문제는 GMM 분포의 4개의 분포를 결정하는 문제가 된다. 4개의 분포는 8개의 파라메타를 가진다. 평균 4개와 분산 값 4개이다. 즉, 주어진 데이터를 사용하여 8개의 파라메타를 결정해야 한다.  데이터는 픽셀의 밝기 값이다.  원 영상을 평면 변환(plane homography)한 영상의 각 픽셀에 대해 이 픽셀이 4개의 부류 중에서 어디에 속할 것 인지와 이 소속도를 가지고 각 부류의 평균, 분산을 계산하여야 한다.

GMM 모델은 EM(Expectation and Maximization) 알고리즘을 이용하여 풀어지는데 EM 알고리즘은 먼저 이미지 내의 각 픽셀이 4개의 부류 중에서 어디에 속할 것인지의 소속 확률을 가정한다.

초기에 아무 지식이 없다면 어떤 픽셀이 0.25의 크기로 각 분포에 속한다고 가정할 수 있다(E 단계).

다음 이 소속도를 사용하여 4가지 분포의 평균, 분산, 각 분포의 가중치 파라메터 값들을 계산한다 (M 단계).

이 값들을 사용하면 다시 각 픽셀들의 4가지 분포에 대한 소속도를 갱신하는 것이 가능하다(다시 E 단계).

소속도가 갱신 되었으니 다시 평균, 분산, 가중치의 갱신이 가능하다(다시 M 단계).

이러한 과정을 반복하고 수렴하면 각 픽셀이 4가지 부류의 어디에 속하는지를 정확하게 계산하는 것이 가능하다. 파라메터를 모두 얻으면 $p(i|X)$값이 GMM 모델로서 완전하게 결정된다.

이러한 과정을 $p(L|X)$에 대해서도 동일하게 적용하면 $p(L|X)$의 파라메터들을 얻는 것도 가능하다.

그런데 EM 알고리즘의 보다 정확한 수렴을 위해서는 초기 값을 잘 설정해야 하는데 논문에서는 각 픽셀의 초기 소속도를 얻기 위한 전처리 기법이 나와 있다. 잘 분할된 초기 값에서 출발하면 정확한 파라메터를 쉽게 얻을 것이다. 

(2) prior 확률 $p(X)$를 계산  

우도를 결정하였으므로 Bayes 식 적용을 위해서는 사전 확률 $p(X)$를 계산하여야 한다. 그런데 도로 영상은 차량에 설치된 카메라에서 볼 때 시간 축에서 비슷한 영상이 연속적으로 취득된다. 두 연속 영상은 비슷하다. 따라서 $p(X)$는 이전 영상의 사후 확률을 다음 단계의 사전 확률로 그대로 사용해도 무관하다.

첫 프레임에는 사전 확률은 균일하게 두고 사용할 수 있을 것이다.  또, 터널 진출입과 같이 밝기 분포가 급격하게 바뀌는 경우만 따로 취급할 수 있다(논문 참조).

우도와 사전 확률이 모두 결정되었으면 Bayes 모델을 새로운 Test 영상에 대해 적용한다. Test 영상 내의 각 픽셀 측정치 $z_i$의 밝기 값 $I_i$와 필터링 값 $L_i$는 Bayes 모델에 적용되고 $p(X_p|z_i)$, $p(X_L|z_i)$, $p(X_o|z_i)$, $p(X_u|z_i)$를 계산 후 가장 큰 확률을 가진 부류에 이 픽셀을 할당한다.

References

[1] M. Nieto et. al., Road environment modeling using robust perspective analysis and recursive Bayesian segmentation, Machine Vision and Applications, 2011.