아래에 주어진 코드는 DPM에서 사용하는 HOG특징에 대한 것이다. 주어진 영상(여기서는 480x640 pixels)에 대해 다수의 Octave를 구축하여 특징을 얻는다.
관심 물체(사람, 자전거, 자동차, ...)는 카메라와 물체 사이의 거리에 따라 영상 내에서 크기가 달라질 수 있다. 따라서, 모델 크기와 비교하여 달라질 수 있는 다양한 scale에 대해 물체 탐색(일반적으로 sliding window search을 사용)을 수행해야 한다.
다양한 스케일에 대해 물체를 탐색하기 위해 image pyramid를 사용할 수 있다. 먼저, 다양한 영상 크기를 만들고, 각각의 영상에 대해 HOG 특징 값을 추출하여 사용한다.
먼저 테스트할 영상을 입력한다.
>> im=imread('000034.jpg');
함수를 호출하여 특징을 추출한다. 10개의 octave를 구축한다. HOG 특징을 계산할 cell의 크기는 8 pixels을 사용한다.
DPM에서는 HOG를 coarse level과 fine level로 나누어 사용하는데, coarse level에서는 8x8 pixels patch에 대해 HOG를 추출하여 사용하며, fine level은 4x4 pixels patch에서 HOG를 추출하여 사용한다.
추출 순서는 먼저 coarse level에서 8x8 HOG에 의한 물체의 개략적 윤곽(외곽)을 이용하여 물체가 있을 수 있는 위치를 추출하고, 추출된 후보 위치에서 물체를 구성하는 part를 인식할 때는 fine level의 HOG를 사용한다.
>> [feat, scale] = featpyramid(im, 8, 10); % octave내의 스케일 수 = 10
>> size(feat)
ans =
46 1 % 전체 이미지 피라미드는 46단계로 구성
>> size(feat{1}) % 첫번째 영상 특징은 480x640 pixels 영상 크기에 대해
% 118x158개의 31차원 특징 벡터(4x4 cell HOG)가 얻어졌다.
ans =
118 158 31
>> size(scale)
ans =
46 1
아래는 함수의 코드이다.
HOG의 octave구축에 대한 자세한 내용은 code 내의 설명을 참고한다.
HOG의 octave구축에 대한 자세한 내용은 code 내의 설명을 참고한다.
function [feat, scale] = featpyramid(im, sbin, interval)
% [feat, scale] = featpyramid(im, sbin, interval);
% Compute feature pyramid.
%
% sbin is the size of a HOG cell - it should be even.
% interval is the number of scales in an octave of the pyramid.
% feat{i} is the i-th level of the feature pyramid.
% scale{i} is the scaling factor used for the i-th level.
% feat{i+interval} is computed at exactly half the resolution of feat{i}.
% first octave halucinates higher resolution data.
sc = 2 ^(1/interval); % sc=1.0718
imsize = [size(im, 1) size(im, 2)]; % 480x640
max_scale = 1 + floor(log(min(imsize)/(5*sbin))/log(sc)); % 36
feat = cell(max_scale + interval, 1); % 46
scale = zeros(max_scale + interval, 1); % 46
% our resize function wants floating point values
im = double(im);
for i = 1:interval % 1~10
% i=1일 때, scaled=480x640x3(color)
% ~i=10이면, scaled=257x343x3까지 작아짐
scaled = resize(im, 1/sc^(i-1));
% "first" 2x interval
feat{i} = features(scaled, sbin/2); % 118x158x31(i=1),fine level hog
scale(i) = 2/sc^(i-1); % 2
% "second" 2x interval
feat{i+interval} = features(scaled, sbin); %58x78x31(i=1),coarese level
scale(i+interval) = 1/sc^(i-1);
% remaining interals
for j = i+interval:interval:max_scale % j=11,21,31(i=1)
scaled = resize(scaled, 0.5); %240x320x3(i=1,j=11)
feat{j+interval} = features(scaled, sbin); %28x38,31(i=1,j=11)
scale(j+interval) = 0.5 * scale(j); % 0.5
end
% i=1일 때의 iteration에 대해
% feat: 1, 11, (21, 31, 41)이 계산됨(단, 괄호는 j루프에서 계산)
% i=2이면, feat: 2, 12, (22, 32, 42)가 계산...
% i=3, feat: 3, 13, (23, 33, 43), ...
% i=6, feat: 6, 16, (26, 36, 46)
% i=7, feat: 7, 17, (27, 37)
% i=9, feat: 9, 19, (29, 39)
% i=10, feat: 10, 20, (30, 40)
% feat{1~10}까지는 4x4 cell크기의 hog 특징 저장
% 정리하면,
% feat: 1~10까지는 480x640에서 257x343까지 작아지는 10개의 영상에 대해
% 4x4cell hog를 적용하여 특징을 추출한 것
% feat: 11~20까지는 480x640 -> 257x343로 점차 작아지는 영상(10단계)에 대해
% 8x8cell hog를 적용하여 특징 추출
% feat: 21, 31, 41, 480x640을 계속 절반씩 줄이면서(320x240->160x120->80x60)
% 8x8cell을 적용하여 특징을 추출한 것
% feat: 22, 32, 42, 448x597을 계속 절반씩 줄이면서(224x298->...)
% 8x8cell을 적용하여 특징을 추출한 것
% feat: 23, 33, 43, 418x557을 계속 절반씩 줄이면서(209x278->...)
% 8x8cell을 적용하여 특징을 추출한 것
% ... feat: ...
%
% feat을 grouping하면(이것을 octave라고 함)
% 1(480x640,4x4cell),11(480x640,8x8cell),21(240x320,8x8cell),31((120x160,
% 8x8cell),41((60x80,8x8cell)
% 2(448x597,4x4cell),12(448x597,8x8cell),22(224x298,8x8cell),
% 32(112x149,8x8cell),42((56x74,8x8cell)
% ...
% octave가 10개가 생김
end
References
[1] Compiling matlab mex file in Windows 64bit and Matlab 2010a 64bit with VS10.0(VS2010).
관리자 권한으로 매트랩 실행. 압축을 풀기위함. 이후 매트랩 실행시에는 관리자 권한으로 실행할 필요 없음.
>>unzip('d:\temp_mat\S2010MEXSupport.zip', matlabroot); %Matlab 2010a에서 Visual Studio 10.0(VS2010) 컴파일러를 연동시키기 위한 패치파일
>>mex -setup % Visual Studio 10.0 컴파일러를 선택한다.
>>yprime(1,1:4) %실행되지 않는다.
>>mex c:\mex\yprime.c %현재 폴더에 yprime.mexw64 파일이 생성된다.
>>yprime(1, 1:4) %실행됨
참고사항: Visual Studio 2008 SP1은 64bit 컴파일러를 기본적으로 설치하지 않기 때문에 64비트 매트랩 환경에서는 컴파일이 안될수도 있다.
http://www.mathworks.co.kr/support/solutions/en/data/1-6IJJ3L/?solution=1-6IJJ3L
[2] resize.cc 컴파일 방법:
DPM의 소스 코드에 있는 resize.cc 파일에 대해 직접 컴파일 해 보니 몇 함수가 정의되지 않았다는 메시지가 나왔음. 따라서 아래와 같이 추가:
#define bzero(s,n) memset ((s), 0, (n))
#define round(x) (x<0?ceil((x)-0.5):floor((x)+0.5))
>> mex resize.cc
>> % success...
그런데 이상한 점은 math.h에 ceil 함수 등은 있는데 round함수는 없다는 것이 이상함.
어쨌던 성공적으로 컴파일이 되었음. 성공하면 resize.mexw64라는 파일이 생김.
위의 yprime(1,1:4)는 실행하면
>> yprime(1,1:4)
ans =
2.0000 8.9685 4.0000 -1.0947
과 같은 결과가 나옴
features.cc도 mex로 컴파일하고 featpyramid.m파일과 테스트 이미지 파일을 d:\temp_mat\에 복사하여 사용.
댓글 없음:
댓글 쓰기