Energy Based Model

$E(x)$는 $x$의 함수이고 $x$에 따라 크기가 결정되는 값이다.  $x$ 값을 잘 조절하면 $E$의 크기를 줄일 수 있다. 즉, $E(x)$는 $x$의 구성(또는 배치, configuration)에 따라 크기가 결정되며, $x$라는 상태에 대해 값을 부여하는 하나의 방법이다. 에너지의 크기로 이 값을 본다면, 이러한 표현방식을 EBM(Energy Based Model)이라 부른다. 

에너지 값을 확률 값(pdf)으로 표현하면

$p(x)=e^{-E(x)}/Z$,  $Z=\sum_x{e^{-E(x)} }$

가 되고 EBPM(Energy Based Probabilistic Model)이 된다.  $E$가 0이될 때 확률 값이 최대이다.

만일 $x$가 입력 벡터(즉, data)이고 $E$가 어떤 $x$와 함께 결합된 파라메터 $\theta$의 조합으로 구성(즉, $E(x)=E(x; \theta)$)되었다면 다양한 여러 입력 $x$에 대해 $E$가 최소화되도록 $\theta$를 조절할 수 있다.  이는 data에 따라 파라메터(모델) $\theta$를 결정하는 학습(learning) 과정이 된다.

위의 확률분포를 볼츠만분포(Boltzmann Distribution)라고 부르고 물리적으로는 평형계에서 에너지가 분배될 때 가장 가능성 높은 분포(열역학적으로 입자운동에 의한 점유 분포에서 최빈 분포. 어떤 온도에서 일정 공간 내의 입자수를 볼 때 가장 흔한 입자 수의 분포)를 의미한다.  에너지가 높아지면 확률 값이 작아진다.

Reference
[1] 볼츠만분포