DAY29 - 베타분포, 감마분포, 디리클레분포

베타분포, 감마분포, 디리클레분포는 모수값을 조정하여 우리가 원하는 대로 분포 모양을 조절할 수 있는 분포들입니다.보통 데이터가 이루는 분포를 표현하기보다는 베이지안 확률론의 관점에서 어떤 값에 대해 신뢰할 수 있는 신뢰도를 표현하는 데에 주로 사용됩니다.

 

베타분포

- $a$와 $b$라는 모수를 가지며 표본공간은 0과 1사이의 실수인 분포

$$ \text{Beta}(x;a,b), \;\; 0 \leq x \leq 1 $$

 

- 파이썬에서는 scipy.stats의 beta 클래스로 구현이 가능합니다.

 

- 베타분포의 기대값, 분산, 최빈값은 다음과 같습니다.

$$ E[X] = \frac{a}{a+b} $$

$$ Var[X] = \frac{ab}{(a+b)^2 (a+b+1)} $$

$$ \text{mode} = \frac{a-1}{a+b-2} $$

 

베타분포와 베이지안 추정

베르누이 분포의 모수를 추정하게 되면 모수의 값은 0에서 1사이의 값이 됩니다.

베이지안 추정은 모수가 가질 수 있는 모든 값에 대한 가능성을 확률분포로 나타내는 것인데 베타분포가 이러한 역할을 합니다.

 

만약 어떤 베르누이 확률분포의 모수 $\mu$를 베이지안 추정한 결과가 위의 예시 베타분포와 같다면

1)의 경우에는 베르누이분포의 모수를 추정할 수 없다는 결론이 나게 되고

2)의 경우에는 베르누이분포의 모수는 0.75(최빈값)일 가능성이 가장 크다라고 할 수 있습니다.

 

 

감마분포

- 베타분포와 같이 모수의 베이지안 추정에 이용되는 분포

- 베타분포는 0 ~ 1사이의 값을 갖는 모수를 추정하는 데에 이용되는 반면 감마분포는 0 ~ 무한대의 값을 가지는 양수 모수를 추정하는 데 사용

- $a$와 $b$라는 모수를 갖고 표본공간은 양수인 분포

- 파이썬에서는 scipy.stats의 gamma 클래스를 이용해 구현이 가능합니다.

위의 감마분포를 모수의 베이지안 추정에 이용하게 된다면 모수의 값이 2일 가능성이 가장 크다고 할 수 있습니다.

- 감마분포의 기대값, 최빈값, 분산은 다음과 같습니다.

$$ E[X] = \frac{a}{b} $$

$$ \text{mode} = \frac{a-1}{b} $$

$$ Var[X] = \frac{a}{b^2} $$

 

 

디리클레분포

- 베타분포의 확장판으로 0과 1사이의 값을 갖는 다변수 확률변수의 베이지안 모형에 사용됩니다.

- 카테고리 분포의 모수의 베이지안 추정 등에 사용될 수 있습니다.

- 다변수의 개수와 동일한 크기를 맞는 모수 벡터($\alpha$)를 갖습니다.

- 디리클레분포의 입력으로 들어오는 입력벡터는 다음과 같은 제약조건이 있습니다.

$$ \sum_{i=1}^K x_i = 1 $$

- 파이썬에서는 scipy.stats의 dirichlet 클래스로 구현이 가능합니다.

 

디리클레분포는 "난수 생성"문제에서도 응용이 가능합니다.

x,y,z가 양의 난수일 때 항상 x+y+z=1이 되도록 하고자 한다면 디리클레분포를 이용할 수 있습니다.

 

입력값들의 합이 1이므로 디리클레분포의 입력벡터의 제약조건은 만족하기 때문에 모수벡터 $\alpha$만 균등하게 만든다면 원하는 결과를 얻어낼 수 있습니다.

 

이렇게 해서 디리클레분포를 따르는 확률변수 객체를 만들게 되면 이 확률변수로부터 만들어 내는 데이터들은 모두 원하는 조건을 만족시키게 되는 것입니다.

 

- 디리클레분포의 기대값, 최빈값, 분산은 다음과 같습니다.

$$ E[x_k] = frac{\alpha_k}{\sum \alpha} $$

$$ \text{mode}_k = \frac{\alpha_k - 1}{\sum \alpha - K} $$

$$ \text{Var}[x_k] =\dfrac{\alpha_k(\sum\alpha - \alpha_k)}{(\sum\alpha)^2(\sum\alpha + 1)}  $$