이 글은 학부 수업을 들으면서 개인적으로 정리한 글입니다. 잘못된 내용이 있다면 댓글로 말씀 부탁드립니다!
Frequentist Probability VS Bayesian Probability
- Frequentist Probability ( 빈도 확률, 도수 확률 ) :
우리가 흔히 아는 동전의 앞면이 나올 확률을 구하는 예를 생각할 수 있습니다. 만약 동전을 100번 던져서 앞면이 38번 나온다면 (앞면이 나올 확률) = 38 / 100. 이렇게 시행을 반복 해 빈도수를 측정해 빈도 확률을 구할 수 있습니다. ( 이 방식은 시행을 더 많이 반복할수록 정확한 확률을 구할 수 있습니다. )
- Bayesian Probability ( 베이지안 확률 ) :
위의 예시에 제시한 동전 던지기 또는 주사위 던지기와 같은 경우와는 달리 실생활에는 시행을 무수히 반복할 수 없는 경우가 더 많습니다. 따라서 우리는 사건과 관련된 다른 확률을 이용해 새롭게 일어날 사건의 확률을 추정하는 방법을 선택해야 합니다. ( 즉, 일어나지 않은 일에 대한 확률을 불확실성(Uncertatinty)의 개념으로 이야기 해야 합니다. )
이런 베이지안 확률은 아래 식과 같이 조건부 확률로 나타납니다.
Prior, Posterior, Likelihood
위의 베이지안 확률을 이해하려면 먼저, 사전 확률(Prior Probability), 우도 확률(Likelihood Probability), 사후 확률(Posterior Probability)가 무엇인 지 알아야 합니다.
Posterior(P(A|B)) :
어떤 event B가 발생했을 때, A가 발생할 확률을 말합니다. (우리가 최종적으로 구하려고 하는 값)
Prior Probability(P(A)) :
결과가 나타나기 전 결정 돼 있는 A의 확률입니다. (보통 사전에 주어지거나, 주어지지 않을 시 전문 지식을 통해 지정해줘야 하는 값)
Likelihood(P(B|A)) :
A가 발생했을 때 B가 발생할 확률입니다. (Posterior를 구하는 데 있어서 가장 중요한 단서)
Bayesian Rule
Bayesian Rule의 식은 아래 과정으로 이해해도 됩니다.
먼저 조건부 확률과 형태만 조금 다른 Multiplication Rule 입니다.
Multiplication Rule :
$P(C_1 \cap C_2) = P(C_1)P(C_2|C_1)$
$P(C_1 \cap C_2 \cap C_3) = P(C_1)P(C_2|C_1)P(C_3|C_1\cap C_2)$
만약 $C_1, ... C_k$ 가 mutually exclusive and exhaustive 하다면
Law of total Probability :
$P(C) = \displaystyle\sum_{i=1}^k P(C_i)P(C|C_i)$
를 이용할 수 있고, 그럼 Bayes Rule을 쉽게 유도할 수 있습니다.
Bayes Rule :
다시 Bayes Rule의 식을 봅시다.
A를 $C_i$ B를 $C$ 로 생각하면 위 식은
$P(C_i|C) = \displaystyle\frac{P(C_i)P(C|C_i)}{\sum_{j=1}^k P(C_j)P(C|C_j)}$ 로 나타낼 수 있습니다.
조건부 확률의 정의에 의해 아래와 같고
$P(C_i|C) = \displaystyle\frac{P(C_i\cap C)}{P(C)}$
Multiplication Rule, Law of total Probability 를 분모, 분자에 적용하면
$\displaystyle\frac{P(C_i\cap C)}{P(C)} = \displaystyle\frac{P(C_i)P(C|C_i)}{\sum_{j=1}^k P(C_j)P(C|C_j)}$
위 식을 보일 수 있습니다.
읽어주셔서 감사합니다 ^^