이 글은 학부 수업을 들으면서 개인적으로 정리한 글입니다. 잘못된 내용이 있다면 댓글로 말씀 부탁드립니다!
Frequentist Probability VS Bayesian Probability
- Frequentist Probability ( 빈도 확률, 도수 확률 ) :
우리가 흔히 아는 동전의 앞면이 나올 확률을 구하는 예를 생각할 수 있습니다. 만약 동전을 100번 던져서 앞면이 38번 나온다면 (앞면이 나올 확률) = 38 / 100. 이렇게 시행을 반복 해 빈도수를 측정해 빈도 확률을 구할 수 있습니다. ( 이 방식은 시행을 더 많이 반복할수록 정확한 확률을 구할 수 있습니다. )
- Bayesian Probability ( 베이지안 확률 ) :
위의 예시에 제시한 동전 던지기 또는 주사위 던지기와 같은 경우와는 달리 실생활에는 시행을 무수히 반복할 수 없는 경우가 더 많습니다. 따라서 우리는 사건과 관련된 다른 확률을 이용해 새롭게 일어날 사건의 확률을 추정하는 방법을 선택해야 합니다. ( 즉, 일어나지 않은 일에 대한 확률을 불확실성(Uncertatinty)의 개념으로 이야기 해야 합니다. )
이런 베이지안 확률은 아래 식과 같이 조건부 확률로 나타납니다.

Prior, Posterior, Likelihood
위의 베이지안 확률을 이해하려면 먼저, 사전 확률(Prior Probability), 우도 확률(Likelihood Probability), 사후 확률(Posterior Probability)가 무엇인 지 알아야 합니다.
Posterior(P(A|B)) :
어떤 event B가 발생했을 때, A가 발생할 확률을 말합니다. (우리가 최종적으로 구하려고 하는 값)
Prior Probability(P(A)) :
결과가 나타나기 전 결정 돼 있는 A의 확률입니다. (보통 사전에 주어지거나, 주어지지 않을 시 전문 지식을 통해 지정해줘야 하는 값)
Likelihood(P(B|A)) :
A가 발생했을 때 B가 발생할 확률입니다. (Posterior를 구하는 데 있어서 가장 중요한 단서)
Bayesian Rule
Bayesian Rule의 식은 아래 과정으로 이해해도 됩니다.
먼저 조건부 확률과 형태만 조금 다른 Multiplication Rule 입니다.
Multiplication Rule :
P(C1∩C2)=P(C1)P(C2|C1)
P(C1∩C2∩C3)=P(C1)P(C2|C1)P(C3|C1∩C2)
만약 C1,...Ck 가 mutually exclusive and exhaustive 하다면
Law of total Probability :
P(C)=k∑i=1P(Ci)P(C|Ci)
를 이용할 수 있고, 그럼 Bayes Rule을 쉽게 유도할 수 있습니다.
Bayes Rule :
다시 Bayes Rule의 식을 봅시다.

A를 Ci B를 C 로 생각하면 위 식은
P(Ci|C)=P(Ci)P(C|Ci)∑kj=1P(Cj)P(C|Cj) 로 나타낼 수 있습니다.
조건부 확률의 정의에 의해 아래와 같고
P(Ci|C)=P(Ci∩C)P(C)
Multiplication Rule, Law of total Probability 를 분모, 분자에 적용하면
P(Ci∩C)P(C)=P(Ci)P(C|Ci)∑kj=1P(Cj)P(C|Cj)
위 식을 보일 수 있습니다.
읽어주셔서 감사합니다 ^^