나이브 베이즈 분류기(naive bayes classifier)

 
베이즈 정리
P(A|B) *P(B) = P(B|A) * P(A)
그러므로, P(A|B) = (P(B|A) * P(A)) / P(B)
 
베이즈정리의 의미
P(B|A), P(A), P(B) 이렇게 알고 있으면 P(A|B)도 알 수 있다는 것. 알고 있는 정보를 이용해서 '역확률'을 구할 수 있다는 의미다. 예를 들어 보자. 하늘에 적층운이 생겼을 때 비가 올 확률 P(비|적층운)가 궁금하다면? 사전에 P(적층운|비)와 P(적층운), P(비) 에 대한 과거데이터를 축적하고 있다고 해보자. 이는  '사전확률' 데이터를 축적하고 있는 것이다. P(B|A), P(A), P(B)를 이용해서, 새로운 정보 P(A|B) '사후확률'을 계산할 수 있다. 베이즈 정리는 우리가 가진  데이터로 새로운 정보, 적충운이 생겼을 때 비가 올 확률을 계산할 수 있게 해준다.
 
독립가정
하지만 저 수식에는 한계점이 있다. 이 수식이 성립하기 위해서는 A와 B가 independent 해야 한다. 이는 현실과 다르며, 이게 범용적으로 나이브베이즈분류기가 쓰이기 어려운 한계점이다. 하지만 나이브베이즈분류기가 실세계에서 효과적으로 사용되는 경우는 의외로 많다. 정확성을 훼손하더라도, 단순하고 빠르다는 장점이 있기 때문이다.