[AI 이론] 인공지능과 확률 정복하기 (Generative Model, Discriminative Model, Bayes Theorem)

기본 가정 (Input Data:X, Output Data: Y)

인공지능 모델에서 갖고 있는 데이터(input data)를 X, 추출하는 데이터(Output data)를 Y라고 한다. 인공지능 모델에서 우리는 P(X) X가 일어날 확률보다는 P(Y|X) X가 발생했을 때 output인 Y가 발생할 확률을 구하는 것을 목표로 한다. 

 

Bayes Theorem (베이즈 정리)

확률 이론이 여기서 왜 나오나 싶겠지만, 인공지능의 기반이 확률이기에 확률 및 통계는 빠질 수 없다. 특히 조건부 확률 이 글이 다룰 내용에서 많은 비중을 차지하기에 먼저 다루기로 한다. Bayes Theorem을 간략히 정리하면 사전 확률 (prior probability)를 이용하여 사후 확률(posterior probability)을 생성하는 데에 있다. 

 

Posterior Probability (사후 확률) 이란 ? P(Y|X)

어떠한 사건이 새로운 데이터가 수집되기 전에 발생하는 확률. 조금 쉽게 말하면, 현재 가지고 있는 정보만을 가지고, 특정한 사건의 발생을 예측한 확률이라고 할 수 있다. 통계적으로, 사후 확률은 사건 B가 발생했을 때 사건 A가 발생할 확률이다.

Prior Probability (사전 확률) 이란? P(Y)

어떠한 사건이 발생할  확률이 새로운 데이터의 수집으로 인하여 변화한 확률. 위에서 언급된 Posterior Probability는 Bayes theorem을 이용하여 Prior Probability를 업데이트함으로써 계산된다. 

 

Likelihood Probability (가능도) 이란? P(X|Y)

보면 알겠지만 사후 확률에서 X와 Y의 위치가 바뀐 형태임을 알 수 있다. 사후 확률에서는 고정된 분모가 input data의 확률이었지만, Likelihood에서는 고정된 분모가 output data의 확률이다. 

 

Evidence? P(X)

증거가 되는 확률. Input Data의 확률이라고 생각하자. 

 

 

위에서 언급한 4 개의 Probability를 이용하여  하나의 공식이 나온다. 

(posterior probability) = (prior probability) x (likelihood) / (evidence)

P(Y|X) = P(Y) x P(X|Y) / P(X). 아래에서 Generative Model에 대한 내용에서 다시 다루겠다!

 

Discriminative Model (판별적 모델)

판별적 모델은 조건부 확률을 통해 분류, 회귀 (Classfication, Regression)을 주로 한다. input X와 output Y 간에 직접적인 관계를 얻어서 데이터를 어떠한 그룹으로 나누는 경계(decision boundary)를 찾는 것이 주 목표이다.

조건부 확률 표현을 사용하자면 P(Y|X)를 얻기 위해 예측을 하고 학습용 데이터를 통해 parameter를 업데이트하여 P(Y|X)를 완벽히 찾는 것이다. 

 

Bayes Theorem (베이즈 정리)와 연관지어 설명하면, posterior probability 사후 확률을 직접적으로 계산하는 모델이다. 주로 분류, 회귀하는 데 쓰이며, 처음 보는 데이터가 들어와도, 어떤 그룹인지 분류하는 데에 큰 어려움이 없다. 

 

Image Source: medium.com

 

Generative Model (생성적 모델)

판별적 모델과는 다르게, 직접적으로 posterior을 구하지 않고, X와 Y의 결합 확률(joint probability)을 구하는 과정을 거친다. 이러한 과정 속에서, 확률과 가능도를 예측하고, 새로운 데이터를 생성할 수 있다. 앞으로 결합 확률은  P(X, Y)로 comma로 표시하겠다.

 

Bayes Theorem 조건부 확률: P(Y|X) = P(X, Y) / P(X)에서 처럼 P(X, Y)를 이용하여 posterior probability를 구할 수 있지만, 

P(X, Y) / P(Y) = P(X|Y)를 통하여 likelihood probability를 구할 수 있다. 그리고 이를 통해 새로운 데이터 포인트를 생성할 수 있다. 단점은, 새로운 데이터가 들어오면 모델에 미치는 영향이 크다는 점이다.

Image Source: medium.com