조건부 확률과 베이즈 정리

1. 조건부 확률이란?

1.1 직관적 이해

조건부 확률은 "새로운 정보가 주어졌을 때, 특정 사건이 일어날 가능성"입니다. 어떤 상황이 조건으로 주어졌을 때의 확률을 생각하는 것이죠. 예를 들면, 날씨가 좋지 않을 때(조건), 교통사고가 발생할 확률(목표 확률) 같은 상황을 생각할 수 있습니다.

1.2 수학적 정의

조건부 확률을 수학적으로 정의하면 다음과 같이 표현합니다.
사건 B가 일어났다는 조건 하에, 사건 A가 일어날 확률을 표현해보죠.

$P(\underset{목표}A \vert \underset{조건}B) = \frac{\underset{A와 B가 동시에 발생할 확률}{P(A \cap B)}}{\underset{B의 확률}{P(B)}}, \quad P(B) > 0$

1.3 조건부 확률과 인공지능

AI는 주어진 데이터를 바탕으로 적절한 결정을 내리는 도구라고 볼 수 있습니다. 이러한 관점에서 보면, 조건부 확률이 인공지능과 상당히 밀접한, 중요한 개념임을 알 수 있죠.

• 주어진 이미지가, 고양이일지 학습
• 과거 주식 가격을 토대로, 다음날의 주가를 예측
• 넷플릭스의 사용자 패턴이 주어졌을 때, 숨겨진 선호 장르를 추론

2. 베이즈 정리

2.1 베이즈 정리의 본질

베이즈적 사고는 맞다/틀리다라는 이분법적 사고 대신 높다/낮다라는 가능성의 정도로 접근하며, 새로운 증거가 쌓일 때마다 판단을 체계적으로 수정해나가는 방식입니다.
그리고 이렇게 "새로운 정보가 들어왔을 때, 우리는 생각(믿음)을 어떻게 바꿔야 할지"를 수학적으로 정립한 것이 베이즈 정리입니다.

말이 어려우니 일상적인 예시를 하나 들어 살펴보도록 하겠습니다.

• 식사를 하려는데, 저기 식당이 보입니다.
• 그간 동네 식당에서의 경험을 바탕으로 판단해봅니다.
  • "이 주변 식당에서 맛집은 한 20% 됐었나?"
  • 이런 초기판단을 사전 확률(Prior)이라고 합니다.
• 자세히보니 식당에 사람들이 줄을 서 있습니다. 그동안의 경험을 떠올려봅니다.
  • "생각해보니 맛집은 늘 사람이 많았지. 숨겨진 20% 정도를 빼면 항상 그랬어."
  • 추측한 조건에서 상황을 설명하는 정도를 가능도(Likelihood)라고 합니다.
• 잠시 상황을 정리해봅니다.
  • "이 동네 식당들엔 사람이 많았나? 한 40% 정도 사람이 모여있긴 했네."
  • 현상이 벌어질 모든 경우를 증거(Evidence)라고 합니다.
• 사람들이 줄을 서있다라는 관찰로 기대감이 올라갔습니다.
  • "여기 사람들이 줄도 서있으니 맛집이겠네!"
  • 관측에 따라 판단을 수정했습니다. 이것이 사후 확률(Posterior)입니다.

2.2 베이즈 정리의 수식적 정의

베이즈 정리는 다음 수식과 같이 베이즈적 사고를 수학적으로 정립합니다.

$P(H\vert D) = \frac{P(D\vert H)P(H)}{P(D)}$

용어가 상당히 많으니 예시와 함께 정리해 보겠습니다.

용어	수식	의미	예시
가설 (Hypothesis)	$H$	알고싶은 정보	"이 식당이 맛집이다"
데이터 (Data)	$D$	새롭게 얻은 정보	"식당에 줄을 서있다"
사전 확률 (Prior)	$P(H)$	증거를 보기 전의 초기 확률	맛집일 확률 20%
가능도 (Likelihood)	$P(D\vert H)$	가설이 참일 때, 관찰한 데이터가 나타날 확률	맛집일 때 손님이 많을 확률 80%
증거 (Evidence)	$P(D)$	현재 관찰한 데이터가 나타날 확률	손님이 많을 전체 확률 40%
사후 확률 (Posterior)	$P(H\vert D)$	데이터를 관찰한 후의 수정된 확률	손님이 많은 것을 보고 난 후 맛집일 확률 40%

2.3 베이즈 정리의 중요성

조금 당연하게 보일 수 있는 이 정리가 왜 생겼을까요?
우리는 흔히 $P(D|H)$와 $P(H|D)$를 비슷하게 생각하는 경향이 있습니다.

• "맛집이면 손님이 많다" vs "손님이 많으면 맛집이다"
• "감기면 열이 난다" vs "열이 나면 감기다"

하지만 둘은 전혀 다른 확률이고, 더욱이 현실에서는 둘 중 하나만 구하기 쉬울 때가 많죠.

베이즈 정리는 이런 상황에서 다리 역할을 합니다.
쉽게 알 수 있는 정보(가능도)를 활용해 알고 싶은 정보(사후 확률)를 체계적으로 추론하는 거죠.

2.4 베이즈 정리의 활용

베이즈 정리는 단순한 확률 공식을 넘어 여러 의미로 활용될 수 있습니다.
이러한 특성들이 곧 토대가 되어 현대 AI의 근간을 이루었죠.

1. 불확실성의 정량화

   • 세상의 지식을 확률로 표현할 수 있게 해줍니다.
   • "이것이 맛집일 확률이 40%다"

2. 점진적 학습의 토대

   • 오늘의 사후확률은 내일의 사전확률이 됩니다.
   • 이전 지식(Prior) → 새 데이터 → 갱신된 지식(Posterior)
   • "리뷰도 보니 더 맛있을 것 같은걸?"

3. 흔한 오해와 주의점

베이즈 정리는 강력한 도구지만, 맹신하기에는 주의해야할 부분이 있습니다.
흔히 하는 오해들을 짚어보며 이번 설명을 마무리해보겠습니다.

3.1 조건부 독립 가정의 함정

"열도 나고, 갑자기 너무 피곤해요. 둘 다 감기 증상이니 감기겠죠?"
이런 추론이 위험한 이유는 조건부 독립 가정 때문입니다.

베이즈 정리는 조건부 독립을 가정합니다.
그러나 실제로는 증상A와 B가 서로 연관될 수 있습니다.

예를 들어, 발열과 피로는 독립적이지 않습니다.
한가지가 다른 하나를 유발할 수 있고, 두가지 모두 다른 제3의 원인으로부터 발생할 수 있습니다.

이런 한계는 특히 단순한 모델에서 자주 발생합니다.
현실에서는 조건부 독립이 성립하지 않는 경우가 훨씬 많다는 걸 기억하며 조심히 적용해야 합니다.

3.2 상관관계와 인과관계 혼동

"유튜브 채널 구독자 수도 늘어났고, 시청시간도 늘어났네. 일단 더 많이 보게하면, 구독자가 늘어나려나?"
미묘한 말입니다. 얼토당토않은 말 같으면서도 그럴싸 하지요.

조건부 확률은 두 사건의 관련성(상관관계)만을 알려줍니다.
그러나 특정 사건이 다른 사건의 원인인지(인과관계)는 알 수 없습니다.

이것이 조건부 확률의 가장 큰 함정입니다.
"맛집이라서 손님이 많은 건가, 어떻게던 손님을 많게 하면 맛집이 되는건가?"

이런 상황에서 인과관계를 파악하기 위해서는 추가적인 과정이 필요합니다.

• 시간적인 선후관계를 확인해보고
• 다른 제3의 변수들을 통제한채로
• 관련된 지식을 활용하여
• A/B 테스트 등 실험을 설계, 도입해야하지요.

이러한 한계를 이해하고 사용해야만, 베이즈 정리를 더 현명하고 강력하게 활용할 수 있을 것입니다.