6.431x Probability 스터디 노트 (L01–L11)
이 노트는 MITx 6.431x 강의 슬라이드(L01–L11)를 따라가며 개념을 정리한 것이다. 이 노트는 확률을 처음 배우는 사람이 중간에 막히지 않도록, 필요한 수학 배경부터 차례대로 설명한다. 각 강의는 “큰 그림 → 개념과 정의 → 노테이션 → 헷갈리기 쉬운 포인트 → 슬라이드 예제 풀이” 순서로 구성되어 있다. 교재는 Bertsekas & Tsitsiklis, Introduction to Probability (2nd ed.)이며, 각 강의 제목 옆에 해당 교재 절을 적어 두었다.
전체 개념 목차
0. 시작하기 전에: 필요한 수학 집합과 집합 연산 · 합 기호와 무한급수 · 미분과 적분의 최소한
L01. 확률 모형과 공리 표본공간 · 사건 · 확률 공리 · 공리에서 나오는 성질들 · 이산/연속 균등 확률법칙 · 가산 가법성 · 확률의 해석
L02. 조건부 확률과 세 가지 도구 조건부 확률 · 곱셈 법칙 · 전확률 정리 · 베이즈 정리
L03. 독립성 두 사건의 독립 · 여사건과 독립 · 조건부 독립 · 여러 사건의 독립 · 쌍별 독립 vs 상호 독립 · 신뢰도 계산 · 왕의 형제 퍼즐
L04. 세기(Counting) 기본 세기 원리 · 순열 · k-순열 · 조합과 이항계수 · 이항 확률 · 분할과 다항계수
L05. 이산 확률변수, PMF, 기댓값 확률변수 · 확률질량함수(PMF) · 베르누이와 지시 확률변수 · 이산 균등 확률변수 · 이항 확률변수 · 기하 확률변수 · 기댓값 · 기댓값 규칙 · 기댓값의 선형성
L06. 분산, 사건에 대한 조건부, 여러 확률변수 분산과 표준편차 · 사건이 주어졌을 때의 조건부 PMF · 전기댓값 정리 · 기하분포의 무기억성 · 결합 PMF와 주변 PMF · 이항분포의 평균
L07. 확률변수에 대한 조건부, 확률변수의 독립 조건부 PMF · 조건부 기댓값과 전기댓값 정리 · 확률변수의 독립 · 독립과 기댓값 · 독립과 분산 · 이항분포의 분산 · 모자 문제
L08. 연속 확률변수와 확률밀도함수 확률밀도함수(PDF) · 연속 확률변수의 기댓값과 분산 · 연속 균등 확률변수 · 지수 확률변수 · 누적분포함수(CDF) · 정규 확률변수 · 표준화와 정규분포표
L09. 사건에 대한 조건부, 여러 연속 확률변수 조건부 PDF · 지수분포의 무기억성 · 연속형 전확률·전기댓값 정리 · 혼합 분포 · 결합 PDF · 주변 PDF · 균등 결합 PDF · 결합 CDF
L10. 확률변수에 대한 조건부, 독립, 베이즈 정리 조건부 PDF \(f_{X\mid Y}\) · 전확률·전기댓값 정리 · 연속 확률변수의 독립 · 막대 부러뜨리기 예제 · 독립 정규 확률변수 · 베이즈 정리의 네 가지 형태
L11. 유도 분포(Derived distributions) 이산형 유도 분포 · 선형 변환 \(Y=aX+b\) · CDF를 이용한 일반적 방법 · 단조함수 공식 · 단조가 아닌 함수 · 두 확률변수의 함수
부록 전체 노테이션 총정리
0. 시작하기 전에: 필요한 수학
확률론은 집합, 합(시그마), 적분이라는 세 가지 언어로 쓰인다. 이 절은 그 세 가지를 확률 공부에 필요한 만큼만 정리한다. 이미 익숙한 사람은 건너뛰어도 된다.
집합과 집합 연산
집합(set)은 원소(element)들의 모임이다. \(x \in A\)는 “\(x\)가 집합 \(A\)의 원소이다”라는 뜻이고, \(x \notin A\)는 “\(x\)가 \(A\)의 원소가 아니다”라는 뜻이다.
| 기호 | 읽는 법 | 의미 |
|---|---|---|
| \(\Omega\) | 오메가 | 확률론에서 “전체 집합”, 즉 표본공간을 나타낸다. |
| \(\emptyset\) | 공집합 | 원소가 하나도 없는 집합이다. |
| \(A \subset B\) | A는 B의 부분집합 | \(A\)의 모든 원소가 \(B\)에도 속한다. |
| \(A \cup B\) | A 합집합 B | \(A\) 또는 \(B\) (또는 둘 다)에 속하는 원소들의 집합이다. 확률에서는 “\(A\) 또는 \(B\)가 일어난다”로 읽는다. |
| \(A \cap B\) | A 교집합 B | \(A\)와 \(B\) 둘 다에 속하는 원소들의 집합이다. 확률에서는 “\(A\)와 \(B\)가 동시에 일어난다”로 읽는다. |
| \(A^c\) | A의 여집합 | \(\Omega\) 안에서 \(A\)에 속하지 않는 원소들의 집합이다. 확률에서는 “\(A\)가 일어나지 않는다”로 읽는다. |
| \(A \setminus B\) | A 빼기 B | \(A\)에는 속하지만 \(B\)에는 속하지 않는 원소들의 집합이며, \(A \cap B^c\)와 같다. |
- 두 집합 \(A\)와 \(B\)의 교집합이 공집합이면(\(A \cap B = \emptyset\)), 두 집합은 서로소(disjoint)라고 부른다. 확률에서는 “두 사건이 동시에 일어날 수 없다”는 뜻이다.
- 집합들 \(A_1, \dots, A_n\)이 서로 겹치지 않고(서로소이고) 합치면 \(\Omega\) 전체가 될 때, 이 집합들을 \(\Omega\)의 분할(partition)이라고 부른다. 분할은 L02의 전확률 정리에서 핵심 역할을 한다.
- 드모르간 법칙(De Morgan’s laws)은 여집합과 합집합/교집합의 관계를 알려준다. 첫째 법칙은 \((A \cup B)^c = A^c \cap B^c\)이며, “A 또는 B가 일어나지 않는다”는 “A도 안 일어나고 B도 안 일어난다”와 같다는 뜻이다. 둘째 법칙은 \((A \cap B)^c = A^c \cup B^c\)이다.
- 집합을 조건으로 표현할 때는 \(\{x \mid \text{조건}\}\) 또는 \(\{x : \text{조건}\}\)으로 쓴다. 예를 들어 \(\{(x,y) \mid x + y \le 1/2\}\)는 “\(x+y \le 1/2\)를 만족하는 점 \((x,y)\)들의 집합”이다.
합 기호와 무한급수
- \(\sum_{i=1}^{n} a_i\)는 \(a_1 + a_2 + \cdots + a_n\)을 짧게 쓴 표기이다. \(\sum_x p_X(x)\)처럼 아래에 변수만 적혀 있으면, 그 변수가 가질 수 있는 모든 값에 대해 더한다는 뜻이다.
- \(\sum_{i=1}^{\infty} a_i\)는 무한히 많은 항을 더한 것이며, 정확히는 앞의 \(n\)개 항의 합이 \(n \to \infty\)일 때 다가가는 극한값을 뜻한다.
- 기하급수(geometric series) 공식은 확률에서 매우 자주 쓰인다. \(|r| < 1\)일 때 다음이 성립한다. \[\sum_{k=0}^{\infty} r^k = \frac{1}{1-r}, \qquad \sum_{k=1}^{\infty} r^k = \frac{r}{1-r}.\]
- 기하급수를 미분하면 \(\sum_{k=1}^{\infty} k r^{k-1} = \dfrac{1}{(1-r)^2}\)을 얻는다. 이 공식은 기하분포의 기댓값을 직접 계산할 때 쓰인다.
- 팩토리얼(factorial) \(n!\)은 \(n \times (n-1) \times \cdots \times 2 \times 1\)이며, 관례상 \(0! = 1\)로 정의한다.
미분과 적분의 최소한
- 적분 \(\int_a^b f(x)\,dx\)는 구간 \([a,b]\)에서 함수 \(f\)의 그래프 아래 넓이이다. 연속 확률변수(L08부터)에서는 확률이 바로 이 넓이로 정의된다.
- 미적분의 기본정리는 적분과 미분이 서로 역연산이라는 사실이다. \(F(x) = \int_{-\infty}^{x} f(t)\,dt\)이면 \(F'(x) = f(x)\)가 성립한다. 이 사실은 CDF와 PDF의 관계(L08)와 유도 분포(L11)의 핵심이다.
- 연쇄 법칙(chain rule)은 합성함수의 미분 규칙이며, \(\frac{d}{dy} F(h(y)) = F'(h(y)) \cdot h'(y)\)이다. L11에서 PDF 변환 공식을 유도할 때 쓰인다.
- 이중적분 \(\iint_B f(x,y)\,dx\,dy\)는 평면 위 영역 \(B\)에서 곡면 \(f\) 아래의 부피이다. 결합 PDF(L09)에서 확률은 이 부피로 정의된다.
- 작은 구간 근사: 구간의 길이 \(\delta\)가 매우 작으면 \(\int_x^{x+\delta} f(t)\,dt \approx f(x)\cdot\delta\)가 성립한다. 이 근사는 “밀도”라는 개념을 이해하는 열쇠이다.
L01. 확률 모형과 공리
교재 1.1–1.2절 · Probability models and axioms
큰 그림. 확률 모형(probability model)을 세우는 일은 두 단계로 이루어진다. 첫째 단계는 일어날 수 있는 결과들을 나열하는 것(표본공간)이고, 둘째 단계는 각 결과들이 얼마나 일어날 법한지에 대한 믿음을 숫자로 표현하는 것(확률법칙)이다. 확률법칙은 아무렇게나 정할 수 없고, 세 개의 공리(axiom)를 반드시 만족해야 한다. 확률론의 나머지 모든 성질은 이 세 공리로부터 논리적으로 유도된다.
표본공간 (Sample space)
표본공간 \(\Omega\)는 실험(experiment)에서 일어날 수 있는 모든 결과(outcome)들의 집합이다.
표본공간의 목록은 다음 세 가지 조건을 만족해야 한다.
- 상호 배타적(mutually exclusive): 실험을 한 번 하면 목록의 결과 중 정확히 하나만 일어나야 한다. 두 결과가 동시에 일어날 수 있으면 안 된다.
- 전체를 망라(collectively exhaustive): 실험 결과는 반드시 목록 중 어딘가에 있어야 한다. 목록에서 빠진 결과가 일어날 수 있으면 안 된다.
- 적절한 세밀함(right granularity): 우리가 관심 있는 질문에 답할 수 있을 만큼 자세해야 하고, 불필요하게 자세할 필요는 없다. 예를 들어 동전 던지기에서 “앞면/뒷면”만 중요하다면 날씨까지 결과에 포함할 필요는 없다.
이산·유한 예시: 4면체 주사위 두 번 굴리기. 4면체 주사위(tetrahedral die)는 1, 2, 3, 4의 네 면을 가진 주사위이다. 첫 번째 결과를 \(X\), 두 번째 결과를 \(Y\)라 하면 표본공간은 순서쌍 \((x, y)\)들의 집합이며, 원소는 \(4 \times 4 = 16\)개이다. \[\Omega = \{(1,1), (1,2), \dots, (4,4)\}.\] 이 표본공간은 \(4\times 4\) 격자로 그릴 수도 있고, 첫 번째 굴림에서 4갈래, 두 번째 굴림에서 다시 4갈래로 갈라지는 나무 그림(sequential description, tree)으로 그릴 수도 있다. 두 그림은 같은 표본공간을 다르게 표현한 것이다.
연속 예시. \(0 \le x, y \le 1\)을 만족하는 순서쌍 \((x, y)\)들의 집합, 즉 단위 정사각형도 표본공간이 될 수 있다. 예를 들어 다트를 정사각형 판에 던졌을 때 맞은 위치가 이런 표본공간을 가진다. 이 표본공간에는 원소가 무한히, 그것도 “셀 수 없이” 많다.
사건 (Event)
사건(event)은 표본공간의 부분집합이다. 실험 결과가 사건 \(A\)에 속하면, “사건 \(A\)가 일어났다”고 말한다.
- 확률은 개별 결과가 아니라 사건에 부여된다. 결과 하나 \(\omega\)의 확률을 말하고 싶을 때는 그 결과 하나만 담은 사건 \(\{\omega\}\)의 확률 \(\mathbf{P}(\{\omega\})\)를 말한다.
- \(\Omega\) 자체도 사건이며, 이 사건은 “반드시 일어나는 사건”이다. 공집합 \(\emptyset\)도 사건이며, 이 사건은 “절대 일어나지 않는 사건”이다.
확률 공리 (Probability axioms)
확률법칙(probability law) \(\mathbf{P}\)는 각 사건 \(A\)에 숫자 \(\mathbf{P}(A)\)를 부여하며, 다음 세 공리를 만족해야 한다.
- 비음수성(Nonnegativity): 모든 사건 \(A\)에 대해 \(\mathbf{P}(A) \ge 0\)이다.
- 정규화(Normalization): \(\mathbf{P}(\Omega) = 1\)이다.
- (유한) 가법성(Finite additivity): \(A \cap B = \emptyset\)이면 \(\mathbf{P}(A \cup B) = \mathbf{P}(A) + \mathbf{P}(B)\)이다.
- 공리 3은 나중에 가산 가법성으로 강화된다. 유한 가법성만으로는 무한히 많은 사건을 다룰 수 없기 때문이다.
- 공리 3을 반복 적용하면, 서로소인 \(k\)개의 사건에 대해서도 확률을 더할 수 있다. 특히 유한 개 결과로 이루어진 사건의 확률은 각 결과 확률의 합이다. \[\mathbf{P}(\{s_1, s_2, \dots, s_k\}) = \mathbf{P}(\{s_1\}) + \cdots + \mathbf{P}(\{s_k\}) = \mathbf{P}(s_1) + \cdots + \mathbf{P}(s_k).\]
- 마지막 표기 \(\mathbf{P}(s_1)\)은 \(\mathbf{P}(\{s_1\})\)을 줄여 쓴 것이다.
공리에서 나오는 성질들
아래 성질들은 모두 세 공리만으로 증명된다. 증명 아이디어를 함께 적어 두었다. 증명의 공통 전략은 “겹치는 부분이 없도록 집합을 서로소인 조각으로 쪼갠 뒤 공리 3을 적용하는 것”이다.
| 성질 | 증명 아이디어 |
|---|---|
| \(\mathbf{P}(A) + \mathbf{P}(A^c) = 1\) | \(A\)와 \(A^c\)는 서로소이고 합치면 \(\Omega\)이므로, 공리 3과 공리 2에 의해 \(\mathbf{P}(A) + \mathbf{P}(A^c) = \mathbf{P}(\Omega) = 1\)이다. |
| \(\mathbf{P}(A) \le 1\) | 위 식에서 \(\mathbf{P}(A^c) \ge 0\)이므로 \(\mathbf{P}(A) = 1 - \mathbf{P}(A^c) \le 1\)이다. |
| \(\mathbf{P}(\emptyset) = 0\) | \(\emptyset = \Omega^c\)이므로 \(\mathbf{P}(\emptyset) = 1 - \mathbf{P}(\Omega) = 0\)이다. |
| \(A \subset B\)이면 \(\mathbf{P}(A) \le \mathbf{P}(B)\) | \(B = A \cup (A^c \cap B)\)이고 두 조각은 서로소이므로 \(\mathbf{P}(B) = \mathbf{P}(A) + \mathbf{P}(A^c \cap B) \ge \mathbf{P}(A)\)이다. |
| \(\mathbf{P}(A \cup B) = \mathbf{P}(A) + \mathbf{P}(B) - \mathbf{P}(A \cap B)\) | \(\mathbf{P}(A) + \mathbf{P}(B)\)는 겹치는 부분 \(A\cap B\)를 두 번 세므로 한 번 빼야 한다. 엄밀하게는 \(A \cup B\)를 \(A \cap B^c\), \(A \cap B\), \(A^c \cap B\)의 세 서로소 조각으로 나누어 증명한다. |
| \(\mathbf{P}(A \cup B) \le \mathbf{P}(A) + \mathbf{P}(B)\) | 바로 위 식에서 \(\mathbf{P}(A \cap B) \ge 0\)이기 때문이다. 이 부등식을 합집합 상계(union bound)라고 부른다. |
| \(\mathbf{P}(A \cup B \cup C) = \mathbf{P}(A) + \mathbf{P}(A^c \cap B) + \mathbf{P}(A^c \cap B^c \cap C)\) | \(A \cup B \cup C\)를 “A에 속함”, “A에는 없고 B에 속함”, “A와 B에는 없고 C에 속함”의 세 서로소 조각으로 나눈 것이다. |
확률 계산 예제와 균등 확률법칙
확률 계산의 네 단계. 모든 확률 문제는 다음 순서로 풀 수 있다.
- 표본공간을 명시한다.
- 확률법칙을 명시한다.
- 관심 있는 사건을 표본공간의 부분집합으로 정확히 표현한다.
- 확률을 계산한다.
표본공간 \(\Omega\)가 \(n\)개의 결과로 이루어져 있고 모든 결과가 똑같이 일어날 법하다고 가정하자. 사건 \(A\)가 \(k\)개의 원소로 이루어져 있다면 다음이 성립한다. \[\mathbf{P}(A) = \frac{A\text{의 원소 개수}}{\Omega\text{의 원소 개수}} = \frac{k}{n}.\] 이 경우 확률 계산은 “개수 세기”로 바뀐다. 개수 세는 기술은 L04에서 다룬다.
단위 정사각형 위에서 “무작위로” 점을 고르는 실험에서는 확률 = 넓이로 정할 수 있다. 정사각형 전체의 넓이가 1이므로 정규화 공리가 자동으로 만족된다.
- \(\mathbf{P}(X = 1)\): 첫 번째 결과가 1인 순서쌍은 \((1,1),(1,2),(1,3),(1,4)\)의 4개이므로 확률은 \(4/16 = 1/4\)이다.
- \(Z = \min(X, Y)\)로 두면, \(Z=1\)인 결과는 적어도 하나가 1인 결과이다. 그런 결과는 격자의 첫 행과 첫 열에 있으며, 겹치는 \((1,1)\)을 한 번만 세면 \(4 + 4 - 1 = 7\)개이다. 따라서 \(\mathbf{P}(Z=1) = 7/16\)이다.
- 같은 방법으로 세면 \(\mathbf{P}(Z=2) = 5/16\), \(\mathbf{P}(Z=3) = 3/16\), \(\mathbf{P}(Z=4) = 1/16\)이다.
- 검산: \(7 + 5 + 3 + 1 = 16\)이므로 네 확률의 합은 1이다.
- 사건 \(\{(x,y) \mid x + y \le 1/2\}\)는 꼭짓점이 \((0,0), (1/2, 0), (0, 1/2)\)인 직각삼각형이다. 그 넓이는 \(\frac{1}{2}\cdot\frac{1}{2}\cdot\frac{1}{2} = \frac{1}{8}\)이므로 확률은 \(1/8\)이다.
- 사건 \(\{(0.5, 0.3)\}\)은 점 하나이다. 점의 넓이는 0이므로 이 사건의 확률은 0이다.
- 두 번째 결과는 “확률 0인 사건도 일어날 수 있다”는 뜻이다. 실험 결과는 반드시 어떤 점이 되는데, 모든 점 각각의 확률은 0이다.
가산 가법성 (Countable additivity)
왜 필요한가. 표본공간이 \(\{1, 2, 3, \dots\}\)이고 \(\mathbf{P}(n) = 2^{-n}\)이라고 하자. “결과가 짝수일 확률”을 구하려면 \(\mathbf{P}(\{2, 4, 6, \dots\}) = \mathbf{P}(2) + \mathbf{P}(4) + \cdots\)로 무한히 더해야 한다. 그런데 유한 가법성 공리는 유한 개의 사건에 대해서만 덧셈을 허용하므로 이 계산을 정당화하지 못한다.
\(A_1, A_2, A_3, \dots\)가 서로소인 사건들의 무한 수열이면 다음이 성립한다. \[\mathbf{P}(A_1 \cup A_2 \cup A_3 \cup \cdots) = \mathbf{P}(A_1) + \mathbf{P}(A_2) + \mathbf{P}(A_3) + \cdots\] 이 공리는 유한 가법성 공리를 강화한 것이며, 앞으로 공리 3은 이 형태로 사용한다.
가산 가법성에 의해 다음이 성립한다. \[\mathbf{P}(\text{짝수}) = 2^{-2} + 2^{-4} + 2^{-6} + \cdots = \frac{1}{4} + \frac{1}{16} + \cdots = \frac{1/4}{1 - 1/4} = \frac{1}{3}.\] 마지막 단계에서는 공비가 \(r = 1/4\)인 기하급수 공식 \(\sum_{k\ge1} r^k = r/(1-r)\)을 사용했다. 참고로 \(\sum_{n \ge 1} 2^{-n} = 1\)이므로 이 확률법칙은 정규화 공리를 만족한다.
“셀 수 있다(countable)”의 뜻. 어떤 집합의 원소들을 첫째, 둘째, 셋째, … 하는 식으로 수열로 늘어놓을 수 있으면, 그 집합은 “셀 수 있다(가산)”고 한다. 자연수 집합, 정수 집합, 유리수 집합은 셀 수 있다. 반면 단위 정사각형, 구간 \([0,1]\), 실수 전체는 원소를 수열로 늘어놓을 수 없으므로 셀 수 없다(비가산, uncountable).
단위 정사각형에서 각 점의 확률은 0이다. 만약 모든 점의 확률을 “더할” 수 있다면 \(\mathbf{P}(\Omega) = 0 + 0 + \cdots = 0\)이 되어 정규화 공리와 모순된다. 이 모순이 생기지 않는 이유는 가법성이 셀 수 있는 사건 수열에 대해서만 성립하기 때문이다. 정사각형의 점들은 셀 수 없으므로, 그 확률들을 더하는 계산 자체가 허용되지 않는다.
수학적 미묘함. “넓이”는 단위 정사각형 위의 정당한 확률법칙이다. 단, 이 말은 “아주 이상한(very strange)” 집합들에 넓이(확률)를 부여하려고 하지 않는 한에서만 참이다. 수학적으로는 넓이를 일관되게 정의할 수 없는 기이한 집합이 존재한다. 이 과목에서는 그런 집합을 다루지 않으며, 우리가 만나는 모든 “보통의” 집합은 확률을 가진다고 생각해도 된다.
확률의 해석
- 좁은 관점에서 확률론은 수학의 한 분야이다. 이 관점에서 확률론은 공리에서 출발하여 정리를 증명하는 작업이다.
- 빈도 해석(frequency): \(\mathbf{P}(\text{동전이 앞면}) = 1/2\)은 “동전을 아주 많이 던지면 앞면의 비율이 1/2에 가까워진다”는 뜻으로 해석할 수 있다. 이 해석은 나중에 “큰 수의 법칙”이라는 정리로 정당화된다.
- 믿음 해석(belief): “JFK 암살범이 단독범일 확률이 0.92이다”나 “어떤 대통령이 재선될 확률이 0.7이다” 같은 문장은 반복할 수 없는 일회성 사건에 관한 것이다. 이런 확률은 빈도가 아니라 믿음의 정도나 내기 선호(betting preference)로 해석된다.
- 실용적 관점: 확률 모형은 불확실성을 묘사하는 틀(framework)이다. 확률 모형은 일관된 추론을 하고, 예측과 의사결정을 내리는 데 사용된다.
- 확률론의 역할: 현실 세계의 데이터로부터 모형을 세우는 일은 추론/통계(inference/statistics)이다. 세운 모형으로부터 예측과 결정을 끌어내는 일은 확률론(분석)이다.
L01 노테이션 정리
| 기호 | 의미 |
|---|---|
| \(\Omega\) | 표본공간이며, 가능한 모든 결과의 집합이다. |
| \(\omega\) | 표본공간의 원소 하나, 즉 하나의 결과이다. |
| \(A, B, C\) | 사건이며, \(\Omega\)의 부분집합이다. |
| \(\mathbf{P}(A)\) | 사건 \(A\)의 확률이다. |
| \(\mathbf{P}(s)\) | \(\mathbf{P}(\{s\})\)의 줄임 표기이다. |
| \(A^c\) | \(A\)의 여사건이며, “\(A\)가 일어나지 않음”을 뜻한다. |
L01 헷갈리기 쉬운 포인트
- 결과(outcome)와 사건(event)은 다르다. 결과는 \(\Omega\)의 원소이고, 사건은 \(\Omega\)의 부분집합이다. 확률은 사건에 부여된다.
- “서로소(disjoint)”와 “독립(independent)”은 완전히 다른 개념이다. 서로소는 “동시에 일어날 수 없다”는 집합의 성질이다. 독립은 L03에서 배우는 확률의 성질이다. 확률이 양수인 두 사건이 서로소이면, 오히려 두 사건은 독립이 아니다.
- 확률 0은 “불가능”과 같지 않다. 연속 표본공간에서는 모든 점의 확률이 0이지만, 실험을 하면 그중 하나가 반드시 일어난다.
- \(\mathbf{P}(A \cup B) = \mathbf{P}(A) + \mathbf{P}(B)\)는 \(A, B\)가 서로소일 때만 성립한다. 일반적인 경우에는 \(\mathbf{P}(A \cap B)\)를 빼야 한다.
- 가법성은 셀 수 있는 개수의 사건에만 적용된다. 셀 수 없이 많은 점의 확률을 더하는 계산은 허용되지 않는다.
- 표본공간의 원소들은 상호 배타적이어야 한다. 예를 들어 주사위 실험의 결과 목록에 “짝수”와 “2”를 함께 넣으면, 2가 나왔을 때 두 결과가 동시에 일어나므로 올바른 표본공간이 아니다.
L02. 조건부 확률과 세 가지 도구
교재 1.3–1.4절 · Conditioning and Bayes’ rule
큰 그림. 조건부 확률은 새로운 정보를 이용해 확률 모형을 수정하는 방법이다. “사건 \(B\)가 일어났다”는 정보를 들으면, 우리의 세계는 \(\Omega\)에서 \(B\)로 줄어든다. 이 강의는 조건부 확률을 정의한 뒤, 이를 이용한 세 가지 핵심 도구인 곱셈 법칙, 전확률 정리, 베이즈 정리를 소개한다. 특히 베이즈 정리는 관찰로부터 원인을 추론하는 “추론(inference)”의 출발점이다.
조건부 확률 (Conditional probability)
\(\mathbf{P}(B) > 0\)일 때, “\(B\)가 일어났다는 조건에서 \(A\)의 확률”은 다음과 같이 정의된다. \[\mathbf{P}(A \mid B) = \frac{\mathbf{P}(A \cap B)}{\mathbf{P}(B)}.\] \(\mathbf{P}(B) = 0\)이면 \(\mathbf{P}(A \mid B)\)는 정의되지 않는다.
직관. 결과 12개가 똑같이 일어날 법한 실험을 생각하자. \(B\)가 일어났다는 말을 들으면, \(B\) 밖의 결과들은 더 이상 가능하지 않다. 이제 \(B\)가 새로운 우주(new universe)가 되고, \(B\) 안의 결과들은 여전히 서로 똑같이 일어날 법하다. 따라서 \(\mathbf{P}(A \mid B)\)는 “\(B\) 안의 결과 중 \(A\)에도 속하는 결과의 비율”이 된다. 위 정의는 이 비율을 결과들이 균등하지 않은 경우까지 일반화한 것이다. 특히 \(\mathbf{P}(B \mid B) = 1\)이다.
조건부 확률은 보통 확률과 똑같은 성질을 가진다. \(B\)를 고정하면, \(\mathbf{P}(\cdot \mid B)\)는 세 공리를 모두 만족하는 확률법칙이다.
- 비음수성: \(\mathbf{P}(A \mid B) \ge 0\)이다.
- 정규화: \(\mathbf{P}(\Omega \mid B) = 1\)이다.
- 가법성: \(A \cap C = \emptyset\)이면 \(\mathbf{P}(A \cup C \mid B) = \mathbf{P}(A \mid B) + \mathbf{P}(C \mid B)\)이다. 가산 가법성도 마찬가지로 성립한다.
이 사실 덕분에, L01에서 증명한 모든 성질(여사건 공식, 포함-배제 공식 등)은 조건부 확률에서도 그대로 성립한다. 예를 들어 \(\mathbf{P}(A^c \mid B) = 1 - \mathbf{P}(A \mid B)\)이다.
- \(B\)에 속하는 결과는 \((2,2), (2,3), (2,4), (3,2), (4,2)\)의 5개이다. 원래 모든 결과가 균등하므로, 조건부 세계 \(B\) 안에서도 이 5개는 각각 확률 \(1/5\)를 가진다.
- \(\mathbf{P}(M = 1 \mid B) = 0\)이다. 최솟값이 2인데 최댓값이 1일 수는 없기 때문이다.
- \(\mathbf{P}(M = 2 \mid B) = 1/5\)이다. \(B\) 안에서 최댓값이 2인 결과는 \((2,2)\) 하나뿐이다.
- \(\mathbf{P}(M = 3 \mid B) = 2/5\)이다. 해당 결과는 \((2,3), (3,2)\)이다.
- \(\mathbf{P}(M = 4 \mid B) = 2/5\)이다. 해당 결과는 \((2,4), (4,2)\)이다.
조건부 확률로 모형 만들기. 많은 경우 우리는 조건부 확률을 계산하는 대신 처음부터 조건부 확률로 모형을 정의한다. 예를 들어 레이더 문제는 다음과 같이 정의된다.
- 사건 \(A\)는 “비행기가 상공에 있다”이고, 사건 \(B\)는 “레이더 화면에 무언가 잡힌다”이다.
- 모형은 \(\mathbf{P}(A) = 0.05\), \(\mathbf{P}(B \mid A) = 0.99\), \(\mathbf{P}(B \mid A^c) = 0.10\)으로 주어진다.
- 이 모형은 나무 그림으로 그릴 수 있다. 첫 갈림길은 \(A\)(0.05)와 \(A^c\)(0.95)로 나뉘고, 각 가지에서 다시 \(B\)와 \(B^c\)로 나뉜다. \(A\) 가지에서는 \(B\)가 0.99, \(B^c\)가 0.01이고, \(A^c\) 가지에서는 \(B\)가 0.10, \(B^c\)가 0.90이다.
곱셈 법칙 (Multiplication rule)
조건부 확률의 정의를 뒤집으면 교집합의 확률을 구하는 공식을 얻는다. \[\mathbf{P}(A \cap B) = \mathbf{P}(B)\,\mathbf{P}(A \mid B) = \mathbf{P}(A)\,\mathbf{P}(B \mid A).\]
이 공식을 세 개 이상의 사건으로 확장하면 다음과 같다. \[\mathbf{P}(A \cap B \cap C) = \mathbf{P}(A)\,\mathbf{P}(B \mid A)\,\mathbf{P}(C \mid A \cap B).\] 일반적으로 \(n\)개의 사건에 대해서는 다음이 성립한다. \[\mathbf{P}\Big(\bigcap_{i=1}^{n} A_i\Big) = \mathbf{P}(A_1) \prod_{i=2}^{n} \mathbf{P}\big(A_i \mid A_1 \cap \cdots \cap A_{i-1}\big).\]
나무 그림 해석. 곱셈 법칙은 “나무 그림에서 한 경로의 확률은 그 경로를 따라 있는 가지 확률들의 곱이다”라는 뜻이다. 예를 들어 \(\mathbf{P}(A^c \cap B \cap C^c) = \mathbf{P}(A^c)\,\mathbf{P}(B \mid A^c)\,\mathbf{P}(C^c \mid A^c \cap B)\)이다.
전확률 정리 (Total probability theorem)
\(A_1, \dots, A_n\)이 표본공간의 분할(서로소이고 합치면 \(\Omega\))이고 각 \(\mathbf{P}(A_i) > 0\)이라고 하자. 그러면 임의의 사건 \(B\)에 대해 다음이 성립한다. \[\mathbf{P}(B) = \sum_{i=1}^{n} \mathbf{P}(A_i)\,\mathbf{P}(B \mid A_i).\]
- 증명: \(B\)는 서로소인 조각 \(A_1 \cap B, \dots, A_n \cap B\)로 나뉜다. 가법성에 의해 \(\mathbf{P}(B) = \sum_i \mathbf{P}(A_i \cap B)\)이고, 곱셈 법칙에 의해 \(\mathbf{P}(A_i \cap B) = \mathbf{P}(A_i)\mathbf{P}(B \mid A_i)\)이다.
- 직관(분할 정복, divide and conquer): 각 시나리오 \(A_i\) 아래에서 \(B\)의 확률을 알면, 시나리오들의 확률로 가중평균하여 \(B\)의 전체 확률을 얻는다. \(\mathbf{P}(B)\)는 \(\mathbf{P}(B \mid A_i)\)들의 가중평균이고, 가중치는 \(\mathbf{P}(A_i)\)이다.
- 이 정리는 분할이 셀 수 있는 무한 개일 때도 성립한다.
베이즈 정리 (Bayes’ rule)
\(A_1, \dots, A_n\)이 분할이고 \(\mathbf{P}(B) > 0\)이면 다음이 성립한다. \[\mathbf{P}(A_i \mid B) = \frac{\mathbf{P}(A_i)\,\mathbf{P}(B \mid A_i)}{\mathbf{P}(B)} = \frac{\mathbf{P}(A_i)\,\mathbf{P}(B \mid A_i)}{\sum_{j} \mathbf{P}(A_j)\,\mathbf{P}(B \mid A_j)}.\]
- 증명: 분자는 곱셈 법칙에 의해 \(\mathbf{P}(A_i \cap B)\)이고, 분모는 전확률 정리에 의해 \(\mathbf{P}(B)\)이다. 따라서 전체는 조건부 확률의 정의 \(\mathbf{P}(A_i \cap B)/\mathbf{P}(B)\)와 같다.
- 추론(inference)의 언어로 읽기:
- \(A_i\)들은 관찰된 사건 \(B\)의 가능한 원인들이다.
- \(\mathbf{P}(A_i)\)는 사전 확률(prior)이며, 관찰 전에 가진 초기 믿음이다.
- \(\mathbf{P}(B \mid A_i)\)는 각 원인 아래에서 세상이 어떻게 작동하는지를 나타내는 모형(model)이다.
- \(\mathbf{P}(A_i \mid B)\)는 사후 확률(posterior)이며, \(B\)를 관찰한 뒤 수정된 믿음이다.
- 즉 모형은 “원인 → 결과” 방향으로 주어지고, 베이즈 정리는 이를 뒤집어 “결과 → 원인” 방향의 확률을 계산한다.
- 역사적으로 이 정리는 장로교 목사 토머스 베이즈(Thomas Bayes, 약 1701–1761)의 이름을 딴 것이며, 그의 사후에 출판되었다. 이 정리는 새로운 증거를 체계적으로 반영하는 방법을 제공한다.
- \(\mathbf{P}(A \cap B) = \mathbf{P}(A)\mathbf{P}(B \mid A) = 0.05 \times 0.99 = 0.0495\)이다. (곱셈 법칙)
- \(\mathbf{P}(B) = \mathbf{P}(A)\mathbf{P}(B\mid A) + \mathbf{P}(A^c)\mathbf{P}(B \mid A^c) = 0.0495 + 0.95 \times 0.10 = 0.1445\)이다. (전확률 정리)
- \(\mathbf{P}(A \mid B) = 0.0495 / 0.1445 \approx 0.3426\)이다. (베이즈 정리)
- 해석: 레이더에 무언가 잡혀도 실제로 비행기가 있을 확률은 약 34%에 불과하다. 비행기가 원래 드물고(\(\mathbf{P}(A) = 0.05\)), 오경보가 비행기가 없는 많은 경우(95%) 중 10%에서 일어나기 때문이다. 오경보의 총량 0.095가 진짜 탐지의 총량 0.0495보다 크다.
L02 노테이션 정리
| 기호 | 의미 |
|---|---|
| \(\mathbf{P}(A \mid B)\) | \(B\)가 일어났다는 조건에서 \(A\)의 확률이며, \(\mathbf{P}(B)>0\)일 때만 정의된다. |
| \(\mathbf{P}(A_i)\) | 베이즈 맥락에서 사전 확률(prior)이다. |
| \(\mathbf{P}(A_i \mid B)\) | 베이즈 맥락에서 사후 확률(posterior)이다. |
| \(\prod_{i}\) | 곱 기호이며, \(\sum\)이 덧셈을 줄여 쓰듯 곱셈을 줄여 쓴다. |
L02 헷갈리기 쉬운 포인트
- \(\mathbf{P}(A \mid B)\)와 \(\mathbf{P}(B \mid A)\)는 일반적으로 다르다. 레이더 예제에서 \(\mathbf{P}(B \mid A) = 0.99\)이지만 \(\mathbf{P}(A \mid B) \approx 0.34\)이다. 두 값을 혼동하는 실수를 “검사의 오류(prosecutor’s fallacy)”라고 부른다.
- \(\mathbf{P}(A \mid B)\)와 \(\mathbf{P}(A \cap B)\)는 다르다. 교집합 확률은 전체 \(\Omega\)를 기준으로 한 비율이고, 조건부 확률은 \(B\)를 기준으로 한 비율이다. 따라서 항상 \(\mathbf{P}(A \cap B) \le \mathbf{P}(A \mid B)\)이다.
- \(\mathbf{P}(A\mid B) + \mathbf{P}(A \mid B^c)\)는 1이 아니다. 1이 되는 것은 \(\mathbf{P}(A\mid B) + \mathbf{P}(A^c \mid B)\)이다. 조건(막대 오른쪽)을 고정한 채 막대 왼쪽 사건을 여사건으로 바꿔야 합이 1이 된다.
- 전확률 정리는 반드시 분할 위에서 사용해야 한다. 사건 \(A_i\)들이 서로 겹치거나 \(\Omega\) 전체를 덮지 못하면 공식이 틀린다.
- 사전 확률이 작으면 강한 증거도 사후 확률을 크게 올리지 못할 수 있다. 베이즈 정리의 분자에는 항상 사전 확률이 곱해져 있다.
L03. 독립성
교재 1.5절 · Independence
큰 그림. 두 사건이 독립이라는 것은 “한 사건이 일어났다는 정보가 다른 사건의 확률을 바꾸지 않는다”는 뜻이다. 독립성은 복잡한 확률을 단순한 곱으로 계산할 수 있게 해 주므로 확률 모형을 세울 때 가장 자주 쓰는 가정이다. 그러나 독립성은 직관과 어긋나는 경우가 많다. 이 강의는 독립의 정의, 조건부 독립, 여러 사건의 독립, 그리고 “쌍별 독립이 전체 독립을 보장하지 않는다”는 사실을 다룬다.
복습 예제: 편향된 동전 세 번 던지기. 앞면이 나올 확률이 \(p\)인 동전을 세 번 던진다고 하자. 나무 그림의 각 갈림길에서 H는 \(p\), T는 \(1-p\)의 확률을 가진다. 결과는 HHH, HHT, …, TTT의 8개이다.
- \(\mathbf{P}(THT) = (1-p)\,p\,(1-p) = p(1-p)^2\)이다. 곱셈 법칙에 따라 경로 위의 확률을 곱한다.
- \(\mathbf{P}(\text{앞면이 정확히 1번}) = \mathbf{P}(HTT) + \mathbf{P}(THT) + \mathbf{P}(TTH) = 3p(1-p)^2\)이다. 세 결과는 각각 확률 \(p(1-p)^2\)를 가진다.
- \(\mathbf{P}(\text{첫 번째가 H} \mid \text{앞면이 1번}) = \dfrac{\mathbf{P}(HTT)}{3p(1-p)^2} = \dfrac{p(1-p)^2}{3p(1-p)^2} = \dfrac{1}{3}\)이다.
- 해석: 앞면이 정확히 한 번 나왔다는 조건에서, 세 위치는 모두 똑같은 확률을 가진다. 이 답은 \(p\)와 무관하다.
두 사건의 독립 (Independence of two events)
직관적 “정의”. \(\mathbf{P}(B \mid A) = \mathbf{P}(B)\)이면, \(A\)의 발생은 \(B\)에 대해 새로운 정보를 주지 않는다. 이것이 독립의 직관이다. 그런데 이 식은 \(\mathbf{P}(A) > 0\)일 때만 의미가 있고, \(A\)와 \(B\)에 대해 대칭적이지 않다. 그래서 공식 정의는 곱셈 법칙 \(\mathbf{P}(A \cap B) = \mathbf{P}(A)\mathbf{P}(B \mid A)\)에 \(\mathbf{P}(B\mid A) = \mathbf{P}(B)\)를 대입한 형태를 사용한다.
두 사건 \(A\)와 \(B\)는 다음 식을 만족할 때 독립(independent)이라고 한다. \[\mathbf{P}(A \cap B) = \mathbf{P}(A) \cdot \mathbf{P}(B).\]
- 이 정의는 \(A\)와 \(B\)에 대해 대칭적이다.
- 이 정의는 \(\mathbf{P}(A) = 0\)인 경우에도 적용된다. 확률이 0인 사건은 어떤 사건과도 독립이다. 왜냐하면 \(\mathbf{P}(A\cap B) \le \mathbf{P}(A) = 0\)이므로 양변이 모두 0이기 때문이다.
- \(\mathbf{P}(B) > 0\)이면 이 정의는 \(\mathbf{P}(A \mid B) = \mathbf{P}(A)\)와 동치이다.
\(\mathbf{P}(A) > 0\), \(\mathbf{P}(B) > 0\)이고 \(A \cap B = \emptyset\)이라고 하자. 그러면 \(\mathbf{P}(A \cap B) = 0\)이지만 \(\mathbf{P}(A)\mathbf{P}(B) > 0\)이므로 두 사건은 독립이 아니다. 직관적으로도 \(A\)가 일어났다는 정보는 “\(B\)는 절대 일어나지 않았다”는 강력한 정보를 준다. 서로소인 사건들은 오히려 매우 강하게 의존한다.
여사건과 독립 (Independence of event complements)
\(A\)와 \(B\)가 독립이면, \(A\)와 \(B^c\)도 독립이다. 같은 논리로 \(A^c\)와 \(B\), \(A^c\)와 \(B^c\)도 독립이다.
- 직관적 논증: \(A\)가 \(B\)의 발생 여부에 대해 아무 정보도 주지 않는다면, \(A\)는 “\(B\)가 일어나지 않음”에 대해서도 아무 정보도 주지 않는다.
- 형식적 증명: \(A\)는 서로소인 두 조각 \(A \cap B\)와 \(A \cap B^c\)로 나뉜다. 따라서 다음이 성립한다. \[\mathbf{P}(A \cap B^c) = \mathbf{P}(A) - \mathbf{P}(A \cap B) = \mathbf{P}(A) - \mathbf{P}(A)\mathbf{P}(B) = \mathbf{P}(A)\big(1 - \mathbf{P}(B)\big) = \mathbf{P}(A)\mathbf{P}(B^c).\]
조건부 독립 (Conditional independence)
사건 \(C\)가 주어졌을 때의 조건부 독립은 확률법칙 \(\mathbf{P}(\cdot \mid C)\) 아래에서의 독립으로 정의된다. 즉 다음 식이 성립하면 \(A\)와 \(B\)는 \(C\)가 주어졌을 때 조건부 독립이다. \[\mathbf{P}(A \cap B \mid C) = \mathbf{P}(A \mid C)\,\mathbf{P}(B \mid C).\]
조건이 독립성을 깨뜨릴 수 있다. \(A\)와 \(B\)가 독립이고 \(\mathbf{P}(A) > 0\), \(\mathbf{P}(B) > 0\)이라고 하자. 사건 \(C\)가 \(A\)와도 겹치고 \(B\)와도 겹치지만, 세 사건이 동시에 겹치는 부분은 없다(\(A \cap B \cap C = \emptyset\))고 하자. \(C\)가 일어났다는 말을 들으면 \(\mathbf{P}(A \cap B \mid C) = 0\)이지만 \(\mathbf{P}(A \mid C)\mathbf{P}(B\mid C) > 0\)이다. 따라서 \(A\)와 \(B\)는 \(C\)가 주어졌을 때 독립이 아니다.
반대로, 조건이 독립성을 만들 수도 있다. 불공정한 동전 두 개를 생각하자. 동전 A는 \(\mathbf{P}(H \mid \text{동전 A}) = 0.9\)이고, 동전 B는 \(\mathbf{P}(H \mid \text{동전 B}) = 0.1\)이다. 두 동전 중 하나를 확률 1/2씩으로 고른 뒤, 그 동전을 계속 던진다.
- 어떤 동전인지 알 때: 동전이 정해지면 각 던지기는 독립이다. 즉 던지기들은 동전이 주어졌을 때 조건부 독립이다.
- 어떤 동전인지 모를 때: 던지기들은 독립이 아니다. 앞의 결과가 “어떤 동전인지”에 대한 정보를 주고, 그 정보가 다음 던지기의 예측을 바꾸기 때문이다.
- 전확률 정리에 의해 \(\mathbf{P}(\text{11번째} = H) = 0.5 \times 0.9 + 0.5 \times 0.1 = 0.5\)이다.
- 처음 10번이 모두 앞면이었다는 조건에서는 다음과 같다. \[\mathbf{P}(\text{11번째}=H \mid \text{처음 10번 } H) = \frac{0.5 \cdot 0.9^{11} + 0.5 \cdot 0.1^{11}}{0.5 \cdot 0.9^{10} + 0.5 \cdot 0.1^{10}} \approx 0.9.\]
- 두 값이 다르므로 던지기들은 (무조건적으로는) 독립이 아니다. 앞면이 10번 연속 나왔다는 사실은 “동전 A를 골랐을 가능성이 거의 확실하다”는 정보를 주기 때문이다.
여러 사건의 독립 (Independence of a collection of events)
직관적 정의. 여러 사건이 독립이라는 것은 “그중 일부 사건들에 대한 정보가 나머지 사건들에 관련된 확률을 바꾸지 않는다”는 뜻이다. 예를 들어 다음과 같은 식이 성립해야 한다. \[\mathbf{P}\big(A_1 \cap (A_2^c \cup A_3) \mid A_5 \cap A_6^c\big) = \mathbf{P}\big(A_1 \cap (A_2^c \cup A_3)\big).\]
사건 \(A_1, A_2, \dots, A_n\)은 다음 조건을 만족할 때 독립이라고 한다. \(\{1, \dots, n\}\)에서 고른 서로 다른 임의의 첨자 \(i, j, \dots, m\)에 대해 다음 식이 성립해야 한다. \[\mathbf{P}(A_i \cap A_j \cap \cdots \cap A_m) = \mathbf{P}(A_i)\,\mathbf{P}(A_j)\cdots\mathbf{P}(A_m).\]
\(n = 3\)인 경우, 다음 네 식이 모두 성립해야 한다. \[\begin{aligned} \mathbf{P}(A_1 \cap A_2) &= \mathbf{P}(A_1)\mathbf{P}(A_2), \\ \mathbf{P}(A_1 \cap A_3) &= \mathbf{P}(A_1)\mathbf{P}(A_3), \\ \mathbf{P}(A_2 \cap A_3) &= \mathbf{P}(A_2)\mathbf{P}(A_3), \\ \mathbf{P}(A_1 \cap A_2 \cap A_3) &= \mathbf{P}(A_1)\mathbf{P}(A_2)\mathbf{P}(A_3). \end{aligned}\]
쌍별 독립 vs 상호 독립 (Pairwise vs. mutual independence)
처음 세 식만 성립하는 경우를 쌍별 독립(pairwise independence)이라고 부른다. 쌍별 독립은 (전체) 독립을 보장하지 않는다. 다음은 그 대표적인 반례이다.
- 표본공간은 \(\{HH, HT, TH, TT\}\)이고 각 결과의 확률은 1/4이다.
- \(H_1\)은 “첫 번째가 H”, \(H_2\)는 “두 번째가 H”, \(C\)는 “두 결과가 같음”이라는 사건이다.
- \(\mathbf{P}(H_1) = \mathbf{P}(H_2) = 1/2\)이고, \(C = \{HH, TT\}\)이므로 \(\mathbf{P}(C) = 1/2\)이다.
- \(\mathbf{P}(C \cap H_1) = \mathbf{P}(\{HH\}) = 1/4 = \mathbf{P}(C)\mathbf{P}(H_1)\)이다. 같은 방법으로 \(C\)와 \(H_2\)도 독립이고, \(H_1\)과 \(H_2\)는 원래 독립이다. 따라서 세 사건은 쌍별 독립이다.
- 그러나 \(\mathbf{P}(H_1 \cap H_2 \cap C) = \mathbf{P}(\{HH\}) = 1/4\)이고, \(\mathbf{P}(H_1)\mathbf{P}(H_2)\mathbf{P}(C) = 1/8\)이다. 두 값이 다르므로 세 사건은 독립이 아니다.
- 직관적 이유: \(\mathbf{P}(C \mid H_1 \cap H_2) = 1\)이다. \(H_1\)과 \(H_2\)를 함께 알면 \(C\)가 확실히 결정된다. 하나씩만 알 때는 \(C\)에 대한 정보가 없지만, 둘을 합치면 정보가 생긴다.
신뢰도 계산 (Reliability)
여러 부품으로 이루어진 시스템이 있고, 부품 \(i\)가 작동(“up”)할 확률이 \(p_i\)이며 부품들은 독립적으로 고장 난다고 하자.
- 직렬 연결(series): 모든 부품이 작동해야 시스템이 작동한다. 독립성에 의해 다음이 성립한다. \[\mathbf{P}(\text{시스템 작동}) = p_1 p_2 p_3.\]
- 병렬 연결(parallel): 하나 이상의 부품만 작동하면 시스템이 작동한다. 이 경우에는 여사건을 이용하는 것이 쉽다. 시스템이 고장 나려면 모든 부품이 고장 나야 하며, 독립인 사건들의 여사건도 독립이므로 다음이 성립한다. \[\mathbf{P}(\text{시스템 작동}) = 1 - (1-p_1)(1-p_2)(1-p_3).\]
- 직렬과 병렬이 섞인 복잡한 시스템은 하위 블록 단위로 이 두 공식을 반복 적용하여 계산한다.
왕의 형제 퍼즐 (The king’s sibling puzzle)
문제. 왕은 아이가 둘인 가정 출신이다. 왕의 형제(sibling)가 여자일 확률은 얼마인가?
표준적인 풀이. 각 아이가 독립적으로 1/2의 확률로 남자(B) 또는 여자(G)라고 가정하자. 표본공간은 \(\{BB, BG, GB, GG\}\)이고 각 결과의 확률은 1/4이다. 왕이 있다는 사실은 “적어도 한 명은 남자”라는 정보를 주므로 조건부 세계는 \(\{BB, BG, GB\}\)가 된다. 그중 형제가 여자인 경우는 \(BG, GB\)의 2개이므로 답은 \(2/3\)이다.
이 퍼즐의 답은 1/2라는 직관과 다르다. 핵심은 우리가 받은 정보가 “특정한 아이(예: 첫째)가 남자이다”가 아니라 “적어도 한 명이 남자이다”라는 점이다. 만약 “첫째가 남자이고 그가 왕이 되었다”는 정보였다면, 남은 아이의 성별은 독립이므로 답은 1/2이 된다. 조건부 확률 문제에서는 정보가 어떤 과정으로 얻어졌는지를 확률 모형에 정확히 반영해야 한다.
L03 노테이션 정리
| 표현 | 의미 |
|---|---|
| \(\mathbf{P}(A\cap B) = \mathbf{P}(A)\mathbf{P}(B)\) | \(A\)와 \(B\)가 독립이라는 정의이다. |
| \(\mathbf{P}(A \cap B \mid C) = \mathbf{P}(A \mid C)\mathbf{P}(B \mid C)\) | \(C\)가 주어졌을 때 \(A\)와 \(B\)가 조건부 독립이라는 정의이다. |
| \(p_i\) | 신뢰도 문제에서 부품 \(i\)가 작동할 확률이다. |
L03 헷갈리기 쉬운 포인트
- 독립은 확률법칙에 대한 성질이다. 같은 두 사건도 확률법칙이 바뀌면(예: 조건부 확률로 바뀌면) 독립일 수도, 아닐 수도 있다.
- 독립 ⇏ 조건부 독립, 조건부 독립 ⇏ 독립. 두 방향 모두 반례가 있다. 위의 “C가 A, B의 교집합을 피하는 그림”과 “두 동전” 예제가 각각의 반례이다.
- 쌍별 독립 ⇏ 상호 독립. 세 사건 이상이 독립이려면, 2개짜리뿐 아니라 모든 부분집합의 교집합에 대해 곱셈 공식이 성립해야 한다.
- 독립은 그림으로 판단할 수 없다. 벤 다이어그램에서 겹쳐 보인다고 독립인 것도 아니고, 떨어져 보인다고 독립인 것도 아니다. 독립 여부는 오직 숫자 \(\mathbf{P}(A\cap B)\)와 \(\mathbf{P}(A)\mathbf{P}(B)\)의 비교로 판단한다.
- 병렬 시스템은 여사건으로 계산한다. “적어도 하나”가 포함된 사건은 거의 항상 “하나도 없음”의 여사건으로 계산하는 것이 쉽다.
L04. 세기 (Counting)
교재 1.6절 · Counting
큰 그림. 모든 결과가 똑같이 일어날 법한 이산 균등 확률법칙에서는 \(\mathbf{P}(A) = |A| / |\Omega|\)이므로 확률 계산이 “개수 세기”로 바뀐다. 이 강의는 개수를 체계적으로 세는 도구인 기본 세기 원리, 순열, 조합, 분할을 다룬다. 또한 조합을 이용해 동전 던지기의 이항 확률을 유도한다.
기본 세기 원리 (Basic counting principle)
어떤 대상을 \(r\)단계에 걸쳐 만든다고 하자. \(i\)번째 단계에서의 선택지가 \(n_i\)개이고, 이 개수가 앞 단계에서 무엇을 골랐는지에 상관없이 일정하다면, 전체 경우의 수는 다음과 같다. \[n_1 \cdot n_2 \cdots n_r.\]
- 옷 입기: 셔츠 4벌, 넥타이 3개, 재킷 2벌이 있으면 가능한 차림은 \(4 \cdot 3 \cdot 2 = 24\)가지이다.
- 번호판(문자 3개 + 숫자 4개): 각 문자 자리에 26가지, 각 숫자 자리에 10가지 선택지가 있으므로 \(26^3 \cdot 10^4\)가지이다.
- 번호판, 반복 금지: 문자는 \(26 \cdot 25 \cdot 24\)가지, 숫자는 \(10 \cdot 9 \cdot 8 \cdot 7\)가지이므로 전체는 \(26\cdot25\cdot24\cdot10\cdot9\cdot8\cdot7\)가지이다. 앞에서 쓴 것을 다시 쓸 수 없으므로 단계마다 선택지가 하나씩 줄어든다.
- \(\{1, \dots, n\}\)의 부분집합 개수: 각 원소에 대해 “포함한다/포함하지 않는다”의 2가지 선택을 하므로 부분집합은 \(2^n\)개이다. 공집합과 전체집합도 여기에 포함된다.
순열 (Permutations)
서로 다른 \(n\)개의 원소를 일렬로 나열하는 방법의 수는 다음과 같다. \[n! = n \cdot (n-1) \cdots 2 \cdot 1.\]
첫 번째 자리에 \(n\)개, 두 번째 자리에 남은 \(n-1\)개, …, 마지막 자리에 1개의 선택지가 있으므로 기본 세기 원리에 의해 \(n!\)이 된다.
- 표본공간의 원소 개수는 \(6^6 = 46656\)이다. 각 굴림마다 6가지 결과가 가능하다.
- 사건을 만족하는 결과는 1부터 6까지를 한 번씩 나열한 것이므로 \(6! = 720\)개이다.
- 따라서 확률은 \(6!/6^6 = 720/46656 \approx 0.0154\)이다.
k-순열 (k-permutations)
서로 다른 \(n\)개 중에서 \(k\)개를 골라 순서 있게 나열하는 방법의 수는 다음과 같다. \[n(n-1)\cdots(n-k+1) = \frac{n!}{(n-k)!}.\]
이 공식은 \(k\)개의 자리를 차례로 채우되, 자리마다 선택지가 하나씩 줄어드는 상황에 기본 세기 원리를 적용한 결과이다.
조합과 이항계수 (Combinations)
\(\binom{n}{k}\)(“n choose k”)는 \(n\)개의 원소를 가진 집합에서 \(k\)개짜리 부분집합을 고르는 방법의 수이다. 부분집합에서는 순서가 중요하지 않다. \[\binom{n}{k} = \frac{n!}{k!\,(n-k)!}.\]
유도 (같은 대상을 두 가지 방법으로 세기). 서로 다른 \(k\)개 항목의 순서 있는 나열을 만드는 방법은 두 가지가 있다.
- 항목을 하나씩 순서대로 고른다. 이 방법의 수는 \(n(n-1)\cdots(n-k+1) = \frac{n!}{(n-k)!}\)이다.
- 먼저 \(k\)개를 부분집합으로 고른 뒤(\(\binom{n}{k}\)가지), 그 \(k\)개를 나열한다(\(k!\)가지).
두 방법은 같은 대상을 세므로 \(\binom{n}{k}\cdot k! = \frac{n!}{(n-k)!}\)이고, 여기서 공식이 나온다.
- 관례상 \(\binom{n}{0} = \binom{n}{n} = 1\)이다. (\(0! = 1\)이기 때문이다.)
- 대칭성 \(\binom{n}{k} = \binom{n}{n-k}\)가 성립한다. \(k\)개를 고르는 것은 고르지 않을 \(n-k\)개를 정하는 것과 같기 때문이다.
- \(\sum_{k=0}^{n} \binom{n}{k} = 2^n\)이 성립한다. 좌변은 크기별로 센 부분집합 개수의 합이고, 우변은 전체 부분집합 개수이기 때문이다.
이항 확률 (Binomial probabilities)
앞면 확률이 \(p\)인 동전을 독립적으로 \(n\)번(\(n \ge 1\)) 던진다고 하자.
- 특정한 순서열 하나의 확률은 독립성에 의해 \(p^{\#\text{앞면}}(1-p)^{\#\text{뒷면}}\)이다. 예를 들어 \(\mathbf{P}(HTTHHH) = p^4(1-p)^2\)이다.
- 따라서 앞면이 정확히 \(k\)번인 특정한 순서열 하나의 확률은 \(p^k (1-p)^{n-k}\)이다.
- 앞면이 \(k\)번인 순서열의 개수는 “\(n\)개의 자리 중 앞면이 올 \(k\)개의 자리를 고르는 방법의 수”인 \(\binom{n}{k}\)이다.
\[\mathbf{P}(\text{앞면이 } k\text{번}) = \binom{n}{k} p^k (1-p)^{n-k}, \qquad k = 0, 1, \dots, n.\]
- 이 확률들을 모두 더하면 1이 되어야 하므로 \(\sum_{k=0}^{n}\binom{n}{k}p^k(1-p)^{n-k} = 1\)이 성립한다. 이 식은 이항정리 \((p + (1-p))^n = 1\)과 같다.
사건 \(A\)는 “처음 2번이 앞면”이고, 사건 \(B\)는 “10번 중 앞면이 정확히 3번”이다. 우리는 \(\mathbf{P}(A \mid B)\)를 구하려 한다.
첫 번째 풀이 (정의 사용). \(A \cap B\)는 “처음 2번이 앞면이고, 나머지 8번 중 앞면이 정확히 1번”이라는 사건이다. \[\mathbf{P}(A \mid B) = \frac{\mathbf{P}(A\cap B)}{\mathbf{P}(B)} = \frac{p^2 \cdot \binom{8}{1} p (1-p)^7}{\binom{10}{3} p^3 (1-p)^7} = \frac{8}{120} = \frac{1}{15}.\]
두 번째 풀이 (조건부 확률법칙이 균등함을 이용). \(B\) 안의 모든 결과는 각각 확률 \(p^3(1-p)^7\)을 가지므로, \(B\) 위의 조건부 확률법칙은 균등하다. 따라서 개수만 세면 된다. \(B\)의 원소 개수는 \(\binom{10}{3} = 120\)이고, 그중 HH로 시작하는 결과는 나머지 8자리 중 앞면 1개의 위치를 정하는 \(\binom{8}{1} = 8\)개이다. 따라서 답은 \(8/120 = 1/15\)이다.
두 풀이 모두 답이 \(p\)에 의존하지 않는다는 점에 주목하자.
분할과 다항계수 (Partitions)
서로 다른 \(n\)개(\(n\ge1\))의 항목을 \(r\)명(\(r\ge1\))에게 나누어 주되, \(i\)번째 사람이 정확히 \(n_i\)개를 받도록 하는 방법의 수는 다음과 같다. 여기서 \(n_1, \dots, n_r\)은 \(n_1 + \cdots + n_r = n\)을 만족하는 음이 아닌 정수이다. \[\binom{n}{n_1, n_2, \dots, n_r} = \frac{n!}{n_1!\,n_2!\cdots n_r!}.\] 이 수를 다항계수(multinomial coefficient)라고 부른다.
유도 (같은 대상을 두 가지 방법으로 세기). \(n\)개 항목의 나열을 만드는 방법은 두 가지이다.
- 첫째, 둘째, … 항목을 차례로 골라 나열한다. 이 방법의 수는 \(n!\)이다.
- 먼저 각 사람 \(i\)에게 \(n_i\)개를 나누어 준 뒤(분할), 각 사람이 받은 항목들을 나열하여 이어 붙인다. 이 방법의 수는 \((\text{분할의 수}) \cdot n_1! \cdots n_r!\)이다.
두 값이 같으므로 분할의 수는 \(n!/(n_1!\cdots n_r!)\)이다. \(r=2\)일 때 이 공식은 조합 \(\binom{n}{k}\)와 같다.
첫 번째 풀이 (개수 세기).
- 결과는 52장 카드의 분할이며, 모든 분할이 똑같이 일어날 법하다. 결과의 개수는 \(\dfrac{52!}{13!\,13!\,13!\,13!}\)이다.
- 에이스를 한 장씩 받는 결과를 만들려면, 먼저 에이스 4장을 4명에게 한 장씩 나누고(\(4\cdot3\cdot2\cdot1 = 4!\)가지), 나머지 48장을 각자 12장씩 나눈다(\(\dfrac{48!}{12!\,12!\,12!\,12!}\)가지).
- 따라서 확률은 다음과 같다. \[\frac{4! \cdot \dfrac{48!}{(12!)^4}}{\dfrac{52!}{(13!)^4}} \approx 0.105.\]
두 번째 풀이 (영리한 방법). 덱의 맨 위에 에이스 4장을 놓고, 카드를 한 장씩 남은 “자리(slot)”에 무작위로 배정한다고 생각하자. 각 사람은 13개의 자리를 가지고 있다.
- 첫 번째 에이스는 어디에 가든 상관없다.
- 두 번째 에이스가 첫 번째와 다른 사람에게 갈 확률은 남은 51자리 중 다른 사람의 39자리이므로 \(39/51\)이다.
- 세 번째 에이스는 남은 50자리 중 아직 에이스가 없는 두 사람의 26자리에 가야 하므로 확률은 \(26/50\)이다.
- 네 번째 에이스는 남은 49자리 중 마지막 사람의 13자리에 가야 하므로 확률은 \(13/49\)이다.
- 따라서 확률은 \(\dfrac{39}{51}\cdot\dfrac{26}{50}\cdot\dfrac{13}{49} \approx 0.105\)이다.
L04 노테이션 정리
| 기호 | 읽는 법 | 의미 |
|---|---|---|
| \(n!\) | n 팩토리얼 | \(n\)개를 일렬로 나열하는 방법의 수이며, \(0! = 1\)이다. |
| \(\frac{n!}{(n-k)!}\) | k-순열 | \(n\)개 중 \(k\)개를 순서 있게 나열하는 방법의 수이다. |
| \(\binom{n}{k}\) | n choose k | \(n\)개 중 \(k\)개를 순서 없이 고르는 방법의 수(이항계수)이다. |
| \(\binom{n}{n_1,\dots,n_r}\) | 다항계수 | \(n\)개를 크기 \(n_1,\dots,n_r\)인 그룹들로 나누는 방법의 수이다. |
| \(\lvert A \rvert\) | A의 크기 | 집합 \(A\)의 원소 개수이다. |
L04 헷갈리기 쉬운 포인트
- 순서가 중요한지 먼저 판단해야 한다. 순서가 중요하면 순열(k-순열)을, 중요하지 않으면 조합을 쓴다. 같은 대상을 순서 있게 세었다가 \(k!\)로 나누면 조합이 된다.
- 반복이 허용되는지 확인해야 한다. 반복이 허용되면 \(n^k\), 허용되지 않으면 \(n!/(n-k)!\)이다.
- 분자와 분모는 같은 표본공간에서 세야 한다. 분모를 “순서 있는 결과”로 셌다면 분자도 순서 있는 결과로 세야 한다. 한쪽만 순서를 고려하면 답이 \(k!\)배 틀린다.
- 균등 확률법칙이 성립하는지 확인해야 한다. 개수 세기로 확률을 구하는 방법은 모든 결과가 똑같이 일어날 법할 때만 쓸 수 있다. 예를 들어 “앞면 개수”는 0~\(n\) 사이 값이지만 그 값들이 균등하게 일어나지는 않는다.
- 조건부 확률법칙이 균등해지는 경우를 활용하라. 이항 예제처럼 조건 사건 안의 결과들이 모두 같은 확률을 가지면, 조건부 확률은 조건 사건 안에서의 개수 비율로 구할 수 있다.
L05. 이산 확률변수, PMF, 기댓값
교재 2.1–2.4절 · Discrete random variables: probability mass functions and expectations
큰 그림. 지금까지는 사건과 그 확률을 다루었다. 그러나 실제로 우리가 관심을 가지는 것은 대개 “숫자”이다. 예를 들어 앞면의 개수, 대기 시간, 키, 수익 같은 숫자가 그렇다. 확률변수는 실험 결과에 숫자를 붙이는 장치이다. 이 강의는 확률변수의 정의, 이산 확률변수의 분포를 나타내는 PMF, 자주 쓰이는 네 가지 분포(베르누이, 균등, 이항, 기하), 그리고 분포를 하나의 숫자로 요약하는 기댓값을 다룬다.
확률변수 (Random variable)
확률변수(random variable, r.v.)는 모든 가능한 결과 \(\omega\)에 숫자 하나를 대응시킨다. 수학적으로 확률변수는 표본공간 \(\Omega\)에서 실수 집합 \(\mathbb{R}\)로 가는 함수이다. \[X : \Omega \to \mathbb{R}, \qquad \omega \mapsto X(\omega).\]
- 확률변수는 이름과 달리 “변수”가 아니라 함수이다. 무작위성은 함수 \(X\) 자체에 있는 것이 아니라, 어떤 결과 \(\omega\)가 나오는지에 있다.
- 하나의 표본공간 위에 여러 개의 확률변수를 정의할 수 있다. 예를 들어 주사위 두 번 굴리기에서 첫 번째 결과 \(X\), 두 번째 결과 \(Y\), 합 \(X+Y\), 최솟값 \(\min(X,Y)\)는 모두 같은 표본공간 위의 확률변수이다.
- 하나 또는 여러 확률변수의 함수도 확률변수이다. 예를 들어 \(X^2\), \(X+Y\), \(\max(X,Y)\)는 모두 확률변수이다.
- 확률변수는 이산적인 값을 가질 수도 있고 연속적인 값을 가질 수도 있다. 이산(discrete) 확률변수는 유한 개 또는 셀 수 있는 무한 개의 값만 가지는 확률변수이다.
노테이션. 대문자와 소문자를 구별하는 것이 매우 중요하다.
- 대문자 \(X\)는 확률변수, 즉 함수를 나타낸다.
- 소문자 \(x\)는 확률변수가 가질 수 있는 숫자 값을 나타낸다.
- \(X + Y\)는 각 결과 \(\omega\)에 \(X(\omega) + Y(\omega)\)라는 값을 대응시키는 새로운 확률변수이다.
- “\(X \ge 0\)”은 사건 \(\{\omega \in \Omega \mid X(\omega) \ge 0\}\)을 줄여 쓴 표현이다.
확률질량함수 (Probability mass function, PMF)
숫자 \(x\)를 하나 고정하면 “\(X = x\)”는 사건이다. 이산 확률변수 \(X\)의 PMF \(p_X\)는 각 \(x\)에 그 사건의 확률을 대응시키는 함수이다. \[p_X(x) = \mathbf{P}(X = x) = \mathbf{P}\big(\{\omega \in \Omega \text{ s.t. } X(\omega) = x\}\big).\] PMF는 \(X\)의 “확률법칙(probability law)” 또는 “확률분포(probability distribution)”라고도 부른다.
- 성질 1: 모든 \(x\)에 대해 \(p_X(x) \ge 0\)이다.
- 성질 2: \(\sum_x p_X(x) = 1\)이다. 사건 \(\{X = x\}\)들은 서로 다른 \(x\)에 대해 서로소이고, 합치면 \(\Omega\)가 되기 때문이다.
- PMF를 알면 \(X\)에 관한 모든 사건의 확률을 계산할 수 있다. 집합 \(S\)에 대해 \(\mathbf{P}(X \in S) = \sum_{x \in S} p_X(x)\)이다.
PMF 계산법. 어떤 \(x\)에 대해 \(p_X(x)\)를 구하려면 다음 순서를 따른다.
- \(X\)의 값이 \(x\)가 되는 모든 결과 \(\omega\)를 모은다.
- 그 결과들의 확률을 더한다.
- 가능한 모든 \(x\)에 대해 이 과정을 반복한다.
첫 번째 결과를 \(F\), 두 번째 결과를 \(S\)라 하자. 16개의 결과는 각각 확률 1/16을 가진다.
- \(X = \min(F, S)\)일 때 \(p_X(2)\)를 구해 보자. 최솟값이 2인 결과는 \((2,2), (2,3), (2,4), (3,2), (4,2)\)의 5개이므로 \(p_X(2) = 5/16\)이다.
- \(Z = F + S\)의 PMF는 다음과 같다. \(Z\)는 2부터 8까지의 값을 가지며, 격자의 대각선을 따라 결과를 세면 된다.
| \(z\) | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|---|---|
| \(p_Z(z)\) | 1/16 | 2/16 | 3/16 | 4/16 | 3/16 | 2/16 | 1/16 |
베르누이 확률변수와 지시 확률변수
\[X = \begin{cases} 1, & \text{확률 } p \\ 0, & \text{확률 } 1-p \end{cases}\]
- 베르누이 확률변수는 가장 단순한 확률변수이며, 성공/실패나 앞면/뒷면처럼 결과가 두 가지인 시행을 모형화한다.
- 지시 확률변수(indicator r.v.): 사건 \(A\)에 대해 \(I_A\)는 \(A\)가 일어나면 1, 일어나지 않으면 0인 확률변수이다. \(I_A\)는 모수 \(p = \mathbf{P}(A)\)인 베르누이 확률변수이다.
- 지시 확률변수는 복잡한 확률변수를 단순한 조각의 합으로 분해할 때 매우 강력하다. 이 기법은 이항분포의 평균(L06)과 모자 문제(L07)에서 쓰인다.
이산 균등 확률변수 (Discrete uniform)
실험은 \(a, a+1, \dots, b\) 중 하나를 똑같은 확률로 고르는 것이다. 표본공간은 \(\{a, a+1, \dots, b\}\)이고, 확률변수는 \(X(\omega) = \omega\)이다. \[p_X(x) = \frac{1}{b - a + 1}, \qquad x = a, a+1, \dots, b.\]
- 이 분포는 “완전한 무지(complete ignorance)”, 즉 어떤 값이 더 그럴듯한지 전혀 모르는 상황을 모형화한다.
- \(a = b\)인 특수한 경우, \(X\)는 항상 같은 값을 가지는 상수(결정론적, deterministic) 확률변수가 된다.
이항 확률변수 (Binomial)
실험은 앞면 확률이 \(p\)인 동전을 독립적으로 \(n\)번 던지는 것이다. 표본공간은 길이 \(n\)인 H/T 순서열의 집합이다. 확률변수 \(X\)는 관찰된 앞면의 개수이다. \[p_X(k) = \binom{n}{k} p^k (1-p)^{n-k}, \qquad k = 0, 1, \dots, n.\]
- 이항 확률변수는 “정해진 횟수의 독립 시행에서 나온 성공 횟수”를 모형화한다.
- PMF의 모양은 \(p\)에 따라 달라진다. \(p = 0.5\)이면 PMF는 \(n/2\)를 중심으로 좌우 대칭이다. \(p\)가 작으면 PMF는 0 근처로 치우친다. \(n\)이 크면 PMF는 종 모양에 가까워지며, 이 현상은 나중에 중심극한정리로 설명된다.
기하 확률변수 (Geometric)
실험은 앞면 확률이 \(p\)인 동전을 독립적으로 무한히 던지는 것이다. 표본공간은 무한한 H/T 순서열의 집합이다. 확률변수 \(X\)는 첫 번째 앞면이 나올 때까지 던진 횟수(첫 앞면을 포함)이다. \[p_X(k) = \mathbf{P}(\underbrace{T T \cdots T}_{k-1} H) = (1-p)^{k-1} p, \qquad k = 1, 2, \dots\]
- 기하 확률변수는 “대기 시간”, 즉 “성공할 때까지의 시행 횟수”를 모형화한다.
- PMF는 \(k = 1\)에서 가장 크고, 이후 공비 \(1-p\)로 기하급수적으로 감소한다.
- 정규화 확인: \(\sum_{k=1}^{\infty} (1-p)^{k-1} p = p \cdot \frac{1}{1-(1-p)} = 1\)이다.
- 앞면이 영원히 나오지 않을 확률은 0이다. 처음 \(k\)번이 모두 뒷면일 확률은 \((1-p)^k\)이고, \(k \to \infty\)이면 이 값은 0으로 간다. 따라서 \(X\)가 무한대가 될 가능성은 무시해도 된다.
기댓값 (Expectation)
동기. 어떤 게임을 1000번 한다고 하자. 한 판의 상금은 1달러(확률 1/6), 2달러(확률 1/2), 4달러(확률 1/3)이다. 1000번 중 대략 1000/6번은 1달러, 1000/2번은 2달러, 1000/3번은 4달러를 받을 것이다. 따라서 한 판당 평균 상금은 대략 \(1 \cdot \frac{1}{6} + 2 \cdot \frac{1}{2} + 4 \cdot \frac{1}{3} = 2.5\)달러이다.
이산 확률변수 \(X\)의 기댓값(expectation, expected value, mean)은 다음과 같이 정의된다. \[\mathbf{E}[X] = \sum_x x\, p_X(x).\]
- 해석 1 (무게중심): 각 값 \(x\)에 무게 \(p_X(x)\)를 올려놓은 막대를 생각하면, \(\mathbf{E}[X]\)는 그 막대가 균형을 이루는 지점(center of gravity)이다.
- 해석 2 (장기 평균): 실험을 독립적으로 아주 많이 반복할 때 \(X\) 값들의 평균은 \(\mathbf{E}[X]\)에 가까워진다. 이 해석은 이 과목 후반부에서 정리로 정당화된다.
- 주의 (무한 합): \(X\)가 무한히 많은 값을 가지면 합이 잘 정의되어야 한다. 이 과목은 \(\sum_x |x|\, p_X(x) < \infty\)를 가정한다. 이 조건이 성립하지 않으면 기댓값이 정의되지 않을 수 있다.
- 모집단 평균으로서의 기댓값: 학생 \(n\)명의 몸무게가 \(x_1, \dots, x_n\)(모두 다르다고 가정)이고, 학생 한 명을 똑같은 확률로 고른다고 하자. 고른 학생의 몸무게 \(X\)는 \(p_X(x_i) = 1/n\)이므로 \(\mathbf{E}[X] = \frac{1}{n}\sum_i x_i\)가 된다. 즉 기댓값은 모집단의 평균과 같다.
- 베르누이: \(\mathbf{E}[X] = 1 \cdot p + 0 \cdot (1-p) = p\)이다. 특히 지시 확률변수에 대해 \(\mathbf{E}[I_A] = \mathbf{P}(A)\)이다. 이 등식은 “확률은 지시 확률변수의 기댓값”이라는 중요한 연결고리이다.
- \(0, 1, \dots, n\) 위의 균등분포: \(\mathbf{E}[X] = 0 \cdot \frac{1}{n+1} + 1 \cdot \frac{1}{n+1} + \cdots + n \cdot \frac{1}{n+1} = \frac{1}{n+1}\cdot\frac{n(n+1)}{2} = \frac{n}{2}\)이다. PMF가 \(n/2\)를 중심으로 대칭이므로 무게중심도 \(n/2\)이다.
기댓값 규칙 (Expected value rule)
\(X\)가 확률변수이고 \(Y = g(X)\)라고 하자. \(\mathbf{E}[Y]\)를 구하는 방법은 두 가지이다.
- 어려운 방법: 먼저 \(Y\)의 PMF \(p_Y\)를 구한 뒤 \(\mathbf{E}[Y] = \sum_y y\, p_Y(y)\)를 계산한다.
- 쉬운 방법 (기댓값 규칙): \(Y\)의 PMF를 구하지 않고 \(X\)의 PMF로 바로 계산한다.
\[\mathbf{E}[g(X)] = \sum_x g(x)\, p_X(x).\]
- 증명 아이디어: \(g(x) = y\)를 만족하는 \(x\)들을 묶으면 \(\sum_x g(x)p_X(x) = \sum_y y \sum_{x: g(x)=y} p_X(x) = \sum_y y\, p_Y(y)\)가 된다. 즉 두 방법은 같은 항들을 다른 순서로 더한 것이다.
- 예를 들어 \(X\)의 2차 모멘트(second moment)는 \(\mathbf{E}[X^2] = \sum_x x^2 p_X(x)\)이다.
\(X\)가 \(-1\)과 \(1\)을 각각 확률 1/2로 가진다고 하자. \(\mathbf{E}[X] = 0\)이므로 \((\mathbf{E}[X])^2 = 0\)이다. 그러나 \(X^2\)은 항상 1이므로 \(\mathbf{E}[X^2] = 1\)이다. 기댓값과 함수의 순서를 바꿀 수 있는 것은 \(g\)가 선형(일차)함수일 때뿐이다.
기댓값의 성질과 선형성
기본 성질.
- \(X \ge 0\)이면(즉 모든 \(\omega\)에서 \(X(\omega) \ge 0\)이면) \(\mathbf{E}[X] \ge 0\)이다.
- \(a \le X \le b\)이면 \(a \le \mathbf{E}[X] \le b\)이다.
- \(c\)가 상수이면 \(\mathbf{E}[c] = c\)이다.
\(a, b\)가 상수이면 다음이 성립한다. \[\mathbf{E}[aX + b] = a\,\mathbf{E}[X] + b.\]
- 직관: 모든 값에 \(a\)를 곱하고 \(b\)를 더하면 평균도 똑같이 \(a\)배 되고 \(b\)만큼 이동한다. 예를 들어 섭씨 온도의 평균을 화씨로 바꾸려면, 평균 자체에 같은 변환을 적용하면 된다.
- 증명 (기댓값 규칙 사용): \(g(x) = ax + b\)로 두면 다음이 성립한다. \[\mathbf{E}[aX+b] = \sum_x (ax + b)p_X(x) = a\sum_x x\,p_X(x) + b\sum_x p_X(x) = a\,\mathbf{E}[X] + b.\] 마지막 단계에서 \(\sum_x p_X(x) = 1\)을 사용했다.
L05 노테이션 정리
| 기호 | 의미 |
|---|---|
| \(X, Y, Z\) | 확률변수(대문자)이며, \(\Omega \to \mathbb{R}\) 함수이다. |
| \(x, y, z\) | 확률변수가 가질 수 있는 숫자 값(소문자)이다. |
| \(X(\omega)\) | 결과 \(\omega\)에서 확률변수 \(X\)가 가지는 값이다. |
| \(p_X(x)\) | \(X\)의 PMF이며, \(\mathbf{P}(X = x)\)와 같다. |
| \(I_A\) | 사건 \(A\)의 지시 확률변수이다. |
| \(\mathbf{E}[X]\) | \(X\)의 기댓값(평균)이다. |
| w.p. | “with probability”의 줄임말이며, “확률 ~로”라는 뜻이다. |
| iff | “if and only if”의 줄임말이며, “필요충분조건”이라는 뜻이다. |
L05 헷갈리기 쉬운 포인트
- 확률변수는 함수이다. “\(X\)의 값”이라고 말할 때는 항상 “어떤 결과 \(\omega\)에서의 값”을 뜻한다.
- \(X\)와 \(x\)를 섞어 쓰면 안 된다. \(p_X(x)\)에서 아래 첨자 \(X\)는 “어떤 확률변수의 PMF인지”를 알려주고, 괄호 안의 \(x\)는 “어떤 값에서의 확률인지”를 알려준다. 따라서 \(p_X(3)\)은 \(\mathbf{P}(X = 3)\)이다.
- 기댓값은 \(X\)가 실제로 가질 수 있는 값이 아닐 수도 있다. 공정한 주사위의 기댓값은 3.5이지만, 주사위는 3.5를 낼 수 없다.
- 기하분포의 정의는 교재마다 다르다. 이 과목은 “첫 성공까지의 시행 횟수(첫 성공 포함)”로 정의하므로 값은 \(1, 2, \dots\)이다. 다른 교재는 “첫 성공 전 실패 횟수”로 정의하여 값이 \(0, 1, \dots\)인 경우도 있다.
- 이항분포의 \(n\)과 \(k\)를 구분해야 한다. \(n\)은 시행 횟수(모수)이고, \(k\)는 확률변수가 가지는 값(성공 횟수)이다.
- \(\mathbf{E}[g(X)]\)를 계산할 때 \(g(\mathbf{E}[X])\)로 계산하면 안 된다. 이 순서 교환은 선형함수에서만 허용된다.
L06. 분산, 사건에 대한 조건부, 여러 확률변수
교재 2.4–2.6절 · Variance; Conditioning on an event; Multiple r.v.’s
큰 그림. 기댓값은 분포의 “중심”을 알려주지만, 값들이 중심 주위에 얼마나 퍼져 있는지는 알려주지 않는다. 분산은 그 퍼짐을 측정한다. 이 강의는 또한 확률변수를 사건에 대해 조건화하는 방법(조건부 PMF와 조건부 기댓값), 이를 이용한 전기댓값 정리, 기하분포의 무기억성, 그리고 여러 확률변수를 함께 다루는 결합 PMF를 소개한다.
분산과 표준편차 (Variance)
동기. 확률변수 \(X\)의 평균을 \(\mu = \mathbf{E}[X]\)라고 하자. 평균으로부터의 거리는 \(X - \mu\)이다. 그런데 “평균으로부터의 평균 거리” \(\mathbf{E}[X - \mu]\)는 선형성에 의해 \(\mu - \mu = 0\)이 되어 쓸모가 없다. 양수 거리와 음수 거리가 상쇄되기 때문이다. 절댓값을 쓴 \(\mathbf{E}[|X - \mu|]\)는 가능한 측정값이지만 계산이 번거롭다. 그래서 제곱을 사용한다.
\[\text{var}(X) = \mathbf{E}\big[(X - \mu)^2\big], \qquad \mu = \mathbf{E}[X].\] 표준편차(standard deviation)는 분산의 제곱근이다. \[\sigma_X = \sqrt{\text{var}(X)}.\]
- 기댓값 규칙을 \(g(x) = (x - \mu)^2\)에 적용하면 \(\text{var}(X) = \sum_x (x - \mu)^2 p_X(x)\)이다.
- 분산은 항상 \(\text{var}(X) \ge 0\)이다. 음이 아닌 값들의 가중평균이기 때문이다.
- 표준편차는 \(X\)와 같은 단위를 가진다. 예를 들어 \(X\)가 미터 단위이면 분산은 제곱미터 단위이고, 표준편차는 미터 단위이다. 그래서 퍼짐을 해석할 때는 표준편차가 더 직관적이다.
\[\text{var}(X) = \mathbf{E}[X^2] - \big(\mathbf{E}[X]\big)^2.\]
증명. \((X - \mu)^2 = X^2 - 2\mu X + \mu^2\)을 전개하고 선형성을 적용하면 다음을 얻는다. \[\mathbf{E}[(X-\mu)^2] = \mathbf{E}[X^2] - 2\mu\,\mathbf{E}[X] + \mu^2 = \mathbf{E}[X^2] - 2\mu^2 + \mu^2 = \mathbf{E}[X^2] - \mu^2.\]
\[\text{var}(aX + b) = a^2\,\text{var}(X).\]
- \(Y = X + b\)인 경우: 모든 값이 \(b\)만큼 이동하면 평균도 \(b\)만큼 이동하므로, 평균으로부터의 거리는 변하지 않는다. 따라서 \(\text{var}(X + b) = \text{var}(X)\)이다.
- \(Y = aX\)인 경우: 평균은 \(a\mu\)가 되고, 평균으로부터의 거리는 \(a\)배가 된다. 거리를 제곱하므로 분산은 \(a^2\)배가 된다. 즉 \(\text{var}(aX) = \mathbf{E}[(aX - a\mu)^2] = a^2\mathbf{E}[(X-\mu)^2]\)이다.
- 베르누이(\(p\)): \(X^2 = X\)이므로(\(0^2 = 0\), \(1^2 = 1\)) \(\mathbf{E}[X^2] = p\)이다. 따라서 \(\text{var}(X) = p - p^2 = p(1-p)\)이다. 이 값은 \(p = 1/2\)일 때 최대 \(1/4\)이고, \(p = 0\) 또는 \(p = 1\)일 때 0이다. 결과가 확실하면 퍼짐이 없다는 직관과 일치한다.
- \(0, 1, \dots, n\) 위의 균등분포: \(\mathbf{E}[X^2] = \frac{1}{n+1}\sum_{k=0}^n k^2 = \frac{1}{n+1}\cdot\frac{n(n+1)(2n+1)}{6} = \frac{n(2n+1)}{6}\)이다. 따라서 다음이 성립한다. \[\text{var}(X) = \frac{n(2n+1)}{6} - \frac{n^2}{4} = \frac{n(n+2)}{12}.\]
- \(a, \dots, b\) 위의 균등분포: \(X - a\)는 \(0, \dots, b-a\) 위의 균등분포이고, 평행이동은 분산을 바꾸지 않는다. 따라서 위 공식에 \(n = b - a\)를 대입하면 \(\text{var}(X) = \frac{(b-a)(b-a+2)}{12}\)이다.
200마일을 일정하지만 무작위인 속도 \(V\)로 이동한다고 하자. \(V\)는 1 또는 200의 값을 각각 확률 1/2로 가진다. 이동 시간은 \(T = 200/V\)이다.
- \(\mathbf{E}[V] = \frac{1}{2}(1 + 200) = 100.5\)이다.
- \(\mathbf{E}[V^2] = \frac{1}{2}(1 + 40000) = 20000.5\)이므로 \(\text{var}(V) = 20000.5 - 100.5^2 = 9900.25\)이다.
- \(\sigma_V = \sqrt{9900.25} = 99.5\)이다.
- \(T\)는 200(속도 1일 때) 또는 1(속도 200일 때)을 각각 확률 1/2로 가지므로 \(\mathbf{E}[T] = 100.5\)이다.
- 주의: \(200/\mathbf{E}[V] = 200/100.5 \approx 1.99\)는 \(\mathbf{E}[T] = 100.5\)와 전혀 다르다. 이 예제는 \(\mathbf{E}[g(V)] \ne g(\mathbf{E}[V])\)의 극적인 사례이다.
사건이 주어졌을 때의 조건부 PMF와 기댓값
사건 \(A\)(\(\mathbf{P}(A) > 0\))가 일어났다는 정보를 받으면, 확률 대신 조건부 확률을 사용하면 된다.
\[p_{X \mid A}(x) = \mathbf{P}(X = x \mid A), \qquad \mathbf{E}[X \mid A] = \sum_x x\, p_{X\mid A}(x).\]
- 조건부 PMF도 PMF이므로 \(\sum_x p_{X\mid A}(x) = 1\)이다.
- 조건부 기댓값에도 기댓값 규칙이 성립한다: \(\mathbf{E}[g(X) \mid A] = \sum_x g(x)\,p_{X\mid A}(x)\).
- 조건부 분산은 조건부 확률법칙 아래에서의 분산이다: \(\text{var}(X \mid A) = \mathbf{E}[X^2 \mid A] - (\mathbf{E}[X\mid A])^2\).
- 원래 분포에서는 \(p_X(x) = 1/4\)이고 \(\mathbf{E}[X] = 2.5\)이다.
- \(\mathbf{P}(A) = 3/4\)이므로 \(p_{X\mid A}(x) = \frac{1/4}{3/4} = \frac{1}{3}\)이다(\(x = 2,3,4\)). \(x = 1\)이면 \(p_{X\mid A}(1) = 0\)이다.
- \(\mathbf{E}[X \mid A] = \frac{2 + 3 + 4}{3} = 3\)이다.
- \(\mathbf{E}[X^2 \mid A] = \frac{4 + 9 + 16}{3} = \frac{29}{3}\)이므로 \(\text{var}(X\mid A) = \frac{29}{3} - 9 = \frac{2}{3}\)이다.
- 조건부 PMF는 \(A\) 밖의 값들을 지우고, \(A\) 안의 값들의 확률을 같은 비율로 키워 합이 1이 되게 만든 것이다.
전기댓값 정리 (Total expectation theorem)
\(A_1, \dots, A_n\)이 표본공간의 분할이고 각 \(\mathbf{P}(A_i) > 0\)이면 다음이 성립한다. \[p_X(x) = \sum_{i=1}^n \mathbf{P}(A_i)\,p_{X\mid A_i}(x), \qquad \mathbf{E}[X] = \sum_{i=1}^n \mathbf{P}(A_i)\,\mathbf{E}[X \mid A_i].\]
- 첫 번째 식은 사건 \(B = \{X = x\}\)에 전확률 정리를 적용한 것이다.
- 두 번째 식은 첫 번째 식의 양변에 \(x\)를 곱하고 모든 \(x\)에 대해 더한 것이다.
- 직관: 전체 평균은 각 시나리오에서의 평균을 시나리오의 확률로 가중평균한 것이다. 예를 들어 반 A(30명, 평균 70점)와 반 B(10명, 평균 90점)를 합친 평균은 \(\frac{3}{4}\cdot 70 + \frac{1}{4}\cdot 90 = 75\)점이다.
기하분포의 무기억성 (Memorylessness)
\(X\)를 앞면 확률이 \(p\)인 동전을 독립적으로 던질 때 첫 앞면까지의 던지기 횟수라고 하자.
\(X > k\)라는 조건이 주어지면, 확률변수 \(X - k\)는 원래와 똑같은 기하분포(모수 \(p\))를 가진다. \[\mathbf{P}(X - k = j \mid X > k) = (1-p)^{j-1}p = p_X(j), \qquad j = 1, 2, \dots\]
- 직관: 처음 \(k\)번이 모두 뒷면이었다고 하자. 동전 던지기는 독립이므로, 동전은 과거를 “기억하지” 않는다. 따라서 \(k+1\)번째부터 다시 시작하는 실험은 처음부터 시작하는 실험과 확률적으로 똑같다.
- 계산 확인: \(\mathbf{P}(X > k) = (1-p)^k\)이고, \(\mathbf{P}(X = k + j) = (1-p)^{k+j-1}p\)이다. 따라서 \(\mathbf{P}(X = k+j \mid X > k) = \frac{(1-p)^{k+j-1}p}{(1-p)^k} = (1-p)^{j-1}p\)이다.
직접 계산하면 \(\mathbf{E}[X] = \sum_{k=1}^{\infty} k(1-p)^{k-1}p\)인데, 이 급수는 계산이 번거롭다. 대신 전기댓값 정리와 무기억성을 쓰자.
- 분할을 \(A_1 = \{X = 1\}\)(첫 던지기가 앞면)과 \(A_2 = \{X > 1\}\)(첫 던지기가 뒷면)로 잡는다.
- \(\mathbf{P}(A_1) = p\)이고 \(\mathbf{E}[X \mid X = 1] = 1\)이다.
- \(\mathbf{P}(A_2) = 1-p\)이다. 무기억성에 의해 \(X > 1\)이 주어지면 \(X - 1\)은 원래와 같은 기하분포를 가지므로 \(\mathbf{E}[X - 1 \mid X > 1] = \mathbf{E}[X]\), 즉 \(\mathbf{E}[X \mid X > 1] = 1 + \mathbf{E}[X]\)이다.
- 전기댓값 정리에 의해 \(\mathbf{E}[X] = p \cdot 1 + (1-p)(1 + \mathbf{E}[X])\)이다.
- 이 식을 \(\mathbf{E}[X]\)에 대해 풀면 \(p\,\mathbf{E}[X] = 1\), 즉 \(\mathbf{E}[X] = 1/p\)이다.
- 해석: 성공 확률이 \(1/6\)이면 평균적으로 6번 시도해야 첫 성공을 얻는다.
결합 PMF와 주변 PMF (Joint and marginal PMFs)
같은 실험에서 두 확률변수 \(X\), \(Y\)를 동시에 다룰 때는 두 값의 조합에 대한 확률이 필요하다.
결합 PMF(joint PMF)는 다음과 같다. \[p_{X,Y}(x, y) = \mathbf{P}(X = x \text{ and } Y = y).\]
- 결합 PMF는 \(x\)를 열, \(y\)를 행으로 하는 표로 나타낼 수 있다. 표의 각 칸에는 그 조합의 확률이 들어간다.
- 모든 칸의 합은 1이다: \(\sum_x\sum_y p_{X,Y}(x,y) = 1\).
- 주변 PMF(marginal PMF)는 결합 PMF에서 다른 변수를 합쳐 없앤 것이다. \[p_X(x) = \sum_y p_{X,Y}(x, y), \qquad p_Y(y) = \sum_x p_{X,Y}(x, y).\] 표에서 \(p_X(x)\)는 \(x\) 열의 합이고, \(p_Y(y)\)는 \(y\) 행의 합이다. “주변”이라는 이름은 이 합을 표의 가장자리(margin)에 적는 관습에서 왔다.
- 결합 PMF로 두 변수에 관한 어떤 사건의 확률도 계산할 수 있다. 예를 들어 \(\mathbf{P}(X = Y) = \sum_{x} p_{X,Y}(x, x)\)이며, 이 값은 표의 대각선 칸들의 합이다.
- 세 개 이상의 확률변수도 같은 방식으로 다룬다. \(p_{X,Y,Z}(x,y,z) = \mathbf{P}(X = x, Y = y, Z = z)\)이고, 주변 PMF는 나머지 변수들을 합쳐서 얻는다. 예를 들어 \(p_X(x) = \sum_y \sum_z p_{X,Y,Z}(x,y,z)\)이다.
여러 확률변수의 함수. \(Z = g(X, Y)\)이면 \(Z\)의 PMF는 \(p_Z(z) = \mathbf{P}(g(X,Y) = z) = \sum_{(x,y):\,g(x,y) = z} p_{X,Y}(x,y)\)이다. 기댓값 규칙도 그대로 확장된다. \[\mathbf{E}[g(X, Y)] = \sum_x\sum_y g(x, y)\,p_{X,Y}(x, y).\]
\[\mathbf{E}[X + Y] = \mathbf{E}[X] + \mathbf{E}[Y], \qquad \mathbf{E}[X_1 + \cdots + X_n] = \mathbf{E}[X_1] + \cdots + \mathbf{E}[X_n].\]
- 이 식은 \(X\)와 \(Y\)가 독립이 아니어도 항상 성립한다. 증명은 기댓값 규칙을 \(g(x,y) = x + y\)에 적용하고 합을 둘로 나누는 것이다.
- 예를 들어 \(\mathbf{E}[2X + 3Y - Z] = 2\mathbf{E}[X] + 3\mathbf{E}[Y] - \mathbf{E}[Z]\)이다.
이항분포의 평균
직접 계산하면 \(\mathbf{E}[X] = \sum_{k=0}^n k\binom{n}{k}p^k(1-p)^{n-k}\)인데, 이 합은 계산하기 까다롭다. 대신 지시 확률변수를 쓰자.
- \(X_i\)를 \(i\)번째 시행이 성공이면 1, 아니면 0인 지시 확률변수로 둔다.
- 성공 횟수는 각 시행의 성공 여부를 더한 것이므로 \(X = X_1 + X_2 + \cdots + X_n\)이다.
- 각 \(X_i\)는 베르누이(\(p\))이므로 \(\mathbf{E}[X_i] = p\)이다.
- 선형성에 의해 \(\mathbf{E}[X] = \mathbf{E}[X_1] + \cdots + \mathbf{E}[X_n] = np\)이다.
- 해석: 성공 확률 0.3인 시행을 100번 하면 평균 30번 성공한다.
L06 노테이션 정리
| 기호 | 의미 |
|---|---|
| \(\mu\) | 기댓값 \(\mathbf{E}[X]\)를 짧게 쓴 기호이다. |
| \(\text{var}(X)\) | \(X\)의 분산이다. |
| \(\sigma_X\) | \(X\)의 표준편차이며, \(\sqrt{\text{var}(X)}\)와 같다. |
| \(\mathbf{E}[X^2]\) | \(X\)의 2차 모멘트이다. |
| \(p_{X\mid A}(x)\) | 사건 \(A\)가 주어졌을 때 \(X\)의 조건부 PMF이다. |
| \(\mathbf{E}[X \mid A]\) | 사건 \(A\)가 주어졌을 때 \(X\)의 조건부 기댓값이다. |
| \(p_{X,Y}(x,y)\) | \(X\)와 \(Y\)의 결합 PMF이다. |
L06 헷갈리기 쉬운 포인트
- \(\text{var}(aX + b) = a^2 \text{var}(X)\)이다. 상수 \(b\)는 분산에 영향을 주지 않고, 곱하는 상수 \(a\)는 제곱되어 나온다. 특히 \(\text{var}(-X) = \text{var}(X)\)이다.
- \(\mathbf{E}[X^2]\)와 \((\mathbf{E}[X])^2\)는 다르다. 두 값의 차이가 바로 분산이며, 분산이 0 이상이므로 항상 \(\mathbf{E}[X^2] \ge (\mathbf{E}[X])^2\)이다.
- 조건부 PMF를 구할 때는 반드시 \(\mathbf{P}(A)\)로 나누어야 한다. \(A\) 밖의 값만 지우고 나누지 않으면 확률의 합이 1이 되지 않는다.
- 무기억성은 “\(X > k\)가 주어졌을 때 \(X - k\)”에 관한 성질이다. “\(X > k\)가 주어졌을 때 \(X\)”의 분포는 원래 분포와 다르다. \(X\) 자체는 \(k\)만큼 이동한 분포를 가진다.
- 기댓값의 선형성은 독립성을 요구하지 않는다. 반면 L07에서 배울 \(\mathbf{E}[XY] = \mathbf{E}[X]\mathbf{E}[Y]\)와 분산의 덧셈 공식은 독립성이 필요하다.
- 주변 PMF로부터 결합 PMF를 복원할 수는 없다. 같은 주변 PMF를 가지면서 결합 PMF는 다른 경우가 많다. 결합 PMF는 두 변수의 “관계”에 대한 정보까지 담고 있다.
L07. 확률변수에 대한 조건부, 확률변수의 독립
교재 2.6–2.7절 · Conditioning on a random variable; Independence of r.v.’s
큰 그림. L06에서는 확률변수를 사건에 대해 조건화했다. 이 강의는 한 확률변수를 다른 확률변수의 값에 대해 조건화한다. “\(Y = y\)”도 사건이므로 새로운 개념이 필요한 것은 아니며, 노테이션과 활용법이 새로울 뿐이다. 이어서 확률변수의 독립을 정의하고, 독립일 때 기댓값과 분산이 어떤 좋은 성질을 가지는지 살펴본다. 마지막으로 이항분포의 분산과 “모자 문제”를 통해 지시 확률변수 기법을 연습한다.
조건부 PMF (Conditional PMF)
\(p_Y(y) > 0\)인 \(y\)에 대해, \(Y = y\)가 주어졌을 때 \(X\)의 조건부 PMF는 다음과 같다. \[p_{X\mid Y}(x \mid y) = \mathbf{P}(X = x \mid Y = y) = \frac{p_{X,Y}(x, y)}{p_Y(y)}.\]
- \(y\)를 고정하면 \(p_{X\mid Y}(\cdot \mid y)\)는 \(x\)에 대한 PMF이므로 \(\sum_x p_{X\mid Y}(x \mid y) = 1\)이다.
- 결합 PMF 표에서의 해석: \(Y = y\)인 행 하나만 남기고, 그 행의 값들을 행의 합 \(p_Y(y)\)로 나누어 합이 1이 되도록 만든 것이 조건부 PMF이다.
- 곱셈 법칙(PMF 버전): 조건부 PMF의 정의를 뒤집으면 다음을 얻는다. \[p_{X,Y}(x,y) = p_Y(y)\,p_{X\mid Y}(x \mid y) = p_X(x)\,p_{Y\mid X}(y \mid x).\]
- 세 개 이상의 확률변수: 사건의 곱셈 법칙 \(\mathbf{P}(A\cap B\cap C) = \mathbf{P}(A)\mathbf{P}(B\mid A)\mathbf{P}(C \mid A\cap B)\)와 똑같은 구조로 다음이 성립한다. \[p_{X,Y,Z}(x,y,z) = p_X(x)\,p_{Y\mid X}(y \mid x)\,p_{Z\mid X,Y}(z \mid x,y).\]
- 노테이션은 직관적이다. \(p_{X\mid Y,Z}(x \mid y, z) = \mathbf{P}(X = x \mid Y = y, Z = z)\)이고, \(p_{X,Y\mid Z}(x, y \mid z) = \mathbf{P}(X = x, Y = y \mid Z = z)\)이다.
조건부 기댓값과 전기댓값 정리
\[\mathbf{E}[X \mid Y = y] = \sum_x x\,p_{X\mid Y}(x \mid y), \qquad \mathbf{E}[g(X) \mid Y = y] = \sum_x g(x)\,p_{X\mid Y}(x \mid y).\]
세 가지 기댓값을 나란히 놓으면 구조가 같다는 것을 알 수 있다.
| 무조건 | 사건 \(A\)가 주어짐 | \(Y = y\)가 주어짐 |
|---|---|---|
| \(\mathbf{E}[X] = \sum_x x\,p_X(x)\) | \(\mathbf{E}[X\mid A] = \sum_x x\,p_{X\mid A}(x)\) | \(\mathbf{E}[X\mid Y=y] = \sum_x x\,p_{X\mid Y}(x\mid y)\) |
| \(\mathbf{E}[g(X)] = \sum_x g(x)p_X(x)\) | \(\mathbf{E}[g(X)\mid A] = \sum_x g(x)p_{X\mid A}(x)\) | \(\mathbf{E}[g(X)\mid Y=y] = \sum_x g(x)p_{X\mid Y}(x\mid y)\) |
사건 \(\{Y = y\}\)들은 \(\Omega\)의 분할을 이룬다. 따라서 L06의 정리에 \(A_i\) 대신 \(\{Y = y\}\)를 넣으면 다음을 얻는다. \[p_X(x) = \sum_y p_Y(y)\,p_{X\mid Y}(x \mid y), \qquad \mathbf{E}[X] = \sum_y p_Y(y)\,\mathbf{E}[X \mid Y = y].\]
- 세부 조건(fine print): 이 정리는 \(Y\)가 셀 수 있는 무한 개의 값을 가질 때도 성립한다. 단, \(\mathbf{E}[|X|] < \infty\)이어야 한다.
확률변수의 독립 (Independence of r.v.’s)
독립의 개념은 대상에 따라 다음과 같이 확장된다.
| 대상 | 독립의 정의 |
|---|---|
| 두 사건 | \(\mathbf{P}(A \cap B) = \mathbf{P}(A)\mathbf{P}(B)\)이다. (\(\mathbf{P}(B)>0\)이면 \(\mathbf{P}(A\mid B) = \mathbf{P}(A)\)와 동치이다.) |
| 확률변수와 사건 | 모든 \(x\)에 대해 \(\mathbf{P}(X = x \text{ and } A) = \mathbf{P}(X = x)\mathbf{P}(A)\)이다. |
| 두 확률변수 | 모든 \(x, y\)에 대해 \(p_{X,Y}(x, y) = p_X(x)\,p_Y(y)\)이다. |
| 세 확률변수 | 모든 \(x, y, z\)에 대해 \(p_{X,Y,Z}(x,y,z) = p_X(x)\,p_Y(y)\,p_Z(z)\)이다. |
- 두 확률변수의 독립은 “모든 \(y\)(\(p_Y(y)>0\))와 모든 \(x\)에 대해 \(p_{X\mid Y}(x\mid y) = p_X(x)\)”와 동치이다. 즉 \(Y\)의 값을 알아도 \(X\)의 분포가 전혀 바뀌지 않는다.
- 판정 요령: 결합 PMF 표에서 0인 칸이 있는데 그 칸의 행 합과 열 합이 모두 양수라면, \(p_{X,Y} = 0 \ne p_X p_Y\)이므로 두 변수는 독립이 아니다. 독립인 결합 PMF 표는 모든 행이 서로 비례하고, 모든 열도 서로 비례한다.
- 조건부 독립: 사건 \(C\)(예: \(\{X \le 2, Y \ge 3\}\))가 주어졌을 때의 조건부 결합 PMF가 조건부 주변 PMF들의 곱이 되면, \(X\)와 \(Y\)는 \(C\)가 주어졌을 때 조건부 독립이다. L03에서처럼 원래 독립이 아니던 변수들도 조건을 걸면 독립이 될 수 있고, 그 반대도 가능하다.
독립과 기댓값
일반적으로 \(\mathbf{E}[g(X, Y)] \ne g(\mathbf{E}[X], \mathbf{E}[Y])\)이다. 다음은 이 규칙의 예외들이다.
- 선형함수는 항상 예외이다. \(\mathbf{E}[aX + b] = a\mathbf{E}[X] + b\)이고, \(\mathbf{E}[X + Y + Z] = \mathbf{E}[X] + \mathbf{E}[Y] + \mathbf{E}[Z]\)이다.
\(X\)와 \(Y\)가 독립이면 다음이 성립한다. \[\mathbf{E}[XY] = \mathbf{E}[X]\,\mathbf{E}[Y].\] 더 일반적으로, \(X\)와 \(Y\)가 독립이면 \(g(X)\)와 \(h(Y)\)도 독립이며 다음이 성립한다. \[\mathbf{E}[g(X)h(Y)] = \mathbf{E}[g(X)]\,\mathbf{E}[h(Y)].\]
증명. 기댓값 규칙과 독립성 \(p_{X,Y} = p_X p_Y\)를 사용하면 다음과 같다. \[\mathbf{E}[XY] = \sum_x\sum_y xy\,p_X(x)p_Y(y) = \Big(\sum_x x\,p_X(x)\Big)\Big(\sum_y y\,p_Y(y)\Big) = \mathbf{E}[X]\mathbf{E}[Y].\]
독립과 분산
- 항상 성립하는 성질: \(\text{var}(aX) = a^2\text{var}(X)\)이고, \(\text{var}(X + a) = \text{var}(X)\)이다.
- 일반적으로는 성립하지 않는 성질: \(\text{var}(X+Y) \ne \text{var}(X) + \text{var}(Y)\)이다.
\(X\)와 \(Y\)가 독립이면 다음이 성립한다. \[\text{var}(X + Y) = \text{var}(X) + \text{var}(Y).\]
증명. 일반성을 잃지 않고 \(\mathbf{E}[X] = \mathbf{E}[Y] = 0\)이라고 가정할 수 있다. 평행이동은 분산을 바꾸지 않기 때문이다. 그러면 다음이 성립한다. \[\text{var}(X+Y) = \mathbf{E}[(X+Y)^2] = \mathbf{E}[X^2] + 2\mathbf{E}[XY] + \mathbf{E}[Y^2] = \text{var}(X) + 2\mathbf{E}[X]\mathbf{E}[Y] + \text{var}(Y).\] \(\mathbf{E}[X]\mathbf{E}[Y] = 0\)이므로 결과가 나온다. 여기서 독립성은 \(\mathbf{E}[XY] = \mathbf{E}[X]\mathbf{E}[Y]\)에 사용되었다.
- \(X = Y\)인 경우: \(\text{var}(X + Y) = \text{var}(2X) = 4\,\text{var}(X)\)이다. 이 값은 \(\text{var}(X) + \text{var}(Y) = 2\,\text{var}(X)\)와 다르다. \(X\)와 \(Y\)가 완전히 같으면 독립이 아니기 때문이다.
- \(X = -Y\)인 경우: \(X + Y = 0\)은 상수이므로 \(\text{var}(X + Y) = 0\)이다.
- \(X, Y\)가 독립이고 \(Z = X - 3Y\)인 경우: \(X\)와 \(-3Y\)도 독립이므로 \(\text{var}(Z) = \text{var}(X) + \text{var}(-3Y) = \text{var}(X) + 9\,\text{var}(Y)\)이다. 빼기를 해도 분산은 더해진다는 점에 주목하자.
이항분포의 분산
- \(X = X_1 + \cdots + X_n\)이며, \(X_i\)는 \(i\)번째 시행이 성공이면 1, 아니면 0인 지시 확률변수이다.
- 각 \(X_i\)는 베르누이(\(p\))이므로 \(\mathbf{E}[X_i] = p\)이고 \(\text{var}(X_i) = p(1-p)\)이다.
- 시행들이 독립이므로 \(X_i\)들은 독립이다. 따라서 분산을 더할 수 있다. \[\text{var}(X) = \sum_{i=1}^n \text{var}(X_i) = np(1-p).\]
- 비교: 평균은 \(np\)이다. 평균 계산에는 독립성이 필요 없었지만, 분산 계산에는 독립성이 필요했다.
모자 문제 (The hat problem)
문제. \(n\)명이 모자를 상자에 던져 넣은 뒤, 한 명씩 무작위로 하나씩 꺼낸다. 모든 순열(모자 배정)이 똑같이 일어날 법하다. 이 실험은 모자를 하나씩 차례로 무작위로 뽑는 것과 동등하다. \(X\)를 자기 모자를 받은 사람의 수라고 할 때, \(\mathbf{E}[X]\)와 \(\text{var}(X)\)를 구하라.
- \(X_i\)를 \(i\)번째 사람이 자기 모자를 받으면 1, 아니면 0인 지시 확률변수로 둔다. 그러면 \(X = X_1 + \cdots + X_n\)이다.
- 대칭성에 의해 \(i\)번째 사람이 받는 모자는 \(n\)개 중 어느 것이든 똑같은 확률을 가지므로 \(\mathbf{P}(X_i = 1) = 1/n\)이고 \(\mathbf{E}[X_i] = 1/n\)이다.
- 선형성에 의해 \(\mathbf{E}[X] = n \cdot \frac{1}{n} = 1\)이다. 이 답은 \(n\)에 관계없이 항상 1이다.
- \(X_i\)들은 독립인가? 독립이 아니다. 예를 들어 \(n = 2\)일 때 1번 사람이 자기 모자를 받으면 2번 사람도 반드시 자기 모자를 받는다. 그래도 선형성은 독립성을 요구하지 않으므로 평균 계산에는 문제가 없다.
\(X_i\)들이 독립이 아니므로 분산을 단순히 더할 수 없다. 대신 \(\text{var}(X) = \mathbf{E}[X^2] - (\mathbf{E}[X])^2 = \mathbf{E}[X^2] - 1\)을 사용한다.
- 제곱을 전개하면 다음과 같다. \[X^2 = \Big(\sum_i X_i\Big)^2 = \sum_i X_i^2 + \sum_{i,j:\, i \ne j} X_i X_j.\]
- \(X_i\)는 0 또는 1이므로 \(X_i^2 = X_i\)이고 \(\mathbf{E}[X_i^2] = 1/n\)이다. 이런 항이 \(n\)개 있다.
- \(i \ne j\)이면 \(X_iX_j = 1\)은 “둘 다 자기 모자를 받음”을 뜻한다. 곱셈 법칙에 의해 다음이 성립한다. \[\mathbf{E}[X_iX_j] = \mathbf{P}(X_i = 1)\,\mathbf{P}(X_j = 1 \mid X_i = 1) = \frac{1}{n}\cdot\frac{1}{n-1}.\] \(i\)가 자기 모자를 가져가면, \(j\)는 남은 \(n-1\)개 중에서 자기 모자를 받아야 하기 때문이다. 이런 순서쌍 \((i, j)\)는 \(n(n-1)\)개 있다.
- 따라서 \(\mathbf{E}[X^2] = n\cdot\frac{1}{n} + n(n-1)\cdot\frac{1}{n(n-1)} = 1 + 1 = 2\)이다.
- 결론적으로 \(\text{var}(X) = 2 - 1 = 1\)이다.
L07 노테이션 정리
| 기호 | 의미 |
|---|---|
| \(p_{X\mid Y}(x \mid y)\) | \(Y = y\)가 주어졌을 때 \(X\)의 조건부 PMF이다. |
| \(p_{X\mid Y,Z}(x\mid y,z)\) | \(Y = y\), \(Z = z\)가 주어졌을 때 \(X\)의 조건부 PMF이다. |
| \(p_{X,Y\mid Z}(x,y\mid z)\) | \(Z = z\)가 주어졌을 때 \(X, Y\)의 조건부 결합 PMF이다. |
| \(\mathbf{E}[X \mid Y = y]\) | \(Y = y\)가 주어졌을 때 \(X\)의 조건부 기댓값이며, \(y\)에 따라 달라지는 숫자이다. |
L07 헷갈리기 쉬운 포인트
- 독립의 정의에는 “모든 \(x, y\)에 대해”가 붙는다. 한두 칸에서 \(p_{X,Y} = p_X p_Y\)가 성립한다고 독립인 것이 아니다. 단 한 칸에서라도 등식이 깨지면 독립이 아니다.
- \(\mathbf{E}[XY] = \mathbf{E}[X]\mathbf{E}[Y]\)는 독립일 때 성립하지만, 그 역은 성립하지 않는다. 이 등식이 성립해도 독립이 아닌 경우가 있다.
- \(\text{var}(X - Y)\)는 독립일 때 \(\text{var}(X) + \text{var}(Y)\)이다. 분산은 빼지 않는다. \(-Y\)의 분산은 \((-1)^2\text{var}(Y) = \text{var}(Y)\)이기 때문이다.
- \(\text{var}(X_1 + \cdots + X_n) = \sum \text{var}(X_i)\)는 독립(정확히는 서로 상관이 없음)일 때만 성립한다. 모자 문제처럼 독립이 아니면 교차항 \(\mathbf{E}[X_iX_j]\)를 직접 계산해야 한다.
- \(\mathbf{E}[X \mid Y = y]\)는 \(y\)의 함수이다. \(y\)를 바꾸면 값이 바뀐다. 이 값을 \(p_Y(y)\)로 가중평균하면 \(\mathbf{E}[X]\)가 된다.
- 지시 확률변수 기법의 핵심은 “복잡한 개수 = 단순한 0/1의 합”이다. 평균은 언제나 \(\sum \mathbf{P}(\text{각 사건})\)으로 구할 수 있고, 분산은 쌍별 교차항을 추가로 계산해야 한다.
L08. 연속 확률변수와 확률밀도함수
교재 3.1–3.3절 · Continuous random variables and probability density functions
큰 그림. 키, 시간, 온도처럼 연속적인 값을 가지는 양은 이산 확률변수로 다룰 수 없다. 이런 양에서는 특정한 한 값을 가질 확률이 0이므로 PMF가 쓸모없기 때문이다. 대신 확률밀도함수(PDF)를 사용하며, 확률은 PDF 아래의 넓이로 계산된다. 이 강의는 PDF를 정의하고, 이산 확률변수에서 배운 기댓값과 분산을 “합 → 적분”으로 바꾸어 옮긴다. 또한 이산과 연속을 통합하는 CDF, 그리고 중요한 연속 분포인 균등, 지수, 정규 분포를 다룬다.
확률밀도함수 (Probability density function, PDF)
확률변수 \(X\)는 다음 조건을 만족하는 함수 \(f_X\)가 존재할 때 연속(continuous)이라고 한다. 이 함수 \(f_X\)를 \(X\)의 확률밀도함수(PDF)라고 부른다. \[\mathbf{P}(a \le X \le b) = \int_a^b f_X(x)\,dx \quad \text{(모든 } a \le b\text{에 대해)}.\] 더 일반적으로, “보통의(nice)” 집합 \(B\)에 대해 \(\mathbf{P}(X \in B) = \int_B f_X(x)\,dx\)이다.
- 성질 1: 모든 \(x\)에 대해 \(f_X(x) \ge 0\)이다.
- 성질 2: \(\int_{-\infty}^{\infty} f_X(x)\,dx = 1\)이다. 그래프 아래 전체 넓이가 1이라는 뜻이다.
- PMF와의 대응: 이산에서는 \(\mathbf{P}(a \le X \le b) = \sum_{x:\, a \le x \le b} p_X(x)\)이다. 연속에서는 합이 적분으로, PMF가 PDF로 바뀐다.
밀도의 의미. 길이 \(\delta\)가 아주 작은 구간 \([x, x+\delta]\)를 생각하자. 그러면 다음 근사가 성립한다. \[\mathbf{P}(x \le X \le x + \delta) = \int_x^{x+\delta} f_X(s)\,ds \approx f_X(x)\cdot\delta.\] 따라서 \(f_X(x)\)는 “\(x\) 근처의 단위 길이당 확률(probability per unit length)”이다. 물리에서 밀도가 “단위 부피당 질량”인 것과 같은 의미이다.
- 한 점의 확률은 0이다. \(\mathbf{P}(X = a) = \int_a^a f_X(x)\,dx = 0\)이다. 따라서 연속 확률변수에서는 \(\mathbf{P}(a \le X \le b) = \mathbf{P}(a < X < b) = \mathbf{P}(a \le X < b)\)이며, 구간 끝점의 포함 여부는 확률에 영향을 주지 않는다.
- PDF 값은 확률이 아니다. \(f_X(x)\) 자체는 어떤 사건의 확률도 아니므로, 1보다 클 수 있다. 예를 들어 \([0, 1/2]\) 위의 균등분포는 PDF 값이 2이다.
연속 확률변수의 기댓값과 분산
이산 확률변수의 공식에서 \(\sum\)을 \(\int\)로, \(p_X(x)\)를 \(f_X(x)\,dx\)로 바꾸면 연속 확률변수의 공식을 얻는다.
| 개념 | 이산 | 연속 |
|---|---|---|
| 기댓값 | \(\mathbf{E}[X] = \sum_x x\,p_X(x)\) | \(\mathbf{E}[X] = \int_{-\infty}^{\infty} x\,f_X(x)\,dx\) |
| 기댓값 규칙 | \(\mathbf{E}[g(X)] = \sum_x g(x)\,p_X(x)\) | \(\mathbf{E}[g(X)] = \int_{-\infty}^{\infty} g(x)\,f_X(x)\,dx\) |
| 분산 | \(\sum_x (x-\mu)^2 p_X(x)\) | \(\int_{-\infty}^{\infty} (x-\mu)^2 f_X(x)\,dx\) |
- 해석: 기댓값은 여전히 무게중심이며, 독립적인 반복 실험의 장기 평균이다.
- 세부 조건(fine print): \(\int_{-\infty}^{\infty} |x|\,f_X(x)\,dx < \infty\)를 가정한다.
- 이산에서 증명한 성질은 모두 그대로 성립한다. 예를 들어 \(X \ge 0\)이면 \(\mathbf{E}[X] \ge 0\)이고, \(a \le X \le b\)이면 \(a \le \mathbf{E}[X] \le b\)이다. 또한 \(\mathbf{E}[aX+b] = a\mathbf{E}[X] + b\), \(\text{var}(X) = \mathbf{E}[X^2] - (\mathbf{E}[X])^2\), \(\text{var}(aX+b) = a^2\text{var}(X)\)가 성립한다.
연속 균등 확률변수 (Continuous uniform)
\[f_X(x) = \begin{cases} \dfrac{1}{b-a}, & a \le x \le b \\ 0, & \text{그 외} \end{cases}\] \[\mathbf{E}[X] = \frac{a+b}{2}, \qquad \text{var}(X) = \frac{(b-a)^2}{12}.\]
- PDF의 높이 \(1/(b-a)\)는 넓이가 1이 되도록 정한 값이다. (밑변 \(b-a\) × 높이 \(1/(b-a)\) = 1)
- \(\mathbf{E}[X] = \int_a^b x\cdot\frac{1}{b-a}\,dx = \frac{1}{b-a}\cdot\frac{b^2 - a^2}{2} = \frac{a+b}{2}\)이다. PDF가 구간의 중점에 대해 대칭이므로 무게중심도 중점이다.
- \(\mathbf{E}[X^2] = \int_a^b x^2 \cdot\frac{1}{b-a}\,dx = \frac{b^3 - a^3}{3(b-a)} = \frac{a^2 + ab + b^2}{3}\)이다.
- \(\text{var}(X) = \frac{a^2+ab+b^2}{3} - \frac{(a+b)^2}{4} = \frac{4a^2 + 4ab + 4b^2 - 3a^2 - 6ab - 3b^2}{12} = \frac{(b-a)^2}{12}\)이다.
- 일반화: 조각별 상수(piecewise constant) PDF는 여러 구간에서 각각 다른 상수 값을 가지는 PDF이다. 이런 PDF의 확률과 기댓값은 구간별로 나누어 계산한 뒤 더하면 된다.
지수 확률변수 (Exponential)
\[f_X(x) = \begin{cases} \lambda e^{-\lambda x}, & x \ge 0 \\ 0, & x < 0 \end{cases}\] \[\mathbf{P}(X \ge a) = e^{-\lambda a} \;(a \ge 0), \qquad \mathbf{E}[X] = \frac{1}{\lambda}, \qquad \text{var}(X) = \frac{1}{\lambda^2}.\]
- 용도: 지수분포는 어떤 사건이 일어날 때까지의 연속적인 대기 시간을 모형화한다. 예를 들어 손님이 도착할 때까지의 시간, 장비가 고장 날 때까지의 시간, 전구가 꺼질 때까지의 시간이 그렇다.
- 꼬리 확률 유도: \(\mathbf{P}(X \ge a) = \int_a^\infty \lambda e^{-\lambda x}\,dx = \big[-e^{-\lambda x}\big]_a^\infty = e^{-\lambda a}\)이다.
- 모수의 의미: \(\lambda\)가 크면 PDF가 0 근처에 몰려 있어 대기 시간이 짧다. \(\lambda\)가 작으면 PDF가 길게 퍼져 대기 시간이 길다. 평균 대기 시간이 \(1/\lambda\)이므로, \(\lambda\)는 “단위 시간당 사건 발생률”로 해석할 수 있다.
- 평균과 분산의 유도: 부분적분을 사용하면 \(\mathbf{E}[X] = \int_0^\infty x\lambda e^{-\lambda x}\,dx = 1/\lambda\)이고 \(\mathbf{E}[X^2] = 2/\lambda^2\)이다. 따라서 \(\text{var}(X) = 2/\lambda^2 - 1/\lambda^2 = 1/\lambda^2\)이다.
- 기하분포와의 관계: 지수분포는 기하분포의 연속 버전이다. 기하분포에서 \(\mathbf{P}(X > k) = (1-p)^k\)이고, 지수분포에서 \(\mathbf{P}(X > x) = e^{-\lambda x}\)이다. 두 꼬리 확률은 모두 기하급수적으로 감소한다. \(e^{-\lambda} = 1 - p\)로 두면 두 분포의 꼬리 확률이 정수 시점에서 일치한다.
누적분포함수 (Cumulative distribution function, CDF)
확률변수 \(X\)의 CDF는 다음과 같다. \[F_X(x) = \mathbf{P}(X \le x).\] CDF는 이산 확률변수와 연속 확률변수 모두에 대해 정의된다.
- 연속 확률변수: \(F_X(x) = \int_{-\infty}^{x} f_X(t)\,dt\)이다. 미적분의 기본정리에 의해, \(f_X\)가 연속인 점에서 \(\dfrac{dF_X}{dx}(x) = f_X(x)\)이다. 즉 PDF는 CDF의 도함수이다.
- 이산 확률변수: \(F_X(x) = \sum_{k \le x} p_X(k)\)이다. 이산 CDF는 계단 함수이다. 각 값 \(k\)에서 높이 \(p_X(k)\)만큼 점프하고, 그 사이에서는 평평하다.
- 구간 확률: \(\mathbf{P}(a < X \le b) = F_X(b) - F_X(a)\)이다. 이 식은 이산과 연속 모두에서 성립한다.
CDF의 일반적인 성질.
- CDF는 감소하지 않는다(non-decreasing). \(x \le y\)이면 \(F_X(x) \le F_X(y)\)이다. 사건 \(\{X \le x\}\)가 \(\{X \le y\}\)에 포함되기 때문이다.
- \(x \to \infty\)이면 \(F_X(x) \to 1\)이다.
- \(x \to -\infty\)이면 \(F_X(x) \to 0\)이다.
- 지수분포(\(\lambda\)): \(x \ge 0\)이면 \(F_X(x) = 1 - \mathbf{P}(X > x) = 1 - e^{-\lambda x}\)이고, \(x < 0\)이면 \(F_X(x) = 0\)이다.
- 기하분포(\(p\)): 양의 정수 \(n\)에 대해 \(F_X(n) = 1 - \mathbf{P}(X > n) = 1 - (1-p)^n\)이다. CDF는 정수에서만 점프하는 계단 함수이다.
- 두 CDF는 같은 모양 \(1 - (\text{어떤 수})^{x}\)을 가지며, 하나는 연속적으로, 다른 하나는 계단식으로 증가한다.
정규 확률변수 (Normal / Gaussian)
왜 중요한가.
- 이론적으로 중요하다. 중심극한정리에 따르면, 많은 독립 확률변수의 합은 근사적으로 정규분포를 따른다.
- 응용에서 흔하다. 예를 들어 작고 독립적인 잡음들이 많이 합쳐진 잡음은 정규분포로 잘 모형화된다.
- 분석적으로 다루기 편리한 성질을 가지고 있다.
\[f_X(x) = \frac{1}{\sqrt{2\pi}}\,e^{-x^2/2}, \qquad \mathbf{E}[X] = 0, \qquad \text{var}(X) = 1.\]
\[f_X(x) = \frac{1}{\sigma\sqrt{2\pi}}\,e^{-(x-\mu)^2/2\sigma^2}, \qquad \mathbf{E}[X] = \mu, \qquad \text{var}(X) = \sigma^2.\]
- PDF는 평균 \(\mu\)를 중심으로 좌우 대칭인 종 모양이다. 따라서 평균은 \(\mu\)이다.
- \(\sigma\)가 클수록 종이 넓고 낮아지며, \(\sigma\)가 작을수록 좁고 높아진다. 넓이는 항상 1이다.
- \(x\)가 \(\mu\)에서 멀어지면 \(e^{-(x-\mu)^2/2\sigma^2}\)는 매우 빠르게 0으로 간다. 실제로 PDF는 구간 \([\mu - 3\sigma, \mu + 3\sigma]\) 밖에서 거의 0이다.
- 앞의 상수 \(\frac{1}{\sigma\sqrt{2\pi}}\)는 전체 넓이를 1로 만들기 위한 정규화 상수이다.
\(X \sim N(\mu, \sigma^2)\)이고 \(Y = aX + b\)(\(a \ne 0\))이면 다음이 성립한다. \[Y \sim N(a\mu + b,\; a^2\sigma^2).\]
- 평균과 분산은 선형성과 분산의 성질에서 바로 나온다: \(\mathbf{E}[Y] = a\mu + b\), \(\text{var}(Y) = a^2\sigma^2\).
- 놀라운 사실은 \(Y\)가 여전히 정규분포라는 점이다. 이 사실은 L11에서 증명한다.
- 특수한 경우 \(a = 0\)이면 \(Y = b\)는 상수이므로 정규분포가 아니다. 이 경우를 분산이 0인 “퇴화된” 정규분포로 보기도 한다.
표준화와 정규분포표
정규분포의 CDF는 닫힌 형태의 공식(closed form)이 없다. 대신 표준 정규분포의 CDF \(\Phi(y) = \mathbf{P}(Y \le y)\)(\(Y \sim N(0,1)\))에 대한 표가 있다. 표는 보통 \(0 \le y \le 3.49\) 범위의 값을 제공한다. 예를 들어 \(\Phi(1.71)\)은 1.7 행과 .01 열이 만나는 칸의 값 .9564이다.
\(X\)의 평균이 \(\mu\)이고 분산이 \(\sigma^2 > 0\)이라고 하자. 다음 확률변수를 \(X\)의 표준화라고 부른다. \[Y = \frac{X - \mu}{\sigma}.\] \(Y\)는 평균 0, 분산 1을 가진다. 만약 \(X\)가 정규분포를 따르면 \(Y\)는 표준 정규분포 \(N(0,1)\)을 따른다.
정규분포 확률 계산 절차.
- 관심 있는 사건을 표준 정규 확률변수 \(Y = (X - \mu)/\sigma\)에 관한 사건으로 바꾼다. 부등식의 양변에서 \(\mu\)를 빼고 \(\sigma\)로 나누면 된다.
- 표에서 \(\Phi\) 값을 찾는다.
- 음수 값은 대칭성을 이용한다: \(\Phi(-y) = 1 - \Phi(y)\).
- \(\mu = 2\)이고 \(\sigma = \sqrt{16} = 4\)이다. 분산이 16이므로 표준편차는 4라는 점에 주의하자.
- \(\mathbf{P}(X \le 3) = \mathbf{P}\left(\dfrac{X - 2}{4} \le \dfrac{3 - 2}{4}\right) = \mathbf{P}(Y \le 0.25) = \Phi(0.25)\)이다.
- 표의 0.2 행과 .05 열에서 \(\Phi(0.25) = 0.5987\)을 찾는다.
L08 노테이션 정리
| 기호 | 의미 |
|---|---|
| \(f_X(x)\) | \(X\)의 PDF이며, \(x\) 근처의 단위 길이당 확률이다. |
| \(F_X(x)\) | \(X\)의 CDF이며, \(\mathbf{P}(X \le x)\)와 같다. |
| \(\delta\) | 아주 작은 양수 길이이다. |
| \(\lambda\) | 지수분포의 모수(발생률)이다. |
| \(X \sim N(\mu, \sigma^2)\) | \(X\)가 평균 \(\mu\), 분산 \(\sigma^2\)인 정규분포를 따른다는 뜻이다. |
| \(\Phi(y)\) | 표준 정규분포의 CDF이다. |
| \(\sim\) | “~분포를 따른다”는 뜻이다. |
L08 헷갈리기 쉬운 포인트
- \(f_X(x)\)는 확률이 아니며 1보다 클 수 있다. 확률은 PDF 아래의 넓이이다. \(f_X(x)\delta\)가 작은 구간의 확률을 근사할 뿐이다.
- 연속 확률변수에서 \(\mathbf{P}(X = x) = 0\)이다. 따라서 \(<\)와 \(\le\)의 구분은 연속 확률변수의 확률에 영향을 주지 않는다. 반면 이산 확률변수에서는 이 구분이 매우 중요하다.
- \(N(\mu, \sigma^2)\)의 두 번째 모수는 분산이다. 표준화할 때는 표준편차 \(\sigma\)로 나누어야 한다. \(N(2, 16)\)에서 나누는 수는 16이 아니라 4이다.
- CDF는 PDF의 적분이고, PDF는 CDF의 도함수이다. 둘 중 하나를 알면 다른 하나를 구할 수 있다.
- 지수분포의 모수 \(\lambda\)는 발생률이고, 평균은 \(1/\lambda\)이다. 일부 교재와 소프트웨어는 평균 \(\beta = 1/\lambda\)를 모수로 사용하므로 주의해야 한다.
- 정규분포의 선형 변환은 정규분포이지만, 일반적인 변환은 그렇지 않다. 예를 들어 \(X^2\)은 정규분포를 따르지 않는다.
L09. 사건에 대한 조건부, 여러 연속 확률변수
교재 3.4–3.5절 · Conditioning on an event; Multiple continuous r.v.’s
큰 그림. 이 강의는 이산 확률변수에서 배운 두 가지 주제를 연속 확률변수로 옮긴다. 첫째 주제는 사건에 대한 조건부(조건부 PDF, 조건부 기댓값, 전확률 정리)이다. 둘째 주제는 여러 확률변수(결합 PDF, 주변 PDF)이다. 아래 대응표를 머릿속에 두면 거의 모든 공식을 기계적으로 만들어 낼 수 있다.
| 이산 | 연속 |
|---|---|
| \(p_X(x)\) | \(f_X(x)\) |
| \(p_{X\mid A}(x)\) | \(f_{X\mid A}(x)\) |
| \(p_{X,Y}(x,y)\) | \(f_{X,Y}(x,y)\) |
| \(p_{X\mid Y}(x \mid y)\) | \(f_{X\mid Y}(x\mid y)\) |
| \(\sum\) | \(\int\) |
조건부 PDF (Conditional PDF, given an event)
사건 \(A\)(\(\mathbf{P}(A) > 0\))가 주어졌을 때 \(X\)의 조건부 PDF \(f_{X\mid A}\)는 다음을 만족하는 함수이다. \[\mathbf{P}(X \in B \mid A) = \int_B f_{X\mid A}(x)\,dx \quad \text{(모든 보통의 집합 } B\text{에 대해)}.\] 직관적으로 \(f_{X\mid A}(x)\cdot\delta \approx \mathbf{P}(x \le X \le x + \delta \mid A)\)이다.
- 조건부 PDF도 PDF이므로 \(\int f_{X\mid A}(x)\,dx = 1\)이다.
사건이 \(X\) 자체에 관한 것, 즉 \(\{X \in A\}\)이면 조건부 PDF는 다음과 같다. \[f_{X\mid X \in A}(x) = \begin{cases} \dfrac{f_X(x)}{\mathbf{P}(X \in A)}, & x \in A \\[4pt] 0, & x \notin A \end{cases}\]
- 해석: \(A\) 밖의 PDF를 0으로 지우고, \(A\) 안의 PDF를 \(\mathbf{P}(A)\)로 나누어 넓이가 다시 1이 되도록 키운 것이다. 모양은 그대로 유지되고 높이만 커진다. 이 구조는 L06의 이산 조건부 PMF와 똑같다.
조건부 기댓값. 조건부 기댓값은 조건부 PDF로 정의되며, 기댓값 규칙도 그대로 성립한다. \[\mathbf{E}[X \mid A] = \int x\,f_{X\mid A}(x)\,dx, \qquad \mathbf{E}[g(X)\mid A] = \int g(x)\,f_{X\mid A}(x)\,dx.\]
지수분포의 무기억성
질문. 수명이 지수분포를 따르는 전구가 있다. 새 전구와 이미 한참 켜져 있던 중고 전구 중 어느 것이 더 나은가?
전구의 수명 \(T\)가 지수분포(\(\lambda\))를 따른다고 하자. 전구가 이미 시간 \(t\) 동안 켜져 있었다는 정보, 즉 \(T > t\)를 받았다고 하자. 남은 수명을 \(X = T - t\)라 하면 다음이 성립한다. \[\mathbf{P}(X > x \mid T > t) = e^{-\lambda x} = \mathbf{P}(T > x), \qquad x \ge 0.\] 즉 남은 수명은 새 전구의 수명과 같은 지수분포를 따른다. 새 전구와 중고 전구는 확률적으로 동일하다.
증명. \[\mathbf{P}(T - t > x \mid T > t) = \frac{\mathbf{P}(T > t + x)}{\mathbf{P}(T > t)} = \frac{e^{-\lambda(t+x)}}{e^{-\lambda t}} = e^{-\lambda x}.\]
직관: 작은 시간 간격마다 던지는 동전. \(\mathbf{P}(0 \le T \le \delta) \approx f_T(0)\cdot\delta = \lambda\delta\)이다. 무기억성 때문에 지금까지 살아남았다는 조건에서도 \(\mathbf{P}(t \le T \le t+\delta \mid T > t) \approx \lambda\delta\)이다. 따라서 지수분포는 “길이 \(\delta\)의 시간마다 성공 확률 약 \(\lambda\delta\)인 독립 동전을 던지고, 첫 성공 시점을 기록하는 것”과 비슷하다. 이 그림은 기하분포(이산 시간)와 지수분포(연속 시간)가 같은 구조라는 것을 보여 준다.
연속형 전확률·전기댓값 정리
\(A_1, \dots, A_n\)이 분할이고 각 \(\mathbf{P}(A_i) > 0\)이면 다음이 성립한다. \[f_X(x) = \sum_{i=1}^n \mathbf{P}(A_i)\,f_{X\mid A_i}(x), \qquad \mathbf{E}[X] = \sum_{i=1}^n \mathbf{P}(A_i)\,\mathbf{E}[X\mid A_i].\]
- 첫 번째 식은 CDF에 전확률 정리를 적용하여 \(F_X(x) = \sum_i \mathbf{P}(A_i)F_{X\mid A_i}(x)\)를 얻은 뒤 양변을 미분한 것이다.
빌은 확률 1/3로 곧 장을 보러 가며, 이 경우 출발 시각은 지금부터 0~2시간 사이의 균등분포이다. 확률 2/3로는 오후에 가며, 이 경우 출발 시각은 6~8시간 사이의 균등분포이다. 출발 시각을 \(X\)라 하자.
- PDF: 각 조건부 PDF의 높이는 \(1/2\)이다. 따라서 \(f_X(x) = \frac{1}{3}\cdot\frac{1}{2} = \frac{1}{6}\)(\(0 \le x \le 2\))이고, \(f_X(x) = \frac{2}{3}\cdot\frac{1}{2} = \frac{1}{3}\)(\(6 \le x \le 8\))이다. 그 외 구간에서는 0이다. 검산하면 넓이는 \(2\cdot\frac{1}{6} + 2\cdot\frac{1}{3} = 1\)이다.
- 평균: \(\mathbf{E}[X] = \frac{1}{3}\cdot 1 + \frac{2}{3}\cdot 7 = 5\)이다. 각 균등분포의 평균은 구간의 중점(1과 7)이다.
- 2차 모멘트: 균등분포에서 \(\mathbf{E}[X^2] = \text{var} + (\text{평균})^2\)이다. 첫 번째 시나리오에서는 \(\frac{1}{3} + 1 = \frac{4}{3}\)이고, 두 번째 시나리오에서는 \(\frac{1}{3} + 49 = \frac{148}{3}\)이다. 따라서 \(\mathbf{E}[X^2] = \frac{1}{3}\cdot\frac{4}{3} + \frac{2}{3}\cdot\frac{148}{3} = \frac{300}{9} = \frac{100}{3}\)이다.
- 분산: \(\text{var}(X) = \frac{100}{3} - 25 = \frac{25}{3}\)이다.
- 주의: 분산에는 “전분산 공식”이 없으므로, \(\text{var}(X)\)를 조건부 분산들의 가중평균으로 구하면 틀린다. 위처럼 \(\mathbf{E}[X^2]\)를 전기댓값 정리로 구한 뒤 \((\mathbf{E}[X])^2\)를 빼야 한다.
혼합 분포 (Mixed distributions)
확률변수 \(X\)가 확률 \(p\)로 이산 확률변수 \(Y\)의 값을, 확률 \(1-p\)로 연속 확률변수 \(Z\)의 값을 가진다고 하자. 이런 \(X\)는 혼합(mixed) 확률변수이다.
- 혼합 확률변수는 이산도 아니고 연속도 아니다. PMF로도, PDF로도 묘사할 수 없다.
- 그러나 CDF는 항상 정의된다. 전확률 정리에 의해 \(F_X(x) = p\,F_Y(x) + (1-p)\,F_Z(x)\)이다.
- 기댓값도 전기댓값 정리로 구할 수 있다: \(\mathbf{E}[X] = p\,\mathbf{E}[Y] + (1-p)\,\mathbf{E}[Z]\).
- 이산인가? 이산이 아니다. \(X\)는 \([0,2]\) 전체의 값을 가질 수 있다.
- 연속인가? 연속이 아니다. \(\mathbf{P}(X = 1) = 1/2 > 0\)이지만, 연속 확률변수에서는 한 점의 확률이 0이어야 한다.
- CDF: \(0 \le x < 1\)이면 \(F_X(x) = \frac{1}{2}\cdot\frac{x}{2} = \frac{x}{4}\)이다. \(1 \le x \le 2\)이면 \(F_X(x) = \frac{1}{2} + \frac{x}{4}\)이다. CDF는 \(x = 1\)에서 1/2만큼 점프하고, 나머지 구간에서는 기울기 1/4로 증가한다. \(x = 2\)에서 \(F_X(2) = 1\)이 된다.
- 평균: \(\mathbf{E}[X] = \frac{1}{2}\cdot 1 + \frac{1}{2}\cdot 1 = 1\)이다.
결합 PDF (Joint PDF)
두 확률변수 \(X, Y\)는 다음을 만족하는 결합 PDF \(f_{X,Y}\)가 존재할 때 결합 연속(jointly continuous)이라고 한다. \[\mathbf{P}\big((X, Y) \in B\big) = \iint_{(x,y)\in B} f_{X,Y}(x, y)\,dx\,dy \quad \text{(모든 보통의 집합 } B \subset \mathbb{R}^2\text{에 대해)}.\]
- 성질: \(f_{X,Y}(x,y) \ge 0\)이고, \(\int_{-\infty}^\infty\int_{-\infty}^\infty f_{X,Y}(x,y)\,dx\,dy = 1\)이다.
- 시각화: 결합 PDF는 평면 위의 곡면으로 그릴 수 있다. 영역 \(B\)의 확률은 \(B\) 위에서 곡면 아래의 부피이다.
- 직사각형 영역: \(\mathbf{P}(a \le X \le b,\; c \le Y \le d) = \int_c^d\int_a^b f_{X,Y}(x,y)\,dx\,dy\)이다.
- 밀도의 의미: \(\mathbf{P}(a \le X \le a+\delta,\; c \le Y \le c+\delta) \approx f_{X,Y}(a, c)\cdot\delta^2\)이다. 따라서 \(f_{X,Y}\)는 단위 넓이당 확률(probability per unit area)이다. 1차원의 \(f_X\)가 단위 길이당 확률인 것과 대응된다.
- 넓이가 0인 집합의 확률은 0이다. 예를 들어 직선 \(y = x\) 위에 놓일 확률 \(\mathbf{P}(X = Y)\)는 결합 연속인 경우 0이다.
- 세 개 이상의 확률변수도 같은 방식으로 다룬다. 결합 PDF \(f_{X,Y,Z}(x,y,z)\)는 단위 부피당 확률이고, 확률은 삼중적분으로 계산한다.
결합 PDF에서 주변 PDF 구하기
\[f_X(x) = \int_{-\infty}^{\infty} f_{X,Y}(x, y)\,dy, \qquad f_Y(y) = \int_{-\infty}^{\infty} f_{X,Y}(x, y)\,dx.\]
- 이산의 \(p_X(x) = \sum_y p_{X,Y}(x,y)\)에서 합을 적분으로 바꾼 것이다.
- 기하학적 해석: 특정한 \(x\)에서 \(f_X(x)\)를 구하려면, 그 \(x\)를 지나는 수직선을 따라 결합 PDF를 \(y\)에 대해 적분한다.
여러 확률변수의 함수와 선형성. 기댓값 규칙은 \(\mathbf{E}[g(X,Y)] = \iint g(x,y)\,f_{X,Y}(x,y)\,dx\,dy\)이다. 선형성 \(\mathbf{E}[X+Y] = \mathbf{E}[X] + \mathbf{E}[Y]\)와 \(\mathbf{E}[aX+b] = a\mathbf{E}[X]+b\)도 연속에서 그대로 성립한다.
균등 결합 PDF (Uniform joint PDF on a set \(S\))
평면의 집합 \(S\) 위의 균등 결합 PDF는 다음과 같다. \[f_{X,Y}(x,y) = \begin{cases} \dfrac{1}{\text{area}(S)}, & (x,y) \in S \\[4pt] 0, & \text{그 외} \end{cases}\] \(S\) 안의 집합 \(A\)에 대해 \(\mathbf{P}((X,Y) \in A) = \dfrac{\text{area}(A)}{\text{area}(S)}\)이다.
- 이 정의는 L01의 “확률 = 넓이”를 일반화한 것이다. 넓이가 1이 아닌 집합에서는 전체 넓이로 나누어 정규화한다.
교재 예제 3.10에서는 결합 PDF가 넓이 4인 계단 모양의 집합 \(S\) 위에서 상수 \(c\)이고, 그 밖에서는 0이다.
- 정규화 조건에서 \(c\cdot\text{area}(S) = 1\)이므로 \(c = 1/4\)이다.
- \(f_X(x)\)를 구하려면, 각 \(x\)에서 수직선이 \(S\)와 겹치는 길이를 구해 \(1/4\)을 곱한다. 수직선과 \(S\)가 겹치는 길이가 \(x\)에 따라 다르므로, 주변 PDF는 조각별 상수 함수가 된다.
- \(f_Y(y)\)는 수평선을 따라 같은 방법으로 구한다.
- 핵심 교훈: 결합 PDF가 균등해도 주변 PDF는 균등하지 않을 수 있다.
결합 CDF (Joint CDF)
\[F_{X,Y}(x, y) = \mathbf{P}(X \le x,\; Y \le y) = \int_{-\infty}^{y}\int_{-\infty}^{x} f_{X,Y}(s, t)\,ds\,dt.\] \[f_{X,Y}(x,y) = \frac{\partial^2 F_{X,Y}}{\partial x\,\partial y}(x,y).\]
- 1차원에서 \(f_X = dF_X/dx\)인 것처럼, 2차원에서는 결합 CDF를 \(x\)와 \(y\)로 한 번씩 편미분하면 결합 PDF를 얻는다.
- \(\partial\)는 편미분 기호이다. \(\frac{\partial F}{\partial x}\)는 다른 변수(\(y\))를 상수로 고정하고 \(x\)에 대해서만 미분한다는 뜻이다.
L09 노테이션 정리
| 기호 | 의미 |
|---|---|
| \(f_{X\mid A}(x)\) | 사건 \(A\)가 주어졌을 때 \(X\)의 조건부 PDF이다. |
| \(f_{X,Y}(x,y)\) | \(X\)와 \(Y\)의 결합 PDF이며, 단위 넓이당 확률이다. |
| \(F_{X,Y}(x,y)\) | 결합 CDF이며, \(\mathbf{P}(X \le x, Y \le y)\)와 같다. |
| \(\iint_B\) | 영역 \(B\) 위의 이중적분이다. |
| \(\text{area}(S)\) | 집합 \(S\)의 넓이이다. |
| \(\partial\) | 편미분 기호이다. |
L09 헷갈리기 쉬운 포인트
- 조건부 PDF는 PDF를 \(\mathbf{P}(A)\)로 나눈 것이지, 단순히 잘라낸 것이 아니다. 잘라내기만 하면 넓이가 1보다 작아진다.
- 분산에는 전기댓값 정리 같은 단순한 가중평균 공식이 없다. 조건부 분산들을 가중평균하면 틀린다. \(\mathbf{E}[X^2]\)를 먼저 구해야 한다.
- 혼합 확률변수는 PMF도 PDF도 없지만 CDF는 있다. CDF가 점프하는 곳은 확률이 양수인 점이다.
- 결합 연속인 두 확률변수 각각이 연속이라고 해서 결합 연속인 것은 아니다. 예를 들어 \(X\)가 연속이고 \(Y = X\)이면, \((X,Y)\)는 직선 위에만 있으므로 결합 PDF가 존재하지 않는다.
- 주변 PDF를 구할 때 적분 범위를 조심해야 한다. 결합 PDF가 0이 아닌 영역의 경계가 \(x\)에 따라 달라지면, \(y\)에 대한 적분 범위도 \(x\)에 따라 달라진다.
- \(f_{X,Y}\)는 단위 넓이당 확률이다. 단위 길이당 확률인 \(f_X\)와 단위가 다르다.
L10. 확률변수에 대한 조건부, 독립, 베이즈 정리
교재 3.5–3.6절 · Conditioning on a random variable; Independence; Bayes’ rule
큰 그림. 이 강의는 연속 확률변수를 다른 연속 확률변수의 값에 대해 조건화한다. 이산에서는 \(p_{X\mid Y} = p_{X,Y}/p_Y\)였는데, 연속에서도 \(f_{X\mid Y} = f_{X,Y}/f_Y\)라는 같은 형태의 정의를 사용한다. 다만 \(\mathbf{P}(Y = y) = 0\)이므로 “확률 0인 사건에 대한 조건부”를 어떻게 이해할지가 새로운 쟁점이다. 이어서 연속 확률변수의 독립, 그리고 이산·연속 조합에 따른 베이즈 정리의 네 가지 형태를 다룬다.
조건부 PDF \(f_{X\mid Y}\)
\(f_Y(y) > 0\)인 \(y\)에 대해, \(Y = y\)가 주어졌을 때 \(X\)의 조건부 PDF는 다음과 같다. \[f_{X\mid Y}(x \mid y) = \frac{f_{X,Y}(x, y)}{f_Y(y)}.\] 이 조건부 PDF를 이용하면 \(\mathbf{P}(X \in A \mid Y = y) = \int_A f_{X\mid Y}(x\mid y)\,dx\)이다.
- 왜 이렇게 정의하는가? \(\mathbf{P}(Y = y) = 0\)이므로 \(\mathbf{P}(\cdot \mid Y = y)\)를 L02의 정의로 계산할 수 없다. 대신 \(Y\)가 \(y\) 근처에 있다는 조건, 즉 \(\{y \le Y \le y + \epsilon\}\)을 생각한다. \[\mathbf{P}(x \le X \le x + \delta \mid y \le Y \le y+\epsilon) \approx \frac{f_{X,Y}(x,y)\,\delta\,\epsilon}{f_Y(y)\,\epsilon} = \frac{f_{X,Y}(x,y)}{f_Y(y)}\,\delta.\] \(\epsilon\)이 약분되어 사라지므로, \(\epsilon \to 0\)일 때도 의미 있는 값이 남는다. 이 값이 \(f_{X\mid Y}(x\mid y)\cdot\delta\)이다.
- 성질: \(f_{X\mid Y}(x \mid y) \ge 0\)이고, \(\int_{-\infty}^\infty f_{X\mid Y}(x\mid y)\,dx = \frac{1}{f_Y(y)}\int f_{X,Y}(x,y)\,dx = \frac{f_Y(y)}{f_Y(y)} = 1\)이다.
- 기하학적 해석 (단면): \(y\)를 고정하면, \(f_{X\mid Y}(\cdot \mid y)\)의 모양은 결합 PDF 곡면을 \(Y = y\)에서 자른 “단면(slice)”의 모양과 같다. \(f_Y(y)\)로 나누는 것은 그 단면의 넓이가 1이 되도록 정규화하는 것이다.
- 곱셈 법칙: \(f_{X,Y}(x,y) = f_Y(y)\,f_{X\mid Y}(x\mid y) = f_X(x)\,f_{Y\mid X}(y\mid x)\)이다.
전확률·전기댓값 정리
\[f_X(x) = \int_{-\infty}^{\infty} f_Y(y)\,f_{X\mid Y}(x\mid y)\,dy, \qquad \mathbf{E}[X] = \int_{-\infty}^{\infty} f_Y(y)\,\mathbf{E}[X \mid Y = y]\,dy.\] 여기서 \(\mathbf{E}[X \mid Y = y] = \int x\,f_{X\mid Y}(x\mid y)\,dx\)이다.
- 이산 버전 \(p_X(x) = \sum_y p_Y(y)\,p_{X\mid Y}(x\mid y)\)와 \(\mathbf{E}[X] = \sum_y p_Y(y)\,\mathbf{E}[X\mid Y=y]\)에서 합을 적분으로 바꾼 것이다.
- 첫 번째 식은 곱셈 법칙을 주변 PDF 공식 \(f_X(x) = \int f_{X,Y}(x,y)\,dy\)에 대입한 것과 같다.
- 조건부 기댓값에도 기댓값 규칙이 성립한다: \(\mathbf{E}[g(X)\mid Y=y] = \int g(x)\,f_{X\mid Y}(x\mid y)\,dx\).
연속 확률변수의 독립
결합 연속인 \(X, Y\)가 다음을 만족하면 독립이다. \[f_{X,Y}(x,y) = f_X(x)\,f_Y(y) \quad \text{(모든 } x, y\text{에 대해)}.\] 이 조건은 “\(f_Y(y) > 0\)인 모든 \(y\)와 모든 \(x\)에 대해 \(f_{X\mid Y}(x\mid y) = f_X(x)\)”와 동치이다.
- 해석: \(Y\)의 값을 알아도 \(X\)의 분포가 바뀌지 않는다. 기하학적으로는 결합 PDF의 모든 단면이 같은 모양을 가진다.
- 독립의 결과 (이산과 동일):
- \(\mathbf{E}[XY] = \mathbf{E}[X]\,\mathbf{E}[Y]\)이다.
- \(g(X)\)와 \(h(Y)\)도 독립이며, \(\mathbf{E}[g(X)h(Y)] = \mathbf{E}[g(X)]\,\mathbf{E}[h(Y)]\)이다.
- \(\text{var}(X + Y) = \text{var}(X) + \text{var}(Y)\)이다.
- 판정 요령: 결합 PDF가 0이 아닌 영역이 직사각형(\(x\)의 범위가 \(y\)에 의존하지 않음)이 아니면 독립이 아니다. 예를 들어 영역이 삼각형 \(0 \le y \le x \le 1\)이면, \(x\)의 값이 \(y\)의 가능한 범위를 제한하므로 독립이 아니다.
막대 부러뜨리기 예제 (Stick-breaking)
문제. 길이 \(\ell\)인 막대를 두 번 부러뜨린다. 첫 번째로 부러뜨리는 위치 \(X\)는 \([0, \ell]\) 위의 균등분포이다. 두 번째로 부러뜨리는 위치 \(Y\)는 남은 조각 \([0, X]\) 위의 균등분포이다.
- 모형: \(f_X(x) = \frac{1}{\ell}\)(\(0 \le x \le \ell\))이고, \(f_{Y\mid X}(y\mid x) = \frac{1}{x}\)(\(0 \le y \le x\))이다. 두 번째 PDF는 “\(X = x\)이면 \(Y\)는 \([0,x]\) 위의 균등분포”라는 뜻이다.
- 결합 PDF (곱셈 법칙): 다음 결합 PDF는 집합 \(\{0 \le y \le x \le \ell\}\)(삼각형) 위에서만 0이 아니다. \[f_{X,Y}(x,y) = f_X(x)\,f_{Y\mid X}(y\mid x) = \frac{1}{\ell x}, \qquad 0 \le y \le x \le \ell.\] 이 결합 PDF는 삼각형 위에서 균등하지 않다. \(x\)가 작을수록 값이 크다.
- \(Y\)의 주변 PDF: 고정된 \(y\)에 대해 \(x\)는 \(y\)부터 \(\ell\)까지 움직인다. \[f_Y(y) = \int_y^\ell \frac{1}{\ell x}\,dx = \frac{1}{\ell}\ln\frac{\ell}{y}, \qquad 0 < y \le \ell.\]
- 조건부 기댓값: \(X = x\)이면 \(Y\)는 \([0, x]\) 위의 균등분포이므로 \(\mathbf{E}[Y \mid X = x] = x/2\)이다.
- 전기댓값 정리: 다음과 같이 계산할 수 있다. \[\mathbf{E}[Y] = \int_0^\ell f_X(x)\,\mathbf{E}[Y\mid X=x]\,dx = \int_0^\ell \frac{1}{\ell}\cdot\frac{x}{2}\,dx = \frac{\ell}{4}.\] 주변 PDF로 직접 \(\int_0^\ell y\,\frac{1}{\ell}\ln\frac{\ell}{y}\,dy\)를 계산해도 같은 답이 나오지만, 전기댓값 정리를 쓰는 것이 훨씬 쉽다.
- 직관: 첫 번째 부러뜨림은 평균적으로 막대를 반으로 줄이고, 두 번째 부러뜨림도 평균적으로 남은 조각을 반으로 줄인다. 따라서 평균은 \(\ell \cdot \frac{1}{2} \cdot \frac{1}{2} = \ell/4\)이다.
독립 정규 확률변수
\(X \sim N(\mu_x, \sigma_x^2)\)와 \(Y \sim N(\mu_y, \sigma_y^2)\)가 독립이면 결합 PDF는 두 PDF의 곱이다. \[f_{X,Y}(x,y) = f_X(x)f_Y(y) = \frac{1}{2\pi\sigma_x\sigma_y}\exp\left\{-\frac{(x-\mu_x)^2}{2\sigma_x^2} - \frac{(y-\mu_y)^2}{2\sigma_y^2}\right\}.\]
- 이 결합 PDF는 \((\mu_x, \mu_y)\)를 중심으로 하는 종 모양의 언덕이다. \(x\) 방향의 폭은 \(\sigma_x\)에, \(y\) 방향의 폭은 \(\sigma_y\)에 비례한다.
- 등고선(contour): PDF 값이 일정한 점들의 집합은 다음 방정식으로 묘사된다. \[\frac{(x-\mu_x)^2}{\sigma_x^2} + \frac{(y-\mu_y)^2}{\sigma_y^2} = \text{상수}.\] 이 곡선은 축이 수평·수직인 타원이다. 특히 \(\sigma_x = \sigma_y\)이면 등고선은 원이다.
- 주의: 등고선 타원이 기울어져 있으면 두 변수는 독립이 아니다. 독립인 정규 확률변수의 등고선은 항상 좌표축에 나란한 타원이다.
베이즈 정리의 네 가지 형태
공통 구조. 우리가 알고 싶은 미지의 양을 \(X\), 관찰하는 양을 \(Y\)라 하자.
- 사전 분포(prior) \(p_X\) 또는 \(f_X\)는 관찰 전 \(X\)에 대한 믿음이다.
- 모형(model) \(p_{Y\mid X}\) 또는 \(f_{Y\mid X}\)는 \(X\)가 주어졌을 때 관찰값 \(Y\)가 어떻게 생성되는지를 나타낸다.
- 추론(inference)은 관찰값 \(Y = y\)를 얻은 뒤 사후 분포(posterior) \(p_{X\mid Y}(\cdot\mid y)\) 또는 \(f_{X\mid Y}(\cdot\mid y)\)를 계산하는 것이다.
모든 형태는 곱셈 법칙을 두 가지 방법으로 쓴 식에서 나온다. \[\text{결합} = \text{사전} \times \text{모형} = \text{관찰의 주변분포} \times \text{사후}.\]
| 미지수 \(X\) | 관찰 \(Y\) | 베이즈 정리 | 분모 (전확률 정리) |
|---|---|---|---|
| 이산 | 이산 | \(p_{X\mid Y}(x\mid y) = \dfrac{p_X(x)\,p_{Y\mid X}(y\mid x)}{p_Y(y)}\) | \(p_Y(y) = \sum_{x'} p_X(x')\,p_{Y\mid X}(y\mid x')\) |
| 연속 | 연속 | \(f_{X\mid Y}(x\mid y) = \dfrac{f_X(x)\,f_{Y\mid X}(y\mid x)}{f_Y(y)}\) | \(f_Y(y) = \int f_X(x')\,f_{Y\mid X}(y\mid x')\,dx'\) |
| 이산 \(K\) | 연속 \(Y\) | \(p_{K\mid Y}(k\mid y) = \dfrac{p_K(k)\,f_{Y\mid K}(y\mid k)}{f_Y(y)}\) | \(f_Y(y) = \sum_{k'} p_K(k')\,f_{Y\mid K}(y\mid k')\) |
| 연속 \(Y\) | 이산 \(K\) | \(f_{Y\mid K}(y\mid k) = \dfrac{f_Y(y)\,p_{K\mid Y}(k\mid y)}{p_K(k)}\) | \(p_K(k) = \int f_Y(y')\,p_{K\mid Y}(k\mid y')\,dy'\) |
- 이산과 연속이 섞인 경우의 유도: \(K\)가 이산이고 \(Y\)가 연속이면, 작은 구간을 써서 곱셈 법칙을 두 방법으로 쓴다. \[\mathbf{P}(K = k,\; y \le Y \le y+\delta) = p_K(k)\,f_{Y\mid K}(y\mid k)\,\delta = f_Y(y)\,\delta\,p_{K\mid Y}(k\mid y).\] 양변의 \(\delta\)를 약분하면 표의 세 번째 줄을 얻는다.
- 기억하는 법: 분모는 항상 분자를 “미지수의 모든 가능한 값”에 대해 합하거나 적분한 것이다. 따라서 분모는 사후 분포의 합(또는 적분)을 1로 만드는 정규화 상수이다.
미지수 \(K\)는 \(-1\) 또는 \(+1\)을 똑같은 확률로 가진다. 관찰값은 \(Y = K + W\)이며, 잡음 \(W \sim N(0,1)\)은 \(K\)와 독립이다. \(Y = y\)를 관찰했을 때 \(K = 1\)일 확률을 구하자.
- 사전 분포: \(p_K(1) = p_K(-1) = 1/2\)이다.
- 모형: \(K = k\)가 주어지면 \(Y = k + W \sim N(k, 1)\)이므로 \(f_{Y\mid K}(y\mid k) = \frac{1}{\sqrt{2\pi}}e^{-(y-k)^2/2}\)이다.
- 베이즈 정리를 쓰면 다음과 같다. \[p_{K\mid Y}(1\mid y) = \frac{\frac{1}{2}e^{-(y-1)^2/2}}{\frac{1}{2}e^{-(y-1)^2/2} + \frac{1}{2}e^{-(y+1)^2/2}} = \frac{1}{1 + e^{-2y}}.\] 마지막 단계에서는 분자와 분모를 \(e^{-(y-1)^2/2}\)로 나누고, \((y+1)^2 - (y-1)^2 = 4y\)를 사용했다.
- 해석: \(y = 0\)이면 사후 확률은 1/2이며, 이는 두 신호의 정확히 중간이라는 뜻이다. \(y\)가 클수록 사후 확률은 1에 가까워지고, \(y\)가 음수로 클수록 0에 가까워진다.
미지수 \(Y\)는 \([0,1]\) 위의 균등분포이며, 동전의 앞면 확률을 나타낸다. 관찰값 \(K\)는 모수 \(Y\)인 베르누이 확률변수이다. 즉 \(Y = y\)가 주어지면 \(\mathbf{P}(K = 1 \mid Y = y) = y\)이다. \(K = 1\)을 관찰했을 때 \(Y\)의 분포를 구하자.
- 사전 분포: \(f_Y(y) = 1\)(\(0 \le y \le 1\))이다.
- 모형: \(p_{K\mid Y}(1\mid y) = y\)이다.
- 분모: \(p_K(1) = \int_0^1 1 \cdot y\,dy = \frac{1}{2}\)이다.
- 사후 분포: \(f_{Y\mid K}(y\mid 1) = \dfrac{1\cdot y}{1/2} = 2y\)(\(0 \le y \le 1\))이다.
- 해석: 앞면을 한 번 관찰하면, 앞면 확률 \(y\)가 큰 쪽이 더 그럴듯해진다. 사후 PDF는 0에서 0이고 1에서 2인 직선이다.
L10 노테이션 정리
| 기호 | 의미 |
|---|---|
| \(f_{X\mid Y}(x\mid y)\) | \(Y=y\)가 주어졌을 때 \(X\)의 조건부 PDF이다. |
| \(\mathbf{E}[X\mid Y=y]\) | \(Y=y\)가 주어졌을 때 \(X\)의 조건부 기댓값이며, \(y\)의 함수이다. |
| \(p_{K\mid Y}(k\mid y)\) | 연속 관찰 \(Y=y\)가 주어졌을 때 이산 \(K\)의 조건부 PMF이다. |
| \(f_{Y\mid K}(y\mid k)\) | 이산 \(K=k\)가 주어졌을 때 연속 \(Y\)의 조건부 PDF이다. |
| \(x'\), \(k'\) | 분모에서 합 또는 적분할 때 쓰는 더미 변수이다. 분자의 \(x\), \(k\)와 구별하기 위해 프라임을 붙인다. |
L10 헷갈리기 쉬운 포인트
- \(\mathbf{P}(Y = y) = 0\)이어도 \(f_{X\mid Y}(x\mid y)\)는 정의된다. 이 정의는 “\(Y\)가 \(y\) 근처에 있다”는 조건의 극한으로 이해해야 한다.
- \(f_{X\mid Y}(x\mid y)\)는 \(x\)의 함수로서 PDF이다. \(y\)에 대해 적분하면 1이 되지 않는다. \(x\)에 대해 적분해야 1이 된다.
- 베이즈 정리에서는 PMF와 PDF를 섞어 쓸 수 있다. 이산인 양에는 \(p\)를, 연속인 양에는 \(f\)를 쓴다는 원칙만 지키면 된다.
- 독립 판정에서 결합 PDF가 0이 아닌 영역의 모양을 먼저 확인하라. 영역이 직사각형이 아니면 계산할 필요도 없이 독립이 아니다.
- 전기댓값 정리를 쓰면 주변 PDF를 구하지 않고도 \(\mathbf{E}[Y]\)를 계산할 수 있다. 막대 부러뜨리기처럼 조건부 기댓값이 쉬운 경우에 특히 유용하다.
L11. 유도 분포 (Derived distributions)
교재 4.1절 · Derived distributions
큰 그림. 유도 분포(derived distribution)는 확률법칙이 알려진 하나 또는 여러 확률변수의 함수가 가지는 PMF 또는 PDF이다. 예를 들어 속도 \(V\)의 분포를 알 때 이동 시간 \(T = 200/V\)의 분포를 구하는 것이 유도 분포 문제이다. 이산 확률변수에서는 확률을 모으기만 하면 되지만, 연속 확률변수에서는 CDF를 먼저 구한 뒤 미분하는 2단계 방법이 기본이다. 함수가 단조이면 이 과정을 하나의 공식으로 요약할 수 있다.
복습: 기댓값만 필요하면 유도 분포가 필요 없다. \(\mathbf{E}[g(X)]\)만 구하려면 기댓값 규칙 \(\mathbf{E}[g(X)] = \sum_x g(x)p_X(x)\) 또는 \(\int g(x)f_X(x)\,dx\)를 쓰면 된다. 유도 분포는 \(g(X)\)의 분포 전체가 필요할 때 구한다.
이산형 유도 분포
\(X\)가 이산이고 \(Y = g(X)\)이면 다음이 성립한다. \[p_Y(y) = \mathbf{P}(g(X) = y) = \sum_{x:\; g(x) = y} p_X(x).\]
- 즉 \(Y\)의 각 가능한 값 \(y\)에 대해, \(g(x) = y\)가 되는 모든 \(x\)의 확률을 모은다.
\(Y = aX + b\)(\(a \ne 0\))이면 각 \(y\)에 대응하는 \(x\)는 \((y-b)/a\) 하나뿐이므로 다음이 성립한다. \[p_Y(y) = p_X\!\left(\frac{y - b}{a}\right).\]
\(X\)가 \(-1, 1, 2\)의 값을 각각 확률 \(1/6, 2/6, 3/6\)으로 가진다고 하자.
- \(Z = 2X\)는 \(-2, 2, 4\)의 값을 각각 확률 \(1/6, 2/6, 3/6\)으로 가진다.
- \(Y = 2X + 3\)은 \(1, 5, 7\)의 값을 각각 확률 \(1/6, 2/6, 3/6\)으로 가진다.
- PMF의 막대는 위치만 이동하거나 간격이 늘어날 뿐이고, 막대의 높이는 그대로이다.
연속 확률변수의 선형 변환 \(Y = aX + b\)
\(X\)가 연속이고 \(Y = aX + b\)(\(a \ne 0\))이면 다음이 성립한다. \[f_Y(y) = \frac{1}{|a|}\,f_X\!\left(\frac{y - b}{a}\right).\]
- 이산과 다른 점: 앞에 \(\frac{1}{|a|}\)이 붙는다. \(a\)배로 늘이면 PDF가 가로로 \(|a|\)배 넓어지므로, 넓이를 1로 유지하려면 높이가 \(1/|a|\)배가 되어야 하기 때문이다.
증명 (\(a > 0\)인 경우). CDF를 구한 뒤 미분한다. \[F_Y(y) = \mathbf{P}(aX + b \le y) = \mathbf{P}\left(X \le \frac{y-b}{a}\right) = F_X\left(\frac{y-b}{a}\right).\] 연쇄 법칙으로 미분하면 \(f_Y(y) = \frac{1}{a}f_X\left(\frac{y-b}{a}\right)\)이다.
증명 (\(a < 0\)인 경우). 음수로 나누면 부등호 방향이 바뀐다는 점에 주의한다. \[F_Y(y) = \mathbf{P}\left(X \ge \frac{y-b}{a}\right) = 1 - F_X\left(\frac{y-b}{a}\right).\] 미분하면 \(f_Y(y) = -\frac{1}{a}f_X\left(\frac{y-b}{a}\right) = \frac{1}{|a|}f_X\left(\frac{y-b}{a}\right)\)이다.
\(X \sim N(\mu, \sigma^2)\)이면 \(f_X(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/2\sigma^2}\)이다. 공식에 대입하면 다음과 같다. \[f_Y(y) = \frac{1}{|a|}\cdot\frac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\frac{\left(\frac{y-b}{a} - \mu\right)^2}{2\sigma^2}\right\} = \frac{1}{\sqrt{2\pi}\,|a|\sigma}\exp\left\{-\frac{(y - b - a\mu)^2}{2a^2\sigma^2}\right\}.\] 이 식은 평균 \(a\mu + b\), 분산 \(a^2\sigma^2\)인 정규 PDF와 정확히 같다. 따라서 \(aX + b \sim N(a\mu + b, a^2\sigma^2)\)이며, L08에서 증명 없이 소개한 사실이 이렇게 증명된다.
CDF를 이용한 일반적 방법
연속 확률변수 \(X\)와 함수 \(g\)에 대해 \(Y = g(X)\)의 PDF를 구하려면 다음 두 단계를 따른다.
- \(Y\)의 CDF를 구한다: \(F_Y(y) = \mathbf{P}(Y \le y) = \mathbf{P}(g(X) \le y)\).
- 미분한다: \(f_Y(y) = \dfrac{dF_Y}{dy}(y)\).
- 1단계의 핵심은 사건 \(\{g(X) \le y\}\)를 \(X\)에 관한 사건으로 바꾸는 것이다. 이 사건을 그림으로 그려 보면 실수를 줄일 수 있다.
- \(Y\)는 \([0, 8]\)의 값을 가진다.
- \(0 \le y \le 8\)이면 \(F_Y(y) = \mathbf{P}(X^3 \le y) = \mathbf{P}(X \le y^{1/3}) = \dfrac{y^{1/3}}{2}\)이다. 마지막 단계에서 \([0,2]\) 위의 균등분포의 CDF는 \(F_X(x) = x/2\)라는 사실을 사용했다.
- 미분하면 \(f_Y(y) = \dfrac{1}{2}\cdot\dfrac{1}{3}y^{-2/3} = \dfrac{1}{6y^{2/3}}\)이다(\(0 < y \le 8\)).
- \(f_Y(y)\)는 \(y \to 0\)일 때 무한대로 커진다. 그래도 넓이는 유한한 1이므로 정상적인 PDF이다.
러닝머신 속도 \(X\)를 5~10 km/h 사이의 균등분포로 설정한다. 10 km를 달리는 데 걸리는 시간 \(T = 10/X\)(시간)의 PDF를 구하자.
- \(T\)는 \([1, 2]\)의 값을 가진다. (\(X = 10\)이면 1시간, \(X = 5\)이면 2시간이다.)
- \(1 \le t \le 2\)이면 \(F_T(t) = \mathbf{P}(10/X \le t) = \mathbf{P}(X \ge 10/t) = \dfrac{10 - 10/t}{5} = 2 - \dfrac{2}{t}\)이다.
- 미분하면 \(f_T(t) = \dfrac{2}{t^2}\)이다(\(1 \le t \le 2\)).
- 검산: \(\int_1^2 \frac{2}{t^2}\,dt = 2\left(1 - \frac{1}{2}\right) = 1\)이다.
- \(X\)는 균등분포이지만 \(T\)는 균등분포가 아니라는 점에 주목하자. 비선형 변환은 분포의 모양을 바꾼다.
단조함수 공식 (Monotonic case)
\(g\)가 (구간 위에서) 강하게 증가하거나 강하게 감소하고 미분 가능하다고 하자. \(g\)의 역함수를 \(h\)라 하자. 즉 \(y = g(x)\)이면 \(x = h(y)\)이다. \(h\)가 미분 가능하면, \(f_Y(y) > 0\)인 영역에서 다음이 성립한다. \[f_Y(y) = f_X\big(h(y)\big)\,\left|\frac{dh}{dy}(y)\right|.\]
증명 (\(g\)가 증가하는 경우). \(g\)가 증가하면 사건 \(\{g(X) \le y\}\)는 사건 \(\{X \le h(y)\}\)와 같다. 따라서 \(F_Y(y) = F_X(h(y))\)이다. 연쇄 법칙으로 미분하면 \(f_Y(y) = f_X(h(y))\,h'(y)\)이다. \(g\)가 증가하면 \(h\)도 증가하므로 \(h'(y) \ge 0\)이고, 따라서 \(h'(y) = |h'(y)|\)이다.
증명 (\(g\)가 감소하는 경우). \(g\)가 감소하면 사건 \(\{g(X) \le y\}\)는 \(\{X \ge h(y)\}\)와 같다. 따라서 \(F_Y(y) = 1 - F_X(h(y))\)이고, 미분하면 \(f_Y(y) = -f_X(h(y))\,h'(y)\)이다. 이 경우 \(h'(y) \le 0\)이므로 \(-h'(y) = |h'(y)|\)이다.
직관적 설명. 작은 구간 \([x, x+\delta_1]\)은 \(g\)에 의해 작은 구간 \([y, y+\delta_2]\)로 옮겨진다. 이때 \(\delta_2 \approx |g'(x)|\,\delta_1\)이다. 두 구간에 들어갈 확률은 같아야 하므로 \(f_X(x)\,\delta_1 \approx f_Y(y)\,\delta_2\)이다. 따라서 \(f_Y(y) \approx f_X(x)\cdot\frac{\delta_1}{\delta_2} = \frac{f_X(x)}{|g'(x)|}\)이다. 역함수의 도함수는 \(h'(y) = 1/g'(x)\)이므로 이 식은 위의 공식과 같다. 즉 \(g\)가 구간을 늘이는 곳에서는 밀도가 낮아지고, 구간을 줄이는 곳에서는 밀도가 높아진다.
- \(g(x) = x^2\)은 \([0,1]\)에서 증가하며, 역함수는 \(h(y) = \sqrt{y}\)이고 \(h'(y) = \frac{1}{2\sqrt{y}}\)이다.
- 공식에 의해 \(f_Y(y) = f_X(\sqrt{y})\cdot\dfrac{1}{2\sqrt{y}} = 1\cdot\dfrac{1}{2\sqrt{y}} = \dfrac{1}{2\sqrt{y}}\)이다(\(0 < y \le 1\)).
조안의 속도 \(V\)는 30~60 mph 사이의 균등분포이다. 이동 거리는 200마일이고, 이동 시간은 \(T = 200/V\)이다.
- \(T\)는 \([200/60, 200/30] = [10/3, 20/3]\)의 값을 가진다.
- \(g(v) = 200/v\)는 감소함수이고, 역함수는 \(h(t) = 200/t\), \(|h'(t)| = 200/t^2\)이다.
- \(f_V(v) = 1/30\)이므로 \(f_T(t) = \dfrac{1}{30}\cdot\dfrac{200}{t^2} = \dfrac{20}{3t^2}\)이다(\(10/3 \le t \le 20/3\)).
- 검산: \(\int_{10/3}^{20/3}\frac{20}{3t^2}\,dt = \frac{20}{3}\left(\frac{3}{10} - \frac{3}{20}\right) = 1\)이다.
단조가 아닌 함수
함수가 단조가 아니면 하나의 \(y\)에 여러 개의 \(x\)가 대응하므로 위 공식을 바로 쓸 수 없다. 이 경우에는 CDF 방법으로 돌아가야 한다.
- 이산인 경우: \(p_Y(9) = \mathbf{P}(X^2 = 9) = p_X(3) + p_X(-3)\)이다. \(x^2 = 9\)를 만족하는 \(x\)는 3과 \(-3\) 두 개이다.
- 연속인 경우: \(y \ge 0\)에 대해 CDF는 다음과 같다. \[F_Y(y) = \mathbf{P}(X^2 \le y) = \mathbf{P}(-\sqrt{y} \le X \le \sqrt{y}) = F_X(\sqrt{y}) - F_X(-\sqrt{y}).\] 연쇄 법칙으로 미분하면 다음을 얻는다(\(y > 0\)). \[f_Y(y) = \frac{1}{2\sqrt{y}}\Big(f_X(\sqrt{y}) + f_X(-\sqrt{y})\Big).\]
- 해석: \(y\) 근처에 오는 길은 \(x = \sqrt{y}\) 근처와 \(x = -\sqrt{y}\) 근처의 두 가지이므로, 두 경로의 기여를 더한다.
두 확률변수의 함수 \(Z = g(X, Y)\)
방법은 똑같다. \(Z\)의 CDF \(F_Z(z) = \mathbf{P}(g(X,Y) \le z)\)를 결합 PDF로 계산한 뒤 미분한다. 1단계에서는 평면 위에서 사건 \(\{g(x,y) \le z\}\)에 해당하는 영역을 그리는 것이 핵심이다.
\((X, Y)\)는 단위 정사각형 위의 균등분포를 가지므로 확률은 넓이와 같다. 사건 \(\{Y/X \le z\}\)는 직선 \(y = zx\) 아래의 영역 \(\{y \le zx\}\)이다.
- \(0 \le z \le 1\)인 경우: 직선 \(y = zx\)는 오른쪽 변의 높이 \(z\)에서 정사각형을 빠져나간다. 직선 아래의 영역은 밑변 1, 높이 \(z\)인 삼각형이므로 \(F_Z(z) = z/2\)이다.
- \(z > 1\)인 경우: 직선은 위쪽 변의 \(x = 1/z\) 지점에서 정사각형을 빠져나간다. 직선 위의 영역은 밑변 \(1/z\), 높이 1인 삼각형이므로 넓이는 \(\frac{1}{2z}\)이다. 따라서 \(F_Z(z) = 1 - \frac{1}{2z}\)이다.
- 미분: 따라서 PDF는 다음과 같다. \[f_Z(z) = \begin{cases} 1/2, & 0 \le z \le 1 \\ 1/(2z^2), & z > 1 \\ 0, & z < 0 \end{cases}\]
- 검산: \(\int_0^1 \frac{1}{2}\,dz + \int_1^\infty \frac{1}{2z^2}\,dz = \frac{1}{2} + \frac{1}{2} = 1\)이다.
L11 노테이션 정리
| 기호 | 의미 |
|---|---|
| \(Y = g(X)\) | 확률변수 \(X\)의 함수로 정의된 새로운 확률변수이다. |
| \(h\) | \(g\)의 역함수이며, \(y = g(x) \iff x = h(y)\)이다. |
| \(\lvert dh/dy \rvert\) | 역함수 도함수의 절댓값이며, 구간이 늘어나거나 줄어드는 비율을 보정한다. |
| \(\delta_1, \delta_2\) | \(x\)축과 \(y\)축 위의 작은 구간 길이이다. |
L11 헷갈리기 쉬운 포인트
- PDF를 직접 “대입”하면 안 된다. \(f_Y(y) = f_X(h(y))\)는 틀린 공식이다. 반드시 \(|h'(y)|\)를 곱해야 한다. 이산에서는 대입만으로 충분하지만, 연속에서는 밀도의 늘어남과 줄어듦을 보정해야 한다.
- 확실하지 않으면 CDF로 돌아가라. CDF 방법은 단조, 비단조, 다변수 모든 경우에 통하는 일반적인 방법이다.
- 음수로 나누거나 감소함수를 적용하면 부등호 방향이 바뀐다. \(\{a X \le y\}\)는 \(a < 0\)이면 \(\{X \ge y/a\}\)가 된다.
- \(Y\)의 값의 범위를 먼저 확인하라. \(f_Y\)는 \(Y\)가 가질 수 있는 값의 범위 밖에서 0이다. 범위를 적지 않으면 답이 불완전하다.
- 균등분포의 비선형 함수는 일반적으로 균등분포가 아니다. 선형 변환만이 균등성을 보존한다.
- 기댓값만 필요하면 유도 분포를 구할 필요가 없다. \(\mathbf{E}[g(X)]\)는 기댓값 규칙으로 바로 계산할 수 있다.
부록: 전체 노테이션 총정리
| 기호 | 처음 등장 | 의미 |
|---|---|---|
| \(\Omega\) | L01 | 표본공간이며, 가능한 모든 결과의 집합이다. |
| \(\omega\) | L01 | 결과 하나이며, \(\Omega\)의 원소이다. |
| \(A, B, C\) | L01 | 사건이며, \(\Omega\)의 부분집합이다. |
| \(A^c\), \(A\cup B\), \(A\cap B\) | L01 | 여사건, 합사건(“또는”), 곱사건(“그리고”)이다. |
| \(\emptyset\) | L01 | 공집합이며, 일어날 수 없는 사건이다. |
| \(\mathbf{P}(A)\) | L01 | 사건 \(A\)의 확률이다. |
| \(\mathbf{P}(A\mid B)\) | L02 | \(B\)가 주어졌을 때 \(A\)의 조건부 확률이다. |
| \(n!\), \(\binom{n}{k}\), \(\binom{n}{n_1,\dots,n_r}\) | L04 | 팩토리얼, 이항계수, 다항계수이다. |
| \(X\) vs \(x\) | L05 | 대문자는 확률변수(함수)이고, 소문자는 그 값(숫자)이다. |
| \(p_X(x)\) | L05 | 이산 확률변수 \(X\)의 PMF이며, \(\mathbf{P}(X=x)\)와 같다. |
| \(I_A\) | L05 | 사건 \(A\)의 지시 확률변수이다. |
| \(\mathbf{E}[X]\) | L05 | \(X\)의 기댓값이다. |
| \(\mu\) | L06 | 평균 \(\mathbf{E}[X]\)의 줄임 기호이다. |
| \(\text{var}(X)\), \(\sigma_X\) | L06 | 분산과 표준편차이다. |
| \(p_{X\mid A}(x)\), \(\mathbf{E}[X\mid A]\) | L06 | 사건 \(A\)가 주어졌을 때의 조건부 PMF와 조건부 기댓값이다. |
| \(p_{X,Y}(x,y)\) | L06 | 결합 PMF이다. |
| \(p_{X\mid Y}(x\mid y)\) | L07 | \(Y=y\)가 주어졌을 때 \(X\)의 조건부 PMF이다. |
| \(\mathbf{E}[X\mid Y=y]\) | L07 | \(Y=y\)가 주어졌을 때 \(X\)의 조건부 기댓값이다. |
| \(f_X(x)\) | L08 | 연속 확률변수 \(X\)의 PDF이다. |
| \(F_X(x)\) | L08 | \(X\)의 CDF이며, \(\mathbf{P}(X\le x)\)와 같다. |
| \(N(\mu,\sigma^2)\) | L08 | 평균 \(\mu\), 분산 \(\sigma^2\)인 정규분포이다. |
| \(\Phi(y)\) | L08 | 표준 정규분포의 CDF이다. |
| \(\lambda\) | L08 | 지수분포의 모수(발생률)이다. |
| \(f_{X\mid A}(x)\) | L09 | 사건 \(A\)가 주어졌을 때 \(X\)의 조건부 PDF이다. |
| \(f_{X,Y}(x,y)\), \(F_{X,Y}(x,y)\) | L09 | 결합 PDF와 결합 CDF이다. |
| \(f_{X\mid Y}(x\mid y)\) | L10 | \(Y=y\)가 주어졌을 때 \(X\)의 조건부 PDF이다. |
| \(h = g^{-1}\) | L11 | \(g\)의 역함수이다. |
자주 쓰는 분포 요약
| 분포 | PMF / PDF | 평균 | 분산 |
|---|---|---|---|
| 베르누이(\(p\)) | \(p_X(1) = p,\ p_X(0) = 1-p\) | \(p\) | \(p(1-p)\) |
| 이산 균등(\(a,\dots,b\)) | \(\frac{1}{b-a+1}\) | \(\frac{a+b}{2}\) | \(\frac{(b-a)(b-a+2)}{12}\) |
| 이항(\(n,p\)) | \(\binom{n}{k}p^k(1-p)^{n-k}\) | \(np\) | \(np(1-p)\) |
| 기하(\(p\)) | \((1-p)^{k-1}p,\ k\ge1\) | \(\frac{1}{p}\) | \(\frac{1-p}{p^2}\) (교재 참고) |
| 연속 균등(\(a,b\)) | \(\frac{1}{b-a},\ a\le x\le b\) | \(\frac{a+b}{2}\) | \(\frac{(b-a)^2}{12}\) |
| 지수(\(\lambda\)) | \(\lambda e^{-\lambda x},\ x\ge0\) | \(\frac{1}{\lambda}\) | \(\frac{1}{\lambda^2}\) |
| 정규(\(\mu,\sigma^2\)) | \(\frac{1}{\sigma\sqrt{2\pi}}e^{-(x-\mu)^2/2\sigma^2}\) | \(\mu\) | \(\sigma^2\) |
기하분포의 분산은 L01–L11 슬라이드에서 직접 유도하지 않았지만, 교재 2.4절에 나오므로 참고용으로 함께 적었다.