확률·통계를 위한 수학 노트
이 노트는 확률과 통계를 공부할 때 필요한 수학 개념을 한곳에 모아 정리한 것이다. 이 노트는 각 개념을 정의부터 설명하므로, 수학을 오래 쉬었던 사람도 처음부터 따라갈 수 있다. 각 장은 “큰 그림 → 확률·통계에서 어디에 쓰이나 → 개념과 정의 → 노테이션 → 헷갈리기 쉬운 포인트 → 예제 풀이” 순서로 구성되어 있다. 예제는 가능하면 확률 문제에서 실제로 등장하는 계산으로 골랐다. 함께 보면 좋은 노트는 6.431x Probability 스터디 노트이다.
전체 개념 목차
1. 집합, 논리, 함수 집합과 집합 연산 · 논리와 한정기호 · 증명 방법 · 함수, 역함수, 역상 · 가산과 비가산
2. 수열과 급수 수열과 극한 · 합 기호의 규칙 · 자주 쓰는 유한합 공식 · 기하급수와 그 변형 · 급수의 수렴과 절대수렴 · 이중합과 합의 순서 바꾸기
3. 지수와 로그 지수함수 · 로그함수 · \(e\)의 극한 정의 · 로그를 이용한 계산 기법
4. 극한, 연속, 점근 표기 함수의 극한 · 로피탈 정리 · 연속성과 한쪽 극한 · 최대·최소, 상한·하한, argmax · 빅오와 리틀오
5. 미분 도함수의 정의 · 미분 규칙 · 자주 쓰는 도함수 · 역함수의 미분 · 최적화 · 볼록성
6. 적분 정적분 · 미적분의 기본정리 · 치환적분 · 부분적분 · 이상적분 · 가우스 적분 · 감마 함수와 베타 함수 · 적분 기호 아래에서의 미분
7. 테일러 급수 테일러 다항식과 테일러 급수 · 자주 쓰는 매클로린 급수 · 나머지항 · 1차·2차 근사와 델타 방법 · 멱급수
8. 다변수 미적분 편미분 · 그래디언트와 헤시안 · 이중적분과 영역 · 푸비니 정리와 적분 순서 바꾸기 · 극좌표 · 변수변환과 야코비안 · 라그랑주 승수법
9. 선형대수 벡터와 내적 · 행렬과 행렬 곱 · 역행렬과 행렬식 · 고윳값과 고유벡터 · 이차형식과 양의 준정부호 · 공분산 행렬
10. 조합론 심화 이항정리와 다항정리 · 이항계수 항등식 · 중복조합(별과 막대) · 포함-배제 원리 · 스털링 근사
11. 부등식 기본 부등식 · 산술-기하 평균 부등식 · 코시-슈바르츠 부등식 · 젠센 부등식 · 지수 부등식
12. 복소수와 생성함수 복소수 · 오일러 공식 · 생성함수(PGF, MGF)
부록 전체 노테이션 총정리 · 자주 쓰는 공식 모음
1. 집합, 논리, 함수
큰 그림. 확률론은 집합의 언어로 쓰인다. 사건은 집합이고, “또는”, “그리고”, “아니다”는 합집합, 교집합, 여집합이다. 또한 확률변수는 함수이므로, 함수와 역함수, 역상(preimage)의 개념을 정확히 알아야 한다. 이 장은 이 기초 언어와 함께, 정리를 읽고 이해하는 데 필요한 논리와 증명 방법을 정리한다.
확률·통계에서 어디에 쓰이나. 사건의 연산(L01), 드모르간 법칙을 이용한 여사건 계산, 확률변수의 정의 \(X:\Omega\to\mathbb{R}\), 사건 \(\{X \le x\}\)의 의미, 가산 가법성(L01) 등에 쓰인다.
집합과 집합 연산
집합(set)은 원소(element)들의 모임이다. \(x \in A\)는 “\(x\)가 \(A\)의 원소이다”라는 뜻이다. 두 집합 \(A, B\)가 정확히 같은 원소를 가지면 \(A = B\)이다.
| 기호 | 정의 | 확률에서의 의미 |
|---|---|---|
| \(A \subset B\) | \(A\)의 모든 원소가 \(B\)에 속한다. | \(A\)가 일어나면 \(B\)도 반드시 일어난다. |
| \(A \cup B\) | \(\{x \mid x \in A \text{ 또는 } x \in B\}\) | \(A\) 또는 \(B\)가 일어난다. |
| \(A \cap B\) | \(\{x \mid x \in A \text{ 그리고 } x \in B\}\) | \(A\)와 \(B\)가 동시에 일어난다. |
| \(A^c\) | \(\{x \in \Omega \mid x \notin A\}\) | \(A\)가 일어나지 않는다. |
| \(A \setminus B\) | \(A \cap B^c\) | \(A\)는 일어나고 \(B\)는 일어나지 않는다. |
| \(\emptyset\) | 원소가 없는 집합 | 불가능한 사건이다. |
| \(\bigcup_{i=1}^\infty A_i\) | 적어도 하나의 \(A_i\)에 속하는 원소들의 집합 | \(A_i\) 중 적어도 하나가 일어난다. |
| \(\bigcap_{i=1}^\infty A_i\) | 모든 \(A_i\)에 속하는 원소들의 집합 | 모든 \(A_i\)가 일어난다. |
| \(A \times B\) | \(\{(a,b) \mid a\in A, b \in B\}\) | 두 실험을 함께 할 때의 표본공간이다. |
- 서로소(disjoint): \(A \cap B = \emptyset\)이면 \(A\)와 \(B\)는 서로소이다.
- 분할(partition): 서로소인 집합들 \(A_1, A_2, \dots\)의 합집합이 전체 집합이면, 이 집합들은 전체 집합의 분할이다.
- 분배법칙: \(A \cap (B \cup C) = (A \cap B) \cup (A\cap C)\)이고, \(A \cup (B \cap C) = (A\cup B)\cap(A \cup C)\)이다.
- 드모르간 법칙: \(\big(\bigcup_i A_i\big)^c = \bigcap_i A_i^c\)이고, \(\big(\bigcap_i A_i\big)^c = \bigcup_i A_i^c\)이다. 말로 하면 “적어도 하나가 일어나는 것의 반대는 모두 일어나지 않는 것”이다.
- 멱집합(power set): 집합 \(A\)의 모든 부분집합의 집합이며, \(A\)의 원소가 \(n\)개이면 멱집합의 원소는 \(2^n\)개이다.
- 카테시안 곱: \(A \times B\)의 원소 개수는 \(|A|\cdot|B|\)이다. 주사위 두 번 굴리기의 표본공간 \(\{1,\dots,6\}^2\)은 카테시안 곱이다.
논리와 한정기호
| 기호 | 읽는 법 | 의미 |
|---|---|---|
| \(P \Rightarrow Q\) | P이면 Q이다 | \(P\)가 참이면 \(Q\)도 반드시 참이다. |
| \(P \Leftrightarrow Q\) | P와 Q는 동치이다 | \(P \Rightarrow Q\)와 \(Q \Rightarrow P\)가 모두 성립한다. “iff(if and only if)”라고도 쓴다. |
| \(\neg P\) | P가 아니다 | \(P\)의 부정이다. |
| \(\forall x\) | 모든 \(x\)에 대해 | 모든 \(x\)에서 뒤의 명제가 성립한다. |
| \(\exists x\) | 어떤 \(x\)가 존재하여 | 뒤의 명제를 만족하는 \(x\)가 적어도 하나 있다. |
| \(:=\) | 정의한다 | 왼쪽을 오른쪽으로 정의한다는 뜻이다. |
- 필요조건과 충분조건: \(P \Rightarrow Q\)이면 \(P\)는 \(Q\)의 충분조건이고, \(Q\)는 \(P\)의 필요조건이다. 예를 들어 “독립이다 \(\Rightarrow\) \(\mathbf{E}[XY] = \mathbf{E}[X]\mathbf{E}[Y]\)”에서 독립은 충분조건이지만 필요조건은 아니다.
- 대우(contrapositive): \(P \Rightarrow Q\)는 \(\neg Q \Rightarrow \neg P\)와 동치이다. 반면 역(converse) \(Q \Rightarrow P\)는 일반적으로 동치가 아니다.
- 한정기호의 부정: “\(\forall x\), \(P(x)\)”의 부정은 “\(\exists x\), \(\neg P(x)\)”이다. 예를 들어 “모든 \(x, y\)에 대해 \(p_{X,Y}(x,y) = p_X(x)p_Y(y)\)”(독립)의 부정은 “어떤 \(x, y\)에서 등식이 깨진다”이다. 그래서 반례 하나로 독립이 아님을 보일 수 있다.
증명 방법
- 직접 증명: 가정에서 출발하여 정의와 이미 알려진 사실을 차례로 적용해 결론에 도달한다.
- 대우 증명: \(P \Rightarrow Q\) 대신 \(\neg Q \Rightarrow \neg P\)를 증명한다.
- 귀류법(proof by contradiction): 결론이 거짓이라고 가정한 뒤 모순을 이끌어낸다. 예를 들어 “실수는 셀 수 없다”는 정리는 귀류법(칸토어의 대각선 논법)으로 증명된다.
- 수학적 귀납법(induction): 자연수 \(n\)에 관한 명제 \(P(n)\)을 증명할 때 쓴다. (1) \(P(1)\)이 참임을 보이고, (2) \(P(n)\)이 참이면 \(P(n+1)\)도 참임을 보인다. 그러면 모든 \(n \ge 1\)에 대해 \(P(n)\)이 참이다.
- 반례(counterexample): “항상 성립한다”는 주장을 부정하려면 성립하지 않는 예 하나만 찾으면 된다.
- 기저 단계: \(n = 1\)이면 좌변은 1이고 우변은 \(\frac{1\cdot 2}{2} = 1\)이므로 성립한다.
- 귀납 단계: \(n\)에서 성립한다고 가정하자. 그러면 다음이 성립한다. \[\sum_{k=1}^{n+1} k = \frac{n(n+1)}{2} + (n+1) = \frac{(n+1)(n+2)}{2}.\] 이 식은 \(n+1\)에 대한 공식과 같다.
- 따라서 모든 \(n \ge 1\)에 대해 공식이 성립한다.
함수, 역함수, 역상
함수(function) \(f: A \to B\)는 집합 \(A\)의 각 원소 \(a\)에 집합 \(B\)의 원소 \(f(a)\)를 정확히 하나씩 대응시키는 규칙이다. \(A\)를 정의역(domain), \(B\)를 공역(codomain)이라 부르며, 실제로 나오는 값들의 집합 \(f(A) = \{f(a) \mid a \in A\}\)를 치역(range, image)이라 부른다.
- 단사(injective, 일대일): 서로 다른 입력이 항상 서로 다른 출력을 낸다. 즉 \(f(a_1) = f(a_2)\)이면 \(a_1 = a_2\)이다.
- 전사(surjective, 위로의): 공역의 모든 원소가 어떤 입력의 출력이다.
- 전단사(bijective): 단사이면서 전사인 함수이며, 이 경우에만 역함수 \(f^{-1}: B \to A\)가 존재한다. 역함수는 \(f^{-1}(f(a)) = a\)를 만족한다.
- 합성함수: \((g \circ f)(x) = g(f(x))\)이다. 확률변수의 함수 \(g(X)\)는 합성함수 \(g \circ X\)이다.
- 역상(preimage): 집합 \(C \subset B\)에 대해 \(f^{-1}(C) = \{a \in A \mid f(a) \in C\}\)이다. 역상은 \(f\)가 역함수를 가지지 않아도 항상 정의된다.
- 지시함수(indicator function): \(\mathbf{1}_A(x)\)는 \(x \in A\)이면 1, 아니면 0인 함수이다. 지시함수를 쓰면 구간별로 정의된 함수를 한 줄로 쓸 수 있다. 예를 들어 지수분포의 PDF는 \(f_X(x) = \lambda e^{-\lambda x}\mathbf{1}_{[0,\infty)}(x)\)이다.
4면체 주사위 두 번 굴리기에서 \(X(\omega) = \min(\omega_1, \omega_2)\)라 하자. 사건 \(\{X \le 2\}\)는 정확히는 역상 \(X^{-1}\big((-\infty, 2]\big) = \{\omega \in \Omega \mid X(\omega) \le 2\}\)이다. 이 집합은 적어도 하나가 1 또는 2인 결과들로 이루어지며, 그런 결과는 \(16 - 4 = 12\)개이다. 4개는 두 값이 모두 3 또는 4인 결과이다. 따라서 \(\mathbf{P}(X \le 2) = 12/16 = 3/4\)이다. 이처럼 “\(X\)에 관한 사건”은 항상 “표본공간의 부분집합”으로 번역된다.
가산과 비가산
집합 \(A\)의 원소들을 수열 \(a_1, a_2, a_3, \dots\)로 빠짐없이 나열할 수 있으면 \(A\)는 가산(countable, 셀 수 있음)이다. 유한집합도 가산으로 본다. 가산이 아닌 무한집합은 비가산(uncountable)이다.
- 가산 집합의 예: 자연수 \(\mathbb{N}\), 정수 \(\mathbb{Z}\)(\(0, 1, -1, 2, -2, \dots\)로 나열), 유리수 \(\mathbb{Q}\)(분자+분모의 크기 순으로 나열), 가산 집합들의 가산 합집합이 있다.
- 비가산 집합의 예: 실수 \(\mathbb{R}\), 구간 \([0,1]\), 단위 정사각형이 있다.
- 칸토어의 대각선 논법: \([0,1]\)의 실수를 \(x_1, x_2, \dots\)로 모두 나열했다고 가정하자. 소수점 아래 \(n\)번째 자리가 \(x_n\)의 \(n\)번째 자리와 다른 수 \(y\)를 만들면, \(y\)는 어떤 \(x_n\)과도 다르다. 이는 “모두 나열했다”는 가정에 모순이다.
- \(\subset\)와 \(\in\)은 다르다. \(\in\)은 원소와 집합의 관계이고, \(\subset\)는 집합과 집합의 관계이다. \(1 \in \{1,2\}\)이지만 \(\{1\} \subset \{1,2\}\)이다.
- “또는”은 포함적 의미이다. 수학에서 “\(A\) 또는 \(B\)”는 둘 다인 경우를 포함한다.
- \(P \Rightarrow Q\)에서 역은 자동으로 성립하지 않는다. “독립이면 상관계수가 0이다”는 참이지만, “상관계수가 0이면 독립이다”는 거짓이다.
- 역상 \(f^{-1}(C)\)는 역함수가 없어도 정의된다. 같은 기호 \(f^{-1}\)을 쓰지만, 집합을 넣으면 역상이고 원소를 넣으면 역함수이다.
- 가산 무한과 비가산 무한은 다른 크기의 무한이다. 확률의 가법성은 가산 개의 사건까지만 허용된다.
2. 수열과 급수
큰 그림. 이산 확률변수의 확률과 기댓값은 모두 합(급수)으로 계산된다. 따라서 합 기호를 자유롭게 조작하고, 무한급수가 언제 수렴하는지 판단하고, 자주 나오는 급수의 값을 알고 있어야 한다. 특히 기하급수와 그 미분은 기하분포, 포아송분포 등 거의 모든 이산 분포 계산에 등장한다.
확률·통계에서 어디에 쓰이나. PMF의 정규화 확인(\(\sum p_X(x) = 1\)), 기댓값과 분산 계산, 기하분포의 평균, 꼬리합 공식 \(\mathbf{E}[X] = \sum \mathbf{P}(X \ge k)\), 가산 가법성 등에 쓰인다.
수열과 극한
수열(sequence) \(a_1, a_2, \dots\)은 자연수에서 실수로 가는 함수이다. 수열이 수 \(L\)에 수렴(converge)한다는 것은 \(n\)이 커질수록 \(a_n\)이 \(L\)에 원하는 만큼 가까워진다는 뜻이며, \(\lim_{n\to\infty} a_n = L\)로 쓴다. 엄밀하게는 “모든 \(\epsilon > 0\)에 대해 어떤 \(N\)이 존재하여, \(n \ge N\)이면 \(|a_n - L| < \epsilon\)이다”라는 뜻이다.
- 수렴하지 않는 수열은 발산(diverge)한다. \(a_n = n\)처럼 한없이 커지는 경우 \(\lim a_n = \infty\)로 쓴다. \(a_n = (-1)^n\)처럼 진동하는 수열은 극한이 존재하지 않는다.
- 극한의 연산: \(\lim a_n = A\), \(\lim b_n = B\)이면 \(\lim(a_n + b_n) = A + B\), \(\lim(a_nb_n) = AB\)이고, \(B \ne 0\)이면 \(\lim(a_n/b_n) = A/B\)이다.
- 자주 쓰는 극한: \(|r| < 1\)이면 \(r^n \to 0\)이다. \(1/n \to 0\)이다. \(n^{1/n} \to 1\)이다. 모든 \(k\)에 대해 \(n^k/e^n \to 0\)이다(지수가 다항식보다 빨리 커진다).
- 단조수렴 정리: 증가하면서 위로 유계인 수열은 수렴한다. 확률에서 사건들이 커지는 열 \(A_1 \subset A_2 \subset \cdots\)의 확률 \(\mathbf{P}(A_n)\)은 증가하고 1 이하이므로 항상 수렴한다.
합 기호의 규칙
| 규칙 | 식 |
|---|---|
| 상수 배 | \(\sum_{k} c\,a_k = c\sum_k a_k\) |
| 덧셈 분리 | \(\sum_k (a_k + b_k) = \sum_k a_k + \sum_k b_k\) |
| 상수의 합 | \(\sum_{k=1}^n c = nc\) |
| 첨자 이동 | \(\sum_{k=1}^{n} a_k = \sum_{j=0}^{n-1} a_{j+1}\) (\(j = k - 1\)로 치환) |
| 구간 분리 | \(\sum_{k=1}^{n} a_k = \sum_{k=1}^{m} a_k + \sum_{k=m+1}^{n} a_k\) |
| 곱의 합은 합의 곱이 아님 | 일반적으로 \(\sum_k a_k b_k \ne \left(\sum_k a_k\right)\left(\sum_k b_k\right)\) |
- 망원합(telescoping sum): \(\sum_{k=1}^{n}(a_{k+1} - a_k) = a_{n+1} - a_1\)이다. 중간 항들이 서로 상쇄된다.
자주 쓰는 유한합 공식
\[\sum_{k=1}^{n} k = \frac{n(n+1)}{2}, \qquad \sum_{k=1}^{n} k^2 = \frac{n(n+1)(2n+1)}{6}, \qquad \sum_{k=1}^n k^3 = \left(\frac{n(n+1)}{2}\right)^2.\] \[\sum_{k=0}^{n} r^k = \frac{1 - r^{n+1}}{1 - r} \quad (r \ne 1), \qquad \sum_{k=0}^{n}\binom{n}{k} = 2^n.\]
- 첫 두 공식은 이산 균등분포의 평균과 분산을 계산할 때 쓰인다.
- 유한 기하급수 공식은 \(S = 1 + r + \cdots + r^n\)에서 \(S - rS = 1 - r^{n+1}\)을 계산하여 얻는다.
기하급수와 그 변형
\(|r| < 1\)이면 다음이 성립한다. \[\sum_{k=0}^{\infty} r^k = \frac{1}{1-r}, \qquad \sum_{k=1}^{\infty} r^k = \frac{r}{1-r}, \qquad \sum_{k=m}^{\infty} r^k = \frac{r^m}{1-r}.\] \(|r| \ge 1\)이면 기하급수는 발산한다.
미분으로 얻는 변형. 양변을 \(r\)에 대해 미분하면 다음 공식들을 얻는다. 멱급수는 수렴 반지름 안에서 항별로 미분할 수 있다(멱급수 참고). \[\sum_{k=1}^{\infty} k\,r^{k-1} = \frac{1}{(1-r)^2}, \qquad \sum_{k=1}^{\infty} k\,r^{k} = \frac{r}{(1-r)^2}, \qquad \sum_{k=2}^{\infty} k(k-1)\,r^{k-2} = \frac{2}{(1-r)^3}.\]
\(X\)가 기하분포(\(p\))이면 \(p_X(k) = (1-p)^{k-1}p\)이다. \(q = 1-p\)로 두자.
- 평균: \(\mathbf{E}[X] = \sum_{k=1}^\infty k\,q^{k-1}p = p\cdot\frac{1}{(1-q)^2} = \frac{p}{p^2} = \frac{1}{p}\)이다.
- \(\mathbf{E}[X(X-1)]\): \(\sum_{k=2}^\infty k(k-1)q^{k-1}p = pq\sum_{k=2}^\infty k(k-1)q^{k-2} = pq\cdot\frac{2}{p^3} = \frac{2q}{p^2}\)이다.
- 분산: \(\mathbf{E}[X^2] = \mathbf{E}[X(X-1)] + \mathbf{E}[X] = \frac{2q}{p^2} + \frac{1}{p}\)이다. 따라서 다음이 성립한다. \[\text{var}(X) = \frac{2q}{p^2} + \frac{1}{p} - \frac{1}{p^2} = \frac{2q + p - 1}{p^2} = \frac{q}{p^2} = \frac{1-p}{p^2}.\]
- 기법: \(\mathbf{E}[X^2]\) 대신 \(\mathbf{E}[X(X-1)]\)(“2차 팩토리얼 모멘트”)를 계산하면 미분한 기하급수와 모양이 바로 맞아떨어진다.
급수의 수렴과 절대수렴
무한급수 \(\sum_{k=1}^\infty a_k\)는 부분합 \(S_n = \sum_{k=1}^n a_k\)가 수렴할 때 수렴한다. \(\sum_k |a_k|\)가 수렴하면 원래 급수는 절대수렴(absolutely convergent)한다고 한다.
- 필요조건: 급수가 수렴하면 \(a_k \to 0\)이다. 그러나 역은 성립하지 않는다.
- 조화급수(harmonic series) \(\sum_{k=1}^\infty \frac{1}{k}\)는 \(1/k \to 0\)인데도 발산한다. 이 급수는 대략 \(\ln n\)처럼 천천히 무한대로 간다.
- \(p\)-급수: \(\sum_{k=1}^\infty \frac{1}{k^p}\)는 \(p > 1\)이면 수렴하고, \(p \le 1\)이면 발산한다. 예를 들어 \(\sum 1/k^2 = \pi^2/6\)이다.
- 비교 판정법: \(0 \le a_k \le b_k\)이고 \(\sum b_k\)가 수렴하면 \(\sum a_k\)도 수렴한다.
- 비 판정법(ratio test): \(\lim |a_{k+1}/a_k| = L\)일 때, \(L < 1\)이면 절대수렴하고 \(L > 1\)이면 발산한다.
- 절대수렴의 중요성: 절대수렴하는 급수는 항의 순서를 바꾸어 더해도 같은 값을 가진다. 절대수렴하지 않는 급수는 순서를 바꾸면 다른 값이 될 수 있다. 그래서 기댓값의 정의에서 \(\sum_x |x|p_X(x) < \infty\)를 요구한다. 이 조건이 있어야 \(\mathbf{E}[X]\)가 값을 더하는 순서와 무관하게 정의된다.
\(p_X(k) = \frac{1}{k(k+1)}\)(\(k = 1, 2, \dots\))라 하자.
- 정규화 확인 (망원합): \(\frac{1}{k(k+1)} = \frac{1}{k} - \frac{1}{k+1}\)이므로 \(\sum_{k=1}^n p_X(k) = 1 - \frac{1}{n+1} \to 1\)이다. 따라서 이 함수는 올바른 PMF이다.
- 기댓값: \(\mathbf{E}[X] = \sum_{k=1}^\infty k\cdot\frac{1}{k(k+1)} = \sum_{k=1}^\infty\frac{1}{k+1} = \infty\)이다. 조화급수가 발산하기 때문이다.
- 교훈: 확률의 합은 1이지만, 꼬리가 충분히 빨리 줄어들지 않으면 기댓값은 무한대가 될 수 있다.
이중합과 합의 순서 바꾸기
- 이중합(double sum) \(\sum_i\sum_j a_{ij}\)는 표의 모든 칸을 더한 것이다. 먼저 행별로 더한 뒤 행 합들을 더할 수도 있고, 먼저 열별로 더한 뒤 열 합들을 더할 수도 있다.
- 순서 바꾸기 정리 (토넬리/푸비니, 이산 버전): 모든 \(a_{ij} \ge 0\)이거나 \(\sum_i\sum_j|a_{ij}| < \infty\)이면 \(\sum_i\sum_j a_{ij} = \sum_j\sum_i a_{ij}\)이다.
- 범위가 얽힌 이중합: \(\sum_{i=1}^n\sum_{j=1}^{i} a_{ij}\)의 순서를 바꾸면 \(\sum_{j=1}^n\sum_{i=j}^{n} a_{ij}\)이다. 순서를 바꿀 때는 “\(1 \le j \le i \le n\)”이라는 영역을 먼저 적고, 바깥 변수를 바꾸어 다시 읽으면 실수가 없다.
- 곱의 분해: \(\sum_i\sum_j a_i b_j = \left(\sum_i a_i\right)\left(\sum_j b_j\right)\)이다. 독립 확률변수에서 \(\mathbf{E}[XY] = \mathbf{E}[X]\mathbf{E}[Y]\)를 증명할 때 이 성질을 쓴다.
\(X\)가 음이 아닌 정수 값을 가지는 확률변수라고 하자.
- \(X = \sum_{k=1}^{\infty}\mathbf{1}\{X \ge k\}\)이다. 예를 들어 \(X = 3\)이면 \(k = 1, 2, 3\)에서만 지시함수가 1이므로 합은 3이다.
- 따라서 다음이 성립한다. \[\mathbf{E}[X] = \sum_{j=0}^\infty j\,p_X(j) = \sum_{j=0}^\infty\sum_{k=1}^{j} p_X(j) = \sum_{k=1}^\infty\sum_{j=k}^{\infty} p_X(j) = \sum_{k=1}^\infty \mathbf{P}(X \ge k).\] 세 번째 등호에서 모든 항이 음이 아니므로 합의 순서를 바꾸었다. 영역은 \(1 \le k \le j\)이다.
- 응용 (기하분포): \(\mathbf{P}(X \ge k) = (1-p)^{k-1}\)이므로 \(\mathbf{E}[X] = \sum_{k=1}^\infty (1-p)^{k-1} = \frac{1}{p}\)이다. 미분한 기하급수 없이도 평균을 얻었다.
- 연속 버전: \(X \ge 0\)이 연속 확률변수이면 \(\mathbf{E}[X] = \int_0^\infty \mathbf{P}(X > x)\,dx\)이다. 지수분포에서는 \(\int_0^\infty e^{-\lambda x}\,dx = 1/\lambda\)이다.
- \(a_k \to 0\)이라고 급수가 수렴하는 것은 아니다. 조화급수가 대표적인 반례이다.
- 기하급수 공식은 첫 항이 무엇인지 확인하고 써야 한다. \(\sum_{k=0}^\infty r^k = \frac{1}{1-r}\)이고, \(\sum_{k=1}^\infty r^k = \frac{r}{1-r}\)이다. 일반적으로 “첫 항 / (1 − 공비)”로 기억하면 실수가 줄어든다.
- \(|r| < 1\) 조건을 잊지 말아야 한다. 이 조건이 없으면 기하급수는 발산한다.
- 합의 순서를 바꿀 때는 범위를 다시 계산해야 한다. \(\sum_{i}\sum_{j\le i}\)는 \(\sum_j\sum_{i \ge j}\)가 된다.
- \(\sum a_kb_k\)를 \((\sum a_k)(\sum b_k)\)로 바꾸면 안 된다. 이 분해는 이중합 \(\sum_i\sum_j a_ib_j\)에서만 성립한다.
3. 지수와 로그
큰 그림. 지수함수 \(e^x\)와 자연로그 \(\ln x\)는 확률·통계에서 가장 자주 등장하는 함수이다. 지수분포, 정규분포, 포아송분포의 공식에 모두 \(e\)가 들어 있다. 또한 로그는 곱을 합으로 바꾸어 주므로, 독립 관측값들의 결합 확률(곱)을 다루는 최대가능도추정(MLE)에서 핵심 도구이다.
확률·통계에서 어디에 쓰이나. 지수·정규·포아송 분포, 무기억성, 이항분포의 포아송 근사, 로그가능도(log-likelihood), 엔트로피, 로지스틱 함수 등에 쓰인다.
지수함수
\(a > 0\)이고 \(x, y\)가 실수이면 다음이 성립한다. \[a^{x+y} = a^x a^y, \qquad a^{x-y} = \frac{a^x}{a^y}, \qquad (a^x)^y = a^{xy}, \qquad a^0 = 1, \qquad a^{-x} = \frac{1}{a^x}.\]
- 자연상수 \(e \approx 2.71828\)은 미분해도 자기 자신이 되는 지수함수의 밑이다: \(\frac{d}{dx}e^x = e^x\).
- \(\exp(x)\)는 \(e^x\)와 같은 뜻이다. 지수 부분이 복잡할 때 읽기 쉽도록 \(\exp\{-(x-\mu)^2/2\sigma^2\}\)처럼 쓴다.
- \(e^x\)는 항상 양수이고, 강하게 증가한다. \(x \to \infty\)이면 \(e^x \to \infty\)이고, \(x \to -\infty\)이면 \(e^x \to 0\)이다.
- \(e^{-x^2/2}\)는 \(x\)가 커질수록 \(e^{-x}\)보다도 훨씬 빨리 0으로 간다. 그래서 정규분포의 꼬리는 지수분포의 꼬리보다 훨씬 가볍다.
로그함수
\(\ln x\)(자연로그)는 \(e^x\)의 역함수이며 \(x > 0\)에서만 정의된다. 즉 \(e^{\ln x} = x\)(\(x > 0\))이고 \(\ln(e^y) = y\)이다. \[\ln(xy) = \ln x + \ln y, \qquad \ln\frac{x}{y} = \ln x - \ln y, \qquad \ln(x^a) = a\ln x, \qquad \ln 1 = 0.\]
- 밑 변환: \(\log_a x = \frac{\ln x}{\ln a}\)이다. 정보이론에서는 \(\log_2\)를 쓰며, 그 단위는 비트(bit)이다.
- \(\ln x\)는 강하게 증가하는 함수이다. 따라서 \(f(\theta)\)를 최대화하는 \(\theta\)와 \(\ln f(\theta)\)를 최대화하는 \(\theta\)는 같다(\(f > 0\)일 때).
- \(\ln x\)는 아주 천천히 증가한다. 모든 \(a > 0\)에 대해 \(\frac{\ln x}{x^a} \to 0\)(\(x \to \infty\))이다.
- 통계와 머신러닝 문헌에서 \(\log\)는 대개 자연로그를 뜻한다.
\(e\)의 극한 정의
\[\lim_{n\to\infty}\left(1 + \frac{x}{n}\right)^n = e^x \quad \text{(모든 실수 } x\text{에 대해)}.\] 특히 \(\lim_{n\to\infty}\left(1 - \frac{\lambda}{n}\right)^n = e^{-\lambda}\)이다.
- 증명 아이디어: 로그를 취하면 \(n\ln(1 + x/n)\)이다. \(\ln(1+u) \approx u\)(\(u \to 0\))이므로 이 값은 \(n\cdot\frac{x}{n} = x\)로 간다. 따라서 원래 식은 \(e^x\)로 간다.
- 해석 (복리): 연이율 \(x\)를 1년에 \(n\)번 나누어 복리로 붙이면 원금은 \((1 + x/n)^n\)배가 된다. \(n \to \infty\)이면 연속 복리가 되어 \(e^x\)배가 된다.
\(X \sim\) 이항\((n, p)\)이고 \(p = \lambda/n\)이라 하자. 즉 시행 횟수는 많고 성공 확률은 작으며, 평균 \(np = \lambda\)는 고정되어 있다. 고정된 \(k\)에 대해 다음이 성립한다. \[\binom{n}{k}p^k(1-p)^{n-k} = \frac{n(n-1)\cdots(n-k+1)}{n^k}\cdot\frac{\lambda^k}{k!}\cdot\left(1 - \frac{\lambda}{n}\right)^{n}\left(1 - \frac{\lambda}{n}\right)^{-k}.\] - 첫 번째 인수는 \(1\cdot(1-\frac{1}{n})\cdots(1 - \frac{k-1}{n}) \to 1\)이다. - 세 번째 인수는 \(e^{-\lambda}\)로 간다. 이것이 \(e\)의 극한 정의이다. - 네 번째 인수는 \(1\)로 간다. 지수 \(-k\)가 고정되어 있기 때문이다. - 따라서 \(\mathbf{P}(X = k) \to e^{-\lambda}\frac{\lambda^k}{k!}\)이다. 이 극한이 포아송분포(\(\lambda\))의 PMF이다.
로그를 이용한 계산 기법
- 곱을 합으로 바꾸기: \(\ln\prod_i a_i = \sum_i \ln a_i\)이다. 곱은 미분하기 어렵지만 합은 항별로 미분할 수 있다.
- 수치 안정성: 작은 확률 수천 개를 곱하면 컴퓨터에서 0으로 반올림된다(underflow). 로그를 취해 더하면 이 문제를 피할 수 있다.
- 거듭제곱 지수 처리: \(a^b = e^{b\ln a}\)이다. 예를 들어 \((1-p)^n = e^{n\ln(1-p)}\)로 바꾸면 극한이나 근사를 다루기 쉽다.
독립적인 베르누이(\(\theta\)) 관측값 \(x_1, \dots, x_n \in \{0,1\}\)이 있고, 그중 1의 개수가 \(k\)라 하자.
- 가능도(likelihood): \(L(\theta) = \prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i} = \theta^k(1-\theta)^{n-k}\)이다.
- 로그가능도: \(\ell(\theta) = \ln L(\theta) = k\ln\theta + (n-k)\ln(1-\theta)\)이다.
- 곱 \(n\)개가 두 항의 합으로 바뀌었다. 이 함수를 미분하여 최댓값을 찾는 과정은 5장 최적화에서 이어진다.
- \(\ln(a + b) \ne \ln a + \ln b\)이다. 로그는 곱을 합으로 바꾸지, 합을 합으로 바꾸지 않는다.
- \((e^a)^b = e^{ab}\)이지만 \(e^{a^b} \ne (e^a)^b\)이다. \(e^{x^2}\)은 \(e^{(x^2)}\)을 뜻한다.
- \(\ln x\)는 \(x > 0\)에서만 정의된다. 로그가능도를 다룰 때 확률이 0인 경우를 따로 처리해야 한다.
- \((1 + 1/n)^n\)은 \(1\)로 가지 않는다. 밑이 1로 가더라도 지수가 무한대로 가면 극한은 \(e\)가 된다. “\(1^\infty\) 꼴”은 로그를 취해 계산해야 한다.
- \(\log\)의 밑을 확인해야 한다. 교재에 따라 \(\log\)가 \(\ln\), \(\log_{10}\), \(\log_2\) 중 하나일 수 있다.
4. 극한, 연속, 점근 표기
큰 그림. 확률론의 많은 개념은 극한으로 정의된다. PDF는 “작은 구간의 확률 ÷ 구간 길이”의 극한이고, 조건부 PDF는 “\(Y\)가 \(y\) 근처에 있을 때”의 극한이다. CDF가 오른쪽 연속이라는 성질도 극한으로 표현된다. 이 장은 함수의 극한, 극한을 계산하는 도구인 로피탈 정리, 연속성, 그리고 “작은 양을 무시하는” 근사를 엄밀하게 표현하는 빅오·리틀오 표기를 정리한다.
확률·통계에서 어디에 쓰이나. PDF의 정의와 해석, CDF의 성질(오른쪽 연속, 점프), 포아송 과정의 \(\lambda\delta + o(\delta)\), 최대가능도추정의 argmax, 근사 오차 표현 등에 쓰인다.
함수의 극한
\(\lim_{x \to a} f(x) = L\)은 “\(x\)가 \(a\)에 가까워지면(\(x \ne a\)) \(f(x)\)가 \(L\)에 원하는 만큼 가까워진다”는 뜻이다. 이 극한은 \(f(a)\)의 값과 무관하며, \(f(a)\)가 정의되지 않아도 존재할 수 있다.
- 한쪽 극한: \(\lim_{x \to a^+} f(x)\)는 \(x\)가 \(a\)보다 큰 쪽에서 다가갈 때의 극한이고, \(\lim_{x\to a^-}f(x)\)는 작은 쪽에서 다가갈 때의 극한이다. 양쪽 극한이 같을 때만 \(\lim_{x\to a}f(x)\)가 존재한다.
- 무한대에서의 극한: \(\lim_{x\to\infty}f(x) = L\)은 \(x\)가 한없이 커질 때 \(f(x)\)가 \(L\)에 가까워진다는 뜻이다. 예를 들어 CDF는 \(\lim_{x\to\infty}F_X(x) = 1\)을 만족한다.
- 증가 속도의 순서: \(x \to \infty\)일 때 다음 순서로 빨리 커진다. \[\ln x \ll x^a \ (a>0) \ll e^{x} \ll x! \ (\text{정수일 때}) \ll x^x.\] 예를 들어 \(\lim_{x\to\infty} x^k e^{-x} = 0\)이다. 이 사실은 지수분포와 감마분포의 모멘트 계산에서 경계항이 사라지는 이유이다.
- 샌드위치 정리: \(g(x) \le f(x) \le h(x)\)이고 \(\lim g = \lim h = L\)이면 \(\lim f = L\)이다.
로피탈 정리 (L’Hôpital’s rule)
\(\lim f(x) = \lim g(x) = 0\)이거나, \(\lim f(x) = \pm\infty\)이고 \(\lim g(x) = \pm\infty\)이라고 하자. 즉 \(\frac{0}{0}\) 또는 \(\frac{\infty}{\infty}\) 꼴이다. 오른쪽 극한이 존재하면 다음이 성립한다. \[\lim \frac{f(x)}{g(x)} = \lim\frac{f'(x)}{g'(x)}.\]
- \(0 \cdot \infty\) 꼴은 분수로 바꾸어 적용한다. 예를 들어 \(x e^{-x} = \frac{x}{e^x}\)로 쓴다.
- \(1^\infty\), \(0^0\), \(\infty^0\) 꼴은 로그를 취해 \(0\cdot\infty\) 꼴로 바꾼 뒤 적용한다.
- \(\lim_{x\to\infty}\frac{x}{e^x}\)는 \(\frac{\infty}{\infty}\) 꼴이므로 \(\lim\frac{1}{e^x} = 0\)이다.
- \(\lim_{x\to\infty}\frac{x^k}{e^x}\)는 로피탈 정리를 \(k\)번 적용하면 \(\lim\frac{k!}{e^x} = 0\)이다.
- \(\lim_{x\to\infty}\frac{\ln x}{x}\)는 \(\lim\frac{1/x}{1} = 0\)이다.
- \(\lim_{x\to 0}\frac{1 - e^{-\lambda x}}{x}\)는 \(\frac{0}{0}\) 꼴이므로 \(\lim\frac{\lambda e^{-\lambda x}}{1} = \lambda\)이다. 이 결과는 지수분포에서 \(\mathbf{P}(T \le \delta) \approx \lambda\delta\)라는 뜻이다.
연속성과 한쪽 극한
함수 \(f\)가 점 \(a\)에서 연속(continuous)이라는 것은 \(\lim_{x\to a}f(x) = f(a)\)라는 뜻이다. 즉 극한이 존재하고, 그 값이 함숫값과 같아야 한다.
- 오른쪽 연속: \(\lim_{x\to a^+}f(x) = f(a)\)이면 \(f\)는 \(a\)에서 오른쪽 연속이다.
- CDF는 항상 오른쪽 연속이다. \(F_X(x) = \mathbf{P}(X \le x)\)에서 \(x\)를 오른쪽에서 \(a\)로 보내면, 사건 \(\{X \le x\}\)들이 줄어들면서 \(\{X \le a\}\)로 수렴하기 때문이다.
- 점프의 크기는 그 점의 확률이다: \(\mathbf{P}(X = a) = F_X(a) - \lim_{x\to a^-}F_X(x)\)이다. 연속 확률변수의 CDF는 점프가 없으므로 모든 점의 확률이 0이다.
- 중간값 정리: \(f\)가 \([a,b]\)에서 연속이고 \(f(a) < c < f(b)\)이면, \(f(x_0) = c\)인 \(x_0 \in (a,b)\)가 존재한다. 연속 CDF에서 분위수(quantile) \(F_X(x) = 0.5\)를 만족하는 중앙값이 존재하는 이유이다.
최대·최소, 상한·하한, argmax
| 기호 | 의미 |
|---|---|
| \(\max_{x\in S} f(x)\) | \(S\) 위에서 \(f\)가 실제로 도달하는 가장 큰 값이다. |
| \(\sup_{x\in S} f(x)\) | \(f\)의 값들의 최소 상계(supremum)이며, 도달하지 않아도 된다. |
| \(\min\), \(\inf\) | 각각 최솟값과 최대 하계(infimum)이다. |
| \(\arg\max_{x} f(x)\) | \(f\)를 최대로 만드는 입력값 \(x\)이다. |
- 예시: \(f(x) = 1 - 1/x\)(\(x \ge 1\))는 1에 한없이 가까워지지만 1에 도달하지는 않는다. 따라서 \(\sup f = 1\)이지만 최댓값은 존재하지 않는다.
- max와 argmax의 구별: \(\max_x f(x)\)는 함숫값(높이)이고, \(\arg\max_x f(x)\)는 그 위치이다. 최대가능도추정량은 \(\hat\theta = \arg\max_\theta L(\theta)\)로 정의된다.
- 최대·최소 정리: 닫힌 유계 구간 \([a,b]\)에서 연속인 함수는 반드시 최댓값과 최솟값을 가진다.
빅오와 리틀오 (Asymptotic notation)
- \(g(\delta) = o(\delta)\)(“리틀오”)는 \(\lim_{\delta\to 0}\frac{g(\delta)}{\delta} = 0\)이라는 뜻이다. 즉 \(g\)는 \(\delta\)보다 훨씬 빨리 0으로 간다.
- \(g(\delta) = O(\delta)\)(“빅오”)는 \(\delta\)가 충분히 작을 때 \(|g(\delta)| \le C|\delta|\)를 만족하는 상수 \(C\)가 있다는 뜻이다. 즉 \(g\)는 \(\delta\)와 같거나 더 빠른 속도로 0으로 간다.
- \(n \to \infty\)일 때도 같은 표기를 쓴다. 예를 들어 \(f(n) = O(n^2)\)은 \(n\)이 클 때 \(|f(n)| \le Cn^2\)이라는 뜻이다.
- 예시: \(\delta^2 = o(\delta)\)이고, \(3\delta + \delta^2 = O(\delta)\)이다.
- 연산 규칙: \(o(\delta) + o(\delta) = o(\delta)\)이고, 상수 \(c\)에 대해 \(c\cdot o(\delta) = o(\delta)\)이다.
- 확률에서의 용도: “아주 짧은 시간 \(\delta\) 동안 사건이 한 번 일어날 확률은 \(\lambda\delta + o(\delta)\)이고, 두 번 이상 일어날 확률은 \(o(\delta)\)이다”라는 포아송 과정의 정의가 대표적이다. 이 표기는 “\(\delta\)보다 작은 차수의 항은 극한에서 사라진다”는 사실을 정확하게 말해 준다.
테일러 급수(7장)에 의해 \(e^{-\lambda\delta} = 1 - \lambda\delta + \frac{(\lambda\delta)^2}{2} - \cdots\)이다. 따라서 \(1 - e^{-\lambda\delta} - \lambda\delta = -\frac{(\lambda\delta)^2}{2} + \cdots\)이다. 이 값을 \(\delta\)로 나누면 \(-\frac{\lambda^2\delta}{2} + \cdots \to 0\)이므로 차이는 \(o(\delta)\)이다. 이 결과는 지수분포의 수명을 가진 부품이 짧은 시간 \(\delta\) 안에 고장 날 확률이 약 \(\lambda\delta\)라는 뜻이다.
- \(\lim_{x\to a}f(x)\)는 \(f(a)\)와 다를 수 있다. 두 값이 같을 때만 \(f\)가 \(a\)에서 연속이다.
- 로피탈 정리는 \(\frac{0}{0}\)이나 \(\frac{\infty}{\infty}\) 꼴에서만 쓸 수 있다. 다른 꼴에 적용하면 틀린 답이 나온다.
- CDF는 오른쪽 연속이지만 왼쪽 연속은 아닐 수 있다. 그래서 \(\mathbf{P}(X < a) = \lim_{x\to a^-}F_X(x)\)이고, 이 값은 \(F_X(a) = \mathbf{P}(X \le a)\)와 다를 수 있다.
- \(\sup\)은 최댓값이 아닐 수 있다. 도달하지 않는 상한도 \(\sup\)이 될 수 있다.
- \(o(\delta)\)는 특정한 함수가 아니라 “그런 성질을 가진 어떤 함수”를 뜻한다. 따라서 \(o(\delta) - o(\delta) = 0\)이 아니라 \(o(\delta)\)이다.
5. 미분
큰 그림. 도함수는 함수의 순간 변화율이다. 확률·통계에서 미분은 세 가지 역할을 한다. 첫째, CDF를 미분하면 PDF가 된다. 둘째, 함수의 최댓값과 최솟값을 찾는 데 쓰인다(최대가능도추정, 최소제곱). 셋째, 볼록성을 판정하여 젠센 부등식 같은 도구를 쓸 수 있게 해 준다.
확률·통계에서 어디에 쓰이나. CDF → PDF, 유도 분포의 변환 공식(L11), 최대가능도추정, 적률생성함수로 모멘트 구하기, 델타 방법, 볼록성과 젠센 부등식 등에 쓰인다.
도함수의 정의
함수 \(f\)의 점 \(x\)에서의 도함수(derivative)는 다음 극한이다. \[f'(x) = \frac{df}{dx}(x) = \lim_{h\to 0}\frac{f(x+h) - f(x)}{h}.\] 이 극한이 존재하면 \(f\)는 \(x\)에서 미분 가능(differentiable)하다.
- 기하학적 의미: \(f'(x)\)는 점 \((x, f(x))\)에서 그래프에 접하는 직선(접선)의 기울기이다.
- 선형 근사: \(h\)가 작으면 \(f(x+h) \approx f(x) + f'(x)h\)이다. 즉 미분 가능한 함수는 아주 가까이에서 보면 직선처럼 보인다.
- 고계 도함수: \(f''(x)\)는 \(f'\)의 도함수이며, 기울기가 얼마나 빨리 변하는지(곡률)를 나타낸다. \(n\)계 도함수는 \(f^{(n)}(x)\)로 쓴다.
- 미분 가능하면 연속이지만, 연속이라고 미분 가능한 것은 아니다. 예를 들어 \(|x|\)는 0에서 연속이지만 뾰족하므로 미분 가능하지 않다. 균등분포의 CDF도 구간 끝점에서 꺾이므로 그 점에서는 미분 가능하지 않다.
미분 규칙
| 규칙 | 식 |
|---|---|
| 선형성 | \((af + bg)' = af' + bg'\) |
| 곱의 미분 | \((fg)' = f'g + fg'\) |
| 몫의 미분 | \(\left(\dfrac{f}{g}\right)' = \dfrac{f'g - fg'}{g^2}\) |
| 연쇄 법칙 | \(\big(f(g(x))\big)' = f'(g(x))\cdot g'(x)\) |
- 연쇄 법칙의 라이프니츠 표기: \(y = f(u)\), \(u = g(x)\)이면 \(\frac{dy}{dx} = \frac{dy}{du}\cdot\frac{du}{dx}\)이다. 분수처럼 약분되는 모양으로 기억하면 된다.
- 연쇄 법칙은 확률에서 매우 자주 쓰인다. 예를 들어 \(F_Y(y) = F_X(h(y))\)를 미분하면 \(f_Y(y) = f_X(h(y))h'(y)\)이다.
자주 쓰는 도함수
| \(f(x)\) | \(f'(x)\) | 비고 |
|---|---|---|
| \(x^n\) | \(nx^{n-1}\) | 모든 실수 \(n\)에 대해 성립한다(\(x > 0\)). |
| \(e^x\) | \(e^x\) | |
| \(e^{ax}\) | \(ae^{ax}\) | 연쇄 법칙의 결과이다. |
| \(a^x\) | \(a^x\ln a\) | \(a^x = e^{x\ln a}\)에서 나온다. |
| \(\ln x\) | \(\dfrac{1}{x}\) | \(x > 0\) |
| \(\ln\lvert x\rvert\) | \(\dfrac{1}{x}\) | \(x \ne 0\) |
| \(\sin x\) | \(\cos x\) | |
| \(\cos x\) | \(-\sin x\) | |
| \(e^{-x^2/2}\) | \(-xe^{-x^2/2}\) | 정규분포 PDF의 도함수에 쓰인다. |
| \(\dfrac{1}{1 + e^{-x}}\) | \(\sigma(x)(1 - \sigma(x))\) | 로지스틱 함수 \(\sigma(x)\)의 성질이다. |
역함수의 미분
\(g\)가 미분 가능하고 강하게 단조이며 \(g'(x) \ne 0\)이면, 역함수 \(h = g^{-1}\)도 미분 가능하고 다음이 성립한다. \[h'(y) = \frac{1}{g'(h(y))}.\]
- 유도: \(g(h(y)) = y\)의 양변을 \(y\)로 미분하면 연쇄 법칙에 의해 \(g'(h(y))\,h'(y) = 1\)이다.
- 기하학적 의미: 역함수의 그래프는 원래 그래프를 직선 \(y = x\)에 대해 뒤집은 것이므로, 접선의 기울기도 역수가 된다.
- 확률에서의 용도: 유도 분포 공식 \(f_Y(y) = f_X(h(y))|h'(y)|\)에서 \(|h'(y)| = 1/|g'(x)|\)이다. 즉 \(g\)가 가파른 곳(\(|g'|\)가 큰 곳)에서는 \(Y\)의 밀도가 낮아진다.
- 음함수 미분(implicit differentiation): \(F(x, y) = 0\)으로 주어진 관계에서 \(y\)를 \(x\)의 함수로 보고 양변을 \(x\)로 미분하는 방법이다. 역함수의 미분은 그 특수한 경우이다.
최적화
\(f\)가 미분 가능하고 구간 내부의 점 \(x^*\)에서 극대 또는 극소이면 \(f'(x^*) = 0\)이다(1계 조건). 이런 점을 임계점(critical point)이라 부른다. 임계점에서 \(f''(x^*) < 0\)이면 극대이고, \(f''(x^*) > 0\)이면 극소이다(2계 조건).
- 최댓값 찾기 절차: (1) \(f'(x) = 0\)을 풀어 임계점을 구한다. (2) 정의역의 끝점과 미분 불가능한 점도 후보에 넣는다. (3) 모든 후보에서 함숫값을 비교한다.
- \(f'(x^*) = 0\)은 필요조건일 뿐이다. \(f(x) = x^3\)은 \(x = 0\)에서 \(f'(0) = 0\)이지만 극값이 아니다.
- 로그를 취해도 최적점은 같다. \(\ln\)이 증가함수이므로 \(\arg\max f = \arg\max\ln f\)이다(\(f > 0\)).
3장의 로그가능도 \(\ell(\theta) = k\ln\theta + (n-k)\ln(1-\theta)\)를 최대화하자(\(0 < k < n\)).
- 1계 조건: \(\ell'(\theta) = \frac{k}{\theta} - \frac{n-k}{1-\theta} = 0\)이다. 양변에 \(\theta(1-\theta)\)를 곱하면 \(k(1-\theta) = (n-k)\theta\)이므로 \(\theta = k/n\)이다.
- 2계 조건: \(\ell''(\theta) = -\frac{k}{\theta^2} - \frac{n-k}{(1-\theta)^2} < 0\)이므로 이 점은 최대점이다.
- 결론: \(\hat\theta = k/n\)이며, 이는 표본에서 1이 나온 비율이다. 직관적인 답이 최적화로 정당화되었다.
볼록성 (Convexity)
함수 \(f\)가 볼록(convex)하다는 것은 그래프 위의 두 점을 잇는 선분이 항상 그래프보다 위(또는 위에 맞닿게)에 있다는 뜻이다. 즉 모든 \(x, y\)와 \(0 \le t \le 1\)에 대해 다음이 성립한다. \[f(tx + (1-t)y) \le t f(x) + (1-t) f(y).\] 부등호 방향이 반대이면 \(f\)는 오목(concave)하다.
- 2계 판정법: \(f''(x) \ge 0\)이 모든 \(x\)에서 성립하면 \(f\)는 볼록하다. \(f''(x) \le 0\)이면 오목하다.
- 접선 성질: 미분 가능한 볼록함수의 그래프는 모든 접선보다 위에 있다. 즉 \(f(x) \ge f(a) + f'(a)(x - a)\)이다. 이 성질이 젠센 부등식의 증명에 쓰인다.
- 예시: \(x^2\), \(e^x\), \(-\ln x\), \(|x|\)는 볼록하다. \(\ln x\), \(\sqrt{x}\)는 오목하다.
- 최적화와의 관계: 볼록함수의 극소점은 전역 최소점이다. 오목함수의 극대점은 전역 최대점이다. 그래서 로그가능도가 오목하면 1계 조건만 풀어도 최대가능도추정량을 찾을 수 있다.
- 연쇄 법칙에서 안쪽 함수의 도함수를 빠뜨리기 쉽다. \(\frac{d}{dx}e^{-x^2/2} = -xe^{-x^2/2}\)이며, \(-x\)가 안쪽 함수 \(-x^2/2\)의 도함수이다.
- \(f'(x) = 0\)은 최댓값의 충분조건이 아니다. 끝점, 미분 불가능한 점, 2계 조건을 함께 확인해야 한다.
- 볼록과 오목의 방향을 혼동하기 쉽다. “볼록(convex)”은 아래로 볼록한 그릇 모양(\(x^2\))을 뜻한다. 한국어 교과서의 “위로 볼록”은 오목(concave)에 해당하므로 영어 용어로 기억하는 것이 안전하다.
- 역함수의 도함수는 도함수의 역수이지, 도함수의 역함수가 아니다. \(h'(y) = 1/g'(h(y))\)에서 \(g'\)는 \(h(y)\)에서 계산해야 한다.
- 미분 가능하지 않은 점에서 PDF는 CDF의 도함수로 정의되지 않는다. 그런 점은 유한 개라면 확률 계산에 영향을 주지 않으므로 PDF 값을 아무렇게나 정해도 된다.
6. 적분
큰 그림. 연속 확률변수에서 확률은 PDF 아래의 넓이이고, 기댓값은 \(\int x f_X(x)\,dx\)이다. 따라서 적분 계산은 연속 확률론의 기본 기술이다. 이 장은 정적분과 미적분의 기본정리, 두 가지 핵심 적분 기법(치환적분, 부분적분), 무한 구간의 적분, 그리고 확률에서 특별히 중요한 가우스 적분과 감마 함수를 정리한다.
확률·통계에서 어디에 쓰이나. PDF의 정규화, 확률·기댓값·분산 계산, CDF와 PDF의 관계, 정규분포의 정규화 상수, 지수·감마 분포의 모멘트, 유도 분포 등에 쓰인다.
정적분
정적분 \(\int_a^b f(x)\,dx\)는 구간 \([a,b]\)를 잘게 나누어 만든 직사각형 넓이의 합 \(\sum_i f(x_i)\Delta x_i\)가 조각 폭을 0으로 보낼 때 다가가는 극한이다(리만 적분). \(f \ge 0\)이면 이 값은 그래프 아래의 넓이이다.
- 성질: \(\int_a^b (cf + g) = c\int_a^b f + \int_a^b g\)이다. \(\int_a^b f = \int_a^c f + \int_c^b f\)이다. \(\int_a^b f = -\int_b^a f\)이다. \(f \le g\)이면 \(\int_a^b f \le \int_a^b g\)이다.
- 한 점의 적분은 0이다: \(\int_a^a f(x)\,dx = 0\)이다. 그래서 연속 확률변수에서 한 점의 확률은 0이다.
- 조각별 함수의 적분: 구간마다 식이 다른 함수는 구간을 나누어 각각 적분한 뒤 더한다. 지시함수가 곱해진 적분 \(\int_{-\infty}^\infty g(x)\mathbf{1}_{[a,b]}(x)\,dx\)는 \(\int_a^b g(x)\,dx\)와 같다.
- 대칭성: \(f\)가 우함수(\(f(-x) = f(x)\))이면 \(\int_{-a}^a f = 2\int_0^a f\)이다. \(f\)가 기함수(\(f(-x) = -f(x)\))이면 \(\int_{-a}^a f = 0\)이다. 그래서 표준 정규분포에서 \(\mathbf{E}[X] = \int x\varphi(x)\,dx = 0\)이다(\(x\varphi(x)\)가 기함수이기 때문이다).
미적분의 기본정리
- \(f\)가 연속이면 \(F(x) = \int_a^x f(t)\,dt\)는 미분 가능하고 \(F'(x) = f(x)\)이다.
- \(G' = f\)인 함수 \(G\)(역도함수)가 있으면 \(\int_a^b f(x)\,dx = G(b) - G(a)\)이다. 이 값을 \(\big[G(x)\big]_a^b\)로 쓴다.
- 1번은 “CDF를 미분하면 PDF”라는 사실의 근거이다.
- 2번은 정적분을 역도함수로 계산하는 방법이다.
- 역도함수 표: \(\int x^n\,dx = \frac{x^{n+1}}{n+1} + C\)(\(n \ne -1\)), \(\int\frac{1}{x}\,dx = \ln|x| + C\), \(\int e^{ax}\,dx = \frac{1}{a}e^{ax} + C\)이다.
- 적분 상한이 함수일 때: \(\frac{d}{dy}\int_a^{h(y)} f(t)\,dt = f(h(y))\,h'(y)\)이다. 이 식은 기본정리와 연쇄 법칙을 합친 것이다.
치환적분 (Substitution)
\(u = g(x)\)로 치환하면 \(du = g'(x)\,dx\)이고 다음이 성립한다. \[\int_a^b f(g(x))\,g'(x)\,dx = \int_{g(a)}^{g(b)} f(u)\,du.\]
- 적분 구간도 함께 바꾸어야 한다. \(x = a\)일 때 \(u = g(a)\)이고, \(x = b\)일 때 \(u = g(b)\)이다.
- 치환적분은 연쇄 법칙을 거꾸로 적용한 것이다.
\(\int_{-\infty}^\infty\frac{1}{\sigma\sqrt{2\pi}}e^{-(x-\mu)^2/2\sigma^2}\,dx\)에서 \(z = (x-\mu)/\sigma\)로 치환하자. 그러면 \(dz = dx/\sigma\)이고 적분 구간은 그대로 \((-\infty, \infty)\)이다. \[\int_{-\infty}^\infty\frac{1}{\sigma\sqrt{2\pi}}e^{-z^2/2}\,\sigma\,dz = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-z^2/2}\,dz = 1.\] 마지막 등호는 가우스 적분에서 나온다. 이 계산은 “표준화”가 적분에서는 치환과 같다는 것을 보여 준다.
부분적분 (Integration by parts)
\[\int_a^b u(x)\,v'(x)\,dx = \big[u(x)v(x)\big]_a^b - \int_a^b u'(x)\,v(x)\,dx.\]
- 부분적분은 곱의 미분 \((uv)' = u'v + uv'\)를 적분한 것이다.
- \(u\) 고르는 요령: 미분하면 간단해지는 것(다항식 \(x^n\))을 \(u\)로, 적분하기 쉬운 것(\(e^{-\lambda x}\))을 \(v'\)로 고른다.
\(X \sim\) 지수(\(\lambda\))이면 \(f_X(x) = \lambda e^{-\lambda x}\)(\(x \ge 0\))이다.
- 평균: \(u = x\), \(v' = \lambda e^{-\lambda x}\)로 두면 \(u' = 1\), \(v = -e^{-\lambda x}\)이다. \[\mathbf{E}[X] = \big[-xe^{-\lambda x}\big]_0^\infty + \int_0^\infty e^{-\lambda x}\,dx = 0 + \frac{1}{\lambda}.\] 경계항이 0인 이유는 \(\lim_{x\to\infty}xe^{-\lambda x} = 0\)이기 때문이다(4장 참고).
- 2차 모멘트: \(u = x^2\)로 두면 다음과 같다. \[\mathbf{E}[X^2] = \big[-x^2e^{-\lambda x}\big]_0^\infty + \int_0^\infty 2xe^{-\lambda x}\,dx = \frac{2}{\lambda}\mathbf{E}[X] = \frac{2}{\lambda^2}.\]
- 따라서 \(\text{var}(X) = \frac{2}{\lambda^2} - \frac{1}{\lambda^2} = \frac{1}{\lambda^2}\)이다.
이상적분 (Improper integrals)
적분 구간이 무한하거나 피적분함수가 무한대로 발산하는 적분을 이상적분이라 부르며, 극한으로 정의한다. \[\int_a^\infty f(x)\,dx = \lim_{b\to\infty}\int_a^b f(x)\,dx, \qquad \int_{-\infty}^{\infty} f = \int_{-\infty}^{0} f + \int_{0}^{\infty} f.\] 극한이 유한하면 이상적분은 수렴한다고 한다.
- \(p\)-적분: \(\int_1^\infty\frac{1}{x^p}\,dx\)는 \(p > 1\)이면 수렴하고 \(p \le 1\)이면 발산한다. \(\int_0^1\frac{1}{x^p}\,dx\)는 \(p < 1\)이면 수렴한다.
- 확률에서의 의미: PDF는 넓이가 1이어야 하므로 꼬리가 충분히 빨리 줄어들어야 한다. 예를 들어 코시 분포의 PDF \(\frac{1}{\pi(1+x^2)}\)은 넓이가 1이지만, \(\int|x|\frac{1}{\pi(1+x^2)}\,dx = \infty\)이므로 평균이 정의되지 않는다.
- 피적분함수가 발산하는 예: L11의 \(f_Y(y) = \frac{1}{6y^{2/3}}\)(\(0 < y \le 8\))은 \(y \to 0\)에서 무한대이지만 \(\int_0^8 = 1\)로 수렴한다.
가우스 적분 (Gaussian integral)
\[\int_{-\infty}^{\infty} e^{-x^2/2}\,dx = \sqrt{2\pi}, \qquad \int_{-\infty}^\infty e^{-x^2}\,dx = \sqrt{\pi}.\]
- \(e^{-x^2/2}\)의 역도함수는 초등함수로 쓸 수 없다. 그래서 정규분포의 CDF는 닫힌 형태가 없고 표 \(\Phi\)를 사용한다. 그러나 전체 적분값은 아래의 영리한 방법으로 정확히 구할 수 있다.
\(I = \int_{-\infty}^\infty e^{-x^2/2}\,dx\)라 하자. 같은 적분을 두 번 곱하면 이중적분이 된다. \[I^2 = \int_{-\infty}^\infty\int_{-\infty}^\infty e^{-(x^2+y^2)/2}\,dx\,dy.\] 극좌표 \(x = r\cos\theta\), \(y = r\sin\theta\)로 바꾸면 \(x^2 + y^2 = r^2\)이고 \(dx\,dy = r\,dr\,d\theta\)이다. \[I^2 = \int_0^{2\pi}\int_0^\infty e^{-r^2/2}\,r\,dr\,d\theta = 2\pi\Big[-e^{-r^2/2}\Big]_0^\infty = 2\pi.\] \(I > 0\)이므로 \(I = \sqrt{2\pi}\)이다. 극좌표에서 생긴 인수 \(r\) 덕분에 \(re^{-r^2/2}\)의 역도함수를 쉽게 구할 수 있었다.
감마 함수와 베타 함수
\(\alpha > 0\)에 대해 다음과 같이 정의한다. \[\Gamma(\alpha) = \int_0^\infty x^{\alpha-1}e^{-x}\,dx.\]
- 점화식: \(\Gamma(\alpha + 1) = \alpha\,\Gamma(\alpha)\)이다. 부분적분으로 증명된다.
- 팩토리얼의 일반화: \(\Gamma(1) = 1\)이므로 양의 정수 \(n\)에 대해 \(\Gamma(n) = (n-1)!\)이다.
- 특수값: \(\Gamma(1/2) = \sqrt{\pi}\)이다. \(x = z^2/2\)로 치환하면 가우스 적분이 되기 때문이다.
- 유용한 적분 공식: \(\lambda > 0\), \(n\)이 음이 아닌 정수이면 다음이 성립한다. \[\int_0^\infty x^n e^{-\lambda x}\,dx = \frac{n!}{\lambda^{n+1}}, \qquad \int_0^\infty x^{\alpha-1}e^{-\lambda x}\,dx = \frac{\Gamma(\alpha)}{\lambda^\alpha}.\] 이 공식을 쓰면 지수분포의 \(n\)차 모멘트 \(\mathbf{E}[X^n] = \lambda\cdot\frac{n!}{\lambda^{n+1}} = \frac{n!}{\lambda^n}\)을 부분적분 없이 바로 얻는다.
\(a, b > 0\)에 대해 다음과 같이 정의한다. \[B(a, b) = \int_0^1 x^{a-1}(1-x)^{b-1}\,dx = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}.\]
- 정수 \(a, b\)에 대해서는 \(B(a,b) = \frac{(a-1)!(b-1)!}{(a+b-1)!}\)이다.
- 확률에서의 용도: 베타분포의 정규화 상수이며, 베이즈 추론에서 동전의 앞면 확률 \(\theta\)에 대한 사후 분포 계산에 쓰인다. 예를 들어 L10의 사후 PDF \(2y\)는 베타(2,1) 분포이고, \(\int_0^1 y\,dy = B(2,1) = 1/2\)이다.
적분 기호 아래에서의 미분
\[\frac{d}{dt}\int_{a(t)}^{b(t)} f(x, t)\,dx = f(b(t), t)\,b'(t) - f(a(t), t)\,a'(t) + \int_{a(t)}^{b(t)}\frac{\partial f}{\partial t}(x, t)\,dx.\]
- 적분 구간이 상수이면 앞의 두 항이 사라지고, “미분과 적분의 순서를 바꿀 수 있다”는 말이 된다. 이 교환은 \(f\)와 \(\partial f/\partial t\)가 충분히 좋은(예: 연속이고 적분 가능한) 경우에 허용된다.
- 확률에서의 용도: 적률생성함수 \(M(s) = \int e^{sx}f_X(x)\,dx\)를 \(s\)로 미분하면 \(M'(s) = \int xe^{sx}f_X(x)\,dx\)이고, \(M'(0) = \mathbf{E}[X]\)이다. 또한 \(\frac{d}{dy}F_X(h(y)) = f_X(h(y))h'(y)\)도 이 규칙의 특수한 경우이다.
- 치환적분에서 적분 구간을 바꾸는 것을 잊기 쉽다. 구간을 바꾸지 않으려면 역도함수를 원래 변수로 되돌린 뒤 대입해야 한다.
- 부분적분의 경계항을 확인해야 한다. 무한 구간에서는 경계항이 0으로 가는지 극한으로 확인해야 한다.
- \(\int_{-\infty}^\infty\)는 두 개의 이상적분으로 나누어 정의한다. \(\lim_{b\to\infty}\int_{-b}^{b}\)가 존재해도 원래 적분이 존재하지 않을 수 있다(예: \(\int x\,dx\)).
- \(\Gamma(n) = (n-1)!\)이지 \(n!\)이 아니다. 첨자가 하나 밀린다는 점을 기억해야 한다.
- PDF는 1보다 클 수 있지만 그 적분은 항상 1이다. 적분 결과가 1이 아니면 정규화 상수를 잘못 구한 것이다.
- 정규분포 CDF는 닫힌 형태가 없다. 그러나 전체 적분, 평균, 분산은 정확히 계산할 수 있다.
7. 테일러 급수
큰 그림. 테일러 급수는 매끄러운 함수를 한 점 근처에서 다항식으로 표현하는 방법이다. 다항식은 계산하기 쉬우므로, 복잡한 함수를 1차나 2차 다항식으로 근사하면 많은 문제가 간단해진다. 확률·통계에서 테일러 급수는 근사(\(e^{-\lambda\delta} \approx 1 - \lambda\delta\)), 극한 증명(포아송 근사, 중심극한정리), 오차 전파(델타 방법), 그리고 생성함수에서 모멘트를 읽어 내는 데 쓰인다.
확률·통계에서 어디에 쓰이나. 포아송 PMF의 정규화(\(\sum\lambda^k/k! = e^\lambda\)), 작은 구간 확률 근사, 델타 방법, 적률생성함수의 전개, 중심극한정리의 증명, \(\ln(1+x) \approx x\) 근사 등에 쓰인다.
테일러 다항식과 테일러 급수
함수 \(f\)가 점 \(a\)에서 \(n\)번 미분 가능할 때, \(n\)차 테일러 다항식은 다음과 같다. \[T_n(x) = \sum_{k=0}^{n}\frac{f^{(k)}(a)}{k!}(x-a)^k = f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + \cdots + \frac{f^{(n)}(a)}{n!}(x-a)^n.\] \(n \to \infty\)로 보낸 무한급수를 테일러 급수라 부른다. 특히 \(a = 0\)인 경우를 매클로린 급수(Maclaurin series)라 부른다.
- 아이디어: \(T_n\)은 점 \(a\)에서 함숫값, 1계 도함수, …, \(n\)계 도함수가 모두 \(f\)와 일치하도록 만든 다항식이다. \((x-a)^k\)의 계수를 \(f^{(k)}(a)/k!\)로 정하면, \(k\)번 미분했을 때 정확히 \(f^{(k)}(a)\)가 남는다.
- 1차 테일러 다항식은 접선 \(f(a) + f'(a)(x-a)\)이다. 2차 테일러 다항식은 곡률까지 맞춘 포물선이다.
- 테일러 급수가 \(f\)와 같아지는 범위가 있으며, 이 범위는 함수마다 다르다. \(e^x\)는 모든 \(x\)에서 같고, \(\ln(1+x)\)는 \(-1 < x \le 1\)에서만 같다.
자주 쓰는 매클로린 급수
| 함수 | 급수 | 성립 범위 |
|---|---|---|
| \(e^x\) | \(\displaystyle\sum_{k=0}^\infty\frac{x^k}{k!} = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots\) | 모든 \(x\) |
| \(\dfrac{1}{1-x}\) | \(\displaystyle\sum_{k=0}^\infty x^k = 1 + x + x^2 + \cdots\) | \(\lvert x\rvert < 1\) |
| \(\ln(1+x)\) | \(\displaystyle\sum_{k=1}^\infty\frac{(-1)^{k+1}x^k}{k} = x - \frac{x^2}{2} + \frac{x^3}{3} - \cdots\) | \(-1 < x \le 1\) |
| \(-\ln(1-x)\) | \(\displaystyle\sum_{k=1}^\infty\frac{x^k}{k} = x + \frac{x^2}{2} + \frac{x^3}{3} + \cdots\) | \(-1 \le x < 1\) |
| \((1+x)^\alpha\) | \(\displaystyle\sum_{k=0}^\infty\binom{\alpha}{k}x^k = 1 + \alpha x + \frac{\alpha(\alpha-1)}{2!}x^2 + \cdots\) | \(\lvert x\rvert < 1\) |
| \(\sin x\) | \(x - \dfrac{x^3}{3!} + \dfrac{x^5}{5!} - \cdots\) | 모든 \(x\) |
| \(\cos x\) | \(1 - \dfrac{x^2}{2!} + \dfrac{x^4}{4!} - \cdots\) | 모든 \(x\) |
- 일반화된 이항계수: 실수 \(\alpha\)에 대해 \(\binom{\alpha}{k} = \frac{\alpha(\alpha-1)\cdots(\alpha-k+1)}{k!}\)로 정의한다. \(\alpha\)가 양의 정수이면 급수가 유한 개 항에서 끝나며 이항정리와 같아진다.
- 새 급수를 만드는 법: 이미 아는 급수에 대입, 곱셈, 미분, 적분을 적용하면 새로운 급수를 얻는다. 예를 들어 \(e^{-x^2/2} = \sum_k\frac{(-x^2/2)^k}{k!}\)이다.
포아송(\(\lambda\)) PMF는 \(p_X(k) = e^{-\lambda}\frac{\lambda^k}{k!}\)(\(k = 0, 1, 2, \dots\))이다.
- 정규화: \(\sum_{k=0}^\infty e^{-\lambda}\frac{\lambda^k}{k!} = e^{-\lambda}\cdot e^{\lambda} = 1\)이다. \(e^\lambda\)의 매클로린 급수를 사용했다.
- 평균: 다음과 같이 계산한다. \[\mathbf{E}[X] = \sum_{k=1}^\infty k\,e^{-\lambda}\frac{\lambda^k}{k!} = \lambda e^{-\lambda}\sum_{k=1}^\infty\frac{\lambda^{k-1}}{(k-1)!} = \lambda e^{-\lambda}e^{\lambda} = \lambda.\] \(k = 0\) 항은 0이므로 빼고, \(k/k! = 1/(k-1)!\)로 약분한 뒤 첨자를 \(j = k-1\)로 이동했다.
나머지항 (Remainder)
\(f\)가 \(n+1\)번 미분 가능하면, \(x\)와 \(a\) 사이의 어떤 점 \(\xi\)가 존재하여 다음이 성립한다. \[f(x) = T_n(x) + \frac{f^{(n+1)}(\xi)}{(n+1)!}(x-a)^{n+1}.\]
- 나머지항은 근사 오차가 \((x-a)^{n+1}\)에 비례한다는 것을 알려준다. 따라서 \(x\)가 \(a\)에 가까울수록, 그리고 \(n\)이 클수록 근사가 정확하다.
- 빅오 표기로 쓰면 \(f(x) = T_n(x) + O\big((x-a)^{n+1}\big)\)이다.
- \(n = 0\)인 경우는 평균값 정리이다: \(f(x) - f(a) = f'(\xi)(x - a)\)를 만족하는 \(\xi\)가 \(a\)와 \(x\) 사이에 존재한다.
1차·2차 근사와 델타 방법
자주 쓰는 근사 (\(x \to 0\)).
\[e^x \approx 1 + x, \qquad \ln(1+x) \approx x, \qquad (1+x)^\alpha \approx 1 + \alpha x, \qquad \frac{1}{1-x}\approx 1 + x.\]
- \(e^{-\lambda\delta} \approx 1 - \lambda\delta\)이다. 따라서 지수분포의 수명을 가진 부품이 짧은 시간 \(\delta\) 안에 고장 날 확률은 약 \(\lambda\delta\)이다.
- \((1-p)^n = e^{n\ln(1-p)} \approx e^{-np}\)이다(\(p\)가 작을 때). 이 근사는 “작은 확률의 사건이 \(n\)번 시도에서 한 번도 안 일어날 확률”을 계산할 때 쓰인다.
확률변수 \(X\)의 평균이 \(\mu\)이고 분산이 \(\sigma^2\)이며 \(X\)가 \(\mu\) 근처에 몰려 있다고 하자. 매끄러운 함수 \(g\)를 \(\mu\) 근처에서 1차 테일러 근사하면 \(g(X) \approx g(\mu) + g'(\mu)(X - \mu)\)이다. 따라서 다음 근사가 성립한다. \[\mathbf{E}[g(X)] \approx g(\mu), \qquad \text{var}\big(g(X)\big) \approx \big(g'(\mu)\big)^2\sigma^2.\] 2차 근사를 쓰면 평균의 보정항까지 얻는다: \(\mathbf{E}[g(X)] \approx g(\mu) + \frac{1}{2}g''(\mu)\sigma^2\).
속도 \(V\)의 평균이 \(\mu = 50\)이고 표준편차가 \(\sigma = 5\)라 하자. 100 km를 가는 데 걸리는 시간 \(T = 100/V\)의 평균과 분산을 근사하자.
- \(g(v) = 100/v\)이므로 \(g'(v) = -100/v^2\)이고 \(g''(v) = 200/v^3\)이다.
- 1차 근사: \(\mathbf{E}[T] \approx 100/50 = 2\)이고, \(\text{var}(T) \approx (100/2500)^2\cdot 25 = 0.04\)이다. 따라서 표준편차는 약 0.2시간이다.
- 2차 보정: \(\mathbf{E}[T] \approx 2 + \frac{1}{2}\cdot\frac{200}{125000}\cdot 25 = 2 + 0.02 = 2.02\)이다.
- 보정항이 양수인 이유는 \(g(v) = 100/v\)가 볼록하기 때문이다. 이 결과는 젠센 부등식 \(\mathbf{E}[g(V)] \ge g(\mathbf{E}[V])\)과 일치한다.
멱급수 (Power series)
멱급수(power series)는 \(\sum_{k=0}^\infty c_k x^k\) 꼴의 급수이다. 멱급수가 수렴하는 \(x\)의 범위는 \(|x| < R\) 꼴(끝점은 따로 확인)이며, \(R\)을 수렴 반지름(radius of convergence)이라 부른다.
- 항별 미분과 적분: 수렴 반지름 안에서는 멱급수를 항별로 미분하거나 적분해도 된다. 그 결과의 수렴 반지름은 원래와 같다. 예를 들어 \(\frac{1}{1-x} = \sum x^k\)를 미분하면 \(\frac{1}{(1-x)^2} = \sum kx^{k-1}\)이다.
- 계수의 유일성: 두 멱급수가 \(0\) 근처의 모든 \(x\)에서 같은 값을 가지면, 모든 계수가 같다. 그래서 생성함수를 전개해 \(x^k\)의 계수를 읽으면 그것이 곧 원하는 값이다.
- 테일러 급수는 계수가 \(c_k = f^{(k)}(0)/k!\)인 멱급수이다. 따라서 멱급수에서 \(c_k\)를 알면 \(f^{(k)}(0) = k!\,c_k\)이다. 이 관계를 이용해 적률생성함수에서 모멘트를 읽어 낸다(12장).
- 테일러 급수의 \(k!\)를 빠뜨리기 쉽다. 계수는 \(f^{(k)}(a)\)가 아니라 \(f^{(k)}(a)/k!\)이다.
- 급수가 성립하는 범위를 확인해야 한다. \(\ln(1+x)\)의 급수는 \(x = 2\)에서 성립하지 않는다.
- 근사는 “작은 값”에서만 정확하다. \(e^x \approx 1 + x\)는 \(x = 0.01\)에서 매우 정확하지만 \(x = 2\)에서는 크게 틀린다.
- 델타 방법은 \(X\)의 퍼짐이 \(g\)가 휘는 정도에 비해 작을 때만 잘 맞는다. \(X\)가 넓게 퍼져 있으면 근사가 나빠진다.
- \(\ln(1-x)\)의 급수는 모든 항이 음수이다. \(\ln(1-x) = -x - \frac{x^2}{2} - \cdots\)이다. 부호를 혼동하기 쉽다.
8. 다변수 미적분
큰 그림. 확률변수가 두 개 이상이면 결합 PDF는 여러 변수의 함수가 되고, 확률은 이중적분(부피)이 된다. 이 장은 여러 변수 함수의 미분(편미분, 그래디언트, 헤시안)과 적분(이중적분, 적분 순서 바꾸기, 극좌표, 변수변환), 그리고 제약 조건이 있는 최적화(라그랑주 승수법)를 다룬다.
확률·통계에서 어디에 쓰이나. 결합 PDF와 주변 PDF, \(\mathbf{P}(X + Y \le z)\) 같은 영역의 확률, 결합 CDF에서 결합 PDF 구하기, 두 확률변수의 함수의 분포(야코비안), 가우스 적분, 다변수 최대가능도추정, 제약 최적화 등에 쓰인다.
편미분 (Partial derivatives)
두 변수 함수 \(f(x, y)\)의 \(x\)에 대한 편미분은 \(y\)를 상수로 고정하고 \(x\)에 대해서만 미분한 것이다. \[\frac{\partial f}{\partial x}(x,y) = \lim_{h\to 0}\frac{f(x+h, y) - f(x,y)}{h}.\] \(\frac{\partial f}{\partial y}\)도 같은 방식으로 정의한다. 편미분은 \(f_x\), \(\partial_x f\)로도 쓴다.
- 2계 편미분: \(\frac{\partial^2 f}{\partial x^2}\), \(\frac{\partial^2 f}{\partial y^2}\), \(\frac{\partial^2 f}{\partial x\,\partial y}\)가 있다. 함수가 충분히 매끄러우면 혼합 편미분은 순서와 무관하다: \(\frac{\partial^2 f}{\partial x\,\partial y} = \frac{\partial^2 f}{\partial y\,\partial x}\)(슈바르츠 정리).
- 확률에서의 용도: 결합 CDF를 \(x\)와 \(y\)로 한 번씩 편미분하면 결합 PDF를 얻는다: \(f_{X,Y}(x,y) = \frac{\partial^2F_{X,Y}}{\partial x\,\partial y}(x,y)\).
- 다변수 연쇄 법칙: \(z = f(x, y)\)이고 \(x = x(t)\), \(y = y(t)\)이면 \(\frac{dz}{dt} = \frac{\partial f}{\partial x}\frac{dx}{dt} + \frac{\partial f}{\partial y}\frac{dy}{dt}\)이다.
그래디언트와 헤시안
\(n\)변수 함수 \(f(\mathbf{x})\), \(\mathbf{x} = (x_1, \dots, x_n)\)에 대해 다음과 같이 정의한다.
- 그래디언트(gradient)는 1계 편미분을 모은 벡터이다: \(\nabla f = \left(\frac{\partial f}{\partial x_1}, \dots, \frac{\partial f}{\partial x_n}\right)\).
- 헤시안(Hessian)은 2계 편미분을 모은 \(n\times n\) 행렬이다: \(H_{ij} = \frac{\partial^2 f}{\partial x_i\,\partial x_j}\).
- 그래디언트의 의미: \(\nabla f\)는 \(f\)가 가장 빠르게 증가하는 방향을 가리키며, 그 크기는 그 방향의 증가율이다. 경사하강법은 \(-\nabla f\) 방향으로 조금씩 이동하여 최솟값을 찾는다.
- 다변수 최적화: 내부의 극값에서는 \(\nabla f = \mathbf{0}\)이다. 그 점에서 헤시안이 음의 정부호이면 극대이고, 양의 정부호이면 극소이다(9장 이차형식 참고).
- 다변수 테일러 근사: \(f(\mathbf{x} + \mathbf{h}) \approx f(\mathbf{x}) + \nabla f(\mathbf{x})^T\mathbf{h} + \frac{1}{2}\mathbf{h}^T H(\mathbf{x})\,\mathbf{h}\)이다.
이중적분과 영역
평면의 영역 \(D\) 위에서 \(f(x,y)\)의 이중적분 \(\iint_D f(x,y)\,dx\,dy\)는 \(D\) 위에서 곡면 \(z = f(x,y)\) 아래의 부피이다. \(f = 1\)이면 이중적분은 \(D\)의 넓이이다.
영역을 부등식으로 쓰는 법. 이중적분을 계산하려면 영역을 “바깥 변수의 범위 + 안쪽 변수의 범위(바깥 변수에 의존)”로 표현해야 한다.
- 세로 띠로 자르기 (type I): \(D = \{(x, y) \mid a \le x \le b,\ g_1(x) \le y \le g_2(x)\}\)이면 \(\iint_D f = \int_a^b\int_{g_1(x)}^{g_2(x)}f(x,y)\,dy\,dx\)이다.
- 가로 띠로 자르기 (type II): \(D = \{(x,y)\mid c \le y \le d,\ h_1(y) \le x \le h_2(y)\}\)이면 \(\iint_D f = \int_c^d\int_{h_1(y)}^{h_2(y)}f(x,y)\,dx\,dy\)이다.
- 안쪽 적분의 범위는 바깥 변수에 의존할 수 있지만, 바깥 적분의 범위는 상수여야 한다.
결합 PDF는 단위 정사각형 위에서 1이므로 확률은 넓이이다.
- \(0 \le z \le 1\): 영역 \(\{x + y \le z\}\)는 꼭짓점이 \((0,0), (z, 0), (0, z)\)인 삼각형이다. 적분으로 쓰면 \(\int_0^z\int_0^{z-x}1\,dy\,dx = \int_0^z(z - x)\,dx = \frac{z^2}{2}\)이다.
- \(1 \le z \le 2\): 여사건 \(\{x + y > z\}\)는 꼭짓점이 \((z-1, 1), (1, 1), (1, z-1)\)인 삼각형이며, 넓이는 \(\frac{(2-z)^2}{2}\)이다. 따라서 확률은 \(1 - \frac{(2-z)^2}{2}\)이다.
- PDF: 미분하면 \(f_{X+Y}(z) = z\)(\(0 \le z \le 1\)), \(2 - z\)(\(1 \le z \le 2\))이다. 이 PDF는 삼각형 모양이다. 균등분포 두 개를 더하면 균등분포가 아니라 삼각분포가 된다.
푸비니 정리와 적분 순서 바꾸기
\(f \ge 0\)이거나 \(\iint|f| < \infty\)이면, 이중적분은 어느 변수부터 적분하든 같은 값을 가진다. \[\iint_D f\,dx\,dy = \int\left(\int f\,dy\right)dx = \int\left(\int f\,dx\right)dy.\]
- 확률에서 결합 PDF는 항상 음이 아니므로, 적분 순서를 자유롭게 바꿀 수 있다.
- 순서를 바꾸는 절차: (1) 영역을 그림으로 그린다. (2) 원래 순서의 부등식을 읽는다. (3) 반대 방향의 띠로 잘라 새 부등식을 쓴다.
- 독립 확률변수의 결합 PDF가 곱 \(f_X(x)f_Y(y)\)이고 영역이 직사각형이면, 이중적분은 두 1차원 적분의 곱이 된다: \(\iint g(x)h(y)f_X(x)f_Y(y)\,dx\,dy = \mathbf{E}[g(X)]\,\mathbf{E}[h(Y)]\).
\(\int_0^1\int_y^1 e^{-x^2}\,dx\,dy\)를 계산하자. 안쪽 적분 \(\int e^{-x^2}\,dx\)는 초등함수로 쓸 수 없으므로 이 순서로는 계산할 수 없다.
- 영역은 \(0 \le y \le x \le 1\), 즉 꼭짓점이 \((0,0), (1,0), (1,1)\)인 삼각형이다.
- \(x\)를 바깥으로 두면 \(0 \le x \le 1\), \(0 \le y \le x\)이다.
- 따라서 원래 적분은 \(\int_0^1\int_0^x e^{-x^2}\,dy\,dx = \int_0^1 xe^{-x^2}\,dx = \frac{1}{2}(1 - e^{-1})\)이다.
- L10의 막대 부러뜨리기 예제에서 \(f_Y(y) = \int_y^\ell\frac{1}{\ell x}\,dx\)를 구할 때도 같은 삼각형 영역을 반대 방향으로 읽었다.
극좌표 (Polar coordinates)
\(x = r\cos\theta\), \(y = r\sin\theta\)(\(r \ge 0\), \(0 \le \theta < 2\pi\))로 바꾸면 \(x^2 + y^2 = r^2\)이고, 넓이 요소는 다음과 같이 바뀐다. \[dx\,dy = r\,dr\,d\theta.\]
- 인수 \(r\)이 붙는 이유: 극좌표에서 작은 직사각형 \([r, r+dr]\times[\theta, \theta + d\theta]\)는 평면에서 가로 \(dr\), 세로 \(r\,d\theta\)인 부채꼴 조각이 된다. 원점에서 멀수록 같은 각도 변화가 더 긴 호를 만들기 때문이다.
- 언제 쓰나: 영역이 원이나 부채꼴일 때, 또는 피적분함수가 \(x^2 + y^2\)에만 의존할 때 쓴다. 대표적인 예가 가우스 적분과 독립 표준정규 확률변수 쌍의 거리 \(\sqrt{X^2 + Y^2}\)의 분포이다.
변수변환과 야코비안 (Change of variables, Jacobian)
\((u, v)\)에서 \((x, y)\)로 가는 일대일 미분 가능한 변환 \(x = x(u,v)\), \(y = y(u,v)\)가 있을 때, 야코비안 행렬식(Jacobian determinant)은 다음과 같다. \[J = \det\begin{pmatrix}\dfrac{\partial x}{\partial u} & \dfrac{\partial x}{\partial v}\\[6pt] \dfrac{\partial y}{\partial u} & \dfrac{\partial y}{\partial v}\end{pmatrix}.\] 이때 넓이 요소는 \(dx\,dy = |J|\,du\,dv\)로 바뀐다.
- 1차원과의 대응: 1차원 치환적분에서 \(dx = |g'(u)|\,du\)였던 것이 2차원에서는 \(|J|\)가 된다. 야코비안의 절댓값은 변환이 작은 넓이를 몇 배로 늘리는지를 나타낸다.
- 극좌표의 야코비안: \(x = r\cos\theta\), \(y = r\sin\theta\)이면 \(J = \det\begin{pmatrix}\cos\theta & -r\sin\theta\\ \sin\theta & r\cos\theta\end{pmatrix} = r\)이다.
\((X, Y)\)의 결합 PDF가 \(f_{X,Y}\)이고, \((U, V) = g(X, Y)\)가 일대일 변환이며 그 역변환이 \(x = x(u,v)\), \(y = y(u,v)\)라 하자. 그러면 다음이 성립한다. \[f_{U,V}(u,v) = f_{X,Y}\big(x(u,v),\,y(u,v)\big)\cdot|J|, \qquad J = \det\frac{\partial(x,y)}{\partial(u,v)}.\]
- 역변환: \(x = \frac{u+v}{2}\), \(y = \frac{u - v}{2}\)이다.
- 야코비안: \(J = \det\begin{pmatrix}1/2 & 1/2\\ 1/2 & -1/2\end{pmatrix} = -\frac{1}{4} - \frac{1}{4} = -\frac{1}{2}\)이므로 \(|J| = \frac{1}{2}\)이다.
- 결합 PDF: \(x^2 + y^2 = \frac{(u+v)^2 + (u-v)^2}{4} = \frac{u^2 + v^2}{2}\)이다. 따라서 다음이 성립한다. \[f_{U,V}(u,v) = \frac{1}{2\pi}e^{-(u^2+v^2)/4}\cdot\frac{1}{2} = \frac{1}{\sqrt{4\pi}}e^{-u^2/4}\cdot\frac{1}{\sqrt{4\pi}}e^{-v^2/4}.\]
- 결론: 결합 PDF가 \(u\)만의 함수와 \(v\)만의 함수의 곱이므로 \(U\)와 \(V\)는 독립이다. 또한 각각은 \(N(0, 2)\)를 따른다. 독립 정규 확률변수의 합과 차가 다시 독립이 된다는 성질은 정규분포의 특별한 성질이다.
라그랑주 승수법 (Lagrange multipliers)
제약 조건 \(g(\mathbf{x}) = c\) 아래에서 \(f(\mathbf{x})\)를 최대화하거나 최소화하려고 하자. 극값에서는 다음을 만족하는 상수 \(\lambda\)(라그랑주 승수)가 존재한다. \[\nabla f(\mathbf{x}) = \lambda\,\nabla g(\mathbf{x}), \qquad g(\mathbf{x}) = c.\] 같은 말로, 라그랑지안 \(\mathcal{L}(\mathbf{x}, \lambda) = f(\mathbf{x}) - \lambda\big(g(\mathbf{x}) - c\big)\)의 모든 편미분을 0으로 놓고 푼다.
- 기하학적 의미: 극값에서 \(f\)의 등고선과 제약 곡선 \(g = c\)가 서로 접한다. 접하는 두 곡선의 법선 벡터(그래디언트)는 평행하므로 \(\nabla f = \lambda\nabla g\)이다.
서로 독립이고 분산이 모두 \(\sigma^2\)인 측정값 \(X_1, \dots, X_n\)을 가중평균 \(\sum a_iX_i\)로 합치려 한다. 편향이 없으려면 \(\sum a_i = 1\)이어야 한다. 분산 \(\text{var}(\sum a_iX_i) = \sigma^2\sum a_i^2\)을 최소로 하는 가중치를 구하자.
- \(f(\mathbf{a}) = \sum a_i^2\), \(g(\mathbf{a}) = \sum a_i = 1\)이다.
- 조건 \(\nabla f = \lambda\nabla g\)는 모든 \(i\)에 대해 \(2a_i = \lambda\)라는 뜻이다. 따라서 모든 \(a_i\)가 같다.
- 제약 조건에서 \(a_i = 1/n\)이다.
- 결론: 단순 평균 \(\bar X = \frac{1}{n}\sum X_i\)가 분산이 가장 작은 편향 없는 가중평균이며, 그 분산은 \(\sigma^2/n\)이다.
- 편미분할 때 다른 변수는 상수이다. \(\frac{\partial}{\partial x}(x^2y) = 2xy\)이고, \(y\)는 그대로 남는다.
- 이중적분의 바깥 적분 범위는 상수여야 한다. 안쪽 범위에 바깥 변수가 들어가는 것은 괜찮지만, 그 반대는 틀린 식이다.
- 극좌표에서 \(r\)을 빠뜨리면 틀린다. \(dx\,dy = r\,dr\,d\theta\)이지 \(dr\,d\theta\)가 아니다.
- 야코비안은 역변환(\(u,v \to x,y\))의 것을 써야 한다. 정변환의 야코비안을 쓰려면 그 역수를 곱해야 한다. 그리고 반드시 절댓값을 취한다.
- 영역을 그리지 않고 적분 범위를 정하면 실수하기 쉽다. 특히 \(\mathbf{P}(X + Y \le z)\)처럼 \(z\)에 따라 영역 모양이 바뀌는 경우는 경우를 나누어야 한다.
9. 선형대수
큰 그림. 여러 확률변수를 한꺼번에 다룰 때는 벡터와 행렬이 가장 편리한 언어이다. 확률변수들의 평균은 벡터로, 분산과 공분산은 행렬로 정리되며, 선형 변환 후의 공분산은 행렬 곱으로 계산된다. 다변량 정규분포, 회귀분석, 주성분분석(PCA)은 모두 선형대수 위에 세워져 있다.
확률·통계에서 어디에 쓰이나. 공분산 행렬, 확률벡터의 선형 변환, 다변량 정규분포의 PDF, 선형 회귀의 정규방정식, PCA, 변수변환의 야코비안 등에 쓰인다.
벡터와 내적
\(n\)차원 벡터 \(\mathbf{x} = (x_1, \dots, x_n)^T\)는 숫자 \(n\)개를 세로로 늘어놓은 것이다. 두 벡터의 내적(dot product)과 벡터의 노름(norm, 길이)은 다음과 같다. \[\mathbf{x}^T\mathbf{y} = \sum_{i=1}^n x_iy_i, \qquad \|\mathbf{x}\| = \sqrt{\mathbf{x}^T\mathbf{x}} = \sqrt{\textstyle\sum_i x_i^2}.\]
- 기하학적 의미: \(\mathbf{x}^T\mathbf{y} = \|\mathbf{x}\|\,\|\mathbf{y}\|\cos\theta\)이며, \(\theta\)는 두 벡터 사이의 각이다.
- 직교(orthogonal): \(\mathbf{x}^T\mathbf{y} = 0\)이면 두 벡터는 서로 수직이다.
- 확률에서의 대응: 확률변수의 공간에서 \(\mathbf{E}[XY]\)는 내적처럼 행동하고, \(\sqrt{\mathbf{E}[X^2]}\)은 노름처럼 행동한다. 상관계수는 중심화된 두 확률변수 사이의 “각의 코사인”으로 해석할 수 있다.
- 선형결합: \(a_1\mathbf{x}_1 + \cdots + a_k\mathbf{x}_k\)를 벡터들의 선형결합이라 부른다. 어떤 벡터도 나머지 벡터들의 선형결합으로 쓸 수 없으면 그 벡터들은 선형 독립이다. 선형 독립은 확률의 독립과 다른 개념이다.
행렬과 행렬 곱
\(m \times n\) 행렬 \(A\)는 숫자를 \(m\)행 \(n\)열로 늘어놓은 것이며, \((i,j)\) 원소를 \(A_{ij}\)로 쓴다. \(A\)가 \(m\times n\)이고 \(B\)가 \(n\times p\)이면 곱 \(AB\)는 \(m\times p\) 행렬이며 다음과 같이 정의된다. \[(AB)_{ij} = \sum_{k=1}^n A_{ik}B_{kj}.\]
- 크기 규칙: \(AB\)는 \(A\)의 열 수와 \(B\)의 행 수가 같을 때만 정의된다.
- 교환법칙은 성립하지 않는다: 일반적으로 \(AB \ne BA\)이다. 결합법칙 \((AB)C = A(BC)\)와 분배법칙은 성립한다.
- 전치(transpose): \((A^T)_{ij} = A_{ji}\)이다. \((AB)^T = B^TA^T\)이며, 순서가 바뀐다는 점에 주의해야 한다.
- 대칭 행렬: \(A^T = A\)인 행렬이다. 공분산 행렬은 항상 대칭이다.
- 단위 행렬 \(I\)는 대각선이 1이고 나머지가 0인 행렬이며, \(AI = IA = A\)를 만족한다.
- 대각합(trace): \(\text{tr}(A) = \sum_i A_{ii}\)이다. \(\text{tr}(AB) = \text{tr}(BA)\)가 성립한다.
- 선형 변환: 행렬 \(A\)를 벡터에 곱하는 것은 선형 변환이다. 즉 \(A(a\mathbf{x} + b\mathbf{y}) = aA\mathbf{x} + bA\mathbf{y}\)이다. 이 성질은 기댓값의 선형성과 결합하여 \(\mathbf{E}[A\mathbf{X}] = A\,\mathbf{E}[\mathbf{X}]\)를 만든다.
역행렬과 행렬식
정사각 행렬 \(A\)에 대해 \(AB = BA = I\)인 행렬 \(B\)가 존재하면 \(B\)를 \(A\)의 역행렬 \(A^{-1}\)이라 부른다. 행렬식(determinant) \(\det A\)는 \(A\)가 넓이(부피)를 몇 배로 바꾸는지를 나타내는 숫자이며, \(\det A \ne 0\)일 때만 역행렬이 존재한다.
\(2\times 2\) 행렬의 공식. \[A = \begin{pmatrix}a & b\\ c & d\end{pmatrix}, \qquad \det A = ad - bc, \qquad A^{-1} = \frac{1}{ad - bc}\begin{pmatrix}d & -b\\ -c & a\end{pmatrix}.\]
- 성질: \(\det(AB) = \det A\,\det B\)이고, \(\det(A^T) = \det A\)이고, \(\det(A^{-1}) = 1/\det A\)이다. 또한 \((AB)^{-1} = B^{-1}A^{-1}\)이다.
- 연립방정식: \(A\mathbf{x} = \mathbf{b}\)의 해는 \(\det A \ne 0\)일 때 유일하며 \(\mathbf{x} = A^{-1}\mathbf{b}\)이다. 선형 회귀의 최소제곱 해 \(\hat{\boldsymbol\beta} = (X^TX)^{-1}X^T\mathbf{y}\)가 이 형태이다.
- 기하학적 의미: \(|\det A|\)는 단위 정사각형이 \(A\)에 의해 변환된 평행사변형의 넓이이다. 이 값이 야코비안에서 넓이 보정 인수로 쓰인다.
고윳값과 고유벡터
정사각 행렬 \(A\)와 0이 아닌 벡터 \(\mathbf{v}\), 숫자 \(\lambda\)가 \(A\mathbf{v} = \lambda\mathbf{v}\)를 만족하면, \(\lambda\)를 고윳값(eigenvalue), \(\mathbf{v}\)를 고유벡터(eigenvector)라 부른다.
- 의미: 고유벡터는 \(A\)를 곱해도 방향이 바뀌지 않고 길이만 \(\lambda\)배 되는 특별한 방향이다.
- 구하는 법: \(\det(A - \lambda I) = 0\)(특성방정식)을 풀어 \(\lambda\)를 구한 뒤, \((A - \lambda I)\mathbf{v} = \mathbf{0}\)을 풀어 \(\mathbf{v}\)를 구한다.
- 성질: 고윳값들의 곱은 \(\det A\)이고, 합은 \(\text{tr}(A)\)이다.
- 대칭 행렬의 스펙트럼 정리: 실수 대칭 행렬의 고윳값은 모두 실수이고, 서로 수직인 고유벡터들을 고를 수 있다. 따라서 \(A = Q\Lambda Q^T\)로 분해된다. 여기서 \(Q\)는 고유벡터를 열로 가지는 직교 행렬(\(Q^TQ = I\))이고, \(\Lambda\)는 고윳값을 대각선에 가지는 대각 행렬이다.
- 확률에서의 용도: 공분산 행렬의 고유벡터는 데이터가 가장 많이 퍼진 방향(주성분)이고, 고윳값은 그 방향의 분산이다. 이것이 PCA의 원리이다. 또한 다변량 정규분포의 등고선 타원의 축 방향은 고유벡터, 축 길이는 \(\sqrt{\text{고윳값}}\)에 비례한다.
이차형식과 양의 준정부호
대칭 행렬 \(A\)와 벡터 \(\mathbf{x}\)에 대해 \(\mathbf{x}^TA\mathbf{x} = \sum_i\sum_j A_{ij}x_ix_j\)를 이차형식(quadratic form)이라 부른다.
- 모든 \(\mathbf{x} \ne \mathbf{0}\)에 대해 \(\mathbf{x}^TA\mathbf{x} > 0\)이면 \(A\)는 양의 정부호(positive definite)이다.
- 모든 \(\mathbf{x}\)에 대해 \(\mathbf{x}^TA\mathbf{x} \ge 0\)이면 \(A\)는 양의 준정부호(positive semidefinite, PSD)이다.
- 고윳값 판정: 대칭 행렬이 양의 정부호인 것은 모든 고윳값이 양수인 것과 동치이다. 양의 준정부호인 것은 모든 고윳값이 0 이상인 것과 동치이다.
- \(2\times2\) 예시: \(\mathbf{x}^T\begin{pmatrix}a & b\\ b & c\end{pmatrix}\mathbf{x} = ax_1^2 + 2bx_1x_2 + cx_2^2\)이다. 이 행렬은 \(a > 0\)이고 \(ac - b^2 > 0\)이면 양의 정부호이다.
- 최적화와의 관계: 헤시안이 양의 정부호인 임계점은 극소점이다.
- 다변량 정규분포: PDF의 지수 부분 \(-\frac{1}{2}(\mathbf{x} - \boldsymbol\mu)^T\Sigma^{-1}(\mathbf{x} - \boldsymbol\mu)\)는 이차형식이다. PDF 값이 같은 점들(등고선)은 이 이차형식이 상수인 타원이다.
공분산 행렬
확률벡터 \(\mathbf{X} = (X_1, \dots, X_n)^T\)의 평균 벡터는 \(\boldsymbol\mu = \mathbf{E}[\mathbf{X}] = (\mathbf{E}[X_1], \dots, \mathbf{E}[X_n])^T\)이다. 공분산 행렬 \(\Sigma\)는 다음과 같다. \[\Sigma = \mathbf{E}\big[(\mathbf{X} - \boldsymbol\mu)(\mathbf{X} - \boldsymbol\mu)^T\big], \qquad \Sigma_{ij} = \text{cov}(X_i, X_j).\]
- 대각 원소는 분산이다: \(\Sigma_{ii} = \text{var}(X_i)\).
- 대칭이다: \(\text{cov}(X_i, X_j) = \text{cov}(X_j, X_i)\)이기 때문이다.
- 항상 양의 준정부호이다: 임의의 벡터 \(\mathbf{a}\)에 대해 \(\mathbf{a}^T\Sigma\mathbf{a} = \text{var}(\mathbf{a}^T\mathbf{X}) \ge 0\)이기 때문이다.
- 선형 변환 공식: \(\mathbf{Y} = A\mathbf{X} + \mathbf{b}\)이면 다음이 성립한다. \[\mathbf{E}[\mathbf{Y}] = A\boldsymbol\mu + \mathbf{b}, \qquad \text{Cov}(\mathbf{Y}) = A\,\Sigma\,A^T.\] 1차원의 \(\text{var}(aX + b) = a^2\text{var}(X)\)가 행렬로 일반화된 것이다.
\((X, Y)\)의 공분산 행렬이 \(\Sigma = \begin{pmatrix}\sigma_X^2 & c\\ c & \sigma_Y^2\end{pmatrix}\)이고, \(c = \text{cov}(X,Y)\)라 하자.
- \(\mathbf{a} = (1, 1)^T\)이면 \(\text{var}(X + Y) = \mathbf{a}^T\Sigma\mathbf{a} = \sigma_X^2 + 2c + \sigma_Y^2\)이다.
- \(\mathbf{a} = (1, -1)^T\)이면 \(\text{var}(X - Y) = \sigma_X^2 - 2c + \sigma_Y^2\)이다.
- \(X\)와 \(Y\)가 독립이면 \(c = 0\)이므로 두 값 모두 \(\sigma_X^2 + \sigma_Y^2\)이다. L07의 결과와 일치한다.
- \(\Sigma\)가 양의 준정부호여야 하므로 \(\sigma_X^2\sigma_Y^2 - c^2 \ge 0\), 즉 \(|c| \le \sigma_X\sigma_Y\)이다. 이 부등식은 상관계수가 \(-1\)과 \(1\) 사이라는 사실과 같다(코시-슈바르츠 참고).
- 행렬 곱은 순서를 바꿀 수 없다. \(AB \ne BA\)이다. 그래서 \((AB)^T = B^TA^T\)와 \((AB)^{-1} = B^{-1}A^{-1}\)처럼 순서가 뒤집힌다.
- \(\mathbf{x}^T\mathbf{y}\)는 숫자이고, \(\mathbf{x}\mathbf{y}^T\)는 행렬이다. 공분산 행렬의 정의에는 행렬이 되는 외적 \((\mathbf{X}-\boldsymbol\mu)(\mathbf{X}-\boldsymbol\mu)^T\)가 쓰인다.
- 선형 독립과 확률적 독립은 다른 개념이다. 이름이 같지만 전혀 다른 정의를 가진다.
- 공분산이 0이라고 독립인 것은 아니다. 다만 다변량 정규분포에서는 공분산 0이 독립과 동치이다.
- \(\text{Cov}(A\mathbf{X}) = A\Sigma A^T\)이지 \(A^2\Sigma\)가 아니다. 1차원 공식을 기계적으로 옮기면 틀린다.
10. 조합론 심화
큰 그림. 6.431x 노트의 L04에서 기본 세기 원리, 순열, 조합, 분할을 다루었다. 이 장은 그 위에 자주 쓰이는 도구들을 더한다. 이항정리와 다항정리는 이항·다항 분포의 정규화를 보장하고, 이항계수 항등식은 초기하분포 같은 분포의 계산을 단순하게 만든다. 포함-배제 원리는 “적어도 하나”의 확률을 계산하는 일반적인 방법이며, 스털링 근사는 큰 팩토리얼을 다룰 수 있게 해 준다.
확률·통계에서 어디에 쓰이나. 이항·다항 분포, 초기하분포, 중복을 허용한 배치 문제, 교란순열(모자 문제의 “아무도 자기 모자를 못 받을 확률”), 큰 \(n\)에서의 이항확률 근사 등에 쓰인다.
이항정리와 다항정리
\[(a + b)^n = \sum_{k=0}^n\binom{n}{k}a^kb^{n-k}.\]
- 조합론적 증명: \((a+b)^n\)을 전개하면, \(n\)개의 괄호 각각에서 \(a\) 또는 \(b\)를 하나씩 골라 곱한 항들이 나온다. \(a\)를 정확히 \(k\)번 고르는 방법은 \(\binom{n}{k}\)가지이므로 \(a^kb^{n-k}\)의 계수는 \(\binom{n}{k}\)이다.
- 확률에서의 의미: \(a = p\), \(b = 1 - p\)를 대입하면 \(\sum_k\binom{n}{k}p^k(1-p)^{n-k} = 1\)이다. 즉 이항 PMF의 합이 1이다.
- 특수한 경우: \(a = b = 1\)이면 \(\sum_k\binom{n}{k} = 2^n\)이다. \(a = -1\), \(b = 1\)이면 \(\sum_k(-1)^k\binom{n}{k} = 0\)이다.
\[(a_1 + \cdots + a_r)^n = \sum_{n_1 + \cdots + n_r = n}\binom{n}{n_1, \dots, n_r}a_1^{n_1}\cdots a_r^{n_r}.\] 합은 \(n_1 + \cdots + n_r = n\)을 만족하는 음이 아닌 정수들의 모든 조합에 대해 취한다.
- 확률에서의 의미: 결과가 \(r\)가지이고 각각의 확률이 \(p_1, \dots, p_r\)인 시행을 독립적으로 \(n\)번 할 때, 결과 \(i\)가 \(n_i\)번 나올 확률은 \(\binom{n}{n_1,\dots,n_r}p_1^{n_1}\cdots p_r^{n_r}\)이다. 이것이 다항분포이며, 다항정리에 의해 확률의 합은 \((p_1 + \cdots + p_r)^n = 1\)이다.
이항계수 항등식
| 항등식 | 식 | 조합론적 의미 |
|---|---|---|
| 대칭 | \(\binom{n}{k} = \binom{n}{n-k}\) | \(k\)개를 고르는 것은 남길 \(n-k\)개를 고르는 것과 같다. |
| 파스칼 | \(\binom{n}{k} = \binom{n-1}{k-1} + \binom{n-1}{k}\) | 특정 원소를 포함하는 경우와 포함하지 않는 경우로 나눈다. |
| 흡수 | \(k\binom{n}{k} = n\binom{n-1}{k-1}\) | \(k\)명 위원회와 그 위원장을 고르는 두 방법이다. |
| 반데르몽드 | \(\sum_{k}\binom{m}{k}\binom{n}{r-k} = \binom{m+n}{r}\) | 남자 \(m\)명, 여자 \(n\)명 중 \(r\)명을 고르는 방법을 남자 수로 나누어 센다. |
| 하키 스틱 | \(\sum_{i=k}^{n}\binom{i}{k} = \binom{n+1}{k+1}\) | \(k+1\)개를 고를 때 가장 큰 원소의 위치로 나누어 센다. |
\[\mathbf{E}[X] = \sum_{k=0}^n k\binom{n}{k}p^k(1-p)^{n-k} = np\sum_{k=1}^{n}\binom{n-1}{k-1}p^{k-1}(1-p)^{n-k} = np\,(p + 1 - p)^{n-1} = np.\] 두 번째 등호에서 흡수 항등식 \(k\binom{n}{k} = n\binom{n-1}{k-1}\)을 쓰고 \(p\) 하나를 밖으로 꺼냈다. 세 번째 등호는 \(j = k-1\)로 첨자를 바꾼 뒤 이항정리를 적용한 것이다. L06의 지시 확률변수 방법과 같은 답이다.
빨간 공 \(m\)개와 파란 공 \(n\)개가 든 항아리에서 \(r\)개를 비복원으로 뽑는다. 뽑은 빨간 공의 개수를 \(X\)라 하자.
- 모든 \(r\)개 조합이 똑같이 일어날 법하므로 \(\mathbf{P}(X = k) = \dfrac{\binom{m}{k}\binom{n}{r-k}}{\binom{m+n}{r}}\)이다. 이것이 초기하분포(hypergeometric distribution)이다.
- 반데르몽드 항등식에 의해 분자를 \(k\)에 대해 모두 더하면 분모와 같으므로, 확률의 합은 1이다.
중복조합 (별과 막대, Stars and bars)
음이 아닌 정수 해 \(x_1 + x_2 + \cdots + x_r = n\)의 개수는 다음과 같다. \[\binom{n + r - 1}{r - 1}.\] 양의 정수 해(\(x_i \ge 1\))의 개수는 \(\binom{n-1}{r-1}\)이다.
- 증명 아이디어: 똑같은 별 \(n\)개를 일렬로 놓고, 막대 \(r-1\)개로 칸을 나눈다. 첫 막대 앞의 별 수가 \(x_1\), 첫 막대와 둘째 막대 사이의 별 수가 \(x_2\), … 가 된다. 별과 막대 \(n + r - 1\)개의 자리 중 막대가 올 \(r-1\)자리를 고르는 방법이 해의 개수이다.
- 해석: “구별되지 않는 공 \(n\)개를 구별되는 상자 \(r\)개에 넣는 방법의 수”와 같다.
구별되는 공 \(n\)개를 상자 \(r\)개에 무작위로 독립적으로 던지면, 상자별 공의 개수 \((x_1, \dots, x_r)\)는 균등하지 않다. 이 확률은 다항분포를 따른다. 예를 들어 공 2개, 상자 2개이면 \((1,1)\)의 확률은 \(1/2\)이고, \((2,0)\)과 \((0,2)\)의 확률은 각각 \(1/4\)이다. 별과 막대로 센 “3가지 결과”는 똑같은 확률을 가지지 않으므로, 이 개수로 확률을 구하면 틀린다.
포함-배제 원리 (Inclusion–exclusion)
\[\mathbf{P}\Big(\bigcup_{i=1}^n A_i\Big) = \sum_i\mathbf{P}(A_i) - \sum_{i<j}\mathbf{P}(A_i\cap A_j) + \sum_{i<j<k}\mathbf{P}(A_i\cap A_j\cap A_k) - \cdots + (-1)^{n+1}\mathbf{P}(A_1\cap\cdots\cap A_n).\]
- \(n = 2\)이면 \(\mathbf{P}(A\cup B) = \mathbf{P}(A) + \mathbf{P}(B) - \mathbf{P}(A\cap B)\)이다.
- \(n = 3\)이면 다음과 같다. \[\mathbf{P}(A\cup B\cup C) = \mathbf{P}(A) + \mathbf{P}(B) + \mathbf{P}(C) - \mathbf{P}(A\cap B) - \mathbf{P}(A\cap C) - \mathbf{P}(B\cap C) + \mathbf{P}(A\cap B\cap C).\]
- 원리: 한 번 더하면 겹치는 부분이 중복으로 세어지고, 빼면 세 개가 겹친 부분이 너무 많이 빠진다. 이런 식으로 더하고 빼기를 번갈아 하면 모든 결과가 정확히 한 번씩 세어진다.
- 개수 버전: 확률 대신 집합의 크기로 써도 똑같이 성립한다.
\(A_i\)를 “\(i\)번째 사람이 자기 모자를 받는다”는 사건이라 하자. 서로 다른 \(k\)명이 모두 자기 모자를 받을 확률은 \(\frac{(n-k)!}{n!}\)이다. 나머지 \(n-k\)개의 모자만 자유롭게 배정되기 때문이다. 그런 \(k\)명 집합은 \(\binom{n}{k}\)개이므로, 포함-배제의 \(k\)번째 항은 \(\binom{n}{k}\frac{(n-k)!}{n!} = \frac{1}{k!}\)이다. \[\mathbf{P}\Big(\bigcup_i A_i\Big) = \sum_{k=1}^n\frac{(-1)^{k+1}}{k!}, \qquad \mathbf{P}(\text{아무도 못 받음}) = \sum_{k=0}^{n}\frac{(-1)^k}{k!} \xrightarrow{n\to\infty} e^{-1} \approx 0.368.\] 마지막 극한은 \(e^x\)의 매클로린 급수에 \(x = -1\)을 대입한 것이다. 사람 수에 거의 상관없이, 약 37%의 확률로 아무도 자기 모자를 받지 못한다. 자기 자리에 오는 원소가 하나도 없는 순열을 교란순열(derangement)이라 부른다.
스털링 근사 (Stirling’s approximation)
\[n! \approx \sqrt{2\pi n}\left(\frac{n}{e}\right)^n \quad (n \to \infty).\] 정확히는 두 변의 비가 1로 간다. 로그로 쓰면 \(\ln n! = n\ln n - n + \frac{1}{2}\ln(2\pi n) + o(1)\)이다.
- 이 근사는 \(n = 10\)에서도 오차가 1% 미만일 만큼 정확하다.
- 간단한 버전: \(\ln n! \approx n\ln n - n\)이다. 이 버전은 \(\ln n! = \sum_{k=1}^n\ln k \approx \int_1^n\ln x\,dx\)에서 바로 얻는다.
\[\mathbf{P} = \binom{2n}{n}\frac{1}{4^n} = \frac{(2n)!}{(n!)^2\,4^n} \approx \frac{\sqrt{4\pi n}\,(2n/e)^{2n}}{2\pi n\,(n/e)^{2n}\,4^n} = \frac{1}{\sqrt{\pi n}}.\] 예를 들어 \(n = 50\)(100번 던지기)이면 약 \(0.080\)이다. 앞면이 정확히 절반 나올 확률은 가장 그럴듯한 값인데도 \(n\)이 커질수록 0으로 간다. 그 감소 속도는 \(1/\sqrt{n}\)이며, 이 속도는 중심극한정리에서 표준편차가 \(\sqrt{n}\)에 비례하는 것과 연결된다.
- 별과 막대로 센 결과들은 일반적으로 균등하지 않다. 개수 세기와 확률 계산을 혼동하지 말아야 한다.
- 포함-배제의 부호는 교집합의 개수에 따라 번갈아 바뀐다. 홀수 개의 교집합은 더하고, 짝수 개의 교집합은 뺀다.
- 반데르몽드 항등식의 합에서 범위 밖의 이항계수는 0으로 본다. 예를 들어 \(k > m\)이면 \(\binom{m}{k} = 0\)이다.
- 스털링 근사는 비율이 1로 가는 근사이지 차이가 0으로 가는 근사가 아니다. \(n!\)과 근삿값의 차이 자체는 커질 수 있다.
11. 부등식
큰 그림. 확률을 정확히 계산할 수 없을 때, 부등식은 확률이나 기댓값의 상한과 하한을 알려준다. 또한 많은 정리(상관계수의 범위, 큰 수의 법칙, 정보이론의 기본 결과)는 부등식으로 증명된다. 이 장은 확률·통계에서 가장 자주 쓰는 다섯 가지 부등식을 정리한다.
확률·통계에서 어디에 쓰이나. 합집합 상계, 상관계수 \(|\rho| \le 1\), \(\mathbf{E}[X^2] \ge (\mathbf{E}[X])^2\), 마르코프·체비셰프 부등식, 큰 수의 법칙, 기하분포와 지수분포의 꼬리 비교, 엔트로피와 KL 발산의 성질 등에 쓰인다.
기본 부등식
- 삼각 부등식: \(|a + b| \le |a| + |b|\)이다. 기댓값 버전은 \(|\mathbf{E}[X]| \le \mathbf{E}[|X|]\)이다.
- 합집합 상계(union bound, 불 부등식): \(\mathbf{P}\big(\bigcup_i A_i\big) \le \sum_i\mathbf{P}(A_i)\)이다. 사건들이 겹치는 정도를 모를 때도 쓸 수 있는 가장 간단한 상계이다.
- 단조성: \(X \le Y\)이면 \(\mathbf{E}[X] \le \mathbf{E}[Y]\)이다. \(A \subset B\)이면 \(\mathbf{P}(A) \le \mathbf{P}(B)\)이다.
- 마르코프 부등식 (미리보기): \(X \ge 0\)이고 \(a > 0\)이면 \(\mathbf{P}(X \ge a) \le \frac{\mathbf{E}[X]}{a}\)이다. 증명은 \(a\mathbf{1}\{X \ge a\} \le X\)의 양변에 기댓값을 취하는 것이다.
- 체비셰프 부등식 (미리보기): \(\mathbf{P}(|X - \mu| \ge c) \le \frac{\text{var}(X)}{c^2}\)이다. 마르코프 부등식을 \((X - \mu)^2\)에 적용하여 얻는다.
산술-기하 평균 부등식 (AM–GM)
음이 아닌 실수 \(a_1, \dots, a_n\)에 대해 다음이 성립한다. \[\frac{a_1 + \cdots + a_n}{n} \ge \sqrt[n]{a_1a_2\cdots a_n}.\] 등호는 모든 \(a_i\)가 같을 때만 성립한다.
- \(n = 2\)인 경우는 \((\sqrt{a} - \sqrt{b})^2 \ge 0\)을 전개하면 바로 얻는다: \(\frac{a+b}{2} \ge \sqrt{ab}\).
- 일반적인 경우는 \(\ln\)이 오목하다는 사실과 젠센 부등식으로 증명된다.
- 용도: 곱이 고정된 상황에서 합의 최솟값을 구하거나, 합이 고정된 상황에서 곱의 최댓값을 구할 때 쓴다. 예를 들어 \(p(1-p) \le \left(\frac{p + 1 - p}{2}\right)^2 = \frac{1}{4}\)이므로 베르누이 분포의 분산은 최대 \(1/4\)이다.
코시-슈바르츠 부등식 (Cauchy–Schwarz)
벡터 버전과 확률 버전은 다음과 같다. \[\Big(\sum_i x_iy_i\Big)^2 \le \Big(\sum_i x_i^2\Big)\Big(\sum_i y_i^2\Big), \qquad \big(\mathbf{E}[XY]\big)^2 \le \mathbf{E}[X^2]\,\mathbf{E}[Y^2].\] 등호는 한쪽이 다른 쪽의 상수배일 때만 성립한다.
증명 (확률 버전). 모든 실수 \(t\)에 대해 \(\mathbf{E}[(X - tY)^2] \ge 0\)이다. 전개하면 \(\mathbf{E}[X^2] - 2t\,\mathbf{E}[XY] + t^2\mathbf{E}[Y^2] \ge 0\)이다. 이 식은 \(t\)에 대한 이차식이 항상 0 이상이라는 뜻이므로, 판별식이 0 이하이다: \(4(\mathbf{E}[XY])^2 - 4\mathbf{E}[X^2]\mathbf{E}[Y^2] \le 0\).
상관계수는 \(\rho = \dfrac{\text{cov}(X,Y)}{\sigma_X\sigma_Y}\)로 정의된다. \(\tilde X = X - \mathbf{E}[X]\), \(\tilde Y = Y - \mathbf{E}[Y]\)로 두면 \(\text{cov}(X,Y) = \mathbf{E}[\tilde X\tilde Y]\)이다. 코시-슈바르츠 부등식에 의해 다음이 성립한다. \[\big(\text{cov}(X,Y)\big)^2 = \big(\mathbf{E}[\tilde X\tilde Y]\big)^2 \le \mathbf{E}[\tilde X^2]\,\mathbf{E}[\tilde Y^2] = \sigma_X^2\sigma_Y^2.\] 따라서 \(|\rho| \le 1\)이다. 등호 \(|\rho| = 1\)은 \(\tilde Y = c\tilde X\), 즉 \(Y\)가 \(X\)의 일차함수일 때만 성립한다.
젠센 부등식 (Jensen’s inequality)
\(g\)가 볼록함수이면 다음이 성립한다. \[g\big(\mathbf{E}[X]\big) \le \mathbf{E}\big[g(X)\big].\] \(g\)가 오목함수이면 부등호 방향이 반대이다.
증명 아이디어. \(\mu = \mathbf{E}[X]\)에서 \(g\)의 접선을 \(\ell(x) = g(\mu) + g'(\mu)(x - \mu)\)라 하자. 볼록함수는 접선보다 위에 있으므로 \(g(X) \ge \ell(X)\)이다. 양변에 기댓값을 취하면 \(\mathbf{E}[g(X)] \ge g(\mu) + g'(\mu)\cdot 0 = g(\mu)\)이다.
기억하는 법. 볼록함수 \(g(x) = x^2\)에 적용하면 \((\mathbf{E}[X])^2 \le \mathbf{E}[X^2]\)이며, 이는 분산이 0 이상이라는 사실이다. 방향이 헷갈릴 때는 이 예를 떠올리면 된다.
- \(g(x) = 1/x\)는 \(x > 0\)에서 볼록하므로 \(\mathbf{E}[1/X] \ge 1/\mathbf{E}[X]\)이다. L06의 무작위 속도 예제에서 \(\mathbf{E}[200/V] = 100.5\)가 \(200/\mathbf{E}[V] \approx 1.99\)보다 훨씬 컸던 이유이다.
- \(g(x) = \ln x\)는 오목하므로 \(\mathbf{E}[\ln X] \le \ln\mathbf{E}[X]\)이다. 이 부등식에서 산술-기하 평균 부등식이 나온다. \(X\)가 \(a_1, \dots, a_n\)을 똑같은 확률로 가지면 \(\frac{1}{n}\sum\ln a_i \le \ln\frac{1}{n}\sum a_i\)이고, 양변에 지수를 취하면 AM–GM이다.
- \(g(x) = e^{x}\)는 볼록하므로 \(\mathbf{E}[e^X] \ge e^{\mathbf{E}[X]}\)이다. 이 결과는 적률생성함수의 하한을 준다.
지수 부등식
모든 실수 \(x\)에 대해 다음이 성립한다. \[1 + x \le e^x.\] 등호는 \(x = 0\)일 때만 성립한다.
- 증명: \(e^x\)는 볼록하고, \(1 + x\)는 \(x = 0\)에서의 접선이다. 볼록함수는 접선보다 위에 있다.
- 확률에서의 용도: \(1 - p \le e^{-p}\)이므로 다음이 성립한다. \[(1 - p)^n \le e^{-np}.\] 즉 확률 \(p\)인 사건이 \(n\)번의 독립 시행에서 한 번도 일어나지 않을 확률은 \(e^{-np}\) 이하이다. 예를 들어 \(np = 5\)이면 그 확률은 \(e^{-5} < 0.007\)이다.
- 로그 버전: \(x > 0\)이면 \(\ln x \le x - 1\)이다. 이 부등식은 정보이론에서 KL 발산이 0 이상임을 보이는 데 쓰인다.
- 젠센 부등식의 방향을 헷갈리기 쉽다. 볼록함수이면 \(g(\mathbf{E}[X]) \le \mathbf{E}[g(X)]\)이다. \(x^2\) 예로 확인하라.
- 코시-슈바르츠의 확률 버전에는 중심화가 필요 없다. 상관계수에 적용할 때만 평균을 뺀 \(\tilde X, \tilde Y\)에 적용한다.
- 합집합 상계는 1보다 클 수 있다. 이 경우 상계는 사실상 쓸모가 없지만 틀린 것은 아니다.
- 마르코프 부등식은 \(X \ge 0\)일 때만 쓸 수 있다. 음수를 가질 수 있는 확률변수에는 \(|X|\)나 \((X-\mu)^2\)에 적용해야 한다.
- AM–GM은 음이 아닌 수에 대해서만 성립한다. 음수가 섞이면 기하평균이 정의되지 않거나 부등식이 깨진다.
12. 복소수와 생성함수
큰 그림. 생성함수는 수열이나 분포 전체를 하나의 함수로 압축하는 도구이다. 확률생성함수(PGF)와 적률생성함수(MGF)는 독립 확률변수의 합을 다룰 때 곱셈으로 바꾸어 주고, 미분으로 모멘트를 꺼낼 수 있게 해 준다. MGF가 존재하지 않는 분포를 위해서는 복소수를 이용한 특성함수가 쓰이므로, 복소수와 오일러 공식의 기초도 함께 정리한다.
확률·통계에서 어디에 쓰이나. 모멘트 계산, 독립 확률변수 합의 분포(합성곱 대신 곱), 분포의 유일성 판정, 중심극한정리의 증명, 특성함수 등에 쓰인다.
복소수
허수 단위 \(i\)는 \(i^2 = -1\)을 만족하는 수이다. 복소수(complex number)는 실수 \(a, b\)에 대해 \(z = a + bi\) 꼴의 수이며, \(a\)를 실수부, \(b\)를 허수부라 부른다.
- 연산: 덧셈은 실수부끼리, 허수부끼리 더한다. 곱셈은 분배법칙과 \(i^2 = -1\)을 이용한다: \((a + bi)(c + di) = (ac - bd) + (ad + bc)i\).
- 켤레복소수: \(\bar z = a - bi\)이다. \(z\bar z = a^2 + b^2\)은 항상 0 이상의 실수이다.
- 절댓값(크기): \(|z| = \sqrt{a^2 + b^2}\)이다. 복소평면에서 원점까지의 거리이다.
- 복소평면: 복소수 \(a + bi\)를 평면의 점 \((a, b)\)로 나타낼 수 있다. 극좌표로 쓰면 \(z = r(\cos\theta + i\sin\theta)\)이고, \(r = |z|\)이다.
오일러 공식
\[e^{i\theta} = \cos\theta + i\sin\theta.\]
- 유도: \(e^x\)의 매클로린 급수에 \(x = i\theta\)를 대입하고, 짝수 차수 항과 홀수 차수 항을 모으면 각각 \(\cos\theta\)와 \(i\sin\theta\)의 급수가 된다. \(i^2 = -1\), \(i^3 = -i\), \(i^4 = 1\)이 반복되기 때문이다.
- 결과: \(|e^{i\theta}| = 1\)이다. 즉 \(e^{i\theta}\)는 복소평면의 단위원 위의 점이다. 특히 \(\theta = \pi\)이면 \(e^{i\pi} + 1 = 0\)이다.
- 확률에서의 용도: 특성함수(characteristic function) \(\varphi_X(t) = \mathbf{E}[e^{itX}]\)는 \(|e^{itX}| = 1\)이므로 모든 확률변수에 대해 항상 존재한다. MGF가 존재하지 않는 분포(예: 코시 분포)도 특성함수는 가진다.
생성함수 (PGF, MGF)
- 확률생성함수(probability generating function, PGF): 음이 아닌 정수 값을 가지는 \(X\)에 대해 \(G_X(s) = \mathbf{E}[s^X] = \sum_{k=0}^\infty p_X(k)s^k\)이다.
- 적률생성함수(moment generating function, MGF): \(M_X(s) = \mathbf{E}[e^{sX}]\)이다. 이산이면 \(\sum_x e^{sx}p_X(x)\), 연속이면 \(\int e^{sx}f_X(x)\,dx\)이다.
핵심 성질.
- 모멘트 추출: \(M_X(0) = 1\)이고, \(M_X'(0) = \mathbf{E}[X]\), \(M_X''(0) = \mathbf{E}[X^2]\), 일반적으로 \(M_X^{(n)}(0) = \mathbf{E}[X^n]\)이다. \(e^{sX}\)를 테일러 전개하면 \(M_X(s) = \sum_n\frac{\mathbf{E}[X^n]}{n!}s^n\)이므로, \(s^n\)의 계수에 \(n!\)을 곱하면 \(n\)차 모멘트가 된다.
- 확률 추출 (PGF): \(p_X(k) = \frac{G_X^{(k)}(0)}{k!}\)이다. 즉 \(G_X(s)\)를 전개했을 때 \(s^k\)의 계수가 \(\mathbf{P}(X = k)\)이다. 또한 \(G_X'(1) = \mathbf{E}[X]\)이다.
- 독립 합은 곱이 된다: \(X\)와 \(Y\)가 독립이면 \(M_{X+Y}(s) = \mathbf{E}[e^{sX}e^{sY}] = M_X(s)\,M_Y(s)\)이다. PGF도 마찬가지이다.
- 선형 변환: \(M_{aX+b}(s) = e^{sb}M_X(as)\)이다.
- 유일성: 0 근처의 구간에서 MGF가 존재하고 두 확률변수의 MGF가 같으면, 두 확률변수는 같은 분포를 가진다.
\(X \sim\) 지수(\(\lambda\))이고 \(s < \lambda\)이면 다음이 성립한다. \[M_X(s) = \int_0^\infty e^{sx}\lambda e^{-\lambda x}\,dx = \lambda\int_0^\infty e^{-(\lambda - s)x}\,dx = \frac{\lambda}{\lambda - s}.\] \(s \ge \lambda\)이면 적분이 발산하므로 MGF는 \(s < \lambda\)에서만 정의된다.
- \(M_X'(s) = \frac{\lambda}{(\lambda - s)^2}\)이므로 \(\mathbf{E}[X] = M_X'(0) = \frac{1}{\lambda}\)이다.
- \(M_X''(s) = \frac{2\lambda}{(\lambda - s)^3}\)이므로 \(\mathbf{E}[X^2] = \frac{2}{\lambda^2}\)이다.
- 기하급수 전개로도 확인할 수 있다: \(\frac{\lambda}{\lambda - s} = \frac{1}{1 - s/\lambda} = \sum_n\frac{s^n}{\lambda^n}\)이다. \(s^n\)의 계수 \(\frac{1}{\lambda^n}\)에 \(n!\)을 곱하면 \(\mathbf{E}[X^n] = \frac{n!}{\lambda^n}\)이다.
\(X_1, \dots, X_n\)이 독립인 베르누이(\(p\))이면 각각의 PGF는 \(G_{X_i}(s) = (1-p) + ps\)이다. 독립 합의 PGF는 곱이므로 다음이 성립한다. \[G_{X}(s) = \big((1-p) + ps\big)^n = \sum_{k=0}^n\binom{n}{k}p^k(1-p)^{n-k}s^k.\] 두 번째 등호는 이항정리이다. \(s^k\)의 계수가 \(\mathbf{P}(X = k)\)이므로, \(X = \sum X_i\)는 이항분포(\(n, p\))를 따른다. 합성곱을 직접 계산하지 않고도 합의 분포를 얻었다.
\(X \sim N(0,1)\)이면 지수의 완전제곱 \(sx - \frac{x^2}{2} = -\frac{(x - s)^2}{2} + \frac{s^2}{2}\)을 이용하여 다음을 얻는다. \[M_X(s) = \int\frac{1}{\sqrt{2\pi}}e^{sx - x^2/2}\,dx = e^{s^2/2}\int\frac{1}{\sqrt{2\pi}}e^{-(x-s)^2/2}\,dx = e^{s^2/2}.\] 마지막 적분은 평균이 \(s\)인 정규 PDF의 넓이이므로 1이다. 선형 변환 성질에 의해 \(Y = \sigma X + \mu \sim N(\mu, \sigma^2)\)의 MGF는 \(e^{\mu s + \sigma^2s^2/2}\)이다. 독립 정규 확률변수의 합의 MGF는 이런 꼴의 곱이므로 다시 같은 꼴이 된다. 따라서 독립 정규 확률변수의 합은 정규분포를 따른다.
- MGF는 존재하지 않을 수 있다. 꼬리가 무거운 분포(코시, 일부 파레토 분포)는 0 근처에서도 \(\mathbf{E}[e^{sX}] = \infty\)일 수 있다. 특성함수는 항상 존재한다.
- MGF의 정의역을 확인해야 한다. 지수분포의 MGF는 \(s < \lambda\)에서만 정의된다.
- “독립 합 → MGF의 곱”은 독립일 때만 성립한다. 독립이 아니면 \(\mathbf{E}[e^{sX}e^{sY}] \ne \mathbf{E}[e^{sX}]\mathbf{E}[e^{sY}]\)일 수 있다.
- PGF의 모멘트는 \(s = 1\)에서, MGF의 모멘트는 \(s = 0\)에서 계산한다. \(G_X'(1) = \mathbf{E}[X]\)이고 \(M_X'(0) = \mathbf{E}[X]\)이다.
- \(|e^{i\theta}| = 1\)이지만 \(e^{i\theta}\) 자체는 1이 아니다. \(e^{i\theta}\)는 단위원 위의 점이며, \(\theta\)가 \(2\pi\)의 정수배일 때만 1이다.
부록
전체 노테이션 총정리
| 기호 | 장 | 의미 |
|---|---|---|
| \(\in\), \(\subset\) | 1 | 원소와 부분집합 관계이다. |
| \(\cup\), \(\cap\), \(A^c\), \(\setminus\) | 1 | 합집합, 교집합, 여집합, 차집합이다. |
| \(\Rightarrow\), \(\Leftrightarrow\) | 1 | 함의와 동치이다. |
| \(\forall\), \(\exists\) | 1 | “모든”과 “존재한다”이다. |
| \(f^{-1}(C)\) | 1 | 집합 \(C\)의 역상이다. |
| \(\mathbf{1}_A(x)\) | 1 | 집합 \(A\)의 지시함수이다. |
| \(\mathbb{N}, \mathbb{Z}, \mathbb{Q}, \mathbb{R}\) | 1 | 자연수, 정수, 유리수, 실수의 집합이다. |
| \(\sum\), \(\prod\) | 2 | 합과 곱 기호이다. |
| \(\lim\) | 2, 4 | 극한이다. |
| \(e\), \(\exp\) | 3 | 자연상수와 지수함수이다. |
| \(\ln\), \(\log\) | 3 | 자연로그와 로그(밑 확인 필요)이다. |
| \(x \to a^+\) | 4 | 오른쪽에서 \(a\)로 다가간다는 뜻이다. |
| \(\sup\), \(\inf\), \(\arg\max\) | 4 | 최소 상계, 최대 하계, 최대점이다. |
| \(O(\cdot)\), \(o(\cdot)\) | 4 | 빅오와 리틀오 점근 표기이다. |
| \(f'\), \(\frac{df}{dx}\), \(f^{(n)}\) | 5 | 도함수와 \(n\)계 도함수이다. |
| \(\int_a^b\), \(\big[G\big]_a^b\) | 6 | 정적분과 \(G(b) - G(a)\)이다. |
| \(\Gamma(\alpha)\), \(B(a,b)\) | 6 | 감마 함수와 베타 함수이다. |
| \(T_n(x)\) | 7 | \(n\)차 테일러 다항식이다. |
| \(\binom{\alpha}{k}\) | 7 | 일반화된 이항계수이다. |
| \(\frac{\partial f}{\partial x}\) | 8 | 편미분이다. |
| \(\nabla f\), \(H\) | 8 | 그래디언트와 헤시안이다. |
| \(\iint_D\) | 8 | 영역 \(D\) 위의 이중적분이다. |
| \(J\), \(\frac{\partial(x,y)}{\partial(u,v)}\) | 8 | 야코비안 행렬식이다. |
| \(\mathbf{x}^T\), \(\lVert\mathbf{x}\rVert\) | 9 | 전치와 노름이다. |
| \(A^{-1}\), \(\det A\), \(\text{tr}(A)\) | 9 | 역행렬, 행렬식, 대각합이다. |
| \(\Sigma\) | 9 | 공분산 행렬이다. (합 기호 \(\sum\)과 구별해야 한다.) |
| \(\binom{n}{n_1,\dots,n_r}\) | 10 | 다항계수이다. |
| \(i\), \(\bar z\), \(\lvert z\rvert\) | 12 | 허수 단위, 켤레복소수, 복소수의 크기이다. |
| \(G_X(s)\), \(M_X(s)\), \(\varphi_X(t)\) | 12 | 확률생성함수, 적률생성함수, 특성함수이다. |
자주 쓰는 공식 모음
급수
\[\sum_{k=1}^n k = \frac{n(n+1)}{2}, \quad \sum_{k=1}^n k^2 = \frac{n(n+1)(2n+1)}{6}, \quad \sum_{k=0}^\infty r^k = \frac{1}{1-r}, \quad \sum_{k=1}^\infty kr^{k-1} = \frac{1}{(1-r)^2}, \quad \sum_{k=0}^\infty\frac{x^k}{k!} = e^x.\]
극한
\[\lim_{n\to\infty}\Big(1 + \frac{x}{n}\Big)^n = e^x, \qquad \lim_{x\to\infty}x^ke^{-x} = 0, \qquad \lim_{x\to\infty}\frac{\ln x}{x} = 0.\]
적분
\[\int_{-\infty}^\infty e^{-x^2/2}\,dx = \sqrt{2\pi}, \qquad \int_0^\infty x^ne^{-\lambda x}\,dx = \frac{n!}{\lambda^{n+1}}, \qquad \int_0^1 x^{a-1}(1-x)^{b-1}\,dx = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}.\]
근사 (\(x \to 0\))
\[e^x \approx 1 + x, \qquad \ln(1+x) \approx x, \qquad (1+x)^\alpha \approx 1 + \alpha x, \qquad n! \approx \sqrt{2\pi n}\,(n/e)^n.\]
부등식
\[1 + x \le e^x, \qquad (\mathbf{E}[XY])^2 \le \mathbf{E}[X^2]\mathbf{E}[Y^2], \qquad g(\mathbf{E}[X]) \le \mathbf{E}[g(X)] \ (g \text{ 볼록}).\]
변환
\[f_Y(y) = f_X(h(y))\,\lvert h'(y)\rvert, \qquad dx\,dy = r\,dr\,d\theta, \qquad dx\,dy = \lvert J\rvert\,du\,dv, \qquad \text{Cov}(A\mathbf{X}+\mathbf{b}) = A\Sigma A^T.\]