안녕하세요! 오늘도 돌아온! 

확통도 미적분도 기하도 (기하는 원래 이해하기 어렵다는 나쁜 말은 ㄴㄴ)

모두가 이해할 수 없는 칼럼이 돌아왔습니다!

오늘은 교과 외의 지식인, 연속확률변수의 기댓값에 대해 다루어볼 것입니다.

먼저 이산확률변수의 기댓값의 정의에서 출발할 것입니다.

그다음 CDF, 즉 누적분포함수를 도입하여 이산확률변수의 기댓값을 다른 방식으로 다시 표현해볼 것입니다.

이후에는 이 아이디어를 연속확률변수에 비슷하게 적용해볼 것입니다.

연속확률변수에서는 가능한 값을 하나하나 나열할 수 없기 때문에, 구간을 잘게 나누고, 각 구간에 들어갈 확률을 CDF를 이용하여 나타낼 것입니다.

마지막으로 이 과정이 어떻게 적분으로 이어지는지 살펴보며, 연속확률변수의 기댓값을 다룰 예정입니다.

이 칼럼을 이해하기 위해서는 크게 두 가지 내용을 알고 있어야 합니다.

첫 번째, 확률과 통계 : 기댓값의 정의

두 번째, 미적분 : 구분구적법 (정적분과 급수의 합 사이의 관계)

두 내용을 여러분들은 알고 있으시겠죠?

그럼 시작해봅시다!

1. 이산확률변수에서의 기댓값을 그대로 연속확률변수에 적용하면 안 되나요?

이산확률변수에서 기댓값은 다음과 같이 정의됩니다.

이 정의를 아주 간단히 말하면, 가능한 값에 그 값이 나올 확률을 곱한 뒤 모두 더하는 것입니다.

우리는 이 이산확률변수의 기댓값 정의에서 출발하여, 연속확률변수의 기댓값을 이끌어낼 것입니다.

하지만 이 과정을 바로 진행할 수는 없습니다.

연속확률변수에서는 이산확률변수와는 다른 문제가 생기기 때문입니다.

바로, 연속확률변수에서는 한 점에서의 확률이 모두 0이 된다는 점입니다.

이산확률변수에서는 각각의 값이 확률을 가집니다.

예를 들어 어떤 값이 나올 확률, 또 다른 값이 나올 확률을 각각 따로 생각할 수 있습니다.

하지만 연속확률변수에서는 각각의 값이 확률을 갖는 것이 아닙니다.

대신 어떤 구간 안에 들어갈 확률이 의미를 가집니다.

즉 이산확률변수에서는 “한 값의 확률”을 이용해 기댓값을 정의했지만, 연속확률변수에서는 “한 구간의 확률”을 이용해야 합니다.

그래서 우리는 먼저 확률을 바라보는 방식을 바꿔야 합니다.

바로 CDF, 즉 누적분포함수를 이용해서 말이죠.

2. 누적분포함수 CDF

누적분포함수란 다음과 같은 함수를 의미합니다.

간단히 말하면, 누적분포함수는 어떤 값 x 이하가 나올 확률을 나타내는 함수입니다.

즉 x 보다 작거나 같은 값들이 나올 확률을 모두 더한 것이라고 볼 수 있습니다.

예를 들어, 주사위 하나를 던져서 나온 수를 확률변수 X라고 합시다.

그러면 F(1)은 1 이하의 수가 나올 확률이므로 1/6입니다.

또 F(3)은 3 이하의 수, 즉 1, 2, 3이 나올 확률이므로 1/2입니다.

마지막으로 F(6)은 6 이하의 수가 나올 확률이므로 1입니다.

CDF의 장점은 함수 자체가 실수 전체에서 정의된다는 점입니다.

예를 들어 주사위의 눈은 1, 2, 3, 4, 5, 6뿐이지만, CDF는 F(3.14), F(0), 심지어 x가 한없이 커질 때의 극한까지 생각할 수 있습니다.

물론 X가 주사위의 눈을 나타낸다면, 3.14라는 값이 실제로 나올 수는 없습니다.

하지만 F(3.14)는 “3.14 이하의 눈이 나올 확률”을 의미하므로 여전히 잘 정의됩니다.

이산확률변수의 CDF 그래프는 다음과 같이 계단식으로 그려집니다.

그래프를 보면, CDF가 가능한 값들에서만 점프하고 그 사이에서는 일정하게 유지된다는 것을 알 수 있습니다.

이로부터 CDF F(x)는 다음과 같은 성질을 가집니다.

첫 번째, CDF는 감소하지 않는 함수입니다.

즉 x가 커질수록 x 이하가 나올 확률은 줄어들지 않습니다.

두 번째, CDF는 오른쪽에서 연속입니다.

이것을 우연속이라고 합니다.

세 번째, x가 한없이 작아지면 CDF는 0에 가까워지고, x가 한없이 커지면 CDF는 1에 가까워집니다.

이제 이산확률변수의 기댓값을 CDF로 나타내보겠습니다.

이산확률변수에서 각각의 값이 나올 확률은 CDF의 점프 크기로 나타낼 수 있습니다.

즉 어떤 값에서 CDF가 얼마나 점프했는지가 바로 그 값이 나올 확률입니다.

따라서 이산확률변수의 기댓값은 CDF를 이용하여 다음과 같이 쓸 수 있습니다.

이 식은 새로운 정의가 아닙니다.

기존의 이산확률변수의 기댓값을 CDF의 언어로 다시 쓴 것입니다.

이제 이 표현을 기억해두고, 연속확률변수에서도 비슷한 생각을 이어가보겠습니다.

3. 연속확률변수에서의 기댓값

[a, b]에서 정의된 연속확률변수에서, 구간 [a, b]를 a = x_0 < x_1 < …< x_n = b 로 분할하였을 때, 연속확률변수에서의 기댓값은 다음과 같이 정의하겠습니다.

이때 ||P||는 분할된 구간 중 가장 큰 구간의 길이를 의미하며, x_i를 한없이 추가해 구간의 길이를 0에 한없이 가깝게 만들도록 한다는 의미입니다.

왜 이런 식으로 정의했는지 간단히 생각해봅시다.

연속확률변수에서는 한 값이 확률을 가지는 것이 아니라, 구간이 확률을 가진다고 했습니다.

따라서 작은 구간 하나에 들어갈 확률은 CDF의 차이로 나타낼 수 있습니다.

이제 이산확률변수에서 했던 것처럼, 값과 확률을 곱한 뒤 모두 더하는 형태를 생각합니다.

다만 연속확률변수에서는 구간을 잘게 나눌수록 더 정확한 값을 얻을 수 있습니다.

그래서 구간을 점점 더 잘게 나누고, 그때의 극한값을 연속확률변수의 기댓값으로 정의하는 것입니다.

이제 남은 것은, 이렇게 정의한 값이 적분 형태의 기댓값과 어떻게 연결되는지 확인하는 일입니다.

이를 위해 다음 단원에서는 평균값 정리를 사용해 CDF의 차이를 다루어보겠습니다.

4. 기댓값이 적분이라고?

아까 정의했던 연속확률변수의 기댓값

에서, F(x)가 미분가능하고 그 도함수가 확률밀도함수 f(x)인 경우, 다음과 같이 평균값 정리를 사용할 수 있습니다.

그러면 기댓값은 다음과 같이 바뀔 수 있습니다.

이제 이 값을 적분으로 나타내보도록 합시다.

구분구적법에 의하여, 구간의 길이가 한없이 작아질수록 c_i와 x_i의 차이도 한없이 작아집니다.

따라서 f(c_i)와 f(x_i)의 차이도 점점 작아진다고 볼 수 있습니다. (uniform continuity)

그러므로 앞에서 얻은 식은 다음과 같은 식으로 생각할 수 있습니다.

그런데 이것은 함수 \(xf(x)\)에 대한 정적분입니다.

따라서 구분구적법에 의해, 이 합은 다음 정적분으로 수렴합니다.

결국 우리가 CDF를 이용해 정의했던 연속확률변수의 기댓값은 확률밀도함수 f(x)에 대하여 다음과 같이 나타낼 수 있습니다.

즉 연속확률변수의 기댓값은 갑자기 등장한 공식이 아닙니다.

이산확률변수에서처럼 “값과 확률을 곱해서 더한다”는 생각을 유지하되, 연속확률변수에서는 그 더함이 무한히 잘게 쪼개진 합의 극한, 즉 적분으로 나타나는 것입니다.

5. 마무리

이러한 기댓값의 정의로부터, 다음과 같은 E(g(X))도 정의해볼 수 있습니다.

이때

이 성립하는 것은 연습문제로 남기겠습니다.

오늘은 이산확률변수의 기댓값에서 출발하여, 연속확률변수의 기댓값이 어떻게 정의되는지 살펴보았습니다.

처음에는 연속확률변수에서 한 점의 확률이 모두 0이 된다는 점 때문에, 이산확률변수의 기댓값 정의를 그대로 사용할 수 없어 보였습니다.

하지만 CDF를 이용하면 구간에 들어갈 확률을 다룰 수 있었고, 이를 통해 이산확률변수에서 사용했던 “값과 확률을 곱해서 더한다”는 생각을 연속확률변수에서도 이어갈 수 있었습니다.

물론 연속확률변수에서는 가능한 값들을 하나하나 나열할 수 없습니다.

그래서 구간을 잘게 나누고, 각 구간의 확률을 CDF의 차이로 나타낸 뒤, 그 합의 극한을 생각했습니다.

그리고 평균값 정리와 적분을 이용하면, 이 정의가 우리가 흔히 알고 있는 연속확률변수의 기댓값 공식으로 이어진다는 것도 확인할 수 있었습니다.

결국 이산확률변수와 연속확률변수의 기댓값은 완전히 다른 개념이 아닙니다.

둘 다 같은 생각에서 출발합니다.

값과 확률을 곱해서 모두 더한다.

다만 이산확률변수에서는 가능한 값들이 하나하나 떨어져 있으므로 그 더함이 합으로 나타납니다.

반면 연속확률변수에서는 확률이 구간에 퍼져 있으므로, 그 더함이 적분으로 나타납니다.

즉 연속확률변수의 기댓값은 갑자기 등장한 어려운 공식이 아닙니다.

이산확률변수의 기댓값을 조금 더 넓은 세계로 확장한 결과입니다.

그래서 오늘의 결론은 다음과 같습니다.

기댓값은 생각보다 어렵지 않습니다.

아니, 정확히 말하면 어려워 보이도록 포장되어 있었을 뿐입니다.

결국 핵심은 하나입니다.

값과 확률을 곱해서 더한다.

이산에서는 그냥 더하고, 연속에서는 적분으로 더한다.

이것만 기억하면 됩니다.