Mathematics for Business Statistics

Hiroshi Toyoizumi 1

December 21, 2006

1E-mail: toyoizumi@waseda.jp

Contents

1 Introduction 5

2 統計学とは 82.1 なんで、学ぶ必要があるの？ . . . . . . . . . . . . . . . . . . . 8

2.1.1 Moneyball: The Art of Winning an Unfair Game[4] . . . . 82.1.2 Behind Monty Hall’s Doors . . . . . . . . . . . . . . . . 8

2.2 統計学を使ってみると . . . . . . . . . . . . . . . . . . . . . . . 11

3 集合と論理 143.1 なぜ論理学？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143.2 集合とは . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153.3 集合の演算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153.4 論理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

4 写像と関数 184.1 写像とは . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184.2 関数とは . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.3 線形空間と線形写像 . . . . . . . . . . . . . . . . . . . . . . . . 20

5 ベクトル 215.1 ベクトルとは？ . . . . . . . . . . . . . . . . . . . . . . . . . . 215.2 ベクトルの演算 . . . . . . . . . . . . . . . . . . . . . . . . . . 22

6 行列 236.1 行列とは？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236.2 行列の演算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246.3 重要な行列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256.4 連立方程式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2

CONTENTS 3

7 逆行列と行列式 267.1 逆行列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267.2 逆行列と連立 1次方程式 . . . . . . . . . . . . . . . . . . . . . 277.3 逆行列とオプションの評価 . . . . . . . . . . . . . . . . . . . . 277.4 行列式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

8 数列と級数 308.1 数列とは？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308.2 漸化式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318.3 数列の極限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318.4 数列の部分和 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338.5 級数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

9 関数と極限 359.1 関数の極限 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359.2 連続関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369.3 変化率と微分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379.4 指数関数と対数関数 . . . . . . . . . . . . . . . . . . . . . . . . 38

10 微分法 4010.1 導関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4010.2 微分法の応用計算 . . . . . . . . . . . . . . . . . . . . . . . . . 4110.3 微分方程式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

11 偏微分と全微分 4511.1 ２変数の偏微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 4511.2 ２変数の Taylor展開 . . . . . . . . . . . . . . . . . . . . . . . . 4611.3 全微分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

12 積分法 4912.1 面積と定積分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4912.2 不定積分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5012.3 広義積分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

13 Basic Probability Theory 5413.1 Why Probability? . . . . . . . . . . . . . . . . . . . . . . . . . . 5413.2 Probability Space . . . . . . . . . . . . . . . . . . . . . . . . . . 5413.3 Conditional Probability and Independence . . . . . . . . . . . . . 5613.4 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 58

4 CONTENTS

13.5 Expectation, Variance and Standard Deviation . . . . . . . . . . . 5913.6 Covariance and Correlation . . . . . . . . . . . . . . . . . . . . . 6213.7 How to Make a Random Variable . . . . . . . . . . . . . . . . . . 6313.8 Example: Value at Risk . . . . . . . . . . . . . . . . . . . . . . . 6413.9 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6413.10Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Chapter 1

Introduction

　理科系出身以外の学生や数学的な基礎に不安がある学生向けに、統計学を学ぶ上で必要となる数学的な基礎知識の取得／復習を目指す。科学的な経営判断や最新のファイナンス理論を学ぶ上でも、理系的な教養は必須である。この科目では、そのための基礎的な知識として、微分・積分、線形代数、確率論の基礎といった理系的な教養を丁寧に解説し、より高度な定量的な分析手法を学ぶための基礎を固める。この科目は、講義形式で行うが、適宜、講義中に計算演習を行う。

Methods & Evaluation

講義形式定期試験 60％、提出物 40％

Requirements

理科系出身の学生および数学に自信のある学生は、統計学１をスキップして統計学２を受講して構わない。

Text book

木島正明、岩城秀樹 (著)、経済と金融工学の基礎数学、朝倉出版

5

6 CHAPTER 1. INTRODUCTION

Figure 1.1: 教科書：経済と金融工学の基礎数学 [3]

スケジュール1. 統計学とは

2. 集合と論理

3. 写像と関数

4. ベクトル

5. 行列　

6. 逆行列と行列式

7. 固有値と固有ベクトル

8. 数列と級数

9. 関数と極限

10. 微分法

7

11. 偏微分と全微分

12. 積分

13. 確率

Chapter 2

統計学とは

2.1 なんで、学ぶ必要があるの？直感は必ずしも、役に立たない。複雑な状況で、より科学的な判断を使い、よりよい意思決定のために統計学や確率論を学ぶ。

2.1.1 Moneyball: The Art of Winning an Unfair Game[4]メジャーリーグで、いかに低予算で好成績をおさめるか？今までの直感にたよる球団経営から科学的データを統計分析に基づいて、効果的な方法を見つける。

1. バントはしない

2. 盗塁はしない

3. ホームランバッターと選球眼重視

4. 打点、防御率はナンセンス

2.1.2 Behind Monty Hall’s DoorsHere’s simple example from [5].

Example 2.1 (Behind Monty Hall’s Doors). There is a famous quiz show in US,called Let’s Make a Deal. The MC of the show is Monty Hall.

8

2.1. なんで、学ぶ必要があるの？ 9

Figure 2.1: Moneyball: The Art of Winning an Unfair Game[4]

Figure 2.2: Monty Hall appeared in Let’s Make a Deal adopted fromhttp://www.curtalliaume.com/lmad.html

10 CHAPTER 2. 統計学とは

Suppose you’re on a game show, and you’re given the choice of threedoors: Behind one door is a car; behind the others, goats. You picka door, say No. 1, and the host, who knows what’s behind the doors,opens another door, say No. 3, which has a goat. He then says to you,”Do you want to pick door No. 2?” Is it to your advantage to switchyour choice?

2.2. 統計学を使ってみると 11

2.2 統計学を使ってみると実際に統計学を使ってみよう。

Example 2.2. 自分がピザチェーンのマーケティング担当になったと仮定しよう。各地区のピザの売り上げと広告費の関係は次の表とグラフにまとめることができた。

Table 2.1: 広告費 and Pizza sales.

広告費 (x) Pizza Sales (y) x2 xy y2

5 27 25 135 72910 46 100 460 211620 73 400 1460 5329

8 40 64 320 16004 30 16 120 9006 28 36 168 784

12 46 144 552 211615 59 225 885 3481

sum 80 349 1010 4100 17055average 10 43.625 126.25 512.5 2131.875

広告費と売り上げの間には、なんらかの関係がありそうである。そこで回帰分析を行った。すると広告費 (x)とピザの売り上げ (y)の間には次のような関係が成立することがわかった。

y = 2.905x+14.577. (2.1)

Remark 2.1. この式の導出の仕方と確からしさを知りたいと思った人は、統計学と統計的分析手法の講義をとって回帰分析を学びましょう。この関係を使い、売り上げの少ない地区に重点的にキャンペーンを行え

ば、来年度のピザの売り上げが飛躍的に伸びる。また、どの程度の売り上げになるかを予測することも可能である。

クイズ：上の議論は正しいですか？

12 CHAPTER 2. 統計学とは

5

10

20

8

46

12

15

0

10

20

30

40

50

60

70

80

0 5 10 15 20 25

Figure 2.3: 広告費 and Pizza sales

2.2. 統計学を使ってみると 13

5

10

20

8

46

12

15

0

10

20

30

40

50

60

70

80

0 5 10 15 20 25

Figure 2.4: 広告費 and Pizza sales

Chapter 3

集合と論理

3.1 なぜ論理学？確率論や統計学で、条件を満たすような集合を論理的に表し、その上で演算を行なう必要がある。その場合に、集合と論理の考え方は非常に重要である。

Problem 3.1. あなたとあなたの友人は二人で１０万円をわけるように言われた。但し、次の条件付きである。

1. １０万円の配分はあなたの友人が自由に決められる。

2. あなたには、友人が決めた配分を拒否する権利がある。

3. あなたが、友人の決めた配分を拒否した場合には、ふたりとも１０万円を取得することはできない。

さて、あなたはいくらなら、友人の配分額を受け入れますか？

人間は、必ずしも、論理的な判断が得意なわけではない。例えば、次のような事例が知られている。John CassidyのNew Yorkerの記事 [1]より

Each of the patients had a lesion in one of three regions of thebrain that are central to the processing of emotions: the amygdala,the orbitofrontal cortex, or the right insular cortex. The researcherspresented the patients with a series of fifty-fifty gambles, in whichthey stood to win a dollar-fifty or lose a dollar. This is the type ofgamble that people often reject, owing to loss aversion, but the pa-tients with lesions accepted the bets more than eighty per cent of the

14

3.2. 集合とは 15

time, and they ended up making significantly more money than a con-trol group made up of people who had no brain damage.“ Clearly,having frontal damage undermines the over-all quality of decision-making,”Loewenstein, Camerer, and Drazen Prelec, a psychologistat M.I.T.’s Sloan School of Management, wrote in the March, 2005,issue of the Journal of Economic Literature[2].“ But there are situa-tions in which frontal damage can result in superior decisions.”

3.2 集合とはDefinition 3.1. なんらかの条件を満たすものの集まりを集合という。Definition 3.2. 集合を構成する個々のものを要素という。いくつかの例

a ∈ A. (3.1)b ∈ A. (3.2)

/0. (3.3)Ω. (3.4)

A ⊂ B (3.5)

N, (3.6)Z, (3.7)Q, (3.8)R. (3.9)

3.3 集合の演算

A∩B = x : x ∈ A,x ∈ B. (3.10)A∪B = x : x ∈ A, or x ∈ B. (3.11)

n∩i=1

Ai = A1 ∩A2 ∩·· ·∩An. (3.12)

16 CHAPTER 3. 集合と論理

A∩B = /0. (3.13)

Theorem 3.1 (分配法則). (n∪

i=1

Ai

)∩B =

n∪i=1

(Ai ∩B) . (3.14)

Ac = x : x ∈ Ω,x ∈ A. (3.15)A\B = x : x ∈ A,x ∈ B. (3.16)

Theorem 3.2 (ド・モルガン).

X\

(n∪

i=1

Ai

)=

n∪i=1

X\Ai, (3.17)

X\

(n∩

i=1

Ai

)=

n∩i=1

X\Ai. (3.18)

3.4 論理Definition 3.3 (命題). 命題とは、真偽がはっきりと決定される主張である。

Definition 3.4 (真理値). 命題 Pが真であるとき T (True)、偽のとき F (False)といい、この T、Fのことを真理値と呼ぶ。

命題は、集合と同様に取り扱うことができる。

P∪Q, (3.19)P∩Q, (3.20)

Pc. (3.21)

Definition 3.5 (条件命題). PならばQ。

P → Q. (3.22)

3.4. 論理 17

P → Q = Pc ∪Q. (3.23)

Definition 3.6 (推論). ２つの命題 PとQを考える。

1. PとQの真偽が一致するとき、PとQは同値といい、P ⇔ Qと書く。

2. Pが真のときQも真であるならば、QはPから推論されるといい、P⇒Qと書く。

数学的推論の基本構造（３段論法）

Pが真で、かつ P → Qが真であるならば、Qは真である。

Chapter 4

写像と関数

4.1 写像とはDefinition 4.1 (写像). 写像とは、（多対１の）対応の規則である。次のように書く。

b = f (a). (4.1)

写像の適用範囲を明示する場合には、次のように書く。

f : A → B. (4.2)

Definition 4.2 (逆写像). 逆写像を f−1とかき、

f (a) = b ⇔ f−1(b) = a. (4.3)

の関係がある。但し、逆写像は、定義できない場合もある。

Definition 4.3 (合成写像).

g f (a) = g( f (b)). (4.4)

Theorem 4.1 (結合法則).

(hg) f = h (g f ). (4.5)

18

4.2. 関数とは 19

4.2 関数とはDefinition 4.4 (合成写像). 実数 R（の部分集合）に対して、ひとつ値が定まるような写像を関数という。

Example 4.1.

f (x) = 2x+1. (4.6)

f (x) = x2 +2x+1. (4.7)

関数はグラフに書くことによって、その性質を幾何学的に把握しやすくなる。人間は、規則全体を個別に理解することは不得手なので、グラフに書くということは、関数の性質を知る上で、非常に重要である。関数を見たら、グラフを書きましょう。

Problem 4.1.

f (x) = 2x+1. (4.8)

f (x) = x2 +2x+1. (4.9)

のグラフを書け。

Example 4.2 (効用関数). 時刻０で S0の資産が、時刻１で S1となった場合、収益率 (リターン）Rは

R =S1 −S0

S0. (4.10)

で与えられる。この収益率にたいして、例えば、効用関数 uを次のように定義する。

u(R) = logR. (4.11)

log関数は、単調増加関数なので、

u(R1) > u(R2), (4.12)

の時には、R1の投資案件を選ぶ。

Problem 4.2. log関数のグラフを描き、単調像かであることを確かめよ。また、他には、どんな単調増加関数があるか？例をあげろ。

20 CHAPTER 4. 写像と関数

Definition 4.5 (逆関数).

y = f (x), (4.13)

を満たす xが唯一存在するとき、yに xを対応させる関数を f−1と書く。

x = f−1(y). (4.14)

Remark 4.1. 逆関数は、いつでも存在するわけではない。R上全域で存在しない場合でも、定義域を制限することで、存在することがある。

Problem 4.3.

f (x) = 2x+1. (4.15)

f (x) = x2 +2x+1. (4.16)

の逆関数を求めよ。

4.3 線形空間と線形写像Definition 4.6 (線形結合). x,y ∈ Sの線形結合とは、

αx+βy (4.17)

を言う。但し、α,β ∈ R。

Definition 4.7 (線形空間). x,y ∈ Sの線形結合 αx+βyが

αx+βy ∈ S (4.18)

の時、Sは線形空間と呼ばれる。

Example 4.3. 無限に小さい単位で売買可能で、空売りが可能な証券市場は、線形空間である。

Definition 4.8 (線形写像).

f (αx+βy) = α f (x)+β f (y), (4.19)

を満たすとき、 f は線形写像と呼ばれる。

Chapter 5

ベクトル

5.1 ベクトルとは？Definition 5.1 (ベクトル). いくつかの数や文字を順番に並べたものであり、以下のように書く。

x = (x1,x2, · · · ,xn). (5.1)

y =

y1...

yn

. (5.2)

ベクトルは、しばしば、空間内の位置と同一視される。

Problem 5.1. 会計士の業務で、ベクトルに見なすことができることの例を２つあげろ。

x = (x1,x2, · · · ,xn) ∈ R. (5.3)

Definition 5.2 (ベクトルの転置).

x = (x1,x2, · · · ,xn), (5.4)

xT =

x1...

xn

. (5.5)

21

22 CHAPTER 5. ベクトル

5.2 ベクトルの演算ベクトルの和：

x+y = (x1 + y1,x2 + y2, · · · ,xn + yn). (5.6)

交換法則：

x+y = y+x. (5.7)

結合法則：

(x+y)+ z = x+(y+ z). (5.8)

Problem 5.2. 交換法則や結合法則が成り立つ経済現象の例をあげろ。また、成り立たない例をあげろ。

スカラー倍：

αx = (αx1,αx2, · · · ,αxn). (5.9)

内積：

x ·y = x1y1 + x2y2 + · · ·+ xnyn. (5.10)

Definition 5.3 (直交). 二つのベクトルが直交する。

x ·y = 0. (5.11)

Definition 5.4 (ノルム). ベクトルの大きさは、通常、次のように定義されるノルムで計ることができる。

||x|| =√

x ·x (5.12)

=√

x21 + x2

2 + · · ·+ x2n. (5.13)

Chapter 6

行列

6.1 行列とは？Definition 6.1. 行列とは、いくつかの数字や文字を、たてと横に並べたもの。

A = (ai j) (6.1)

=

a11 a12 · · · a1na21 a22 · · · a2n· · ·am1 am2 · · · amn

(6.2)

Example 6.1 (じゃんけんの利得行列). プレイヤーAとプレイヤーBがじゃんけんする。勝つとコインを貰える。それぞれに、次のような番号をつける。

• 1：グー

• 2：チョキ

• 3：パー

プレイヤーAが i、プレイヤー Bが jを出したときの得失を ri jとする。

RA = (ri j) (6.3)

=

0 1 −1−1 0 11 −1 0

(6.4)

23

24 CHAPTER 6. 行列

Problem 6.1.

RA +RB = 0, (6.5)

を示せ。

6.2 行列の演算Definition 6.2 (転置). 行列の (i, j)成分と ( j, i)成分を入れ替えることを転置という。

Example 6.2.

A =(

1 2 34 5 6

), (6.6)

ならば、その転置AT は

AT =

1 42 53 6

. (6.7)

Definition 6.3 (行列の和、差、積).

A+B = (ai j +bi j), (6.8)A−B = (ai j −bi j), (6.9)

αA = (αai j), (6.10)

AB =

(∑k

aikbk j

). (6.11)

Remark 6.1. 普通の積と違って、行列の積は交換法則は成立しない。

AB = BA. (6.12)

Problem 6.2.

A =(

1 2 34 5 6

), (6.13)

6.3. 重要な行列 25

B =

1 21 21 3

, (6.14)

の時、1. AB =?

2. BA =?

6.3 重要な行列Definition 6.4 (単位行列). 実数における 1に相当する行列を単位行列と呼ぶ。

I = (δi j) (6.15)

=

1 0 · · · 00 1 · · · 0

· · ·0 0 · · · 1

(6.16)

Theorem 6.1.

AI = IA = A. (6.17)

6.4 連立方程式連立方程式を行列を使って表すことができる。

b = Ax (6.18)b1b2· · ·bn

=

a11 a12 · · · a1na21 a22 · · · a2n

· · ·an1 an2 · · · ann

x1x2· · ·xn

(6.19)

Problem 6.3. 次の連立方程式を解け。 5−110

=

1 2 30 1 −10 0 2

x1x2x3

(6.20)

Chapter 7

逆行列と行列式

7.1 逆行列Definition 7.1. 行列Aに対して

AX = XA = I, (7.1)

の時、X = A−1を逆行列と呼ぶ。

Theorem 7.1. ２行２列の行列の場合には次のようになる。(a bc d

)−1

=1

ad −bd

(d −b−c a

). (7.2)

Problem 7.1.

A =(

120 1.0580 1.05

)(7.3)

とした時に、この逆行列を求めよ。

Remark 7.1. 逆行列はいつも存在するとは限らない。

Definition 7.2. 逆行列が存在するとき、その行列は正則であると言う。

Theorem 7.2. 逆行列は存在すれば、一意である。

26

7.2. 逆行列と連立 1次方程式 27

7.2 逆行列と連立1次方程式逆行列を使って、連立方程式を解いてみる。

Ax = b (7.4)

逆行列が存在する（正則な）場合には、A−1が計算できる。(7.4)の両辺において、左側からA−1をかける。

x = A−1b. (7.5)

したがって、b−1がわかっていれば、簡単に連立方程式が解ける。

Problem 7.2. Problem 7.1と同様に

A =(

120 1.0580 1.05

)(7.6)

とする。

Ax =(

200

)(7.7)

を解け。

7.3 逆行列とオプションの評価株式のオプションの現在価値を評価するのに逆行列の考え方を応用できる。

Example 7.1. 株式の現在の価格が 100円で、1単位期間後に 120円か 80円になる。この株式に対して、行使価格 100円のコールオプション（株価 100円で買う権利）を考える。株価の値動きによって、次の二つのケースが考えられる。

1. 株価=120円。この場合には、コールオプションを行使して、市場より安い 100円で株を調達できるので、20円の利益が得られる。

2. 株価=80円。この場合には、コールオプションを放棄する。利益は 0になる。

Problem 7.3. なぜ、放棄するのか？

28 CHAPTER 7. 逆行列と行列式

このコールオプションを銀行預金 B円と現物の株式 x株の購入によるポートフォリオで「複製」する。このポートフォリオの現在価値は

100x+B. (7.8)

1単位期間後には、このポートフォリオの価値は、株価の状況に応じて、次のように二つの場合が考えられる。

120x+1.05B,

80x+1.05B.(7.9)

この二つが、ちょうど、コールオプションの価値と一致するように (x,B)を調整できれば、コールオプションが複製できたことになる。すなわち、連立方程式

120x+1.05B = 20,

80x+1.05B = 0.(7.10)

を (x,B)について解けばよい。ここで、

A =(

120 1.0580 1.05

)(7.11)

とすると、

A(

xB

)=

(200

). (7.12)

逆行列A−1を使って解くことができる。

Problem 7.4. (x,B)を求めよ。

求められた、ポートフォリオの現在価値は、(7.8)より求められる。これが、コールオプションの現在価値と等しい。

Problem 7.5. このコールオプションの適正な値段を求めよ。

7.4. 行列式 29

7.4 行列式行列の性質を測る道具として、行列式は有用です。

Definition 7.3. ２行２列の行列の行列式。

A =(

a bc d

), (7.13)

とすると

detA = |A| = ad −bc. (7.14)

行列式を使うと、逆行列は次のように表すことができる。

(a bc d

)−1

=1

detA

(d −b−c a

). (7.15)

Theorem 7.3. 正方行列Aが正則である（逆行列を持つ）。⇐⇒ detA = 0.

Chapter 8

数列と級数

8.1 数列とは？Definition 8.1.

a1,a2,a3, . . . , (8.1)

のように順番をつけて並べた数を数列という。

Example 8.1 (元利合計). P0を元本とし、n年後の元利合計を Pnとすると、

P0,P1,P2,P3, . . . , (8.2)

という数列ができる。

Problem 8.1. 元本が１００万円で、金利が 7%だとして、上の数列を具体的に計算せよ。

Definition 8.2 (等差数列).

an+1 −an = d, (8.3)

であるとき、anを等差数列という。一般項は

an = a+nd. (8.4)

で与えられる。

30

8.2. 漸化式 31

Definition 8.3 (等比数列).

an+1 = ran, (8.5)

であるとき、anを等比数列という。一般項は、

an = arn. (8.6)

で与えられる。

Problem 8.2. Problem 8.1において、金利を r %とした時、第 n期の元利合計金額の一般項を求めよ。

8.2 漸化式Example 8.2. 毎期始めに、C円づつ積み立てる。金利が r %である時、n期末の元利合計を Pnとする。すると、次のような漸化式が成立する。

Pn+1 −Pn = C + r(Pn +C). (8.7)

Problem 8.3. 上の式が成立することを確かめよ。

8.3 数列の極限Definition 8.4 (収束). 数列 anにおいて、nが限りなく大きくなるときに、anがある定数 lに近づくとき、anは lに収束するという。

limn→∞

an = l. (8.8)

または、

an → l. as n → ∞. (8.9)

と書く。

Remark 8.1. 数列はいつも収束するとは限らない。

Definition 8.5. 数列が収束しないとき、その数列は発散するという。このときには、次の３つのケースが考えられる。

32 CHAPTER 8. 数列と級数

1. anが正の無限大に発散する。

limn→∞

an = +∞. (8.10)

2. anが負の無限大に発散する。

limn→∞

an = −∞. (8.11)

3. anは振動する。

Example 8.3. 発散、収束の例。

1.

limn→∞

1n+1

= 0. (8.12)

2.

limn→∞

(n2 −8n) = +∞. (8.13)

3.

limn→∞

(−n2 +8n) = −∞. (8.14)

4.

limn→∞

(−1)n =発散. (8.15)

Definition 8.6 (自然対数の底).

e = limn→∞

(1+

1n

)n

. (8.16)

Example 8.4 (連続複利モデル). 年率 rで n回単純複利がつく預金を考える。各期間では、r/nの利率なので、元本 Bだけ預金をすると、１年後には、

P = B(

1+rn

)n, (8.17)

8.4. 数列の部分和 33

となる。ここで、nが大きくなると

P = limn→∞

B(

1+rn

)n, (8.18)

n = Nrとすると、

P = limn→∞

B(

1+1N

)Nr

= Ber. (8.19)

8.4 数列の部分和Definition 8.7. 数列 anに対して、

Sn = a1 +a2 + · · ·+an, (8.20)

を部分和という。部分和に対しては、「比較的」自由に計算が可能。

Theorem 8.1.n

∑k=0

(cak +bk) = cn

∑k=0

ak +n

∑k=0

bk (8.21)

8.5 級数Definition 8.8 (級数).

∞

∑n=0

an = a0 +a1 + · · · . (8.22)

を数列 anの級数とよぶ。

Sn =∞

∑n=0

an, (8.23)

とするとき、

limn→∞

Sn = S, (8.24)

のように Snが収束するとき、anの級数が収束するという。

34 CHAPTER 8. 数列と級数

Theorem 8.2 (等比級数).

an = arn, (8.25)

の等比数列を考える。

1. r ≥ 1の場合、

limn→∞

Sn =∞

∑n=0

arn = ∞. (8.26)

2. −1 < r < 1の場合、

limn→∞

Sn =∞

∑n=0

arn =a

1− r. (8.27)

3. r < −1の場合、limn→∞ Sn = ∑∞n=0 arnは振動する。

Chapter 9

関数と極限

9.1 関数の極限Definition 9.1 (関数の極限). 変数 xがある値 cに近づくとき、関数 f (x)の値がある定数 aに近づくとき、 f (x)は aに収束するという。また、そのとき、

limx→c

f (x) = a, (9.1)

f (x) → a as (x → c), (9.2)

の様に書く。

Remark 9.1. xの近づけ方は、右側からと左側からの２通りが考えられる。これら２通りが一致する保証はない。これらを区別するために、右極限、左極限と呼ぶ。

Definition 9.2 (右極限、左極限). 右極限と左極限を区別するために、次のように書く。

limx↑c

f (x) = a：左極限, (9.3)

limx↓c

f (x) = b：右極限. (9.4)

Remark 9.2. 右極限と左極限が一致するときに、関数は収束する。

limx↑c

f (x) = limx↓c

f (x) = a. (9.5)

35

36 CHAPTER 9. 関数と極限

Problem 9.1. 次の関数の右極限と左極限が一致しないことを確かめろ。

f (x) =|x|x

, (9.6)

x = 0.

9.2 連続関数Definition 9.3 (連続). 極限がその関数と一致するとき、すなわち、

limx→c

f (x) = f (c), (9.7)

のとき、 f (x)が cで連続という。また、定義されている区間全体で連続なとき、その関数は連続という。

Theorem 9.1. 関数が連続なときには、limと関数の順序は交換できる。

limx→c

f (g(x)) = f (limx→c

g(x)) (9.8)

次の二つの定理は非常に重要である。直感的には明らかだが、数学的に証明するのは難しい。

Theorem 9.2 (中間値の定理). 連続な関数は、必ず「中間」の値をとる。すなわち、閉区間 [a,b]において f (x)が連続で、f (a) < f (b)のとき、f (a) <

k < f (b)となる任意の kに対して、

f (c) = k (9.9)

となる c ∈ (a,b)が存在する。

Theorem 9.3 (最大最小の定理). 連続な関数は、閉区間で、必ず「最大（最小）」の値をとる。

Example 9.1 (社債の利回り). i年後に受け取るクーポン額がCiの額面 Fの n年満期の社債を考える。この社債が市場で Pで取引されているとき、この社債の（最終）利回りを求める。利率 rの銀行預金を考え、社債のキャッシュフローの現在価値を考える。

f (r) =n

∑i=1

Ci

(1+ r)i +F

(1+ r)n . (9.10)

9.3. 変化率と微分 37

このキャッシュフローの現在価値がちょうど現在価格と一致するとすると、

P = f (r). (9.11)

(9.11)満たす rが、この社債の利回りに他ならない。実際、利率 rの銀行預金Pは、社債と同じキャッシュフローを作ることができる。Problem 9.2. P = f (r)が社債と同じキャッシュフローを作ることができることを確かめよ。Problem 9.3. P = f (r)を満たす rは存在するか？存在するとすれば、どんなときに存在するか？ここで、

f (r) =n

∑i=1

Ci

(1+ r)i +F

(1+ r)n . (9.12)

は連続関数である。また、

limr→∞

f (r) = 0. (9.13)

さらに、

f (0) = F +n

∑i=1

Ci. (9.14)

したがって、F +∑ni=1Ci > P（トータルキャッシュフローが現在価格より高い

とき！）のとき、Theorem 9.2より必ず中間の値が存在するので、

f (r) = P, (9.15)

を満たす rが存在する。

9.3 変化率と微分Definition 9.4. 次の極限が存在するときに、これを f の微分と呼ぶ。

f ′(α) = lim∆x→0

f (α +∆x)− f (α)∆

(9.16)

Problem 9.4.

f (x) = x3 +3x2 −2x+6, (9.17)

の微分を求めろ。

38 CHAPTER 9. 関数と極限

9.4 指数関数と対数関数Definition 9.5 (ベキ乗).

an = a×a×·· ·×a, (9.18)

a0 = 1, (9.19)

a−n =1an , (9.20)

am/n = (a1/n)m. (9.21)

Theorem 9.4. a > 0に対して、指数関数y = f (x) = ax, (9.22)

は xについて連続関数である。Problem 9.5. 指数関数 f (x) = axのグラフを書け。Theorem 9.5. a > 0と任意の実数 xと yに対して、次が成立する。

ax+y = axby, (9.23)

ax−y =ax

ay , (9.24)

(ax)y = axy. (9.25)

Definition 9.6 (対数関数). x > 0に対して、y = f (x) = ax, (9.26)

の逆関数を、（a = 1を底とする）対数関数といい、y = loga x. (9.27)

Theorem 9.6.

loga 1 = 0, (9.28)loga a = 1, (9.29)

loga xy = loga x+ loga y, (9.30)

logaxy

= loga x− loga y, (9.31)

loga xy = y loga x, (9.32)

ax = bx logb a. (9.33)(9.34)

9.4. 指数関数と対数関数 39

Definition 9.7 (自然対数). eを底とする対数を自然対数と呼ぶ。

lnx = loge x. (9.35)

Theorem 9.7.

f (x) = ax, (9.36)

とすると、

f ′(x) = ax loga. (9.37)

Chapter 10

微分法

10.1 導関数Definition 10.1. 関数 f (x)が全体で微分可能なとき、その微分を導関数とよび、

f ′(x) =ddx

f (x) = lim∆x→0

f (x+∆x)− f (x)∆x

(10.1)

Theorem 10.1.

Table 10.1: 導関数の公式

f(x) f’(x)Constant 0

xα αxα−1

ex ex

ax(a = 1,a > 0) ax logalog |x| 1/x

Theorem 10.2 (微分の基本). 関数 f (x)と g(x)が微分可能とする。

(a f (x)+bg(x))′ = a f ′(x)+bg′(x). (10.2)( f (x)g(x))′ = f ′(x)g(x)+ f (x)g′(x). (10.3)

40

10.2. 微分法の応用計算 41

Example 10.1.

(x2ex)′ = (x2)′ex + x2(ex)′

= 2xex + x2ex.

Theorem 10.3 (合成関数の微分). 関数 y = f (u)と u = g(x)が微分可能とする。dydx

=dydu

dudx

. (10.4)

Example 10.2. (x2 +1)4′

= 4(x2 +1)3(x2 +1)′ = 8x(x2 +1)3.

Definition 10.2 (高次の導関数). 関数 f (x)の導関数 f ′(x)が微分可能なときに、２次導関数を考えることができる。

f ′′(x) =d2

dx2 f (x) =ddx

f ′(x). (10.5)

さらに、一般に高次の導関数を次のように定義する。

f (n)(x) =dn

dxn f (x) =ddx

f (n−1)(x). (10.6)

10.2 微分法の応用計算関数の増減をチェックすることに、微分が使える。

Theorem 10.4 (関数の増減). f (x)が微分可能なとき、

• f ′(x) = 0ならば f (x)は定数で一定。

• f ′(x) ≥ 0ならば f (x)は増加関数。

• f ′(x) ≤ 0ならば f (x)は減少関数。

Example 10.3.

f (x) = x− log(1+ x), (10.7)

の増減を微分して調べる。

f ′(x) = 1− 11+ x

. (10.8)

42 CHAPTER 10. 微分法

1. x ≥ 0の場合 f ′(x) ≥ 0なので、増加。

2. x ≤ 0の場合 f ′(x) ≤ 0なので、減少。

Theorem 10.5 (ロピタルの定理). 分母、分子の極限のがともに 0になるときには、

limx→a

f (x)g(x)

= limx→a

f ′(x)g′(x)

. (10.9)

Example 10.4.

limx→1

x2 − xx2 + x−2

= limx→1

(x2 − x)′

(x2 + x−2)′

= limx→1

2x−12x+1

= −1.

Definition 10.3 (∆xのオーダー). ∆x → 0のときに、関数 g(∆x)が 0に収束がxより速いとき、正確には、

lim∆x→0

g(∆x)∆x

, (10.10)

のとき、g(x)を ∆xの（スモール）オーダーといい、

o(∆x), (10.11)

で表す。

Example 10.5.

g(x) = x2. (10.12)

の場合、

limx→0

g(x)x

= limx→0

x2

x= 0,

となり、g(x) = x2は ∆xの（スモール）オーダーである。

10.3. 微分方程式 43

Problem 10.1.

g(x) = −5x2 +2x3, (10.13)

は ∆xの（スモール）オーダーか？

Definition 10.4 (Taylor展開). 関数 f (x)は、x = aの周りで、次のようにTaylor展開で近似することができる。

f (x) = f (a)+ f ′(a)(x−a)+ · · ·+ f (n)(a)

n!(x−a)n +R. (10.14)

ここで、Rは剰余項と呼ばれ、R = o((x−n)n)のオーダーである。

Definition 10.5 (Maclaurin展開). Taylor展開において、特に、a = 0の周りでの展開をMaclaurin展開という。

Example 10.6. 指数関数 f (x) = exのMaclaurin展開。

ex = 1+ x+x2

2!+ · · · (10.15)

=∞

∑n=0

xn

n!. (10.16)

10.3 微分方程式経済活動をモデル化するのは、一般に難しいが、簡単なモデルで、さまざまな知見が得られる場合がある。特に微分方程式を使うモデル化は、有用な場合がある。

Example 10.7 (連続複利). 時刻 tでの預金額が y(t)のとき、

y′(t) = lim∆t→0

y(t +∆t)− y(t)∆t

, (10.17)

は、瞬間的な預金額の変化量を表している。したがって、

r =y′(t)y(t)

, (10.18)

44 CHAPTER 10. 微分法

瞬間的な金利を表していると考えられる。このように

y′(t)y(t)

= r, (10.19)

のような式を微分方程式と呼ぶ。この方程式の解は、次のように与えられる。

y(t) = Cert . (10.20)

但し、Cは任意の定数であり、ちょうど、初期元本に相当する。連続複利モデルは、金融工学ではよく用いられる。

Example 10.8 (ロジスティック曲線). ある商品の消費者への浸透率を y(t)とする。

y′(t)y(t)

, (10.21)

は浸透率の瞬間的な変化率を表している。これが、まだ購入していない消費者の割合に比例して変化すると考える。すなわち、

y′(t)y(t)

= K(a− y(t)), (10.22)

但し、0 < a < 1、Kを比例定数とする。これを解くと次のようなロジスティック曲線が得られる。

y(t) =a

1+ e−aKt . (10.23)

Problem 10.2. ロジスティック曲線

y(t) =a

1+ e−aKt , (10.24)

のグラフを描き、その経済的意味を考えろ。

Chapter 11

偏微分と全微分

11.1 ２変数の偏微分Definition 11.1. z = f (x,y)において、yを固定して考えて、一変数の場合と同じように微分を考えたものを偏微分という。

fx(x) =∂∂x

f (x,y) = lim∆x→0

f (x+∆x,y)− f (x,y)∆x

. (11.1)

Example 11.1.

f (x,y) = x3 −3x2y+5y2. (11.2)

(x,y) = (2,−3)における xの偏微分を求めると

fx(2,−3) = 3x2 −6xy|x=2,y=−3 = 48. (11.3)

Theorem 11.1. f (x,y)が十分滑らかな関数であれば、偏微分の順序は交換できる。

fxy(x,y) = fyx(x,y). (11.4)

Problem 11.1. 教科書 P133の問 10.1

45

46 CHAPTER 11. 偏微分と全微分

11.2 ２変数のTaylor展開Theorem 11.2 (２変数のTaylor展開). 充分滑らかな２変数の関数に対しては、次のように Taylor展開できる。

f (a+h,b+ k) = f (a,b)+h fx(a,b)+ k fy(a,b)

+12

h2 fxx(a,b)+2hk fxy(a,b)+ k2 fyy(a,b)+R

(11.5)

Example 11.2 (Ito’s formula). 金融工学に重要な確率積分の公式である Ito’sformulaを導く。

x = x(t,w), (11.6)

として、その微小変化に対して∆x = µ∆t +σ∆w, (11.7)

∆t = (∆w)2, (11.8)

の関係が成立するとする。典型的には、x(t,w)はランダムな変動wを受けた時刻 tにおける株価を表している。ここで、x(t,w)と tを変数に持つ滑らかな関数 y = f (t,x)を考えると、The-

orem 11.2より、次のような Taylor展開ができる。f (t +∆t,x+∆) = f (t,x)+∆t ft(t,x)+∆x fx(t,x)

+12

(∆t)2 ftt(t,x)+2∆t∆x ftx(t,x)+(∆x)2 fxx(t,x)+R

(11.9)

ここで、∆t∆x = µ(∆t)2 +σ(∆t)3/2 = o(∆t), (11.10)

(∆x)2 = µ2(∆t)2 +2µσ(∆t)3/2 +σ2∆t = σ2∆t +o(∆t). (11.11)

これを使うと、次のような Ito’s formula（確率積分の変数変換の公式）∆y = f (t +∆t,x+∆)− f (t,x) (11.12)

=(

ft(t,x)+ µ fx(t,x)+σ2

2fxx(t,x)

)∆t +σ fx(t,x)∆w+o(∆t). (11.13)

または、

dy =(

ft(t,x)+ µ fx(t,x)+σ2

2fxx(t,x)

)dt +σ fx(t,x)dw, (11.14)

が得られる。

11.3. 全微分 47

11.3 全微分１変数の微分は、グラフ上で曲線の接線を求めることと同義であった。２変数の全微分は、xy平面上の曲面の接平面を求めることと同義である。接平面の方程式：

z = z(x,y) = f (a,b)+ l(x−a)+m(y−a). (11.15)

ここで、l,mは適当な定数である。ここで、x = a+∆x、y = b+∆yとすると(a,b)の近くでは、

f (a+∆x,b+∆y) = f (a,b)+ l∆x+m∆y. (11.16)

ここで、∆y = 0を代入した後、∆x → 0とすると、

l =(a+∆x,b)− f (a,b)

∆x→ fx(a). (11.17)

同様に、

m = fy(b). (11.18)

よって、

f (a+∆x,b+∆y) = f (a,b)+ fx(a)∆x+ fy(b)∆y. (11.19)

書き換えると、次の定義が得られる。

(11.20)

Definition 11.2 (全微分).

dz = d f (x,y) = fxdx+ fydy. (11.21)

Example 11.3.

z = x3y+ xy3. (11.22)

全微分を求めると、

dz = (3x2y+ y3)dx+(x3 +3xy2)dy. (11.23)

48 CHAPTER 11. 偏微分と全微分

Theorem 11.3 (２変数の合成関数の微分). z = f (x,y)において、x,yが tの関数で十分に滑らかであることを仮定しておくと次のような合成関数の微分の公式が得られる。

dzdt

= fxdxdt

+ fydydt

. (11.24)

Example 11.4.

z = exy, (11.25)

x = t2, (11.26)y = log t. (11.27)

のとき、

dzdt

= fxdxdt

+ fydydt

(11.28)

= yexy2t + xexy 1t

(11.29)

= tet2 log t(2log t +1). (11.30)

Chapter 12

積分法

12.1 面積と定積分Definition 12.1. 定積分とは、曲線よって囲まれた面積を表す。より具体的に、関数 f (x)の区間 [a,b]での定積分を次のようにあらわす。∫ b

af (x)dx = lim

n→∞

n−1

∑i=0

f (xi)(ai+1 −ai). (12.1)

特に、 ∫ b

af (x)dx = −

∫ a

bf (x)dx, (12.2)∫ a

af (x)dx = 0. (12.3)

Remark 12.1. すべての関数が微分可能ではないのと同じように、関数の中には、積分不可能なものもある！Example 12.1. 積分不可能な関数の例。

f (x) =

1, xが有理数0, xが無理数.

(12.4)

この関数の積分値は、微小区間内での f (xi)の取り方によって、次のように異なる。 ∫ b

af (x)dx =

b−a, xiを有理数にとった場合0, xを無理数にとった場合.

(12.5)

49

50 CHAPTER 12. 積分法

したがって、この関数は積分不可能である。

Theorem 12.1. 閉区間 [a,b]で連続な関数は、積分可能である。

Theorem 12.2. 定積分については、以下が成立する。

1. 線形性：∫ b

a(α f (x)+βg(x))dx = α

∫ b

af (x)dx+β

∫ b

ag(x)dx. (12.6)

2. 積分区間の分割：∫ b

af (x)dx =

∫ c

af (x)dx+

∫ b

cf (x)dx. (12.7)

3. 単調性：区間 [a,b]で f (x) ≥ g(x)のとき、∫ b

af (x)dx =

∫ b

ag(x)dx. (12.8)

Theorem 12.3 (積分と微分の関係).

F(x) =∫ x

af (y)dy, (12.9)

とする。するとddx

F(x) = f (x). (12.10)

12.2 不定積分Definition 12.2. 微分をしたら、 f (x)になる関数を、原始関数といい、∫

f (x)dx, (12.11)

と書く。一般に、原始関数のひとつをF(x)と書くと、Cを任意の定数として、∫f (x)dx = F(x)+C, (12.12)

と表せる。

12.2. 不定積分 51

Example 12.2. ∫(x−1)

√xdx =

∫x3/2dx−

∫x1/2dx

=25

x5/2 − 23

x3/2.

Theorem 12.4. 原始関数のひとつを F(x)としたとき、∫ b

af (x)dx = [F(x)]ba = F(b)−F(a). (12.13)

Example 12.3. ∫ 1

0(x−1)

√xdx =

[25

x5/2 − 23

x3/2]1

0

= − 415

.

Theorem 12.5 (置換積分).∫ b

af (g(x))g′(x)dx =

∫ g(b)

g(a)f (t)dt. (12.14)

Example 12.4. 次の定積分を求める。∫ b

axe−x2/2dx. (12.15)

ここで、

t = t(x) =x2

2(12.16)

と変数変換する。すると

dt = xdx. (12.17)

また、

t(a) =a2

2, (12.18)

t(b) =b2

2. (12.19)

52 CHAPTER 12. 積分法

したがって、 ∫ b

axe−x2/2dx =

∫ t(b)

t(a)e−tdt (12.20)

= [−e−t ]t(b)t(a) (12.21)

= e−a22 − e−

b22 . (12.22)

Theorem 12.6 (部分積分).∫ b

af (x)g′(x)dx = [ f (x)g(x)]ba −

∫ b

af ′(x)g(x)dx. (12.23)

Example 12.5. 次の定積分を部分積分を使って求める。∫ a

0xe−λxdx =

[− x

λe−λx

]a

0+

1λ

∫ a

0e−λxdx

= − aλ

e−λa +[− 1

λ 2 e−λx]a

0

= − aλ

e−λa − 1λ 2 e−λa +

1λ 2 .

12.3 広義積分前の sectionで定義された定積分の極限として、広義の積分を定義する。

Definition 12.3. 次のような場合に分けて、広義積分を定義する。

1. aで連続でない場合、∫ b

af (x)dx = lim

c→a

∫ b

cf (x)dx. (12.24)

2. a = −∞の場合、 ∫ b

−∞f (x)dx = lim

a→−∞

∫ b

af (x)dx. (12.25)

12.3. 広義積分 53

Example 12.6.

f (x) =1√x, (12.26)

は x = 0で無限大に発散している。しかし、a > 0に対して、区間 [a,1]上の定積分を考えることができる。∫ 1

a

1√x

dx = [2√

x]1a

= 2(1−√

a).

ここで、a → 0として、広義積分を考える。∫ 1

0

1√x

dx = lima→0

∫ 1

a

1√x

dx

= lima→0

2(1−√

a) = 2.

Example 12.7. 次の計算は、指数分布の期待値を求めるの有用である。∫ ∞

0xλe−λxdx = lim

a→∞

[−ae−λa − 1

λe−λa +

1λ

]=

1λ

.

Example 12.8. 次のような定積分について考える。∫ 1

−1

1x

dx. (12.27)

x = 0で不連続なため、この積分は区間に分けて、広義積分を考える必要がある。

1. [−1,0)の区間 ∫ 0

−1

1x

dx = [log |x|]0−1 = −∞. (12.28)

2. (0,1]の区間 ∫ 1

0

1x

dx = [log |x|]10 = ∞. (12.29)

したがって、 ∫ 1

−1

1x

dx =∫ 0

−1

1x

dx+∫ 1

0

1x

dx (12.30)

= −∞+∞, (12.31)

は不定である。（0ではないことに注意！）

Chapter 13

Basic Probability Theory

13.1 Why Probability?Example 13.1. Here’s examples where we use probability:

• Lottery.

• Weathers forecast.

• Gamble.

• Baseball,

• Life insurance.

• Finance.

Since our intuition sometimes leads us mistake in those random phenomena,we need to handle them using extreme care in rigorous mathematical framework,called probability theory. (See Exercise 13.1).

13.2 Probability SpaceBe patient to learn the basic terminology in probability theory. To determine theprobabilistic structure, we need a probability space, which is consisted by a sam-ple space, a probability measure and a family of (good) set of events.

54

13.2. PROBABILITY SPACE 55

Definition 13.1 (Sample Space). The set of all events is called sample space, andwe write it as Ω. Each element ω ∈ Ω is called an event.

Example 13.2 (Lottery). Here’s the example of Lottery.

• The sample space Ω is first prize, second prize,..., lose.

• An event ω can be first prize, second prize,..., lose, and so on.

Sometimes, it is easy to use sets of events in sample space Ω.

Example 13.3 (Sets in Lottery). The followings are examples in Ω of Example13.2.

W = win = first prize, second prize,..., sixth prize (13.1)L = lose (13.2)

Thus, we can say that “what is the probability of win?”, instead of saying“what is the probability that we have either first prize, second prize,..., or sixthprize?”.

Definition 13.1 (Probability measure). The probability of A, P(A), is defined foreach set of the sample space Ω, if the followings are satisfyed:

1. 0 ≤ P(A) ≤ 1 for all A ⊂ Ω.

2. P(Ω) = 1.

3. For any sequence of mutually exclusive A1,A2...

P(∞∪

i=1

Ai) =∞

∑i=1

P(Ai). (13.3)

In addition, P is said to be the probability measure on Ω.

Mathematically, all function f which satisfies Definition 13.1 can regarded asprobability. Thus, we need to be careful to select which function is suitable forprobability.

56 CHAPTER 13. BASIC PROBABILITY THEORY

Example 13.4 (Probability Measures in Lottery). Suppose we have a lottery suchas 10 first prizes, 20 second prizes · · · 60 sixth prizes out of total 1000 tickets,then we have a probability measure P defined by

P(n) = P(win n-th prize) =n

100(13.4)

P(0) = P(lose) =79

100. (13.5)

It is easy to see that P satisfies Definition 13.1. According to the definition P, wecan calculate the probability on a set of events:

P(W ) = the probability of win= P(1)+P(2)+ · · ·+P(6)

=21

100.

Of course, you can cheat your customer by saying you have 100 first prizesinstead of 10 first prizes. Then your customer might have a different P satisfyingDefinition 13.1. Thus it is pretty important to select an appropriate probabilitymeasure. Selecting the probability measure is a bridge between physical worldand mathematical world. Don’t use wrong bridge!

Remark 13.1. There is a more rigorous way to define the probability measure.Indeed, Definition 13.1 is NOT mathematically satisfactory in some cases. If youare familiar with measure theory and advanced integral theory, you may proceedto read [?].

13.3 Conditional Probability and IndependenceNow we introduce the most uselful and probably most difficult concepts of prob-ability theory.

Definition 13.2 (Conditional Probability). Define the probability of B given A by

P(B | A) =P(B & A)

P(A)=

P(B∩A)P(A)

. (13.6)

We can use the conditional probability to calculate complex probability. It isactually the only tool we can rely on. Be sure that the conditional probabilityP(B|A) is different with the regular probability P(B).

13.3. CONDITIONAL PROBABILITY AND INDEPENDENCE 57

Example 13.5 (Lottery). Let W = win and F = first prize in Example 13.4.Then we have the conditional probability that

P(F |W ) = the probability of winning 1st prize given you win the lottery

=P(F ∩W )

P(W )=

P(F)P(W )

=10/1000

210/1000=

121

= 101000

= P(F).

Remark 13.2. Sometimes, we may regard Definition 13.2 as a theorem and callBayse rule. But here we use this as a definition of conditional probability.

Problem 13.1 (False positive of disease [?]). Suppose you are tested by a diseasethat strikes 1/1000 population. This test has 5% false positives, that mean evenif you are not affected by this disease, you have 5% chance to be diagnosed to besuffered by it.

Given that your result is positive, what can you say about your situation?

Definition 13.3 (Independence). Two sets of events A and B are said to be inde-pendent if

P(A&B) = P(A∩B) = P(A)P(B) (13.7)

Theorem 13.1 (Conditional of Probability of Independent Events). Suppose Aand B are independent, then the conditional probability of B given A is equal tothe probability of B.

Proof. By Definition 13.2, we have

P(B | A) =P(B∩A)

P(A)=

P(B)P(A)P(A)

= P(B),

where we used A and B are independent.

Example 13.6 (Independent two dices). Of course two dices are independent. So

P(The number on the first dice is even while the one on the second is odd)= P(The number on the first dice is even)P(The number on the second dice is odd)

=12· 1

2.

58 CHAPTER 13. BASIC PROBABILITY THEORY

Example 13.7 (More on two dice). Even though the two dices are independent,you can find dependent events. For example,

P(The difference of first dice minus second dice is positive even while the one on the second is even)= P(The difference of first dice minus second dice is positive)P(The number on the second dice is odd).

How about the following?

P(The sum of two dice is even while the one on the second is odd ) =?.

See Exercise 13.4 for the detail.

13.4 Random VariablesThe name random variable has a strange and stochastic history1. Although itsfragile history, the invention of random variable certainly contribute a lot to theprobability theory.

Definition 13.4 (Random Variable). The random variable X = X(ω) is a real-valued function on Ω, whose value is assigned to each outcome of the experiment(event).

Remark 13.3. Note that probability and random variables is NOT same! Randomvariables are function of events while the probability is a number. To avoid theconfusion, we usually use the capital letter to random variables.

Example 13.8 (Lottery). A random variable X can be designed to formulate alottery.

• X = 1, when we get the first prize.

• X = 2, when we get the second prize.

1J. Doob quoted in Statistical Science. (One of the great probabilists who established probabil-ity as a branch of mathematics.) While writing my book [Stochastic Processes] I had an argumentwith Feller. He asserted that everyone said “random variable” and I asserted that everyone said“chance variable.” We obviously had to use the same name in our books, so we decided the issueby a stochastic procedure. That is, we tossed for it and he won.

13.5. EXPECTATION, VARIANCE AND STANDARD DEVIATION 59

Example 13.9 (Bernouilli random variable). Let X be a random variable with

X =

1 with probability p.0 with probability 1− p.

(13.8)

for some p ∈ [0,1]. The random variable X is said to be a Bernouilli randomvariable.

Sometimes we use random variables to indicate the set of events. For example,instead of saying the set that we win first prize, ω ∈ Ω : X(ω) = 1, or simplyX = 1.

Definition 13.5 (Probability distribution). The probability distribution functionF(x) is defined by

F(x) = PX ≤ x. (13.9)

The probability distribution function fully-determines the probability structureof a random variable X . Sometimes, it is convenient to consider the probabilitydensity function instead of the probability distribution.

Definition 13.6 (probability density function). The probability density functionf (t) is defined by

f (x) =dF(x)

dx=

dPX ≤ xdx

. (13.10)

Sometimes we use dF(x) = dPX ≤ x = P(X ∈ (x,x+dx]) even when F(x)has no derivative.

Lemma 13.1. For a (good) set A,

PX ∈ A =∫

AdPX ≤ x =

∫A

f (x)dx. (13.11)

13.5 Expectation, Variance and Standard DeviationLet X be a random variable. Then, we have some basic tools to evaluate randomvariable X . First we have the most important measure, the expectation or mean ofX .

60 CHAPTER 13. BASIC PROBABILITY THEORY

Definition 13.7 (Expectation).

E[X ] =∫ ∞

−∞xdPX ≤ x =

∫ ∞

−∞x f (x)dx. (13.12)

Remark 13.4. For a discrete random variable, we can rewrite (13.12) as

E[X ] = ∑n

xnP[X = xn]. (13.13)

Lemma 13.2. Let (Xn)n=1,...,N be the sequence of random variables. Then we canchange the order of summation and the expectation.

E[X1 + · · ·+XN ] = E[X1]+ · · ·+E[XN ] (13.14)

Proof. See Exercise 13.6.

E[X ] gives you the expected value of X , but X is fluctuated around E[X ]. Sowe need to measure the strength of this stochastic fluctuation. The natural choicemay be X −E[X ]. Unfortunately, the expectation of X −E[X ] is always equal tozero. Thus, we need the variance of X , which is indeed the second moment aroundE[X ].

Definition 13.8 (Variance).

Var[X ] = E[(X −E[X ])2]. (13.15)

Lemma 13.3. We have an alternative to calculate Var[X ],

Var[X ] = E[X2]−E[X ]2. (13.16)

Proof. See Exercise 13.6.

Unfortunately, the variance Var[X ] has the dimension of X2. So, in some cases,it is inappropriate to use the variance. Thus, we need the standard deviation σ [X ]which has the order of X .

Definition 13.9 (Standard deviation).

σ [X ] = (Var[X ])1/2. (13.17)

13.5. EXPECTATION, VARIANCE AND STANDARD DEVIATION 61

Example 13.10 (Bernouilli random variable). Let X be a Bernouilli random vari-able with P[X = 1] = p and P[X = 0] = 1− p. Then we have

E[X ] = 1p+0(1− p) = p. (13.18)

Var[X ] = E[X2]−E[X ]2 = E[X ]−E[X ]2 = p(1− p), (13.19)

where we used the fact X2 = X for Bernouille random variables.

In many cases, we need to deal with two or more random variables. Whenthese random variables are independent, we are very lucky and we can get manyuseful result. Otherwise...

Definition 13.2. We say that two random variables X and Y are independent whenthe sets X ≤ x and Y ≤ y are independent for all x and y. In other words, whenX and Y are independent,

P(X ≤ x,Y ≤ y) = P(X ≤ x)P(Y ≤ y) (13.20)

Lemma 13.4. For any pair of independent random variables X and Y , we have

• E[XY ] = E[X ]E[Y ].

• Var[X +Y ] = Var[X ]+Var[Y ].

Proof. Extending the definition of the expectation, we have a double integral,

E[XY ] =∫

xydP(X ≤ x,Y ≤ y).

Since X and Y are independent, we have P(X ≤ x,Y ≤ y) = P(X ≤ x)P(Y ≤ y).Thus,

E[XY ] =∫

xydP(X ≤ x)dP(Y ≤ y)

=∫

xdP(X ≤ x)∫

ydP(X ≤ y)

= E[X ]E[Y ].

Using the first part, it is easy to check the second part (see Exercise 13.9.)

62 CHAPTER 13. BASIC PROBABILITY THEORY

Example 13.11 (Binomial random variable). Let X be a random variable with

X =n

∑i=1

Xi, (13.21)

where Xi are independent Bernouilli random variables with the mean p. The ran-dom variable X is said to be a Binomial random variable. The mean and varianceof X can be obtained easily by using Lemma 13.4 as

E[X ] = np, (13.22)Var[X ] = np(1− p). (13.23)

13.6 Covariance and CorrelationWhen we have two or more random variables, it is natural to consider the relationof these random variables. But how? The answer is the following:

Definition 13.10 (Covariance). Let X and Y be two (possibly not independent)random variables. Define the covariance of X and Y by

Cov[X ,Y ] = E[(X −E[X ])(Y −E[Y ])]. (13.24)

Thus, the covariance measures the multiplication of the fluctuations aroundtheir mean. If the fluctuations are tends to be the same direction, we have largercovariance.

Example 13.12 (The covariance of a pair of indepnedent random variables). LetX1 and X2 be the independent random variables. The covariance of X1 and X2 is

Cov[X1,X2] = E[X1X2]−E[X1]E[X2] = 0,

since X1 and X2 are independent. Thus, more generally, if the two random vari-ables are independent, their covariance is zero. (The converse is not always true.Give some example!)

Now, let Y = X1 +X2. How about the covariance of X1 and Y ?

Cov[X1,Y ] = E[X1Y ]−E[X1]E[Y ]= E[X1(X1 +X2)]−E[X1]E[X1 +X2]

= E[X21 ]−E[X1]2

= Var[X1] = np(1− p) > 0.

Thus, the covariance of X1 and Y is positive as can be expected.

13.7. HOW TO MAKE A RANDOM VARIABLE 63

It is easy to see that we have

Cov[X ,Y ] = E[XY ]−E[X ]E[Y ], (13.25)

which is sometimes useful for calculation. Unfortunately, the covariance has theorder of XY , which is not convenience to compare the strength among differentpair of random variables. Don’t worry, we have the correlation function, which isnormalized by standard deviations.

Definition 13.11 (Correlation). Let X and Y be two (possibly not independent)random variables. Define the correlation of X and Y by

ρ[X ,Y ] =Cov[X ,Y ]σ [X ]σ [Y ]

. (13.26)

Lemma 13.5. For any pair of random variables, we have

−1 ≤ ρ[X ,Y ] ≤ 1. (13.27)

Proof. See Exercise 13.11

13.7 How to Make a Random Variable

Suppose we would like to simulate a random variable X which has a distributionF(x). The following theorem will help us.

Theorem 13.2. Let U be a random variable which has a uniform distribution on[0,1], i.e

P[U ≤ u] = u. (13.28)

Then, the random variable X = F−1(U) has the distribution F(x).

Proof.

P[X ≤ x] = P[F−1(U) ≤ x] = P[U ≤ F(x)] = F(x). (13.29)

64 CHAPTER 13. BASIC PROBABILITY THEORY

13.8 Example: Value at RiskSuppose we have n stocks on our portfolio. Each stocks have the rate of return atone day as,

(X1,X2, . . . ,Xn), (13.30)

which is the multivariate normal random variables. Thus, the return rate of ourportfolio R is estimated by,

R = c1X1 + c2X2 + · · ·+ cnXn, (13.31)

where ci is the number of stocks i in our portfolio. The estimated portfolio R turnsout to be a normal random variable again.

Definition 13.12. Let Q0 be the value of the portfolio today, and Q1 be the one fortomorrow. The value at risk (VaR) Zα is the decrease of the value of the portfolioin the worst case which has the probability α , i.e.,

PQ1 −Q0 ≥−zα = α. (13.32)

By the definition of return rate, we have

R =Q1 −Q0

Q0. (13.33)

Using this, we have

PRQ0 ≥−zα = α, (13.34)

or

PRQ0 ≤−zα = 1−α, (13.35)

Using the fact that

Z =R−µ

σ, (13.36)

is a standard normal random variable, where µ = E[R], and σ =√

Var[R], wehave

PRQ0 ≤−zα = P

Z ≤ −zα/Q0 −µσ

(13.37)

13.9. REFERENCES 65

Thus, set xα as

α = PZ ≤ xα (13.38)

which can be found in any standard statistics text book. By the symmetry ofstandard normal distribution, we have

1−α = PZ ≤−xα (13.39)

Then we have

−zα/Q0 −µσ

= −xα , (13.40)

or

zα = Q0(xασ −µ). (13.41)

13.9 ReferencesThere are many good books which useful to learn basic theory of probability.The book [?] is one of the most cost-effective book who wants to learn the basicapplied probability featuring Markov chains. It has a quite good style of writing.Those who want more rigorous mathematical frame work can select [?] for theirstarting point. If you want directly dive into the topic like stochatic integral, yourchoice is maybe [?].

13.10 ExercisesExercise 13.1. Find an example that our intuition leads to mistake in randomphenomena.

Exercise 13.2. Define a probability space according to the following steps.

1. Take one random phenomena, and describe its sample space, events andprobability measure

2. Define a random variable of above phenomena

3. Derive the probability function and the probability density.

66 CHAPTER 13. BASIC PROBABILITY THEORY

4. Give a couple of examples of set of events.

Exercise 13.3. Explain the meaning of (13.3) using Example 13.2

Exercise 13.4. Check P defined in Example 13.4 satisfies Definition 13.1.

Exercise 13.5. Calculate the both side of Example 13.7. Check that these eventsare dependent and explain why.

Exercise 13.6. Prove Lemma 13.2 and 13.3 using Definition 13.7.

Exercise 13.7. Prove Lemma 13.4.

Exercise 13.8. Let X be the Bernouilli random variable with its parameter p.Draw the graph of E[X ], Var[X ], σ [X ] against p. How can you evaluate X?

Exercise 13.9. Prove Var[X +Y ] = Var[X ]+Var[Y ] for any pair of independentrandom variables X and Y .

Exercise 13.10 (Binomial random variable). Let X be a random variable with

X =n

∑i=1

Xi, (13.42)

where Xi are independent Bernouilli random variables with the mean p. The ran-dom variable X is said to be a Binomial random variable. Find the mean andvariance of X .

Exercise 13.11. Prove for any pair of random variables, we have

−1 ≤ ρ[X ,Y ] ≤ 1. (13.43)

Bibliography

[1] John Cassidy. Mind games. New Yorker, pages 30–37, September 18 2006.

[2] George Loewenstein Colin Camerer and Drazen Prelec. Neuroeconomics:How neuroscience can inform economics. Journal of Economic Literature,43(1):9–64, 2005.

[3] Iwaki Hideki Kijima Masaaki. Keizai to Kinyu-kougaku no Kiso-suugaku.Asakura, 1999.

[4] Michael Lewis. Moneyball: The Art of Winning an Unfair Game. W Norton,2004.

[5] Masao Mori and Tomomi Matsui. Operations Research. Asakura, 2004.

67