11/20/2019

1

Detection & EstimationLecture 9

Sequential Tests

Xiliang Luo

1

decay rate

decay rate

Repeated Observations

ln

exp exp

For any  ∈ , , both false alarm and miss rates decay exponentially! 

2

11/20/2019

2

Sequential Hypothesis Testing

• For binary hypothesis testing, we can take a series of measurements. After completing  measurements, we decide whether to take one more observation or to make a decision just with these  measurements

• Two decisions to make:• Stopping rule:

• Terminal decision rule:

, … ,1, 0,

, … , 0or1

3

only when  , … , 1

Sequential Testing• Assume zero cost for correct decision

• False alarm cost: 

• Missing cost: 

• Each additional sample cost: 

• Let  denote the stopping time, we have

4

Overall Bayes Risk:

11/20/2019

3

Sequential Testing

• Optimal Bayesian sequential decision rule  ,is the one minimizing the overall cost

• Consider the set of sequential decision rules taking at least one sample 

• the min Bayes risk/cost strategy is:

5First sample analysis

Sequential Bayesian Test

• When  0or1, the best decision will make no error, so

• , is linear in 

• We have the following fact• is concave in 

• For zero sample case, either decide 1 or decide 0:

6

11/20/2019

4

Sequential Bayesian Test

• Zero sample risk:

• Bayes risk over all strategies satisfies:

7

more likely

more likely

Sequential Bayesian Test

1 2

3

8

11/20/2019

5

• After getting one more sample, we have the conditional prior:

• Like the 0th step, with this conditional prior, we can have the “no‐sampling” cost:

• Meanwhile, addition cost for strategies with at least one more sample is  !

• Back to previous figure!

Sequential Bayesian Test

,

1 , . .

9

Optimal Bayes Decision Rule

Reasonable assumption: 

: 

the cost of deciding  when  is true

Likelihood Ratio Test (LRT)

10

11/20/2019

6

Optimal Bayes Decision Rule

Reasonable assumption: 

: 

the cost of deciding  when  is true

Likelihood Ratio Test (LRT)

11

Equivalently, we have:

In case of zero sample, the rule is:

Sequential Bayesian Test

• We have the following recursion rule:

• Then, we can also get:

12

11/20/2019

7

Sequential Bayesian Test• Assuming n samples have been obtained: 

, , … , , the posterior probability becomes:

• Optimal Bayesian rule:

13

Sequential Bayesian Test• The threshold rule:                                           translates to LRT: 

Optimal Bayesian rule: Sequential Probability Ratio Test!14

11/20/2019

8

Sequential Probability Ratio Test

• SPRT with lower and upper thresholds  and such that: 0 1 ∞:

• Select H0 whenever:

• Select H1 whenever:

• Take another sample if:

15

• Convenient to express the test in logarithmic form:

• Select H0: • Λ

• Select H1:• Λ

• Keep sampling: • Λ ∈ ,

SPRT

|

|

16

11/20/2019

9

SPRT

• Random walk  is the sum of IID random variables

• Adding zero‐mean fluctuations to the mean trajectories 

• ⋅ under 

• ⋅ under 

|

|

17

SPRT

18

11/20/2019

10

SPRT• Stopping time of SPRT:

• A random process  , 0 is a martingale if it satisfies the following two properties:

• 1.  ∞• 2.  , 0

• A nonnegative random variable  is a stopping time adapted to the martingale if

• Event  can be expressed in terms of the values , 0,1, … ,

19

SPRT‐Wald’s Identity

• Wald’s Identity• Let  ; 1 be a sequence of i.i.d. random variables whose generating function  : is defined over  , , 0 and let Λ ⋯ . 

• Let  be the martingale defined as  . 

• Let N be an adapted stopping time such that:

Then:

20

Λ : sum of LLR at the time of stopping

1

11/20/2019

11

SPRT‐Wald’s Identity

• When  ln , its generating functions are under  and  1 under  :

• With SPRT, we have

21

1⋅

1

⋅

1

SPRT‐Wald’s Identity

• Under  , with SPRT, we have

| 1

expΛ Λ , expΛ Λ , 1

1 zero‐overshoot approximation

22

11/20/2019

12

SPRT

• Under  , at  1, using the Wald’s identity:

exp Λ 1

exp Λ Λ , exp Λ Λ , 1

1

Under zero‐overshoot approx., falsealarm and miss prob can be expressedin terms of the thresholds A and B. 

Conversely, given desired false alarmand miss prob, we can set the thresholdsaccordingly! 23

1⋅

1

SPRT• Take differentiation of the following wrt :

• we have:

24

1

Under  :

Under  :

11/20/2019

13

SPRT• Due to the fact that:

• We have:

• Typically,  , ≪ 1, we have:

25

Sequential vs Fixed‐size Tests

• SPRT:

• Fixed‐size tests with  0:

ln0

ln,

, min∈ ,

lnChernoff distance

Chernoff distance is alwaysless than the KL divergence!

26

11/20/2019

14

Optimality of SPRT

• Property: Let  , denote an SPRT with thresholds , . Let  , be an arbitrary sequential decision 

rule such that

Then

Among all sequential decision rules achieving certain false alarm and miss prob, SPRT requires on average the smallest number of samples!

27