decision augmentation theory: toward a model of ...jessica m. utts, ph.d. university of california,...

20
Decision Augmentation Theory: Toward a Model of Anomalous Mental Phenomena by Edwin C. May, Ph.D Science Applications International Corporation Menlo Park, CA Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications International Corporation (Consultant) Menlo Park, CA Abstract

Upload: others

Post on 26-Feb-2021

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

�� ����� ������������ ������� ������ � ���� �� � �� �� ����

Decision Augmentation Theory:Toward a Model

ofAnomalous Mental Phenomena

by

Edwin C. May, Ph.DScience Applications International Corporation

Menlo Park, CA

Jessica M. Utts, Ph.D.University of California, Davis

Division of StatisticsDavis, CA

and

S. James P. SpottiswoodeScience Applications International Corporation (Consultant)

Menlo Park, CA

Abstract�� ����� ������������ ����" ���� ����� ���� ������ ��������� ����������� �������� �" �����#

���� �������� ���� ��� ����� �� ����� ��� ���� �� ������ �� ����� �� � �������� �� ������� �� � �� ������

��� ������ �� ��� ���������� ��� ����� � ������� � �������� ��� ��� ���� ��� ������ ���� �� � ��

�� ����� ���� �� ����� � �� �������� ���������� ���� ��� �� � ������� ��� �����"�� �!����������

�������� �� ��� ����� �� ������ ���� ����� ��������� ���� �� �� ��� �� � ��� �� � ��������������#

� �� �!��������� ��� �� ��� ��� ��� �#���� ������ ����� � � �������������� ������ ��� ��������� ��

�� �������� ���� �������� �����" ��� ������ �����"� ��� � ������� �������� �� �� �� ����� �� ������ �� ���

�!���������� ������ �� �� � ������ � ��� ���� ��� �!���������� �������� �� �� ��� �����" ��� ���#

������ ���� ����� �� ��� �#���� ������ �! ��� ��� ��� ��� ��� ����

Page 2: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

Introduction�" !+ *+0 %�2" ,+/&0&2" !"#&*&0&+*/ +# 0%" "##" 0/ 0%�0 $"*".�((5 #�(( 1*!". 0%" %"�!&*$ +# �*+)�(+1/

)"*0�( ,%"*+)"*��� �* 0%" .�//"/0 +# 0".)/� �*+)�(+1/ )"*0�( ,%"*+)"*� �." 3%�0 %�,,"*/ 3%"*

*+0%&*$ "(/" /%+1(!� �0 ("�/0 �/ *�01." &/ 1.."*0(5 1*!"./0++!� �* 0%" !+)�&* +# &*#+.)�0&+* � -1&/&8

0&+*� +. �*+)�(+1/ +$*&0&+* ����� &0 &/ ."(�0&2"(5 /0.�&$%0#+.3�.! 0+ !"/&$* �* "4,".&)"*0�( ,.+0+ +(

��+*+.0+* "0 �(�� ���� �5)�* �*! �+*+.0+*� � �� 0+ �//1." 0%�0 *+ '*+3* /"*/+.5 ("�'�$" +# &*8

#+.)�0&+* �* + 1.� �* 0%" !+)�&* +# )� .+/ +,& �*+)�(+1/ ,".01.��0&+* ����� %+3"2".� &0 &/ +#0"*

2".5 !&##& 1(0�

�" �* !&2&!" �*+)�(+1/ ,".01.��0&+* &*0+ 03+ �0"$+.&"/ ��/"! +* 0%" )�$*&01!" +# 0%" ,10�0&2" "#8

#" 0� �� .+8�� &* (1!" ,%"*+)"*� 0%�0 $"*".�((5 !+ *+0 ."-1&." /+,%&/0& �0"! /0�0&/0& �( �*�(5/&/ 0+

0"�/" +10 3"�' "##" 0/ #.+) 0%" !�0�� �4�),("/ &* (1!" &*"(�/0& !"#+.)�0&+*/ &* /0.�&* $�1$" "4,".&8

)"*0/� 0%" +�2&+1/ �"*!&*$ +# )"0�( /�),("/� �*! � %+/0 +# ,+//&�(" 7#&"(! ,%"*+)"*�� /1 % �/ 0"("'&8

*"/&/� ,+(0".$"&/0� 0"(",+.0�0&+*� �*! )�0".&�(&6�0&+*� �+*2"./"(5� )& .+8�� +2"./ "4,".&)"*0�( !�0�

#.+) *+&/5 !&+!"/� .�!&+� 0&2" !" �5 �*! +0%". .�*!+) /+1. "/� �%"/" !�0� /%+3 /)�(( !&##"."* "/

#.+) %�* " "4," 0�0&+* �*! ."-1&." /0�0&/0& �( �*�(5/&/�

�*" +# 0%" +*/"-1"* "/ +# 0%" *"$�0&2" !"#&*&0&+*/ +# �*+)�(&"/ &/ 0%�0 "4,".&)"*0"./ )1/0 �//1." 0%�0

0%" +�/".2��("/ �." *+0 !1" 0+ 7'*+3*� "##" 0/� �.�!&0&+*�((5� 03+ 0" %*&-1"/ %�2" �""* "),(+5"! 0+

$1�.! �$�&*/0 /1 % &*0".� 0&+*/�

�� �+),("0" ,%5/& �( &/+(�0&+* +# 0%" 0�.$"0 /5/0")�

�� �+1*0".��(�* "! +*0.+( �*! "##+.0 ,".&+!/�

�/+(�0&*$ ,%5/& �( /5/0")/ #.+) ,+0"*0&�( 7"*2&.+*)"*0�(� "##" 0/ &/ !&##& 1(0� "2"* #+. "*$&*"".&*$ /,"8

&�(&/0/� �0 �" +)"/ &* ."�/&*$(5 ,.+�(")�0& �( 0%")+." /"*/&0&2" 0%"�� !"2& "� �+. "4�),("�1���.!�

�"*0("5� ��/01."(� �*! �//� / �� �� )+*&0+."! � (�.$" *1)�". +# /"*/+./ +# "*2&.+*)"*0�( 2�.&��("/

0%�0 +1(! )&)& ,".01.��0&+*�( "##" 0/ &* �* "40.")"(5 &/+(�0"! ,&"6+"(" 0.& /0.�&* $�1$"� �)+*$

0%"/" /"*/+./ 3"." 0%.""8�4&/ � "(".+)"0"./� �(&�.�0"! )& .+,%+*"/� �*! "(" 0.+)�$*"0& �*! *18

("�. .�!&�0&+* )+*&0+./� �* �!!&0&+*� 0%" /0.�&* $�1$"/ 3"." )+1*0"! &* � $+2".*)"*08�,,.+2"! "*8

(+/1." 0+ �//1." *+ ("�'�$" �&* +. +10� +# "(" 0.+)�$*"0& .�!&�0&+* ��+2" � $&2"* #."-1"* 5� �*! 0%"

"* (+/1." &0/"(# 3�/ ("2&0�0"! +* �* �&. /1/,"*/&+* 0��("� �&*�((5� 0%" "*0&." /"01, 3�/ (+ '"! &* � +*8

0.+(("! � "// .++) 3%& % 3�/ )+*&0+."! �5 )+0&+* !"0" 0+./� �%" /5/0") 3�/ /+ /"*/&0&2"� #+. "4�)8

,("� 0%�0 &0 3�/ ,+//&�(" 0+ &!"*0&#5 0%" /+1. " +# � ,".01.��0&+* +# 0%" /0.�&* $�1$" 0%�0 3�/ !1" 0+ &**+8

"*0� $"*0(" '*+ '&*$ +* 0%" !++. +# 0%" (+/"! .++)� �%" #&*�* &�( �*! "*$&*"".&*$ ."/+1. "/ 0+ &/+(�0"

/1 % /5/0")/ .�,&!(5 �" +)" ,.+%&�&0&2"�

�%" /" +*! )"0%+!� 3%& % &/ +))+*(5 &* 1/"� &/ 0+ &/+(�0" 0%" 0�.$"0 /5/0") 3&0%&* 0%" +*/0.�&*0/ +#

0%" �2�&(��(" ."/+1. "/� �*! 0%"* +*/0.1 0 ,.+0+ +(/ 0%�0 &* (1!" +*0.+( �*! "##+.0 ,".&+!/� �%1/� 3"

0.�!" +),("0" &/+(�0&+* #+. � /0�0&/0& �( �*�(5/&/ +# 0%" !&##"."* " �"03""* 0%" +*0.+( �*! "##+.0 ,".&8

+!/� �%" �//1),0&+* &),(& &0 &* 0%&/ �,,.+� % &/ 0%�0 "*2&.+*)"*0�( &*#(1"* "/ +# 0%" 0�.$"0 !"2& " 3&((

�" .�*!+) �*! 1*&#+.)(5 !&/0.&�10"! &* �+0% 0%" +*0.+( �*! "##+.0 +*!&0&+*/� 3%&(" �*+)�(+1/ "##" 0/

� �%"�+$*&0&2"� &"* "/���+.�0+.5%�/ �!+,0"! 0%" 0".)�� �� ����������� ���� &*/0"�!+# 0%")+."3&!"(5 '*+3*����&'"3&/"� 3" 1/" 0%" 0".)/ �*+)�(+1/ +$*&0&+* �*! �*+)�(+1/ ,".01.��0&+* #+.��� �*!��� ."/," 0&2"(5� �"%�2" !+*" /+�" �1/" 3" �"(&"2" 0%�0 0%"/" 0".)/ �." )+." *�01.�((5 !"/ .&,0&2" +# 0%" +�/".2��("/ �*! �." *"10.�( 3&0% ."$�.! 0+ )" %�8*&/)/� �%"/" *"3 0".)/ 3&(( �" 1/"! 0%.+1$%+10 0%&/ ,�,".�

Page 3: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

<.11 9*3) 94 4((:7 .3 9-* *++479 5*7.4)8� �:7 &7,:2*398 .3 +&;47 4+ &3 &342&1>� 9-*3� &7* '&8*) 43 89&9.8A

9.(&1 .3+*7*3(* &3) <* 2:89 (438.)*7� .3 )*9&.1� 9-* (438*6:*3(*8 4+ 8:(- &3&1>8*8�

Background�8 9-* *;.)*3(* +47 &342&14:8 2*39&1 5-*342*3& '*(42*8 247* <.)*1> &((*59*) ��*2 &3) �4347A

943� ���� #998� ��� &).3 &3) �*1843� ���� .9 .8 .25*7&9.;* 94 )*9*72.3* 9-*.7 :3)*71>.3, 2*(-&A

3.828� �1*&71>� <* &7* 349 9-* +.789 94 '*,.3 9-.30.3, 4+ 549*39.&1 24)*18� �3 9-* 574(*88 4+ &2&88.3,

.3(43974;*79.'1* *;.)*3(* 4+ &3 &342&1>� 2&3> 9-*47*9.(&1 &5574&(-*8 -&;* '**3 *=&2.3*)� .3 9-.8 8*(A

9.43 <* 4:91.3* & +*< 4+ 9-*2� �9 .8 '*>43) 9-* 8(45* 4+ 9-.8 5&5*7� -4<*;*7� 94 574;.)* &3 *=-&:89.;*

7*;.*< 4+ 9-* 9-*47*9.(&1 24)*18� & ,44) 7*+*7*3(* 94 &3 :5A94A)&9* &3) )*9&.1*) 57*8*39&9.43 .8 !940*8

������

Brief Review of Models

"<4 +:3)&2*39&11> ).++*7*39 9>5*8 4+ 24)*18 4+ &342&14:8 2*39&1 5-*342*3& -&;* '**3 )*;*145*)�

9-48* 9-&9 &99*259 94 47)*7 &3) 897:(9:7* 9-* 7&< 4'8*7;&9.438 .3 *=5*7.2*398 �.�*�� 5-*342*3414,.(&1

24)*18�� &3) 9-48* 9-&9 &99*259 94 *=51&.3 9-*8* 5-*342*3& .3 9*728 4+ 24).+.(&9.438 94 *=.89.3, 5->8.A

(&1 9-*47.*8 �.�*�� +:3)&2*39&1 24)*18�� �3 9-* -.8947> 4+ 9-* 5->8.(&1 8(.*3(*8� 5-*342*3414,.(&1 24)A

*18� 8:(- &8 9-* !3*11�8 1&< 4+ 7*+7&(9.43 47 �25*7*�8 1&< +47 9-* 2&,3*9.( +.*1) ):* 94 & (:77*39� -&;*

3*&71> &1<&>8 57*(*)*) +:3)&2*39&1 24)*18� 8:(- &8 6:&39:2 *1*(974)>3&2.(8 &3) �&=<*11�8 9-*47>�

�3 574):(.3, :8*+:1 24)*18 4+ &342&1.*8 .9 2&> <*11 '* &);&39&,*4:8 94 89&79 <.9- 5-*342*3414,.(&1

24)*18� 4+ <-.(- ��" .8 &3 *=&251*�

�8>(-414,.898 -&;* (4397.':9*) .39*7*89.3, 5-*342*3414,.(&1 &5574&(-*8� !9&3+47) ����& &3) ���'�

574548*) ���A�*).&9*) �3897:2*39&1 *85438* ���� �� ��� 89&9*8 9-&9 &3 47,&3.82 :8*8 &342&A

14:8 2*39&1 5-*342*3& 94 459.2.?* .98 *3;.7432*39� �47 *=&251*� .3 43* 4+ !9&3+47)�8 (1&88.( *=5*7.A

2*398 �!9&3+47)� %*3-&:8*73� "&>147� &3) �<>*7 ���� 8:'/*(98 <*7* 4++*7*) & (4;*79 455479:3.9> 94

8945 & '47.3, 9&80 57*2&9:7*1> .+ 9-*> *=-.'.9*) :3(438(.4:8 &342&14:8 5*79:7'&9.43 '> 5*79:7'.3, &

-.))*3 7&3)42 3:2'*7 ,*3*7&947� �;*7&11� 9-* *=5*7.2*39 <&8 8.,3.+.(&39 .3 9-* :3(438(.4:8 9&808� .9

<&8 &8 .+ 9-* 5&79.(.5&398 <*7* :3(438(.4:81> 8(&33.3, 9-* *=9*3)*) *3;.7432*39 +47 &3> <&> 94 574;.)*

& 247* 459.2&1 8.9:&9.43 9-&3 5&79.(.5&9.3, .3 & '47.3, 58>(-414,.(&1 9&80�

�8 &3 *=&251* 4+ & +:3)&2*39&1 24)*1� $&10*7 ����� 574548*) & 1.9*7&1 .39*757*9&9.43 4+ 6:&39:2

2*(-&3.(8 &3) 548.9*) 9-&9 8.3(* 8:5*7548.9.43 4+ *.,*389&9*8 -41)8� *;*3 +47 2&(748>89*28� &342&A

14:8 2*39&1 5-*342*3& 2.,-9 '* ):* 94 2&(748(45.( *=&251*8 4+ 6:&39:2 *++*(98� "-*8* .)*&8

85&<3*) & (1&88 4+ 9-*47.*8� 9-* 84A(&11*) 4'8*7;&9.43 9-*47.*8� 9-&9 <*7* *.9-*7 '&8*) :543 6:&39:2

+472&1.82 (43(*59:&11> 47 ).7*(91> �!940*8� ����� �&-3 &3) �:33* ��� � -&;* 4++*7*) & @6:&39:2

2*9&5-47� <-.(- .11:897&9*8 2&3> 5&7&11*18 '*9<**3 9-*8* &342&1.*8 &3) 034<3 6:&39:2 *++*(98� #3A

+479:3&9*1>� 9-*8* 24)*18 *.9-*7 -&;* +7** 5&7&2*9*78 <.9- :3034<3 ;&1:*8� 47 &7* 2*7*1> -&3) <&;.3,

2*9&5-478� !42* 4+ 9-*8* 24)*18 574548* 6:*89.43&'1* *=9*38.438 94 *=.89.3, 9-*47.*8� �47 *=&251*�

*;*3 9-4:,- $&10*7�8 .39*757*9&9.43 4+ 6:&39:2 2*(-&3.(&1 +472&1.82 2.,-9 8:,,*89 <&;*A1.0* 5745A

*79.*8 4+ 2&(748>89*28� 9-* 5->8.(8 )&9& 94 )&9* 349 431> 8-4< 34 .3).(&9.43 4+ 8:(- 5-*342*3& &9 7442

9*25*7&9:7* ':9 574;.)* (438.)*7&'1* *;.)*3(* 94 8:,,*89 9-&9 2&(748>89*28 148* 9-*.7 6:&39:2 (4-*7A

*3(* &'4;* �� �*1;.38 �$&8-':73 &3)$*''� �� � &3) 34 143,*7 *=-.'.9 6:&39:2 <&;*A1.0* '*-&;.47�

Page 4: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

*+4 +4 /05 50 4#: 5*#5 # %0.13'*'/4+7' .0&'- 0( #/0.#-064 .'/5#- 1*'/0.'/# .#: /05 '7'/56#--:

3'26+3' 26#/56. .'%*#/+%4 #4 1#35 0( +54 '91-#/#5+0/� $65 +5 +4 %633'/5-: 13'.#563' 50 %0/4+&'3 46%*

.0&'-4 #4 .03' 5*#/ +/5'3'45+/) 41'%6-#5+0/� *' $63&'/ 0( 1300( +4 0/ 5*' 5*'03+45 50 4*08 8*: 4:4=

5'.4� 8*+%* #3' /03.#--: %0/4+&'3'& %-#44+%#- �'�)�� # *6.#/ $3#+/�� #3'� +/&''&� 26#/56. .'%*#/+%#-�

*#5 +4� 8*#5 #3' 5*' '91'3+.'/5#- %0/4'26'/%'4 0( # 26#/56..'%*#/+%#- 4:45'. 07'3 # %-#44+%#- 0/'�

�63 �'%+4+0/ �6).'/5#5+0/ *'03: +4 1*'/0.'/0-0)+%#- #/& +4 # -0)+%#- #/& (03.#- '95'/4+0/ 0( �5#/=

(03&�4 '-')#/5 ����.0&'-� �/ 5*' 4#.'.#//'3 #4 '#3-: .0&'-4 0( 5*' $'*#7+03 0( )#4'4� #%0645+%4� 03

015+%4� �� 53+'4 50 46$46.' # -#3)' 3#/)' 0( '91'3+.'/5#- .'#463'.'/54 +/50 # %0*'3'/5 -#8(6-

4%*'.'� �01'(6--: 5*+4 130%'44 8+-- -'#& 5*' 8#: 50 5*' 6/%07'3+/) 0( &''1'3 .'%*#/+4.4� �/ (#%5 ��

-'#&4 50 5*' +&'# 5*#5 5*'3' .#: $' 0/-: 0/' 6/&'3-:+/) .'%*#/+4. 0( #-- #/0.#-064 .'/5#- 1*'/0.'=

/#� /#.'-: # 53#/4('3 0( +/(03.#5+0/ (30. (6563' 50 1#45�

Historical Evolution of Decision Augmentation

�#:� �6.1*3':� #/& �6$$#3& �� �� %0/&6%5'& # %#3'(6- 3#/&0. /6.$'3 )'/'3#503 ����� '91'3+=

.'/5 8*+%* 8#4 &+45+/)6+4*'& $: 5*' '953'.' '/)+/''3+/) #/& .'5*0&0-0)+%#- %#3' 5*#5 8#4 5#,'/ 50

+40-#5' #/: 105'/5+#--: ,/08/ 1*:4+%#- +/5'3#%5+0/4 8+5* 5*' 4063%' 0( 3#/&0./'44 ��� �36%,.#/ #/& ��

�� �8'54� 1#)' �� � �� �5 +4 $':0/& 5*' 4%01' 0( 5*+4 1#1'3 50 &'4%3+$' 5*+4 '91'3+.'/5 %0.1-'5'-:�

*08'7'3� 5*04' 41'%+(+% &'5#+-4 8*+%* -'& 50 5*' +&'# 0( �'%+4+0/ �6).'/5#5+0/ #3' +.1035#/5 (03 5*'

4#,' 0( *+4503+%#- %0.1-'5'/'44� *' #65*034 8'3' 4#5+4(+'& 5*#5 5*': *#& 0$4'37'& # )'/6+/' 45#5+45+%#-

#/0.#-: #/& #&&+5+0/#--:� $'%#64' 5*': *#& &'7'-01'& #/ #%%63#5' .#5*'.#5+%#- .0&'- 0( 5*' 3#/&0.

&'7+%'� 5*': 8'3' #4463'& 5*#5 5*' &'7+#5+0/4 8'3' /05 &6' 50 #/: ,/08/ 1*:4+%#- +/5'3#%5+0/4� *':

%0/%-6&'&� +/ 5*'+3 3'1035� 5*#5 40.' (03. 0( #/0.#-064 &#5# 4'-'%5+0/ *#& 0%%633'& #/& /#.'& +5 ����

��������� �� ���������

�0--08+/) # 46))'45+0/ $:�3� �#7+&�� �#6/&'34 0(�����'#463'.'/5 #/&�440%+#5'4� 8' /05+%'& +/

� � 5*#5 5*' '(('%5 4+;' +/ $+/#3: ��� 456&+'4 7#3+'& 0/ 5*' #7'3#)' #4 0/' 07'3 5*' 426#3' 3005 0( 5*'

/6.$'3 0( $+54 +/ 5*' 4'26'/%'� *+4 0$4'37#5+0/ -'& 50 5*' &'7'-01.'/5 0( 5*' ��������� �� �������

.0&'- 5*#5 #11'#3'& 50 &'4%3+$' 5*' ��� &#5# 50 5*#5 &#5' ��#:� �#&+/� �6$$#3&� �6.1*3':� #/&

!554� � ��� *' 3'.#+/&'3 0( 5*+4 1#1'3 &'4%3+$'4 5*' /'95 45'1 +/ 5*' '70-65+0/ 0( 5*' 5*'03: 8*+%* +4

/08 /#.'& ������� ����������� � �����

Decision Augmentation Theory—A General Description�+/%' 5*' %#4' (03 ��=.'&+#5'& +/(03.#5+0/ 53#/4('3 +4 /08 8'-- '45#$-+4*'& ��'. #/& �0/0350/�

��� +5 806-& $' '9%'15+0/#- +( 8' &+& ��� +/5')3#5' 5*+4 (03. 0( +/(03.#5+0/ )#5*'3+/) +/50 5*' &'%+4+0/

130%'44� �03 '9#.1-'� 8' 3065+/'-: 64' 3'#-=5+.' &#5# )#5*'3+/) #/& *+4503+%#- +/(03.#5+0/ 50 #44+45 +/

5*' &'%+4+0/ 130%'44� "*:� 5*'/� 4*06-& 8' /05 +/%-6&' �� +/ 5*' &'%+4+0/ 130%'44� �� *0-&4 5*#5 ��

+/(03.#5+0/ +4 +/%-6&'& #-0/) 8+5* 5*' 646#- +/1654 5*#5 3'46-5 +/ # (+/#- *6.#/ &'%+4+0/ 5*#5 (#70634 #

<&'4+3'&� 065%0.'� �/ 45#5+45+%#- 1#3-#/%'� �� 4#:4 5*#5 # 4-+)*5� 4:45'.#5+% $+#4 +4 +/530&6%'& +/50 5*'

&'%+4+0/ 130%'44 $: ���

*+4 1*+-0401*+%#- %0/%'15 *#4 5*' #&7#/5#)' 0( $'+/) 26+5' )'/'3#-� 0 +--6453#5' 5*' 10+/5� 8' &'4%3+$'

*08 5*' <%04.04� &'5'3.+/'4 5*' 065%0.' 0( # 8'--=&'4+)/'&� *:105*'5+%#- '91'3+.'/5� 0 &'5'3.+/'

5*' 4'26'/%+/) 0( %0/&+5+0/4 +/ #/ ��� '91'3+.'/5� 461104' 5*#5 5*' '/53: 10+/5 +/50 # 5#$-' 0( 3#/=

&0. /6.$'34 8+-- $' %*04'/ $: 5*' 426#3' 3005 0( 5*' $#30.'53+% 13'4463' #4 45#5'& +/ 5*' 8'#5*'3 3'=

Page 5: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

�� ����� ������������ ������� ������ � ���� �� � �� �� ����

-,/1 1%�1 4&)) �" -2�)&0%"! 0"3"+ !�60 %"+ " &+ 1%"������ �� �� �&+ " %2*�+0 �/" +,1,/&,20)6 ��! �1

-/"!& 1&+$ ,/ ,+1/,))&+$ 1%" 4"�1%"/� 1%&0 "+1/6 -,&+1 *&$%1 0""* &+!"-"+!"+1 ,# � %2*�+ !" &0&,+� �21

4%6 !&! 4" 8 %,,0"� 0"3"+ !�60 &+ �!3�+ "��%6 +,1 0&5 ,/ "&$%1��%6 1%"�� ���� �� � �+! +,1 1%"

����� �� �� ���4,2)! 02$$"01 1%�1 1%" 0")" 1&,+ ,# 0"3"+ !�60� 1%"�� ���� �� �� 1%" ��/,*"1/&

-/"002/"� �+! 0.2�/" /,,1 #2+ 1&,+ 4"/" �"11"/ %,& "0� "&1%"/ &+!&3&!2�))6 ,/ ,))" 1&3")6� �+! 1%�1 ,1%"/

!" &0&,+0 4,2)! +,1 %�3" )"! 1, �0 0&$+&#& �+1 �+ ,21 ,*"� �1%"/ +,+91" %+& �) !" &0&,+0 *�6 �)0, �"

�&�0"! �6 �� &+ � ,/!�+ " 4&1%���� �%"+ 0%,2)! 4" 0 %"!2)" ���+7#")! 0"00&,+� 4%, 0%,2)! �" 1%"

"5-"/&*"+1"/ &+ � 0"/&"0� %,4 0%,2)! 4" !"1"/*&+" � 0-" &#& ,/!"/ &+ � 1/&9-,)�/ -/,1, ,)� ��� "59

-)�&+0 �+,*�),20 *"+1�) -%"+,*"+� �0 � -/, "00 ,# '2!& &,20 0�*-)&+$ #/,* � 4,/)! ,# "3"+10 1%�1 �/"

2+-"/12/�"!� �+ ,+1/�01� #,/ "9)&(" *,!")0� %,)! 1%�1 0,*" (&+! ,# *"+1�))69*"!&�1"! #,/ " -"/12/�0

1%" 4,/)!� �0 4" 4&)) 0%,4 �"),4� 1%"0" 14, 16-"0 ,# *,!")0 )"�! 1, .2&1" !&##"/"+1 -/"!& 1&,+0�

�1 &0 &*-,/1�+1 1, 2+!"/01�+! 1%" !,*�&+ &+ 4%& % � *,!") &0 �--)& ��)"� �,/ "5�*-)"� �"41,+�0 )�40

�/" 02##& &"+1 1, !"0 /&�" 1%" !6+�*& 0 ,# *" %�+& �) ,�'" 10 &+ 1%" !,*�&+ 4%"/" 1%" 3"), &1&"0 �/" 3"/6

*2 % 0*�))"/ 1%�+ 1%" 0-""! ,# )&$%1� �+! 4%"/" 1%" .2�+12* 4�3")"+$1% ,# 1%" ,�'" 1 &0 3"/6 0*�))

,*-�/"! 1, 1%" -%60& �) "51"+1 ,# 1%" ,�'" 1� �# 1%"0" ,+!&1&,+0 �/" 3&,)�1"!� 1%"+ !&##"/"+1 *,!")0

*201 �" &+3,("! �"�$�� /")�1&3&16 �+! .2�+12* *" %�+& 0� /"0-" 1&3")6�� �%" !,*�&+ &+ 4%& % ��� &0

�--)& ��)" &0 4%"+ "5-"/&*"+1�) ,21 ,*"0 �/" &+ � 01�1&01& �) /"$&*" �&�"�� � #"4 01�+!�/! !"3&�1&,+0

#/,* %�+ "�� �+ ,1%"/ 4,/!0� ,2)! 1%" *"�02/"! "##" 1 , 2/ 2+!"/ 1%" +2)) %6-,1%"0&0� �%&0 &0 +,1 �

0%�/-9"!$"! /".2&/"*"+1 �21 ��� �" ,*"0 )"00 �-/,-,0 1%" *,/" � 0&+$)" *"�02/"*"+1 !"3&�1"0 #/,*

*"�+9 %�+ "9"5-" 1�1&,+ ������ �" 4,2)! +,1 &+3,(" ���� #,/ "5�*-)"� �0 �+ "5-)�+�1&,+ ,# )"3&1�9

1&,+ &# ,+" #,2+! 1%" �21%,/0 %,3"/&+$ +"�/ 1%" "&)&+$� �%" 0,2/ " ,# 1%" 01�1&01& �) 3�/&�1&,+ &0 2+/"9

01/& 1"! �+! *�6 �" ,# )�00& �) ,/ .2�+12* ,/&$&+� �" �20" � -,1"+1&�) 2+!"/)6&+$ *" %�+&0* #,/ ���

&0 -/" ,$+&1&,+� �6 1%&0 *"�+0� "5-"/&*"+1 -�/1& &-�+10 �" ,*" 01�1&01& �) ,--,/12+&010�

Development of a Formal Model�%&)" ���*�6 %�3" &*-)& �1&,+0 #,/ �+,*�),20 *"+1�) -%"+,*"+� &+ $"+"/�)� 4" !"3"),- 1%" *,!")

&+ 1%" #/�*"4,/( ,# 2+!"/01�+!&+$ "5-"/&*"+1�) /"02)10� �+ -�/1& 2)�/� 4" ,+0&!"/ �+,*�),20 -"/9

12/��1&,+ 3"/020 �+,*�),20 ,$+&1&,+ &+ 1%" #,/* ,# !" &0&,+ �2$*"+1�1&,+ &+ 1%,0" "5-"/&*"+10 4%,0"

,21 ,*"0 �/" &+ 1%" #"490&$*�� 01�1&01& �) /"$&*"�

�" !"#&+" #,2/ -,00&�)" *" %�+&0*0 #,/ 1%" /"02)10 &+ 02 % "5-"/&*"+10

�� ��� ����� ����������� �%" /"02)10 �/" �1 %�+ "� �%�1 &0� 1%" !"3&�1&,+ ,# 1%" !"-"+!"+1 3�/&9��)" *""10 � "-1"! /&1"/&� #,/ ���� �+ 01�1&01& �) 1"/*0� 4" %�3" *"�02/"*"+10 #/,* �+ �����

���� -�/"+1 !&01/&�21&,+ 4&1% ������ 0�*-)&+$�

�� �������� ����������� ��12/" &0 *,!&#&"! �6 0,*" �+,*�),20 &+1"/� 1&,+� �%�1 &0� 4" "5-" 1�+ &+1"/� 1&,+ ,# � 8#,/ "� 16-"� �+ 01�1&01& �) -�/)�+ "� 4" %�3" *"�02/"*"+10 #/,* � ������

-�/"+1 !&01/&�21&,+ 4&1% ������ 0�*-)&+$�

��� �������� �� ��������� ��12/" &0 2+ %�+$"! �21 1%" *"�02/"*"+10 �/" �&�0"!� �%�1 &0� �� &+9#,/*�1&,+ %�0 8!&01,/1"!� 1%" 0�*-)&+$� �+ 01�1&01& �) 1"/*0� 4" %�3" *"�02/"*"+10 #/,* �+ �����

���� -�/"+1 !&01/&�21&,+ 4&1% ���� 0�*-)&+$�

��� ���������� ��12/" &0 *,!&#&"! �+! 1%" *"�02/"*"+10 �/" �&�0"!� �%�1 &0� �,1% �+,*�),20 "#9#" 10 �/" -/"0"+1� �+ 01�1&01& �) -�/)�+ "� 4" %�3" ,+!2 1"! ���� 0�*-)&+$ #/,* � ������ -�/9"+1 !&01/&�21&,+�

Page 6: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

�� ����� ������������ ������� ������ � ���� �� � �� �� ����

General Considerations and Definitions

�$(� .# !),'�& �$-�/--$)( )! ��� $- -.�.$-.$��&� 1 1$&& � -�,$� .# )0 ,�&& �)(. 2. !), .# � 0 &)*5

' (. )! .# ')� & !,)' .#�. * ,-* �.$0 � )(-$� , � ,�(�)' 0�,$��& � �� .#�. ��( .�% )( �)(.$(/)/-

0�&/ - � �"�� .# (),'�& �$-.,$�/.$)(� ), �$-�, . 0�&/ - � �"�� .# �$()'$�& �$-.,$�/.$)(�� �2�'*& - )! �

'$"#. � .# #$. ,�. $( �( ��� 2* ,$' (.� .# -1$''$(" 0 &)�$.3 )! -$("& � &&-� ), .# '/.�.$)( ,�.

)! ���. ,$�� � . � � .# �0 ,�" )! � �)'*/. � )0 , � 0�&/ -� 1# , � $- .# (/'� , )! $. '- .#�. �,

�)&& �. � �- .# , -/&. )! � -$("& � �$-$)(6)( .,$�&� �!. ( .#$- '�3 � +/$0�& (. .) � -$("& !!),.

* ,$)�� �/. $. �&-) '�3 $(�&/� , * �. � !!),.-� �# % 3 *)$(. $- .#�.� , "�,�& -- )! .# !!),. -.3& � .#

�0 ,�" 0�&/ )! .# � * (� (. 0�,$��& $- �)'*/. � )0 , .# � 0�&/ - , -/&.$(" !,)' )( � �$-$)(

*)$(.� �( .# 2�'*& - ��)0 � � $- .# - +/ (� & (".# )! � -$("& ,/( $( �( ��� 2* ,$' (.� .# (/'5

� , )! -1$''$(" � &&- ' �-/, � �/,$(" .# .,$�&� ), .# (/'� , )! ���. ,$�5�)(.�$($(" . -. ./� - *, - (.

�/,$(" .# .,$�&� �- 1 1$&& -#)1 � &)1� !),� 5&$% !! �.- , +/$, .#�. .# �5-�), � 1#$�# $- �)'*/. �

!,)' .# ��� $(�, �- �- .# -+/�, ,)). )! �� �( �)(.,�-.� $(!),'�.$)(�& !! �.- 1$&& � -#)1( .) � $(� 5

* (� (. )! ��

Assumptions for DAT

� �--/' .#�. .# *�, (. �$-.,$�/.$)( )! � *#3-$��& -3-. ' , '�$(- ��� ��� #)1 0 ,� .# ' �5

-/, ' (.- )! .# *#3-$��& -3-. ' �, -3-. '�.$��&&3 �$�- � �3 -)' � �' �$�. � $(!),'�.$)(�& *,)5

� --�

�$(� .# � 0$�.$)(- - ( $( 2* ,$' (.- $( .# -.�.$-.$��& , "$' . (� .) � -'�&& $( '�"($./� � $. $- -�!

.) �--/' .#�. .# ' �-/, ' (. �$�- - 1$&& �&-) � -'�&& .# , !), � 1 �--/' -'�&& -#$!.- )! .# ' �(

�(� 0�,$�(� )! .# -�'*&$(" �$-.,$�/.$)(� �$"/, � -#)1- .# �$-.,$�/.$)(- !), �$�- � �(� /(�$�- �

' �-/, ' (.-�

�$"/, �� ��'*&$(" �$-.,$�/.$)( �(� , ����

�5��), -

�4

�4�

��� �

Biased Sample

Unbiased Sample

�# �$�- � -�'*&$(" �$-.,$�/.$)( -#)1( $( �$"/, � $- �--/' � .) � (),'�&&3 �$-.,$�/. � �-

� � ����� �����

1# , �� �(� �� �, .# ' �( �(� -.�(��,� � 0$�.$)( )! .# -�'*&$(" �$-.,$�/.$)(�

Page 7: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

Assumptions for an Anomalous Perturbation Model

�� �� �� �! &$�%&�� &! �!$��.���� �����&%� ��&� � ��) �*��"&�! % $�"!$&�� � &�� ��&�$�&'$� !� -������

"�� !�� �� � !���!'% "�$&'$��&�! �""��$% &! �� $���&�(��+ -%������ ��'%� )� ���� )�&� &�� �%%'�".

&�! &��& � "'&�&�(� � !���!'% �!$�� )!'�� ��(� $�%� &! � "�$&'$��&�! �� � &�$��&�! � �+ )���� )� ���

&��&� ��(� � � %����� !� � &�&��% ������ �� �$+ ��&%� ����%�� � � !���!'% �!$�� )!'�� ��& �#'���+ ! ����

�����$ !� &�� � %������ ! &�� �(�$���� �� ���� &��% &+"� !� � &�$��&�! ���$!.���

���'$� %�!)% � %�����&�� $�"$�%� &�&�! !� "$!������&+ �� %�&+ �' �&�! % �!$ � "�$� & ��%&$��'&�! ' .

��$ &�����$!.�� �%%'�"&�! � � � ' "�$&'$��� "�$� & ��%&$��'&�! � � &�� %��"��%& ���$!.���!����

&�� "�$&'$��&�! � �'��% � ��� �� � &�� ��� !� &�� "�$� & ��%&$��'&�! �'& �!�% !& �����&% �&% (�$�.

� ��� �� "�$���&�$�,� &�� ��� %���& � &�$�% !� � �'�&�"���$ !� &�� � �&��� %&� ��$� ��(��&�! � ��'%�

)� ���� � � ��.�����& %�,� �%

�������� ��

���

)��$� �� � � �� �$� &�� ��� % !� &�� "�$&'$��� � � ' "�$&'$��� ��%&$��'&�! %� $�%"��&�(��+� � � )��$�

�� �% &�� %&� ��$� ��(��&�! !� &�� ' "�$&'$��� ��%&$��'&�! �

���'$� � ��$� & �%&$��'&�! �!$ ���$!.���

��

��

�1 � �0� �AP�0

�"� �� & ��$�����

Pro

babi

lity

Den

sity

�!$ &�� �!�� &� )� �! %���$ ��� �% � "�$���&�$ )����� � "$� ��"��� �!'�� �� � �' �&�! !� � (�$��&+ !�

(�$�����% ������ "%+��!�!������ "�+%����� � (�$! �� &��� ��&�!�!�!������� �% )� ��(��!" �� �!$ %"����.

�� ��%&$��'&�! % � � �*"�$��� &%� )� )��� ��%�'%% &��% �' �&�! ���&+ !� ����

Calculation of E(Z 2)

�� �!�"'&� &�� �*"��&�� (��'� � � (�$�� �� !� �� �!$ ��� ��� �� �*"��&�&�! � � ' ��$ &�� �!$��.

���� � � � �!$��&�! �%%'�"&�! %� �� �! &��% �!$ &�� !$��� � � �� !���� ��%&$��'&�! %� ��� ��&���% !�

&�� ����'��&�! % �� �� �!' � � &�� �""� ��*� �!)�(�$� )� %'���$�,� &�� $�%'�&% � &��% %��&�! � �����

� %�!)% &�� $�%'�&% �%%'�� � &��& &�� "�$� & ��%&$��'&�! �% !$����

Page 8: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

���'" ��

�*-(�' ��-")/ �&./-&�0/&*)

�0�)/&/4�" %�)&.(

�0�)/&/4��� (& -*��� ���

E(Z2) � 1� �2APn �

2z� �

2z

Var(Z2) ��� �� �� ���

�� ���

��

���'" .%*2. /%" -".0'/. �..0(&)$ /%�/ /%" +�-")/ !&./-&�0/&*) &. �&)*(&�'� �) /%&. �' 0'�/&*)� �� &. /%"

�&)*(&�' "1")/ +-*���&'&/4 �)! �� �����������

���'" �

�&)*(&�' ��-")/ �&./-&�0/&*)

�0�)/&/4�" %�)&.(

�0�)/&/4��� (& -*7�� ���

E(Z2) � 1� �2AP(n� 1)�

�AP

�0(1� 2p0) �

2z� �

2z

Var(Z2) � ���

��� ��� ��� �

� ��� ���

�� ���

��

� �%" 1�-&�) " .%*2) �..0(". �� � ��� �)! �� �� �"" /%" �++")!&3 #*- */%"- �.".�

�" 2&.% /* "(+%�.&5" �/ /%&. +*&)/ /%�/ &) /%" !"1"'*+(")/ *# /%" (�/%"(�/& �' (*!"'� /%" +�-�("/"-

��� #*- (& -*7��� �)! /%" +�-�("/"-. �� � �)! �� &) ��� (�4 �'' +*..&�'4 !"+")! 0+*) �� %*2"1"-� #*-

/%" (*(")/� 2" ������ /%�/ /%"4 �-" �'' �7&)!"+")!")/� �" .%�'' !&. 0.. /%" *).",0") ". *# /%&. �.7

.0(+/&*) �"'*2�

�&$0-" !&.+'�4. /%"." /%"*-"/& �' �' 0'�/&*). #*- /%" /%-"" (" %�)&.(. $-�+%& �''4�

�&$0-" � �-"!& /&*). *# ���� (& -*7��� �)! ����

(& -*7��

�� �

)

'�-$"

.(�''

���

���

Page 9: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

�� ����� ������������ ������� ������ � ���� �� � �� �� ����

�#-"#' -"� �(',-+�#'-, &�'-#('�� ��(/�� -"#, (+&.%�-#(' )+��#�-, !+(,,%2 �# �+�'- (.-�(&�, (+ -"�,�

&(��%, �'�� -"�+� (+�� #, .%-#&�-�%2 ��)��%� ( ,�)�+�-#'! -"�&� �/�' (+ /�+2 ,&�%% )�+-.+��-#(',�

Retrospective Tests�- #, )(,,#�%� -( �))%2 ��� +�-+(,)��-#/�%2 -( �'2 �(�2 ( ��-� -"�- &��- ��+-�#' �(',-+�#'-,� �- #, �+#-#��%

-( $��) #' &#'� -"� &��'#'! ( -"� '.&��+ ( &��,.+�, ( -"� ��)�'��'- /�+#��%� (/�+ 0"#�" -(

�(&).-� �' �/�+�!� �.+#'! � ,#'!%� -+#�% (%%(0#'! � ,#'!%� ���#,#('� �' -�+&, ( -"�#+ )+��#�-#(', (+

�1)�+#&�'-�% +�,.%-,� -"� �+.�#�% �#,-#'�-#(' ��-0��' ��� �'� -"� &#�+(4�� &(��% #, -"� ��)�'��'��

( -"� +�,.%-, .)(' -"�+� (+�� �1)�+#&�'-, 0"#�" �+� .,�� -( -�,- -"�,� -"�(+#�, &.,- �� -"(,� #'

0"#�" #, &�'#).%�-�� �'� )�+-#�#)�'-, �+� "�%� �%#'� -( #-, /�%.�,� ��2� �)(--#,0((��� �--, �'� ��&�,

����� +�-+(,)��-#/�%2 �))%2 ��� -( �, &�'2 ��-� ,�-, �, )(,,#�%�� �'� �1�&#'� -"� �(',�*.�'��, ( �'2

/#(%�-#(', ( -"�,� �+#-�+#��

�,#�� +(& -"�,� �(',#��+�-#(',� -"� �))%#��-#(' ( ��� #, ,-+�#!"- (+0�+�� ��/#'! #��'-# #�� -"� .'#-

( �'�%2,#, �'� � ,#&)%2 �+��-� � ,��--�+ �#�!+�& ( )(#'-, ��� � �'� �(&).-� � %��,- ,*.�+� #- -( �

,-+�#!"- %#'�� ���%�, � �'� ,"(0 -"�- (+ -"� &#�+(4�� &(��%� -"� ,*.�+� ( -"� � ��- ,#3� #, -"� ,%()�

( -"� +�,.%-#'! #-� � �-.��'-�, ��-�,- &�2 �� .,�� -( -�,- -"� "2)(-"�,#, -"�- -"� � ��- ,#3� #, 3�+(� �'�

-"., -�,- (+ -"� /�%#�#-2 ( -"� &#�+(4�� &(��%� � -"� ,%()� #, 3�+(� -"�,� ,�&� -��%�, ,"(0 -"�- -"�

#'-�+��)- &�2 �� #'-�+)+�-�� �, �' �� ,-+�'!-" )�+�&�-�+ (+ ���� � (%%(04(' )�)�+ 0#%% ��,�+#��

-"�,� -��"'#*.�, #' ��-�#% ���2� �)(--#,0((�� �'� �--,� �����

Prospective Tests� )+(,)��-#/� -�,- ( ��� �(.%� '(- ('%2 -�,- 0"�-"�+ �'(&�%(., � ��-, (��.++��� �.- 0(.%� �%,( �# 4

�+�'-#�-� ��-0��' &#�+(4�� �'� ���� �' ,.�" -�,-,� ,"(.%� ��+-�#'%2 �� � �(.�%�4�%#'� )�+�&�-�+

�'� -�$� (' �- %��,- -0( /�%.�,� � 2(. 0�'-�� -( �"��$ -"� )+��#�-#(' ( � %#'��+ .'�-#('�% +�%�-#(',"#)

��-0��' �'� -"� ���� -"�- #, ,.!!�,-�� �2 &#�+(4�� &(��%� -"� &(+� /�%.�, ( -"� ��--�+� �- #, '(-

)(,,#�%� -( ,�)�+�-� -"� &#�+(4�� &(��% +(& ��� �- � ,#'!%� /�%.� ( �

�' �'2 )+(,)��-#/� -�,-� #- #, "�%) .% -( $'(0 -"� '.&��+ ( +.',��� -"�- �+� '���,,�+2 -( ��-�+&#'� 0#-"

��� �(' #��'��� 0"#�" ( -"� -0( &(��%, ��,- #-, -"� ��-�� �#!.+� �#,)%�2, -"� )+(�%�& !+�)"#��%%2�

�#!.+� � �(��% �+��#�-#(', (+ -"� �(0�+ ��%�.%�-#('�

Pro

babi

lity

Den

sity

E(Z2AP)� 1 . 645

�AP

N�

EAC (Z2) EAP(Z2)

Page 10: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

��

!/&'3.+%30=��� ���0( 5*' 7#-6'4 0(��8+-- $' )3'#5'3 5*#/ 5*' 10+/5 +/&+%#5'& +/ �+)63' � �7'/ +( 5*'

.'#463'& 7#-6' 0(�� +4 #5 5*+4 10+/5� 8'806-& -+,' 5*' -08'3 -+.+5 0( 5*' ��� %0/(+&'/%' +/5'37#- (03 5*+4

7#-6' 50 $' )3'#5'3 5*#/ 5*' 13'&+%5'& 7#-6' 6/&'3 5*' �� .0&'-� �3�

�������� � � �

���

��� � ��

���

��� ��� ��

�� �

�0-7+/) (03 � +/ 5*' '26#-+5:� 8' (+/&�

�� � � � �� ���

��� ����� ��� ��

����

� ��

�+/%' ���� ���� 5*+4 7#-6' 0(�8+-- #-8#:4 $' 5*' -#3)'3 '45+.#5' 5*#/ 5*#5 &'3+7'& (30.$')+//+/)8+5*

�� #/& %#-%6-#5+/) 5*' %0/(+&'/%' +/5'37#-4 +/ 5*' 05*'3 &+3'%5+0/�

�61104'� (30. #/ '#3-+'3 '91'3+.'/5� 0/' %#/ '45+.#5' # 4+/)-'=53+#- '(('%5 4+;' (03 # 41'%+(+% 7#-6' 0( ��

4#: ��� 0 &'5'3.+/' 8*'5*'3 5*' .+%30=��.0&'- 03 �� +4 5*' 1301'3 &'4%3+15+0/ 0( 5*' .'%*#/+4.�

8' .645 %0/&6%5 #/05*'3 456&: #5 #/ #&&+5+0/#- 7#-6' 0( �� 4#: �� � "' 64' �26#5+0/ 50 %0.165' *08

.#/: 36/4 8'.645 %0/&6%5 #5 �� 50 #4463' # 4'1#3#5+0/ 0( .'%*#/+4. 8+5* ��� %0/(+&'/%'� #/& 8' 64'

5*' 7#3+#/%'4 4*08/ +/ #$-'4 #/& � 50 %0.165' ���� �+)63' � 4*084 5*' /6.$'3 0( 36/4 (03 #/ ���=

-+,' '91'3+.'/5 #4 # (6/%5+0/ 0( '(('%5 4+;' (03 5*3'' 7#-6'4 0( ���

"' %*04' �� � $+54 $'%#64' +5 +4 5:1+%#- 0( 5*' /6.$'34 (06/& +/ 5*' ���&#5#$#4' #/& 5*' 7#-6'4 0(

�� 4*08/ #3' 8+5*+/ '#4: 3'#%* 0( 50&#:�4 %0.165'3=$#4'& ��� &'7+%'4� �03 '9#.1-'� #446.+/) �� �

��� #/& #446.+/) #/ '(('%5 4+;' 0( � � # 7#-6' &'3+7'& (30. # 16$-+%#5+0/ 0( ���� &#5# ��#*/� �����

5*'/ #5 �� �� �� �� ��� � #/&�������� ������� �61104' �� � � 5*'/�����

���

�� #/& ���� ����� !4+/) �26#5+0/ � 8' (+/&�� �� 36/4� 8*+%* %#/ $' #11309+.#5'-: 0$5#+/'&

(30. �+)63' �� *#5 +4 +/ 5*+4 '9#.1-'� ��� 36/4 #3' /''&'& 50 3'40-7' 5*' .+%30=�� .0&'- (30.��

#5 �� � #5 5*' ��� %0/(+&'/%' -'7'-� �+/%' 5*'4' 36/4 #3' '#4+-: 0$5#+/'& +/.045 ���'91'3+.'/54�

#/ +&'#- 13041'%5+7' 5'45 0( �� � 8*+%* +4 $#4'& 0/ 5*'4' %#-%6-#5+0/4� 806-& $' 50 %0/&6%5 � 36/4

3#/&0.-: %06/5'3$#-#/%'& $'58''/ � � � #/& � � $+54�53+#-� �� 5*' '(('%5 4+;' #5 � � � +4 /'#3

� � 5*#/ 8' 806-& $' #$-' 50 &+45+/)6+4* $'58''/ .+%30=�� #/& �� 8+5* ��� %0/(+&'/%'�

�+)63' �� �6/4 �'26+3'& (03 ��� �(('%5 �+;'4

�� � ���� � ���

�� �(('%5 �+;' #5 �� � ��� ����

�� � ���

�'26+3'&�6.$'30(�6/4

Page 11: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

�� ����� ������������ ������� ������ � ���� �� � �� �� ����

��

�)'41% � 2(.62 2),)+!1 1%+!3).-2()/2 &.1 %&&%#3 2)9%2 3(!3 !1% ,.1% 38/)#!+ .& !-.,!+.42 /%1341"!3).-

%7/%1),%-32 42)-' ").+.')#!+ 3!1'%3 2823%,2 ��!8 !-$ �)+%-2*!8!� � ���

�- 3()2 #!2%� 6% #(.2% �� � "%#!42% )3 )2 %!28 3. 42% 36. 3!1'%32 2),4+3!-%.42+8� �& 6% !224,% !- %&&%#3

2)9% .& �� !-$ �� � ���� !3 �� ��6% #.,/43%������� ����������

����� ��� ���� ��� !-$

���� 6()#( #!- "% !//1.7),!3%+8 ."3!)-%$ &1., �)'41% ��

% (!5% )-#+4$%$ �� ��� )- �)'41% �� "%#!42% 3()2 )2 6)3()- 1%!#( )- #%++4+!1 %7/%1),%-32 !+3(.4'( )3 )2

/1."!"+8 -.3 /1!#3)#!+ &.1 ,.23 ").+.')#!+ %7/%1),%-32�

�)'41% �� �4-2 �%04)1%$ &.1 �).+.')#!+ �&&%#3 �)9%2

�&&%#3 �)9% !3 �� � 4-)32

�� ���

�� ��

�� ��

�%04)1%$�4,"%1.&�4-2

% #(.2% �� � 4-)32 &.1 #.-5%-)%-#%� �.1 %7!,/+% )- ! /+!-3 234$8� 3(% /(82).+.')#!+ 1%2/.-2%2 #!-

%!2)+8 "% !5%1!'%$ .5%1 36. /+!-32 !-$ �� ��� )2 6)3()- 1%!2.- &.1 ! 2%#.-$ $!3! /.)-3� � 4-)3 #.4+$ "% !

3%23 34"% #.-3!)-)-' #%++2 .1 "!#3%1)!� 3(% #.++%#3).- .& !++ 3%- 3%23 34"%2 6.4+$ 2),4+3!-%.42+8 (!5% 3. "%

3(% 3!1'%3 3. ,%%3 3(% #.-231!)-32 .& ! 5!+)$ 3%23�

�(% /1.2/%#3)5% 3%232 6% (!5% $%2#1)"%$ 2. &!1 !1% #.-$)3).-!+� 3(!3 )2� ')5%- !- %&&%#3 2)9%� 6% /1.5)$% !

/1.3.#.+ 3. 3%23 )& 3(%,%#(!-)2, &.1 3(% !-.,!+)%2 )2 ,)#1.:�� .1���� �- 4-#.-$)3).-!+ 3%23 $.%2 -.3

!224,% !-8 %&&%#3 2)9%� !++ 3(!3 )2 -%#%22!18 )2 3. #.++%#3 $!3! !3 ! +!1'% -4,"%1 .& $)&&%1%-3 5!+4%2 .& ��

!-$ &)3 ! 231!)'(3 +)-% 3(1.4'( 3(% 1%24+3)-'��2� �(%,%#(!-)2, )2 ,)#1.:�� )& 3(% 2+./% )2 -.-:9%1. !-$

,!8 "% ��� )& 3(% 2+./% )2 9%1.�

Stouffer’s Z Tests�-% #.-2%04%-#% .&��� )2 3(!3,.1% $%#)2).- /.)-32 )- !- %7/%1),%-3 +%!$ 3. 231.-'%1 1%24+32� "%#!42%

!- ./%1!3.1 (!2,.1% .//.134-)38 3. %7%1#)2% �� !")+)3)%2� % $%1)5% ! 3%23 #1)3%1)! 3. $%3%1,)-% 6(%3(:

%1 ! &.1#%:+)*% )-3%1!#3).- .1 !- )-&.1,!3).-!+ ,%#(!-)2, )2 ! "%33%1 $%2#1)/3).- .& 3(% $!3!�

�.-2)$%1 36. %7/%1),%-32 .& � $%#)2).-2 !3 �� !-$ $%#)2).-2 !3 �� � 1%2/%#3)5%+8� �%'!1$+%22 .& 3(%

,%#(!-)2,� 3(% �3.4&&%1�2 � &.1 3(% &)123 %7/%1),%-3 )2 ')5%- "8�

Page 12: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

��

��� �

� �

��

��

��� �� ��

4%"/" ���� &0 1%" "##" 1 0&7" #,/ ,+" !" &0&,+ �+! 4%"/" �� &0 1%" �3"/�$" "##" 1 0&7" ,3"/ 1%"� !" &0&,+0�

�+!"/ 1%" *& /,:�� �002*-1&,+ 1%�1 1%" "##" 1 0&7"� �� � &0 ,+01�+1 /"$�/!)"00 ,# � �1,2##"/�0 � &+ 1%"

0" ,+! "5-"/&*"+1 &0 $&3"+ �6�

��� �

�� ���

�+!"/ 1%" ��� �002*-1&,+ 1%�1 1%" "##" 1 0&7" &0 -/,-,/1&,+�) 1, ��� 1%" �1,2##"/�0 � &+ 1%" 0" ,+!

"5-"/&*"+1 �" ,*"0�

��� � �

�� ���

�0 &+ 1%" ,1%"/ 1"010 ,# ���� &# !�1� �/" ,))" 1"! �1 14, 3�)2"0 ,# � 1%"+ � 1"01 �"14""+ 1%"0" �1,2##"/�0

� 3�)2"0 *�6 6&")! � !&##"/"+ " �"14""+ 1%" ,*-"1&+$ *" %�+&0*0�

Discussion�" +,4 �!!/"00 1%" -,00&�)" :!"-"+!"+ " ,# 1%" *,!") -�/�*"1"/0� � !"$"+"/�1" �0" �/&0"0 &# ��� &0

-/,-,/1&,+�) 1, ��� &# 1%�1 4"/" 1%" �0"� 4" ,2)! +,1 !&01&+$2&0% �"14""+ 1%" *& /,:�� *,!") �+!

��� �6 *"�+0 ,# 1"010 ,+ 1%" !"-"+!"+ " ,# /"02)10� �# &1 4"/" 1%" �0" 1%�1 &+ 1%" �+�)60&0 ,# 1%" !�1�

#/,* � 3�/&"16 ,# "5-"/&*"+10� -�/1& &-�+10� �+! )��,/�1,/&"0� 1%" 0),-" ,# � �� 30 )&+"�/ )"�01:0.2�/"0

#&1 4"/" 7"/,� 1%"+ "&1%"/ ��� � ��� ,/ ��� &0 -/,-,/1&,+�) 1, ��� 1%" � 2/� 6 !"-"+!&+$ 2-,+ 1%"

-/" &0&,+ ,# 1%" #&1 �&�"�� "//,/0 ,+ 1%" 7"/, 0),-"�� �+ �11"*-1 *&$%1 �" *�!" 1, /"0 2" 1%" *& /,:��

%6-,1%"0&0 �6 "5-)�&+&+$ 1%" �� !"-"+!"+ " ,# ��� &+ 1%" !"$"+"/�1" �0" �0 � #�1&$2" ,/ 0,*" ,1%"/

1&*" !"-"+!"+ " "##" 1� �%�1 &0� &1 *&$%1 �" %6-,1%"0&7"! 1%�1 �+,*�),20 -"/12/��1&,+ ��&)&1&"0 4,2)!

!" )&+" �0 � #2+ 1&,+ ,# � %,4"3"/� &1 0""*0 &*-/,���)" 1%�1 � %2*�+:��0"! -%"+,*"+,+ 4,2)! �" 0,

4&!")6 !&01/&�21"! �+! ,+01�+1 �+! $&3" 1%" �� !"-"+!"+ 6 &+ !&##"/&+$ -/,1, ,)0 +""!"! 1, &*&1�1"

���� �" -/"#"/ 1, /"0,)3" 1%" !"$"+"/� 6 �6 4&")!&+$ � �*�0 /�7,/� &# 1%" ,+)6 16-" ,# �+,*�),20

-"/12/��1&,+4%& % #&10 1%" !�1� &0 &+!&01&+$2&0%��)" #/,*��� �+! $&3"+ 1%�1 4" %�3" �*-)" !"*,+01/�:

1&,+0 ,# �� �6 &+!"-"+!"+1 *"�+0 &+ 1%" )��,/�1,/6� 1%"+ 4" !, +,1 +""! 1, &+3"+1 �+ �!!&1&,+�) -%":

+,*"+,+ �))"! �+,*�),20 -"/12/��1&,+� �5 "-1 #,/ 1%&0 !"$"+"/� 6� � 7"/, 0),-" #,/ 1%" #&1 �)),40 20

1, /"'" 1 �)) *& /,:�� *,!")0� /"$�/!)"00 ,# 1%"&/ :!"-"+!"+ &"0�

��� &0 +,1 )&*&1"! 1, "5-"/&*"+10 1%�1 �-12/" !�1� #/,* � !6+�*& 0601"*� ���*�6 �)0, �" 1%"*" %:

�+&0* &+ -/,1, ,)0 4%& % 21&)&7" .2�0&:01�1& 1�/$"1 0601"*0� �+ � .2�0&:01�1& 1�/$"1 0601"*� � /�+!,*

-/, "00 , 2/0 ,+)6 4%"+ � /2+ &0 &+&1&�1"!� � *" %�+& �) !& " 1%/,4"/ &0 �+ "5�*-)"� �"1� &+ � 0"/&"0 ,#

2+�11"+!"! /2+0 ,# 02 % � !"3& " 1%"/" &0 �)4�60 � 01�1&01& �) 3�/&�1&,+ &+ 1%" *"�+ ,# 1%" !"-"+!"+1

3�/&��)" 1%�1 *�6 �" !2" 1, � 3�/&"16 ,# #� 1,/0� 02 % �0 �/,4+&�+ *,1&,+� 1"*-"/�12/"� %2*&!&16� �+!

-,00&�)6 1%" .2�+12* *" %�+& �) 2+ "/1�&+16 -/&+ &-)" ���)("/� ���� �%20� 1%" /"02)10 ,�1�&+"! 4&))

2)1&*�1")6 !"-"+! 2-,+ 4%"+ 1%" /2+ &0 &+&1&�1"!� �1 &0 �)0, -,00&�)" 1%�1 � 0" ,+!:,/!"/ ��� *" %�:

+&0* �/&0"0 �" �20" ,# -/,1, ,) 0")" 1&,+� %,4 �+! 4%, !"1"/*&+"0 1%" ,/!"/ &+ 1/&:-,)�/ -/,1, ,)0� �+

0" ,+! ,/!"/ ��� 1%"/" *�6 �" &+!&3&!2�)0� ,1%"/ 1%�+ 1%" #,/*�) 02�'" 1� 4%,0" !" &0&,+0 "##" 1 1%"

Page 13: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

��

�,$�&�!�"(� #)(�#!� �"� �&� !#������ �- �� ��*�" (�� �!�(�� $#''��� �(��' �" (��' ��'�� +� !���(

�,$��( �'' #� �" �!$��( �&#! ���

" ')&*�-�"� (�� &�"�� #� �"#!� #)' !�"(� $��"#!�"�� +� &����( (�� �*���"�� �#& �,$�&�!�"(� !��/

&#/�� ����)'� #� $##& �&(����( �#"(&# �"� ����$( (�� �*���"�� �#& $&��#�"�(�#" �"� !��&#/�� ����)'�

#� (�� �&�� ")!��& #� '()���' �"� (�� $#'�(�*� &�') (' #� (�� !�(�/�"� -'�'� �� �� ��*� (��( ��� (��&�/

�#&�� !���( �� � ��"�&� !#�� �#& �"#!� #)' !�"(� $��"#!�"� �" (��( �( &��)��' !����"�'!' �#&

��#&�(#&- $��"#!�"� (# #" - #"�0(�� �"#!� #)' (&�"'(�!$#&� ��%)�'�(�#" #� �"�#&!�(�#"�

Acknowledgements��"�� ����� (��&� ��*� ���" !�"- �"��*��)� ' +�# ��*� �#"(&��)(�� (# (�� ��*� #$!�"( #� ��� ��

+#) � ��&'( ��� (# (��"� �*�� ��)"��&' +�(�#)( +�#'� &�!�&� (��' +#&� +#) � "#( ��*� ���"� ��*�& -

�)!$�&�- ��$( (�� $�� #'#$���� �"(��&�(- �"(��( �( (�!�' )"��& �,(&�!� �)&�''� �� �&� �&��( - �$$&�/

���(�*� #� �# (." ��''-� (# +�#! +� #+� (�� �/'�#&� �#&!� �'!� (# ��#&�� ��"'�"� #"� � ���&(�-�

�"� ��#(( �)���&� �#& (���& �#"'(&)�(�*� �&�(���'!' �"� ')$$#&(�

Page 14: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

��

Appendix

Mathematical Derivations for the Decision Augmentation Theory�& +!"* �((�&�"/ .� ��-�$'( +!� �')%�$"*% �') +!� ���"*"'& �, %�&+�+"'& �!�')0 � ���� �� �'&*"��)

��*�* �') %��& �!�&�� �/(��+�+"'&� �')��1$"#� "&+�)��+"'&*� �&� "&�')%�+"'&�$ ()'��**�* ,&��) +.' �*1

*,%(+"'&*2&')%�$"+0 �&� ��)&',$$" *�%($"& � �') ���! '� +!�*� +!)�� %'��$*� .� �'%(,+� +!� �/1

(��+�� -�$,�* '� � �&� ��� �&� +!� -�)"�&�� '� ���

Mean Chance Expectation

Normal Distribution

�� �� "& �0 �'&*"��)"& � )�&�'% -�)"��$�� �� .!'*� ()'���"$"+0 ��&*"+0 �,&�+"'& "* &')%�$� �"���������

������� ��+�) %�&0 ,&�"�*�� %��*,)�* �)'% +!"* �"*+)"�,+"'&� "+ "* ('**"�$� +' '�+�"& )��*'&��$� �(()'/1

"%�+"'&* +' �� �&� ��� "& +!� ,*,�$ .�0� �,(('*� � ,&�"�*�� %��*,)�* �)� ,*�� +' �'%(,+� � &�. -�)"1

��$�� �� "-�& �0�

�� ����

��

���� �

�!�& � "* �"*+)"�,+�� �* ����� ����� .!�)� �&

� ����&� �� � "* ���"&�� �*

����� ��

���

+!�& � "* �"*+)"�,+�� �* ���� �� �&� ���� "* "-�& �0�

���������

����

��

����� ���� � � � �

�"&�� ������ � ����� � ����� +!�&

�������

��

����

��

����� ���� � � �

�!� ������� ���� � ������ ���� � �� �,+

�������

���

����

��

������ ���� � �

�'

����������� � � � �

� �� ."*! +' +!�&# �'$+�& ��**0 �') ')" "&�$$0 *, �*+"& +!� �� �')%�$"*%�

� �!)', !',+ +!"* �((�&�"/� +!"* &'+�+"'& %��&*�

���� �� �

� �� ���� ����

�� �

Page 15: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

�� ����� ������������ ������� ������ � ���� �� � �� �� ����

��

Bernoulli Sampling

�!/ /$! +-*���%'%/4 *" *�.!-1%)# � *)! 0) !- �!-)*0''% .�(+'%)# �! #%1!) �4 �� � �"/!- � .�(+'!.� /$!

%.�-!/! �6.�*-! %. #%1!) �4�

���� ���

�� ���

2$!-!

�� � ���� ���� �

�) � %. /$! )0(�!- *" *�.!-1! *)!. � �� �� ��� �$! !3+!�/! 1�'0! *" � %. #%1!) �4�

���������

�� ����

���

��� ��������� ���� � � �

2$!-!

����� ���� ���� ����� ���

��� �

�$! "%-./ /!-( %) �,0�/%*) � %. /$! ���� 2$%�$� "*- /$! �%)*(%�' %./-%�0/%*)� %. ��� � �$0.

���������

�� ����

���

��� ��������� ���� � � � �

�$! !3+!�/! 1�'0! *" � %. #%1!) �4�

�������

�� ������� �����

������� ����

���

� ��

�������

����

���

� �� � �

�. %) /$! )*-(�' ��.!� /$! ������� ���� � ������ ���� � �� �0/�

�������

��� ����

��

���

��� ���������� ���

� �� ��

�� ���� �

�*�

����������� �

���

�� ����� �

� � ��� � � � � � � � �

� �*$).*)� �� ��� �) �� �*/5� ������� ������������� �*$) �%'!4 � �*).� �!2 �*-&� +� � ������

Page 16: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

�� ����� ������������ ������� ������ � ���� �� � �� �� ����

��

Force-Like Interactions

Normal Distribution

�,#$/ 1'$ .$/12/! 1(-, 002+.1(-, #$0"/(!$# (, 1'$ 1$51� 4$ *$1 1'$ +$ , -% 1'$ .$/12/!$# #(01/(!21(-,

!$ &(3$, !6 �� ����� � 4'$/$ ��� (0 , ,-+ *-209.$/12/! 1(-, 01/$,&1' . / +$1$/� ,# (, 1'$ &$,$/ *

" 0$ + 6 !$ %2,"1(-, -% � ,# 1(+$� �'$ . /$,1 #(01/(!21(-, %-/ 1'$ / ,#-+ 3 /( !*$� �� !$"-+$0

����� ����� ���� �0 (, 1'$ +$ ,9"' ,"$9$5.$"1 1(-, " 0$� 1'$ 3$/ &$ -% � (,#$.$,#$,1 3 *2$0 -% ��

(0 �� ����� ����� ���� �$1

$� �� ����� �$ �

�$� $� ��� ����� �

4'$/$

�-/ +$ , -% � 0 +.*$0� 1'$ �90"-/$ (0 &(3$, !6

��$� �

���

����� �$��

� ��� �� � � �

4'$/$ � (0 #(01/(!21$# 0 ���� �� ,# (0 &(3$, !6 �$ � �� � �'$, 1'$ $5.$"1$# 3 *2$ -% � (0 &(3$, !6

�������� ������� �� � ��� ��� �� � ����� ��� �� � � � �

,# 1'$ $5.$"1$# 3 *2$ -% � (0 &(3$, !6

��������� �������� �� � ����� ������ ������ ���� �� ����

� � ������ � � �

0(,"$ ���� � ,# ����� ��

�, &$,$/ *� � (0 #(01/(!21$# 0 ,-,9"$,1/ *�4(1' #$&/$$ -% %/$$#-+ ,# ,-,9"$,1/ *(16 . / +$1$/

����� ���� ����

�� �'20� 1'$ 3 /( ,"$ -% � (0 &(3$, !6�

��������

��� ��� ������� � � �

Bernoulli Sampling

�0 !$%-/$� *$1 1'$ ./-! !(*(16 -% -!0$/3(,& -,$ 2,#$/ +$ , "' ,"$ $5.$"1 1(-, !$ &(3$, !6 ��� ��� 1'$

#(0"/$1$ �90"-/$ !$ &(3$, !6�

���� ��

� ���

4'$/$ � (0 1'$ ,2+!$/ -% -!0$/3$# -,$0 � �� �� ��� �,#$/ 1'$ .$/12/! 1(-, 002+.1(-,� 4$ *$1 1'$

+$ , -% 1'$ #(01/(!21(-, -% 1'$ 0(,&*$9!(1 ./-! !(*(16 !$ &(3$, !6 �� �� � ����� � 4'$/$ ��� (0 , ,-+ 9

*-209.$/12/! 1(-, 01/$,&1' . / +$1$/� �'$ $5.$"1$# 3 *2$ -% � (0 &(3$, !6�

��������

� ���

��

��� �������� ���

4'$/$

� �-',0-,� �� ��� ,# �� �-17� ��!��"�" ���#����!� �� !���"!��� %� �-', �(*$6 � �-,0� �$4 �-/)� .� � � �����

Page 17: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

��

����� ���� ���� ������ ���

��� �

��� �( ��$�� &��%� �� � ������#

��������

�� ����

���

������ ���� �����

��� � ��� ����

� ��� �� � � �� �

����� ��� �������� #� ��� �# ��#� $�� �������� �����$ #�*�� ��� �( ��$�� &��%� �� � �# ��&�� �)�

������

��� ������� ������

������ � ����

����

� ������

������ ���

���

� ����� �

( ������ �� $�"�# �� � �� � ����� �

������

��� �� ������ � ���

���

����� ���� � � �� �

�� �� ��� ������ � ����") ��#�� ��� �� �� $��� !%�$��� �� "��%��# $� $�� ���� �� $�� ��"��� ��#��

!%�$��� ��

�� ����� $�� ����%��$��� �� ������ �) %#��� $�� �!%�$��� ��" $�� � � �����$ �� � �������� ��#$"��%$���

�� ���

� ���� � �� ���+ �� �

����� ������ ����� � ����� '� �%#$ �&��%�$� ������ �"�

������

�� �����

���

�� � ��������� ��� �

( ������ ����

���� � ������ %#��� $�� � "� "��$� �����$#� ��� #%�$"��$��� ����� )����#

�������� �� � ���� ������ � � � �

Page 18: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ������� ���� ������� ��� �� ���� �� �� �� � ����

��

���'�

� � �� ������ ���

��� ����

����� ������� ���

���� �����

���

�� � �� ������� �� � ��

���

����� �����

��� �����

���

����

��

��� ���������� � ���� � �� �

� � ������� ��

���� ���

����� ����� �#�

�#��' )�� �$#� ) $# )��) ��� � � �� �'�&*�#) $��*''�#�� # "�#. �-%�' "�#)(�� ,� �#$'� �#. )�'"( $�

� ���' $'��' )��# ����� ���# )�� +�' �#�� '��*��( )$

������� � �� ������ �

�����

��� ����� �����

���

� ������

���� �� ���

������ ��

���

���

����

��

��� ���������� � ���� � ��� �

�� #$) �� )��) ,��# � �� )�� +�' �#�� '��*��( )$ )�� "��#0���#��0�-%��)�) $# ��(� �$' ��'#$*!!

(�"%! #�� ���# � � �� � � �� �#� �� ��� )�� +�' �#�� '��*��( )$ )��) ��' +�� *#��' )�� #$'"�!

� ()' �*) $# �((*"%) $#� �'�

���������� � ���� ����

��� � � � �

Information Process

Normal Distribution

��� %' "�'. �((*"%) $# # )� ( ��(� ( )��) )�� %�'�#) � ()' �*) $# '�"� #( *#���#���� � ���� ����� �����

�) �*')��' �((*"�( )��) ����*(� $� �# �#$"�!$*(0�$�# ) $#0"�� �)�� � �( )�� (�"%! #� � ()' �*) $# (

� ()$')�� !��� #� )$ � �0� ()' �*) $# �( ������ ������ �# )�� "$() ��#�'�! ��(�� ��� �#� ��� "�. �� �*#�0

) $#( $� � �#� ) "��

��� �-%��)�� +�!*� $� � ( � +�# �. ��. ��� # ) $#�

��� ��� � ��� � � �� �

��� �-%��)�� +�!*� $� �� ( � +�# �. ��� # ) $# �(

��� ���� � ��

��� ���� � � �� �

��� ������� ��# �� ��!�*!�)�� �. #$) � #� )��)

��

����

� ���� ���

����

����

�$ )�� ������� ( � +�# �.

Page 19: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

�� ����� ������������ ������� ������ � ���� �� � �� �� ����

��

����

����

� � ���� �����

����

�������� � ����

��� ����� �

���� � � � �

Bernoulli Sampling

�� �� �� ������ ����� �� ������$ ���!�� ��� �� �� �� ����� ��� ���! ��� ������� !��������� ���

�� ����!�� �� � ���'����� �� ���� �� �������� ��� ���! ��� �� ��� �� �� ������� � � ������ � '���'

���! ��� ������ ���%�� �$ ������ ��� �������� ��!�� �$ ������ ���� �� �#��� �� "��!�� �� ��� � ���

��"�� �$

������ � ���

�����

�� � ����� �

��� �

� � �

�� ��$ "��!� �� �� �� ��� �� �� ���� ������ ��� ��� ����!�� �� ���� � �� � ���� � ��

����� �

���

��

� � ���

��

�� ��

��� �����

��

��

�� �

��

��� ��

��� ����� ��� �� ������ � ���� �� ���� ���� � �� ��� ��!�!� ����� ���������

�������� � ����

��� ����� �

���� � � �� �

Page 20: Decision Augmentation Theory: Toward a Model of ...Jessica M. Utts, Ph.D. University of California, Davis Division of Statistics Davis, CA and S. James P. Spottiswoode Science Applications

������� ����������� ������ ����� � ����� �� �� �� ��� ����

��

References�08� �� �� ,9/ �:9:=?:9� �� ������� �:0> ;>4 0C4>?� $0;74.,-70 0A4/09.0 1:= ,9 ,9:8,7:@> ;=:.0>> :1

491:=8,?4:9 ?=,9>10=� �+0� '$'�!��$ -$$�,!&� ���� :� �� �G���

[email protected],9� � ,9/ %B0?>� �� �� ��/>�� ������� �& �&�!&� -%�& ��*�'*%�&��� �++-�+� � �'*!�+� �&�

��� &!)-�+�),>3492?:9 ����� ,?4:9 �.,/08D "=0>>�

�:9:=?:9� ��� �0=20=� $� ��� (,=A:274>� �� "�� #@,9?� ��� �0==� "�� %.30.3?0=� �� ��� ,9/ �0==,=4� �� �������� ">4 �:88@94.,?4:9 49 ?30 �,9E107/� �'-*&�$ '� ��*�(+0� '$'�0� ��� ��G���

�@--,=/� �� %�� �09?70D� "� "�� ",>?@=07� "� ��� ,9/ �>,,.>� �� ������� � =08:?0 ,.?4:9 0C;0=4809? B4?3 ,;40E:070.?=4. ?=,9>/@.0=� �!&�$ ��('*, � ��"��,!.� � ��+# � �&� ��� %$� �9?0=9,?4:9,7 "=:50.?���� �097: ",=6� ���

�D8,9� $� ,9/ �:9:=?:9� �� ���� �� � 5:49? .:88@94<@F� &30 ;>4 2,9E107/ .:9?=:A0=>D� �'-*&�$ '���*�(+0� '$'�0� ��� ��G ��

�,39� $� �� ������ &30 ;0=>4>?09? ;,=,/:C :1 ;>D.34. ;309:809,� ,9 0924900=492 ;0=>;0.4?A0��*'����!&�+ '� , � ����� ��� :� � � G����

�,39 $� �� ,9/ �@990� �� �� ���� �� !9 ?30 <@,9?@8 80.3,94.> :1 .:9>.4:@>90>>� B4?3 ,;;74.,?4:9 ?:,9:8,7:@> ;309:809,� �'-&��,!'&+ '� � 0+!�+� ��� : �� ��G���

�,D� �� ��� �@8;3=0D� �� %�� �@--,=/� �� %� ������� �70.?=:94. %D>?08 "0=?@=-,?4:9 &0.394<@0>� �!&�$��('*,� %$� �9?0=9,?4:9,7 �097: ",=6� ���

�,D� �� ��� $,/49� �� ��� �@--,=/� �� %�� �@8;3=0D� �� %�� ,9/ '??>� �� ������ ">4 0C;0=4809?> B4?3=,9/:8 9@8-0= 2090=,?:=>� ,9 491:=8,?4:9,7 8:/07� �*'����!&�+ '� �*�+�&,�� ��(�*+ �'$ �� &30",=,;>D.3:7:24.,7 �>>:.4,?4:9 �?3 �99@,7 �:9A09?4:9� &@1?> '94A0=>4?D� �0/1:=/� ��� �G �

�,D� �� �� ,9/ (4709>6,D,� �� ������� !A0=A40B :1 �@==09? ",=,;>D.3:7:2D $0>0,=.3 49 ?30 �:=80=%:A40? '94:9� �-�,$� �&�*�!�+� �� : � ��G ��

$,/49� �� �� ,9/ 07>:9� $� �� ������� �A4/09.0 1:= .:9>.4:@>90>>G=07,?0/ ,9:8,740> 49 =,9/:8;3D>4.,7 >D>?08>� �'-&��,!'&+ '� � 0+!�+� �� :� �� ����G�����

%?,91:=/� $� �� �����,�� �9 0C;0=4809?,77D ?0>?,-70 8:/07 1:= >;:9?,90:@> ;>4 0A09?> �� �C?=,>09>:=D0A09?>� �'-*&�$ '� , � �%�*!��& �'�!�,0 �'* � 0+!��$ ��+��*� � ��� �G���

%?,91:=/� $� �� �����-�� �9 0C;0=4809?,77D ?0>?,-70 8:/07 1:= >;:9?,90:@> ;>4 0A09?> ��� ">D.3:6490?4.0A09?>� �'-*&�$ '� , � �%�*!��& �'�!�,0 �'* � 0+!��$ ��+��*� � ��� �G� �

%?,91:=/� $� ��� +093,@>0=9 $�� &,D7:=� ��� ,9/ �BD0=� �� �� ������� ">D.3:6490>4> ,> ;>4G80/4,?0/49>?=@809?,7 =0>;:9>0� �'-*&�$ '� , � �%�*!��& �'�!�,0 �'* � 0+!��$ ��+��*� � �� ��G��

%?:60>� �� �� ������� &30:=0?4.,7 ;,=,;>D.3:7:2D� �9 ��.�&��+ !& ��*�(+0� '$'�!��$ ��+��*� ���.�,=7,9/ � �:8;,9D� �9.� �0110=>:9 �� ��G����

'??>� �� ������� $0;74.,?4:9 ,9/ 80?,G,9,7D>4> 49 ;,=,;>D.3:7:2D� �,�,!+,!��$ ��!�&��� �� :� �� G���

),760=� �� �� ������� �:@9/,?4:9> :1 ",=,;3D>4.,7 ,9/ ",=,;>D.3:7:24.,7 ;309:809,� �*'����!&�+ '��& �&,�*&�,!'&�$ '&��*�&��� �-�&,-% � 0+!�+ �&� ��*�(+0� '$'�0� !?0=4� �� �/� ",=,;>D.3:7:2D�:@9/,?4:9� �9.� 0B *:=6� *� �G��

),760=� �� �� ������� � =0A40B :1 .=4?4.4>8> :1 ?30 <@,9?@8 80.3,94.,7 ?30:=D :1 ;>4 ;309:809,��'-*&�$ '� ��*�(+0� '$'�0� ��� ��G�

),>3-@=9 %� ,9/ )0--� $� �� ���� �� �110.?> :1 /4>>4;,?4:9 ,9/ ?08;0=,?@=0 :9 8,.=:>.:;4. <@,9?@8?@9907492 49 �:>0;3>:9 5@9.?4:9>� �9 ��/ ��� &!)-�+ �&� ����+ !& �-�&,-% ���+-*�%�&, � �'*0��=009-@=20=� �� �� �/� 0B *:=6 �.,/08D :1 %.409.0>� 0B *:=6� *� G���