n z1on;-/ v4)$(5hastie/papers/jcgs02_c.pdf · ' 9k n-n p 9?' p.\-/ l *& - "...

25

Upload: others

Post on 11-Jul-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

�������������� ��������������� �������������������� ��!��#"%$'&(�)�*�,+-�.�/�0���213�4�0!5�����

687:9.;�<=�>@?/A8BDCFEG>@H�CJI8K�L�CMANCO7QPDCF7QRSPT5H07VU*>SBOPW7VC�XYI8K[Z\7VRM;]7Q^�ANH_ H]H _ BW`�I*BSabZ\ced�f0g%h*ikjMg%h*i*lmonqpsr�t�uvt�wxnzyMr0{}|O~8t

�:BO>SU8I*B���A8PDCF7V>=�>@?/A8BDCFEG>@H�CJI8K�L�CMANCO7QPDCF7QRSPL�CMA8H�K�I*BO�\T5H]7qU*>SBOPO7qC�XL�CMA8H�K�I*BO��a�� _ i8d*�*h��r0���s�}nz|Nue�s���8�z{q�s���8�������W~�{}|O~8t

Z�A�X�f�abl8h*h8d

���0�W�D�M�k�s�

�����) }¡k¢�¢N£S¤}¥:¦S�W§�¥¨£s¤ª©¬«S§��k­¯®��J°V±�²4³µ´ª­¶ ª·�®k£M¸ª®�¹º£s¤»­¯¥z »¼s£�£%½5¢8�D¤¨¹º£s¤z©¬«o®�§D��­¯®�¥�¸.£o¾¿§�À¶«s z �§�À¶«s z }­¯Ák¾§W«M¥z­¯£S®�Â*Ãk¡%¥[­Ä¥� ��DÅ�¥¨�D®N }­Æ£s®Ç¥z£5©e¡kÀ¯¥¨­¯¾È§DÀÆ«S ¨ 4§�À¶«s z }­¯ÁN§W«M¥¨­Æ£s®Ç­¶ 4 �¥z­¯ÀÆÀ/«o®µ£S®%¾È¼s£s­Æ®k¼J¤z�W ¨�W«s¤z§���­¶ ¨ ¨¡k�SÉ4Ê¿®µ¥¨�k­¶ ¢N«o¢8�D¤OÂ�¸��e¢k¤¨£S¢N£@ }�Ë«J®k�W¸Ì«o¢�¢k¤¨£@«s§���¹º£S¤4§DÀÆ«S ¨ ¨­ÄÁ8§D«M¥z­¯£S®�Â*§D«oÀÆÀÆ�W½Ç¥z�k�Ë­¯©v¢8£s¤¨¥4¦S�W§�¥z£s¤�©v«S§��k­Æ®k��°qÊ¿²�³µ´�¸ª��­Æ§���­Æ �Ã�¡k­¯À¯¥»£s®5·s�W¤¨®k�WÀ*À¯£S¼s­¶ �¥z­Æ§�¤¨�W¼s¤z�W z }­Æ£s®(°qÍ�Î�Ï�´�É%ÐÑ�[ ¨�k£M¸Y¥z��«M¥�¥z�k��Ê¿²�³Ò®k£o¥ª£S®kÀ¯Ó¬¢8�D¤¨¹º£s¤z©¬ �«s ¸.�DÀÆÀ]«s �¥z�k�˱�²4³Ô­Æ®Ç¥�¸�£s¾È§DÀÆ«S ¨ ª§DÀÆ«S ¨ ¨­¯ÁN§D«o¥¨­Æ£s®�ÂNÃk¡%¥4«sÀÆ ¨£�§W«o®Ç®�«o¥¨¡k¤�«oÀÆÀ¯Ó5ÃN�e¼s�W®k�D¤�«oÀÆ­¯ÕW�W½5¥¨£�¥¨�k�e©�¡kÀ¯¥¨­¯¾§DÀÆ«S ¨ [§W«s ¨�sÉ�Ö�¡k¤}¥z�k�D¤z©v£s¤z�sÂ8¥¨���ËÊ¿²4³×¢�¤¨£M¦�­¶½%�W 4«o®Ñ�W }¥¨­Æ©¬«M¥¨�Ë£o¹�¥¨�k�Ë¡k®�½k�D¤zÀ¯Ó�­Æ®k¼5¢�¤¨£SÃ�«oÃk­ÆÀÆ­Ä¥�ÓSÉe±�­Æ©Ë­ÆÀ¶«o¤¥z£J¥z�k�e ¨¡k¢k¢8£s¤¨¥:¢8£s­Æ®S¥� :£s¹]¥¨�k�v±�²�³xÂ8¥z�k��Ê¿²4³Ô©v£�½k�DÀ0¡� }�O »£S®kÀ¯Ó�«v¹º¤�«s§�¥¨­Æ£s®Ç£o¹/¥z�k�)¥z¤z«s­¯®�­¯®k¼5½k«M¥�«v¥¨£­Æ®�½%�DÅÑ·S�D¤z®k�DÀ�Ã�«s ¨­Æ �¹º¡k®�§�¥z­¯£S®� WÂ�¥�Ó�¢k­¶§D«sÀ¯ÀÆÓ(«Ø©�¡�§��x ¨©v«sÀ¯ÀÆ�D¤)¹º¤z«S§�¥¨­Æ£s®Ñ¥z��«o®�¥z�k��±�²4³xÉ�����­Æ �¼s­Æ¦s�W 4¥z�k�Ê¿²4³#«e¢8£o¥z�D®@¥¨­¶«oÀ�§�£s©v¢k¡k¥z«M¥z­¯£S®�«oÀ�«S½%¦M«o®@¥z«s¼s�4£M¦s�W¤�¥z�k��±�²4³xÉ

ÙÇÚ@Û�Ü�Ý �MÞ��Sß §�À¶«s z }­¯ÁN§W«M¥¨­Æ£s®�ÂS·S�D¤z®k�DÀN©Ë�D¥¨�k£%½k WÂ�À¯£S¼s­¶ �¥z­Æ§:¤¨�W¼s¤z�W z }­Æ£s®�Âo©�¡kÀ¯¥¨­¯¾¿§�À¶«s z �ÀÆ�W«s¤¨®k­Æ®k¼NÂs¤�«s½%­¶«oÀNÃ�«s ¨­Æ W¤z�D¢�¤¨£%½%¡�§D­¯®�¼Ë·S�D¤z®k�DÀ�à:­¯ÀÆÃN�W¤}¥4 }¢�«S§��v°qÏ»Í�à4±k´�Â8 }¡�¢k¢N£S¤}¥ª¦S�W§�¥z£s¤�©¬«s§��k­Æ®k�O DÉ

á

Page 2: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

� ��������� ����������

�������������������� "!#������$#%& "����$(')��*���'�+,!(-/. �"0/12-3����-34)$(5�-/�6�7��-"�8'�9:������$#��$#�;47�������=<?>A@"B�CD@FE�0D<?>HG�B�C)G/E�0JI"I"IKBL<?>M&B�C�M;E�01ON;-"�P-���N;-6$#��*&Q;�7>RTSVUXW �����Y��N;-�')Q;��*&Q��ZC�RA$#�O[JQ���!#$(������$#5�-6�����V�����PQ�.\-/�Z5���!#Q;-/��$#�V�]%&��$(��-���-"�O^�0,-�_`4;_^badcfe�BPgJB"I"I"I�B�hXi)_3jk-61O$#��Nl��' %,���m� "!#�����P$(%& "����$(')�l�PQ&!(-n9o�P').p��N;-n���P��$#�&$#�;4\�������D0,��'\��N����Z1ON;-/�V4)$(5�-/��l�;-"1q$#�;*&Q��Z>A01r-\ "���s������$#4)�t�l "!#���P�vu=9?��').w^x��'m$(�"_�y��PQ���!#!(zV$(��$#�v������Q�. -/�b��N&���v��N�-=���P��${��$#�;4|�����������-����m$#�&�;-"*}-/���;-/�:��!(z\�����m$#�;-/�:��$# "��!#!(z �&$#�����P$(+,Q;��-/�~�P��.\*&!(-v9o�P').p���mQ��;�D�;'L1O�|*��P'�+&��+&$#!#$#��z ��$#�����P$(+&Q;��$#')��]<?�bB��\E�_

� N�-6��Q;*�*}'�����5�-/ ���'��n. �� �N�$#�;-~<��D���sE212'����J�O1r-/!{!H$#�m��1r'��� "!#���P�v "!{������$(%& "����$#')�0�$�_`-�_2ClS�cf��e�B/e�i)0}+&Q;�$(���X��*�*���'�*&�P$#����- -��D��-/����$(')����'s��N;-~.XQ�!(��$(�� "!#�����6 "����-l${�6����$#!{!3����')�D��4�')$#�;4t��-/��-/���P �N�$#����Q;-t<?-�_`4;_(0T�T��*&��$(��0e/�����J�Jjk-/����')�~��j������D$#���"0&e/�����J�D�2��-/�;-/������-/$#�;-"�T���2-/���;-"���"0&e/�����J�;�H-"-6�/�8���( #0Jg á%á g)E�_3¡���'���N;-"�A*���'�*}-"����z'�9}��N;-��J�n�¢$#�A��N����3$#�A')��!(zX-/����$#. ����-/�2£/¤�¥:¦3§ ¨�<?>8ED�YeL©�g«ªA<¬�K$#�H0fg á%á g)E�0J1�N�$#!(-���N;-Z*&��'�+&��+&$#!{$(��z7¨­<?>8E­$#�A'�9?��-/�'�93$#�:��-"��-/����$(����-/!#9�0,1ON;-"��-O¨�<?>8E7a®�]<¬�¯a¯ef° �±ad>8EZ${�Z��N;-� �')����$(��$#')����!H*��P'�+&��+&$#!#$#��z|'�93�]*}')$#�:�O+}-/$#��4]$#� "!#�����=en4)$(5�-/�Y�²a³>A_r���m��N�${�7*&��*}-"�/0;12-6*���'�*}')��-��~�;-"1´��*�*&��')�� PN0� "��!#!(-/�m��N�-6$#.\*}'����75�-/ ���'���. �� PN&$#�;-<?�µ���sE�0­��'t��������-/������N�-| "!#���P��$(%& "����$(')�x*���'�+&!#-/.m_Vjk-l��N;'L1¶��N����X��N;-~���n�·�;'��X')��!(zs*}-"��9?'��P. �6���X12-/!#!���~��N;-s�J�n�¸$#�¹��1r'��� "!{�����l "!#������$(%, "����$(')�02+&Q;�]��!#��'� "���º������Q;�P��!#!#z�+}-V4�-/�;-"����!#$(»"-/�¹��'���N;-b.XQ�!(��$(�� "!#����� "����-�_�¼�Q;����N�-"�P.\'���-�0��N;-��µ���½*���'«5J$#��-/�v���s-/����$#. ����-\'�93��N�-X*&��'�+&��+&$#!{$(��z�¨�<?>8E�_\�D$#. ${!#���O��'m��N;-|¾F¿LÀfÀDÁ�Â��ÀDÁ�Ã?Ä&�?¾�'�97��N;-l�J���x0K��N�-]�µ���Å.\'D�;-/!TQ&��-/��')��!#zs�Y9o���� ���$(')��'�97��N;-]���P��$#��$#��4V�������V��'s$#���;-��s��N;- ��-"���;-/!+&����${�79?Q&�� ���$(')���"_2jk-� "��!#!H��N;-/��-6���P��$#�&$#�;4 �������YÃoÆ�ÀDÁ�Â��8ÀDÁ�Ã?Ä&�?¾F_ � N;-6 �'). *&Q;������$(')����!8 �')���v'�9A��N;-X�J�n�Ç$#�È <?¦ G ¦KÉFE�<?-�_`4;_(0,Ê���Q;9¬. ���0e/�����)E�0&1ON�-"��-�¦KÉ�$#����N;-n�:Q&.6+}-"��'�98��Q�*�*}'����r*}')$#�:���������l¦KÉ�Q���Q&��!#!(z $#�� ��P-/����-/�!#$#��-/���P!(zx1�$(��N�¦A0�1ON�$#!(-l��N;-b �').\*&Q;������$(')�&��!O �')���~'�9v��N�-V���n�¸$#� È <?¦ G�ËVG E�0�1ON�-"��- Ë $#�\��N�-Y�:Q&.6+}-"�'�97$#.\*}'����n*}')$#�:���"_|�D${�� �- Ë �;'J-/�6�;'��6��-/������'Y${�� ���-/����-]���=¦¹$#�� ��P-/����-/�"0���N;- �µ���Ì "����+}- 9¬������-"�=��N������N;- �J�n��_}Í3.\*,$(�P$# "��!K��-/��Q�!(���v��N;'«1Î��N�������N�-X�JQ�.=+�-"�v'�93$#. *�'��P�O*}')$#�:����$#�vQ���Q&��!#!(zm.=Q& PNs!(-/������N����t��N;-�JQ�.6+}-"�7'�9A��Q;*&*�'��P�r*}')$#�:���"_

������-/ ���$(')�m<�g)E�0)12-2+&�P$(-"Ï�z���-"5D$(-"1Ð��').\-���-/��Q&!(���K'�9&��N;-O�J���p9o'��­��12'��� "!#�����3 "!#������$(%, "����$(')�=���&�= �').\*,����-$(�Z1�$(��Nl��-"�P�;-/!8!('�4)$#����$# ��P-"4���-/����$(')�Ñ<¬Ê��KÒ�E�_����V��-/ ���$(')�Ñ<�Ó)E�0,12-6*��P'�*�')��-n')Q;�Z�µ���Ç��!(4�'���$(��N�.m_T���Y��-/ ���$(')�<?Ô:E�0�12-n��N;'L1Õ��').\-n�:Q�. -"�P$# "��!���-/��Q�!#���"_­�µ�l��-/ ���$(')��<�Ö)E�0;12-n4�-/�;-"�P��!{$(»"-���N;-����n�×��'\��N;-n.XQ�!(��$Ø�� "!{������ "����-�_

Ù Ú=�\Û\Û|�����´Ü�ÝT���}�O�ßÞáà7�Kâ\�P��ÝTãÎàZ��·ä�ÝT�H��Ý3åYåP�Oæv��ã&�}���w�ÝTæO�Ý3ã,ã}���v�

� N;-l���������&���P���D���Å*&��'J�&Q� �-/�=�t�;')�D��!{$#�;-/���� "!#������$(%, "����$(')�x+}')Q��&������zk$#����N;-~'���$(4)$#����!r$#�;*&Q;�=��*&�� �-l+:z �')��������Q� ���$#�;46�=!#$#�;-/���A+}')Q��&������z�$#� �n���P���&��9o'���.\-/� 5�-"�P�P$(')� '�9}��N;-�'��P$(4)$#����!;${�;*&Q;�T��*,�� �-�_ � N;-O��${.\-/����$(')�

e

Page 3: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

'�9K��N�-n���P������9?'��P.\-/�l��*&�� �-� "���l+}-�5�-"��zl!#����4�-�0D-"5�-/�V$#��%&��$(��-v$#�l��').\-� "����-/�"_ � N�$#�2��-"-/. $#��4)!(z *���')N&$(+&$(��$(5�- �').\*&Q�������$(')�\$#�­�� PN�$#-"5�-/�\��N;��')Q;4)N���*}')��$(��$#5�-2�;-"%,��$(��-2��-"*���'D��Q� "$#��4O��-"�P�;-/!��Ð<��(B�� E�0f1�N�$# PNX4)$(5�-/�­��N�-Z$#���;-"�*���'D��Q� ��7$#�l��N�-����P������9?'��P.\-/�m��*&�� �-�_

�b���fz\*}-"'�*&!#-ZN��/5�-��;'���-/�~��N;-Z��-/!#����$#')����N�$(*\+}-"��1r-"-/�~��N;-v�J�n�¢����� �P-"4)Q�!#���P$(»"-/� 9?Q��& ���$(')�\-/����$#.]����$(')�$#����N;-m�P-"*���'D��Q� "$#�;4t��-"�P�;-/!���$#!#+�-"�P�X��*,�� �-/�Y<¬ÒOÊ��n��E�_3¡v�Ð'«5�-"��5J$#-"1 "���¹+}-l9o')Q&���Ð$#�Ð��Q;��4�-/�Y<�e/�����)E�0ÍT5J4�-/��$(')QÑ�"�r���Ø �<�e/�����)E�0�j���Nf+&�t<�e/�����)EZ���&����������$#-|�"�����( v<�g á%á eLE�_�¼­$(����$#�;4 ���t�J��� $#�7-/[JQ�$(5���!(-/�:�7��'

. ${�� �����e¦M�R��8@ §ØeO�kC�R��A<?>R�E�ª������ g�� � � G��� I <�eLE

1ON;-"�P-�����$#�H��N;-rÒ�Ê����n4�-/�;-"�P����-/�=+:zn��N�-T��-"�P�;-/! �Ð<��(B�� E�_ � N;-3 "!#�����P$(%& "����$(')�n��Q�!(-T$#�K4)$(5�-/�6+Jz�£/¤�¥f¦3§!�A<?>8E�ª�_¼;'�����N;-�*&Q;�P*�')��-�'�9A��$#. *&!(-��;'�������$(')�0�12-�'). $#�7��N;-6 �')���������:�Z��-"�P.w$#�"�A<?>8E�_

�2zl��N;-n��-"*��P-/��-/�f��-"����N;-"'���-/. <¬Ê�$#.\-/!#��'���98�Îj���N:+&�D08e/�$#JeLE�0���N;-n'�*���${. ��!%�A<?>8E�N����7��N�-�9o'���.��A<?>8EAa M�

R��8@'& R(��<?>AB�>R�E�I <�g)E

�µ�2'�9?��-/�mN���*�*}-/���r��N����7����$(»"-/��+&!#-�9?�P�� ���$(')�l'�98��N;-�¦b5���!#Q;-/�2'�9 & R8 "���l+}-v»"-"��';_ � N&$#�3$#���� �')����-/[JQ;-/�� �-n'�9��N;-=���PQ��� "����$(')�b*���'�*}-"����zl'�9T��N;-6%&�P���Z*&���P�O'�93 ��P$#��-"�P$(')��<�eLE�_ � N�$#�O��-"-/. ����'~+}-=���t�������P�� ���$(5�-�*��P'�*�-"�P��z�0+}-/ "��Q���-7')��!#z6��N;-7*}')$#�:���­')�\��N;-71Z�P')�;4n��$#�;-�'�9���N;-Z "!#������$#%& "����$(')��+}')Q��������Pz�0)��������N;')��-Z')����N�-7�P$(4)N:�T��$#�;-+&Q;���;-/������N;-�+}')Q��������PzVN��/5�- ���s$#�;Ï,Q;-/�� �-=${�t��-"��-"�P. $#��${�;4 ��N;-�*}')��$(��$(')�b'�93��N�-X+}')Q��&������z�0}�����sN;-/�� �-N��L5�-=�;')�D��»"-"�P' & R�) �"_ � N;-n �'�����-/��*}')����${�;4�>R*) ������-� "��!#!(-/�s¾F¿«À)ÀDÁ�Â��8ÀDÁ�Ã?Ä&�?¾�_+�'���$# �-\��N���� <�eLEvN����v��N;-�9?'��P.-,�.�£�£/�s¨10/¦ & ,�2µC,_ � N;-X!#')���v9?Q��& ���$(')�Ñ<�ev��C��HE � $#�v*&!('�����-/�s$#�t¼�$#4)Q;��-e�0­��!(')�;4m1O$(��N���N;-]�;-"4)����$(5�-~!('�4���!#$(��-/!#${N;':'D�Ð<(+��8��Ev'�9���N;-]+&$#�;'). ${��!��&$#�����P$(+,Q;��$(')�_�¡��61r-~ "���x��-"-�0���N;-+v�K�¹'�9���N;-]+&$#�;'). ${��!��&$#�����P$(+,Q;��$(')�tN����6�V�P$#. $#!#���n��N&��*�-\��'b��N�����'�9���N;-|�D���3H+}'���N�$#�� ��P-/����- !#$#�;-/����!(z���ZC�s4�-"����5�-"��zm��. ��!#!r<¬�;-"4)����$(5�-«EO�����m+}'���NV-/�� �')Q��P��4�-6Cm�����4�k��'~N��L5�-6��N;-6�P��.\-=��$#4)�_3�µ9812-6�P-"*&!#�� �-<�ev��C�HE � $#��<�eLEZ1�$(��NY!#�H<�e/�507698 � E�0}��N;-:+v�K��'�9T��N;-X+&$#��'). $#��!H��${�����P$(+&Q���$(')�0;��N;-X*���'�+&!#-/. +}-/ �').\-/�n���-"�P�;-/!K!('�4)$#����$# ��P-"4���-/����$(')��<¬Ê6�KÒvE�*���'�+&!(-/."

. $#�� � ���e¦M�R��8@ !#��;fe��<0 698>= � ?A@ =CBED ��� gF� � � G��� I <�Ó)E

�2-/ "��Q���-7'�9���N�-��P$#. $#!#����$(��zv+}-"��12-"-/����N;-���12'�!#')����9?Q��& ���$(')���"0�1r-�-��D*}-/ �����N&������N�-r%�����-/��9¬Q��� ���$#')�6*}-"��9?'��P. ���$#.]$#!#���P!(z\��']��N;-X�J�n�²9?'��Z��1r'��� "!#���P�� "!#���P��$(%& "����$(')�H_

� N�-"��-6����-X��12'|${. .\-/��$#����-=���;5����:����4�-/�v'�9T. ���D$#�;4~�PQ� PNb� ��-"*&!{�� �-/.\-/�f���<¬�fEO�2-/��$#�;-/��4)$(5D$#�;4]�~ "!#�������$(%, "����$(')�|�PQ�!(-�0DÊ��KÒ³��!{��'�'HG�-"�P�O�X�&����Q;�P��!�-/����$#. ����-n'�98��N;-�*���'�+&��+,$#!#$(��z�¨�<?>8EAaI0 �H?A@ B ©D<�e��J0 � ?K@ B E�0;1ON�$#!(-��N;-Y�J�n�·')��!#z�-/����$#. ����-/�~£/¤�¥:¦3§ ¨�<?>8E7�deL©�g«ªX<¬�K$#�H03g á%á g)E��=<?+�E=Ê��KÒp "��� ������Q;�P��!#!#zk+�-l4�-/�;-"����!#$(»"-/�Ñ��'

g

Page 4: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

−3 −2 −1 0 1 2 3

0.0

0.5

1.0

1.5

2.0

2.5

3.0

yf(x)

Loss

Binomial NLLSupport Vector

¼­$(4)Q;��- eH����������� �����������������������! #"%$&"('*)��N;-v.=Q�!#��$Ø�� "!#�����r "����-���N���')Q;4)N~��-"�P�;-/!�.=Q�!#��$Ø��!('�4)$(�A��-"4��P-/����$(')�_ ��'L12-"5�-"�/0�+}-/ "��Q���-vÊ��KÒº �').\*��P'). $#��-/�r��N;-N�$#��4�-X!(')�P��9?Q��& ���$(')�t'�93��N;-~�J�n�x0}$#����'l!#')�;4�-"��N�������N;- ��Q�*�*}'����O*}')$#�:����*���'�*}-"����z,�H$#�t'���N;-"�61r'��P�&�"0H��!#!��N;- & R�) �Z$#��<�g)E7���P-6�;')�D��»"-"��';_Ê��8Ò¹$#�A��12-/!#!Ø������Q&��$(-/�X*���'�+&!#-/.m�)��-"-,+v�P-"-/�]�.-3�����;-/!#!H<�e/����Ö)E�0�v������$(-O� � $#+&��N�$(������$,<�e/��� á E�0Dj���N:+&��"�����Ø l<�e/����Ö)E����&�b�P-"9o-"��-/�& �-/����N;-"��-/$#��HN�'L12-"5�-"�/0H��N;-"zt����-\��!#!­Q����;-"�v��N;-\��.\'J'���N�$#�;4l��*&!{$#�;-6������!#zJ��${��'�95����P$#���� �-��� �N;-/.\-�_

jk-OQ&��-Z����$#.XQ�!#����$#')�=-��;��.\*&!#-7��'6$#!#!#Q&�����P����-2��N;-O��$#.]$#!#����*�-"�P9o'��P.]���� �-/�­+}-"��12-"-/�]Ê��8Ò ��������N;-��J���x_� N;-n��������$#�|-/�� �NY "!#�����7���P-��P$#.=Q&!#����-/�|9o��').p��. $(�J��Q;�P-�'�9/+���Q�����${���m��$#�����P$#+&Q;��$(')�Y<(�v������$(-~�/�3���( #0�g á%á eLE %��P���v12-\4�-/�;-"�P����-be á .\-/�����1032]9o��').×�l+,$(5�����$#����-�+���Q�����${���k��$#�����P$#+&Q;��$(')�54Ñ<�<�e�B á E762B�8LEv�����k!#��+}-/!���N�$#� "!#����� ��e�_��;$#. $#!#����!(z�02e á .\'��P-l���P-|�;���/1O�Ñ9?��').94Ñ<�< á B/eLE762B�8LE6���&�Ñ!{��+�-/!#-/�� "!#���P�|�6e�_ � N;-/�Ñ9o'���-/�� �N "!#�����/0J12-�4�-/�;-"�P����- e á%á '�+&��-"�P5�����$(')�&�2����9?')!#!('«1O��­9?'��2-/�� �Nl'�+&��-"��5�����$(')�0D12-�*&$# ��~���:0326���2�������;'). 1O$(��N*���'�+,��+&$#!#$(��z�eL©Je á 0K�����s��N;-/�s4�-/��-"�P����- �:4Ñ<;0 2 B�8L©�Ö)E�0H��NJQ��n!(-/����$#��4~��'m�m. $Ø�D��Q;��-='�9#+n��Q�����$#���s "!#Q&����-"�P�9?'��Z-/�� PNt "!#�����"_

jk-XQ���-n��N;-n�P���&$#��!}+&����$#����-"���;-/!

�Ð<?>R�B�> R=< EAaI0 6?>A@ =CB @ = < >EDD�F D

I <?Ô:E

� N;-���-"4)Q&!#���P$(»/����$(')�s*,���P��.\-"��-"� � $#�n PN;')��-/�k��'V�� PN�$#-"5�- 4�':'D��. ${�� "!#������$#%& "����$(')�b-"����'��/_ � N;-���-/��Q&!(���n����-��N;'«1O�t$#�Y¼­$(4)Q;�P-XgJ_ � N;-6������$#��!H+,����$#����-"�P�;-/!8*���'D��Q� �-/�O�~+}')Q��������Pz|[JQ�$(��-X "!(')��-X��'|��N�-=���/z�-/�n'�*&��$#. ��!+}')Q��������PzX9?'��7��N�$#�2��$#.XQ�!#����$#')�_8jk-���-"-v��N&���2��N�-v%&����-/�m.\'J��-/!&'�9�Ê��KÒ�$#��[JQ�$(��-���$#. $#!{���r$#�| "!#������$#%& "����$(')�

Ó

Page 5: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

SVM − 130 Support Points

Training Error: 0.235Test Error: 0.264Bayes Error: 0.255

IVM − 19 Import Points

Training Error: 0.225Test Error: 0.262Bayes Error: 0.255

¼­$(4)Q;��-tg � ��� �� �������� �� � � � � ��� � � �� � � � ��������������������� � � ��1� ��� ��� ��� ������ �� � � � � � � ��� ��� ��� � ��� ��� �!�(�������"���� � � )$# �� � ���!%'&)( �/� ��� � ���� � ��� �� �� � � � � *�� � � ���+� �-, � ��7� � ��� �.�� /,%� � *��"��� ��� � ��%��!� �(� ��� *�� � � ������� ��� �10 �%� ���2�1�� � ���3� �4, � �C� � ��� �.�� �,(� ��)5# �� 3� ���76�&)( � � ��� � ���� � �$���� ��1� � � � 8�� � � ���:9<; °>=�´@?BA�C D�E �(��� A�CGF�E� � � � H���� � ��� � �� ��I���� � ��J�� � � ��� � �I���� �"���� � �� ) % � � � � � ��� � �� � � � ���(� ���(�K����������� � � 3�7�'LHM)NO��"�,� ���P6�&)( �� ���Q� ��� ��� � ���������� � � � ��� � � � ��� � ��� � �� � �C�RLHMSN ��� � )

*}-"��9?'��P. ���� �-���'X��N&���r'�9H��N�-n�J�n�x_:���~���&��$(��$(')�]��'��X "!#�����P$(%& "����$(')�~+}')Q���������z�0J��$#�� �-vÊ��KÒº-/����${. ����-/����N;-!('�4���'D�����7'�9­ "!#�����Z*���'�+&��+&${!#$(��$(-/�"0J$(�Z "���Y��!{��'\*���'D��Q� �-n*��P'�+&��+&$#!#$#��z] �')�:��')Q;�P�6<¬¼­$(4)Q���-=g)E�_

T5UWV XZY8[]\:^_\a`a\cb�dfeWgh`a\ciPe1`jelk<m)b

� N;-��D��� 12���3$#��$(��$#����-/�\���3��.\-"��N;'D����'6. ���;$#. $(»"-7��N�-Z. ����4)$#�0:$�_`-�_�.]$#�DR«C�R �A<?>R�E�0f'�9���N;-7���P��$#��${�;4n�������D�Ê��8Òº${�r.\'���$#5�����-/�|+Jz\��N;-v�P$#. $#!#����$(��z�$#�]�PN���*}-O+}-"��12-"-/�|��N;- +v�K�t'�9H��N�-�+&${�;'). $#��!��&$#�����P$(+,Q;��$(')�\�����~��N;-N�$#��4�-�!#')���7'�9­��N;-=�J�n��_ � N;-/�m� ������Q��P��![:Q�-/����$(')�V$#� A1ON����Z�;'J-/�ZÊ��8Ò´�;'\1O$#��Nl��N;-6. ����4)${�on

�DQ�*�*}')��-���N;-���$# ���$(')�&����z]'�9­��N;-n+&���P$#�79¬Q��� ���$(')����'�9���N;-�����������9?'��P.\-/�l9?-/����Q;��-6��*,�� �-6$#�

c�p}@«<?>8E�B-p&Gf<?>8E�B"I"I"I�B-p)q�<?>8EPi3B

1ON;-"�P-sr=$#�2��N;-n��$#.\-/���P$(')�\'�9K��N�-v����������9?'��P.\-/�|9o-/����Q���-n��*&�� �-�_�+�'���-�$(9fr�a�¨V�����tp�u:<?>8E3${�3��N;-8v)��Nm �').��*}')�;-/�:�A'�9�>A0:��N;-Z���P���&��9o'���.\-/�\9?-/����Q;��-O��*,�� �-O$#�A��-/�&Q� �-/�\��'6��N�-7'��P$(4)$#����!;${�;*&Q;�A��*&�� �-�_ � N;-Z "!#������$#%& "����$(')�+}')Q��������Pz�0D�]NfzJ*}-"��*&!#���;-�$#�l��N;-6���P������9?'��P.\-/�l9?-/����Q;��-6��*&�� �-�0&$#�74)$#5�-/�m+:z

c/> �A<?>8EAajwSx��zy2<?>8E 6|{ a á i)I

Ô

Page 6: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

�DQ;*&*�')��-]��N;-m���P���&��9o'���.\-/�Ñ9o-/����Q;�P-l��*&�� �-V$#����'s�P$# �N���N�������N;-m���P��$#��${�;4b�������k���P-l��-"*&���P��+&!(-�03��N;-/����N;-. ����4)${�D��. ���;$#. $(»/$#��4\�J�n� "���V+}-�1Z�P$(����-/�V���

. �������� { ��� { �

D�8@ � <�Ö)E

��Q�+��-/ ��7��' C�R� wSx��zy2<?>R�E 6f{ ��� � B³¤AaÎe�B"I"I"IKB�¦ <��)E

1ON;-"�P- � $#�A��N;-O�PN;'�����-/���2��$#�������� �-O9o��'). ��N;-Z���P��${��$#�;4��������6��'6��N;-���-"*&���P����$#��46NfzJ*}-"��*&!#����-����&�]$#�T��-"%&�;-/����Z��N�-\Æ\��Â��)ÃoÄk<¬��Q;��4�-/�"0Ke/�����)E�_

+�'L1® �')����$#�;-"�����m-/[:Q&$(5���!#-/�f�Z��-"��Q�*V'�9�Ê6�KÒ�.]$#������ {

M�R��8@ !#� ; e �<0 698>= � ?A@ =CB D <E#�E

��Q;+���-/ ��7��' � { � GG�� £ <��)E�A<?>R�EAaawox��zyr<?>R�E 6:{ BÕ¤­aqe�B"I"I"IKB�¦AI <��)E

� N;-/�l12-6N��L5�-6��N;-n9?')!#!('«1O$#�;4���N;-"'��P-/.�� y��������� !#"&¿LÀfÀDÁ�¾"�|�%$;�]�¬Â���Ã?Ä�Ã?Ä&�(')�����k��Â��]¾"�µÀD��Â��*)��#�,+�Ã� ?�L .-�wSx�B { +Z¾" {�� ]C�Rµ<�wSxF�ay2<?>R�E 6 { E0/ á B�1,¤� 2K�/�r�%$;�6¾�Á�� ¿;�¬Ã¬Á�ÄxÁ4365�798;:<5>=?8@)P�A'f�"Ä,Á�����'B)?CED{ <�£�E�+3�%$D��Ä

D{ <�£�E£ F {HG ��¾q£ FJI B

K $D�"Â�� {HG Ão¾��%$D�6¾�Á�� ¿;�¬Ã�Á�ÄxÁ936�%$D�=Æ ��Â���Ã?Ä<LµÆ ��M�Ã?Æ�ÃON"ÃoÄ&�P"RQTSU5WV,8�:<59X�8Y+�à 3 { G Ã{¾�¿DÄ�Ã�Z"¿&�/ [\3 {HG Ão¾�Ä�Á��T¿DÄ�Ã�Z"¿&�,+T�%$D�"Ä^]{ ? É BÉ Æ �;C_$D�;`��6Æ�¿D� �¬Ã À,�#�AaPÁ�Ä<`���Â��:�"Äba��7ÀDÁ�Ã?Ä&�?¾�+ )�¿;�T�%$;�?C K Ã?�?�K���o�Â���À�Â���¾"��Ä,�

Æ ��Â���Ã?Ä<L�Æ ��M)ÃoÆ�ÃcN�Ã?Ä&�|¾/��ÀD��Â����¬Ã?Ä&�@$&CPÀ���Â�À,�Ø��Ä��F¾" 

� N;-�*��P':'�9H'�98��N;-���N;-"'���-/. ${�2��-/!#�/z�-/�m$#�|��N;-n¡�*�*}-/����$Ø�}_ � N;-"'���-/.×e�$#.\*,!#$(-/�T��N&���ZÊ��KÒ60D�P$#. $#!#���r��'\��N;-�J�n��0D "���m��!#��'X+}-v �')�&��$#�;-"��-/�|������. ����4)$#�|. ���;$#. $(»"-"�/_­jk-nN��L5�-���!#��'X*���'L5�-/�l��.\'���-v4�-/�;-"�P��!}��N�-"'���-/.��-/!#����${�;4 !(')����9¬Q��� ���$(')�&�7�����V. ����4)${�m. ���D${. $(»"-"�P�7$#�mÒO')����-"�\�"�r���Ø �<�g á%á Ô:E�_

T5U/T d.ef`gfihkj�\Tj�elefgR\nmpoefgI^ e>qRm)b�\Tj�ere@gI^

�D$#�& �-\<�Ó)E2${�7 �')�f5�-��}0,$(�7$#��������Q��P��!}��' Q���-n��N;-�+�-"1Z��')�D��Ò���*&N���')�m. -"��N;'J�l��']%��7Ê��KÒ6_J���l'��P�;-"�7��']4)Q���������:��-"-X �')�:5�-"��4�-/�� �-�0H��Q&$(����+&!(-n+&${��-/ ���$(')�V����-"*,�� "���b+}-6 �').6+,$#�;-/�V1�$(��Nm��N;- +O-"1Z��')�;��ÒO��*&N���')�Y$(��-"�P����$#')���"_� N;-����P�/1Z+,�� ��m'�9­��N;- +�-"1Z��')�D��Ò���*&N���')�b.\-"��N;'D�V$#�7��N����v$#�m-/�� �Nb$(��-"������$(')�0&���m¦Esm¦�. �����P$Ø�V�;-"-/�&�7��'+}- $#�:5�-"����-/�_ � N;-"��-"9?'���- ��N;-~ �').\*&Q;������$(')�&��!T �')���6'�9ZÊ6�KÒ ${� È <?¦ut/E�_lÒZ-/ �-/�:��!(z�Ên-"-"����N�$v�"�����Ø k<�g á%á g)E*���'�*}')��-/�s�l��Q���!­��!(4�'���$(��N�.w9o'���Ê��8ÒÎ1ON�$# �Ns�/5�')$#���n${�f5�-"����${�;4|NJQ;4�- . ������$# �-/�"_��µ��9o')!#!#'L1O�v��N;-\��*&$#�P$(�O'�9

Ö

Page 7: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

��N;-�*}'�*&Q&!#���Z��-/[JQ;-/�f��${��!K. $#�&$#. ��!�'�*���$#. $#»/����$(')�x<��;����E7��!#4�'��P$(��N�.á<��r!#�����"08e/�����)E�_��3��-/!#$#.]$#������z] �'). *&QD�������$(')����!�-��J*}-"�P$#. -/�f���A��N�'L1 ��N&���A��N;-O��!(4�'��P$#��N�.q$#�­��'�+&Q&���T�����\9¬�����"_AÊn-"-"����N�$K�/�����Ø v<�g á%á g)EA�;-/�P ��P$(+}-/�­��N;-��!(4�'��P$#��N�.¶9o'��7��1r'��� "!{�����O "!#���P��$(%& "����$(')�H�;1r-�N��L5�-�4�-/�;-"�P��!{$(»"-/�m$(����' ��N;-�.XQ�!(��$Ø�� "!{������ "����-~<��}NJQV� ��������$(-�0g á%á Ó)E�_

¡v!(��N;')Q;4)Nb��N;-X��-/[:Q�-/�f��$#��!�. $#�&$#. ��!'�*���${. $(»/����$(')�b.\-"��N;'D�bN;-/!#*&�Z��-/�&Q� �-6��N;-X �').\*&Q;������$#')����!8 �')���v'�9Ê��8Ò�0)$#�\��N�-Z%�����-/�]. 'J�;-/!8<�g)E�0J��!#!D��N�- & R ) �r����-O�;')�D��»"-"�P';_��O-/�� �-�0JQ���!#$#��-7��N;-v�J�n��0:Ê��KÒ��;':-/�3�;'��3��!#!('«19?'��O������� �').\*&��-/����$(')�Y�����m�;'J-/�Z�;'��ON��L5�-6��N;-�����5����:����4�-6'�9A!(-/���O����'��P��4�-=���&�m[:Q�${ ���-"�O-"5���!#Q�����$#')�_

������N�${��*&��*}-"�/081r-~*���'�*}')��-]���Ñ$#.\*}'����n5�-/ ���'��\. �� �N�$#�;-s<?���n�tE�.\'D�;-/!T��N����=%&�����6�Y��Q;+���.\'J��-/!A��'��*�*��P'/�;$#. ����-���N;-n9¬Q�!#!}.\'D�;-/!T<�g)E74)$(5�-/�m+Jz|Ê��8Ò�_ � N�-���Q;+;��.\'D�;-/!N����Z��N;-n9o'���.�

�A<?>8EAa �@ = ��� &

R(�Ð<?>AB�>R�E <�e á E

1ON;-"�P-¯${� ����Q;+,��-"� '�9���N;-V���P��${��$#�;4��������¹c/>­@/B�>HG�B"I"I"IKB�>M&i)0Z�����Ð��N;-Y�&�����x$#��¶����-t "��!#!(-/�³Ã?Æ�ÀDÁ�Â��ÀDÁ�Ã?Ä&�?¾F_ � N�-�����5����:����4�-\'�9r��N&$#���PQ;+;��.\'D�;-/!�$#�v��N����n��N;-\ �').\*&Q;������$#')����!A �')����$#�v��-/��Q& �-/�0}-/��*}-/ "$#��!#!(zm9?'��!#����4�-=���P��$#��${�;4]�������|��-"���"0�1ON�$#!#-��;'�� ��-"'�*&���P�&$(»/$#�;4 ��N�-6*}-"��9?'��P. ���� �-X$#�Y "!#���P��$(%& "����$(')�H�,�����t��$#�� �-6')��!(zV���Q;+,��-"�7'�98��N�-����P��$#��${�;4\������� ����-�Q���-/�m��']$#����-��~��N;-�%&����-/�V.\'D�;-/!�0;�������] �'). *���-/����$#')�m$#�7�� PN�$#-"5�-/�_

�J-"5�-"����!�'���N;-"� ��-/��-/���� PN;-"�P�\N&�/5�-Y��!#��'s${�f5�-/����$#4)����-/����-/ PN���${[:Q;-/�\${�Ñ��-/!(-/ ���$#�;4s��N;-m��Q;+,��-"��O_x�8$#�Õ�"����( \<�g á%á%á Ev��$(5D$#�;-/�m��N�-6���P��$#�&$#�;4]�������|$#�:��'~��-"5�-"����!� "!{Q�����-"�P�"0,��N;-/�b�P�����;'). !#zl��-/!(-/ ���-/�s�]��-"*&��-/��-/�:������$(5�-9?��').Å-/�� PNÕ "!{Q�����-"�m��'¹. ����-�Q;* �_¶�D.\')!{���½�; PN��')!(��'�*&9|<�g á%á%á El�;-"5�-/!#'�*�-/�³��4��P-"-/�;z ��-/ �N���$#[JQ;-s��'��-/[JQ;-/�:��$#��!#!(zV��-/!#-/ �� Ë �')!#Q�.]���O'�93��N;-���-"�P�;-/!�. �����P$Ø�ѧ �Ð<?>R�B�> R=< E�ª#M��:M&0��Q� �Nt��N�������N;-\��*&���b'�9T��N;-/��- Ë �')!#Q�.]���O��*�*&��'/�;$#. ����-/����N;-���*&���V'�9v§ ��<?>RµB�> R=< E�ª#M��:Mm1r-/!{!K$#�Y��N;-=¼;�P'�+�-/�&$#Q��O��'��P.m_Zj�$#!#!#${��. �Z�¯�D-"-"4�-"�<�g á%á eLEr*���'�*}')��-/�]�P�����;').]!(z\��-/!(-/ ���$#�;4 Ë *}')$#�:���T'�9H��N�-O���P��$#�&$#�;46�������D0D��N;-/�|Q���${�;4���N;- +OzD������').¯.\-"��N;'D���'s��*�*���'L�D$#.]����-]��N;-|-/$(4�-/�D���;-/ �'). *�')�P$(��$(')��'�97��N�-~��-"�P��-/!r. ������$Ø� § ��<?> R B�> R < E�ª M��:M 0A������-��D*&������$#��4V��N;-��-/��Q&!(����+&�� ��mQ;*Y��' ¦���$#.\-/�&��$(')���"_ +�')�;-�'�9­��N;-/��-6. -"��N;'J�&�ZQ���-/�7��N�-n')Q;��*&Q;�7C R $#�V��-/!#-/ ���$#�;4\��N;-6�PQ;+&��-"�´<¬$�_`-�_(0;��N;-�*��P'J �-/��Q���-O')��!#z]$#�:5�')!(5�-/�2>R�E�_ � N;-��µ�n�²��!(4�'��P$#��N�. Q&��-/�2+�'���N|��N;-�')Q;��*,Q;�rC�R8�����|��N;-n$#�;*&Q;�>RZ��'s��-/!(-/ �����N;-|��Q;+&��-"��O0T$#����Q� �NÑ�b1��/z���N����X��N;-|��-/��Q�!#��$#�;4V%��X��*�*���'L�D${. ����-/�X��N;-~9¬Q�!#!3.\'J��-/!312-/!#!�_� N;-�${�;-/�\$#�7��$#.]$#!#������' ��N����OQ&��-/�m$#�m�KQ�']�Îj���Nf+,�b<�e/���$#�E�0�1ON�$# �Nm��!#��' Q���-/�V��N;-�')Q;��*&Q��2C�R­��']��-/!(-/ ��O���Q;+,��-"�7'�98��N�-����P��$#��${�;4\�������D0�+&Q;�ZQ&���;-"����N;-���-"4��P-/����$(')�V�P PN;-/.\-�_

Page 8: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

� ��Þ Û|�O���dÜvÝT�������ßÞ²à7�Kâ\����ÝTã

���VÊ��KÒ60;1r-n1����:�O��']. ${��$#. $(»"-7� a e

¦M�R��8@ !#� ; e��<0 698>= � ?K@ =�B D ��� g�� � � G��� I <�e�eLE

�H-"�

¨ R a ee �<0 698>= � ?A@ =CB BÕ¤�aÎe�B"I"I"I�¦ <�e/g)E

� a < & @ B"I"I"I8B & M E 6 <�e/Ó)E

� a < ¨H@/B"I"I"IHB¬¨&M;E 6 <�e�Ô:E

� a <?CD@"B"I"I"IKB�C�MDE 6 <�e/Ö)E��@·a <(�Ð<?>RµB�> R=< E�E MR � R < �8@ <�e��)E�bG¸a �k@ <�e #�E� a ��$#��4O< ¨H@L<�eZ�m¨H@FE�B"I"I"IKB¬¨&M}<�eZ�l¨&MDE�E <�e/�)E

j�$(��NV��').\-=��+&Q���-n'�9­�;'�������$(')�0,Q���$#�;4V<�g)E�0­<�e�eLE7 "���m+}-n1Z�P$#����-/�m$#�m�\%&��$#��-���$#.\-/���P$(')����!,9o'��P."� a e

¦ ! 6 !#� ; ! �50 6�� ?��� �� B D � � g � 6 �YG � B <�e/�)E

1ON;-"�P-�� ���|�;-/�;'���-/�v-/!(-/.\-/�:����1O$#��-X.=Q&!(��$(*&!#${ "����$(')�_ � '|%&��� � 0,12-���-"����N�-=�;-"�P$#5�����$(5�-='�9��Ç1O$(��NY��-/��*}-/ ����' � -/[:Q���!T��' á 08���&�xQ���-\��N�- +O-"1O��')�D��ÒO��*&N&��')�x.\-"��N�'J�k��'b$(��-"�P����$(5�-/!(zk��')!#5�- ��N;-]�� �'��P- -/[:Q&����$(')�_]�µ� "���V+}-n��N;'«1O�m��N����O��N;- +�-"1Z��')�D��ÒO��*,N���')�V����-"*b$#�Z�\12-/$(4)N:��-/�V!(-/�����O�P[:Q����P-/�Z����-"*%

� ? 2 B aß< e¦ � 6 @ ���k@ � � �YG/E 6 @ � 6 @ ��� <�g á E

1ON;-"�P- � ? 2 BT${����N;-�5���!#Q;-�'�9 � $#�l��N;-��J��NY����-"*H0&������Xa e

¦ ; �k@ � ? 2 6 @ B ��� 6 @ < � � � E D I <�gDeLE

�5UWV � \:^ eloB\nmWdue|b�erj��7`

¡v�].\-/�:��$(')�;-/��$#�¹��-/ ���$(')��gJ0712-Y1����f�~��'x%&��� ����Q;+&��-"� '�9�c/> @ B�> G B"I"I"I8B�> M i)0Z��Q& PN¹��N&���]��N;-t��Q;+;�.\'D�;-/!=<�e á E~$#�|��4�'J'D�º��*&*���'/�;$#. ����$#')�¹'�9���N;-b9?Q&!#!Z.\'D�;-/!=<�g)E�_ß�D$#�& �-b��-/���P �N�$#�;4�9o'��|-"5�-"��z �PQ;+&��-"� $#���l �').6+,$#������'��P$#��!�*��P'�+&!(-/. �����s �').\*&Q;������$#')����!#!(zV*&��')N�$(+&$#��$(5�-�0,12-\Q���-���N;-�9?')!#!('L1�$#�;4]4��P-"-/�;zY9?'���1����P������P����-"4�z1X1r-]����������1O$(��N���N;-]�JQ�!#!­.\'D�;-/!�08$�_`-�_ ®a �J0���N;-/��$(��-"�P����$#5�-/!(zs+&Q�$#!#�sQ;* ®')�;- -/!#-/.\-/�f�=���=���$#.\-�_T������${ "��!#!(z�0D1r-�!#':'��~9o'��Z����������*}')$#�:�2��. ')�;4lc/>­@/B�>HG�B"I"I"IKB�>M&i"! O0;��'���N����Z$#9K$(�7$#�������;-/�m$#�:��'���N;-

#

Page 9: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

"Q;���P-/�f� �0���N;-��;-"1´�PQ;+;��.\'D�;-/!�1O$#!#!}�;-/ ��P-/����-���N;-��P-"4)Q�!#���P$(»"-/�m��-"4)����$(5�-=!('�4���!{$(��-/!#$#N;'J'D�]��N;-=.\')��������� ��������y !���¾�Ã�a [QTS��v� �fÁ�ÂFì�%$fÆ

e�_O�K-"���a �J0� �a®c/> @ B�> G B"I"I"IKB�> M i)0 � aÎe�_

gJ_O¼�'��O-/�� PNb>��HS� �0�!(-"�

����<?>8ETa �@ = � �����*@���� &

R��Ð<?>AB�>R�Eyv��-���N�- +O-"1O��')�D��ÒO��*&N&��')�V.\-"��N;'D�m��' %,��� � ��']. ${��$#. $(»"-

��<?>��oEÅa e¦M�R��8@ !{��<�e��Ñ-��D*8<��7C�R ����<?>R�E�E�E ��� g � ����<?>8E � G� � <�g�g)E

a e¦ ! 6 !#� ; ! �Ñ-��D*8<�� � �f< � � @ � E�E D � � g � 6 � �G � <�g�Ó)E

1�N;-"��-n��N;-��P-"4���-/����'��O.]�����P$�

� � @ aq<(�Ð<?>R�B�> R=< E�E M�� 2 BZ>RAStc/>­@LB"I"I"IKB�>M&i)B�> R=< S ��Yc/>���i)���N�-���-"4)Q�!#����$(»/����$(')�m. �����P$(�

� �G aq< �Ð<?>RµB�> R=< E�E 2 � 2 B�>R�B�> R=< S��bc/>���i)����&� � aß° �° ��e�_

ÓJ_O¼­$#�&�

>����7a�����4). ${� @ � ��� ��<?>��?E�I�K-"���a ��bc/>�� � i)0� Ða� !Oc/>�� � i)0 � 2 a ��<?>�� � E�0 � a ����e�_

Ô;_OÒO-"*}-/���O����-"*&�6<�g)EZ�����x<�Ó)E�Q&�f��$#! � 2 �')�:5�-"��4�-/�"_

� N;-n*}')$#�:���7$#� º����-���N;-6${.\*}'����r*}')$#�:���"_

�5U/T [ m� ReW^ m�q \nmlduefb�e�j �I`

� N;-k��+}'L5�-���!#4�'��P$(��N�.Å$#�m �').\*,Q;������$(')����!#!#z¹9o-/���P$(+&!(-�0Z+,Q;�m$#������-"* <�g)E~1r-���-"-/����'¹Q���-s��N;- +O-"1O��')�D�ÒO��*,N���')�x. -"��N;'J�x��'b%,��� � $(��-"�P����$(5�-/!(z�_YjºN;-/����N;-|�:Q�.=+}-"��'�9Z$#.\*}'����6*�')${�f��� �k+}-/ �').\-/�X!#����4�-�0­��N;-+�-"1Z��')�D��ÒO��*,N���')�Ð �').\*&Q�������$(')�Ð "���Ð+}-~-��D*}-/����$(5�-�_ � 's��-/�&Q� �-l��N�$#�\ �').\*&Q�������$(')�0T12-VQ���-m�t9?Q�����N;-"���*�*��P'/�;$#. ����$(')�_

Page 10: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

��������-/���~'�9K$(��-"�P����$#5�-/!(z\ �').\*&Q;��$#��4 � ? 2 B Q��:��$#!&$#�3 �')�f5�-"�P4�-/�"0�12-� "������Q&���3�;'X�6')�;-�������-"*l$#��-"�P����$(')�0D�����Q���-n$(�7���7���m��*�*&��'/�;$#. ����$(')�|��'\��N;-� �')�:5�-"��4�-/�m')��-�_ � N�$#�2$#��-/[JQ�$(5���!(-/�:�r��' ��*�*&��'/�;$#. ����$#��4=��N;-���-"4)����$(5�-+&$#��'). $#��!H!('�4���!{$(��-/!#$#N;'J'D�m1O$(��Nb�~��$ G�-"��-/�:�v1r-/$(4)N:��-/�s[:Q&���;�P����$# =!(')����9?Q��& ���$(')�Y����-/�� PNs$(��-"������$(')�_ � '|4�-"��m4�'J'J����*�*���'L�D${. ����$(')�0H12- ������-l���;5����f����4�-~'�92��N�- %�����-/���P-/��Q�!(�n9?��').×��N;-~ "Q;����-/�:� ��'�*���$#.]��! � O0­$�_`-�_(0��N;-X��Q;+;��.\'D�;-/!}1ON�-/�Ñ° �°:a � � e�0,���&�YQ���-=$(�O��'| �').\*&Q;��- �]$#�Ñ<�gDeLE�_ � N�$#�7')��-�������-"*tQ�*}�&����-6$#�O�P$#. $#!#�����' ��N;-��P �'���-���-/���Z$#�l4�-/��-"�P��!#$(»"-/�V!{$#�;-/���7.\'D�;-/!#��<C+����tE���+,Q;����N;-�!#������-"����':-/�7�;'���N��/5�-6��*}-/����!#��z|��-"�P.m_� N;-�Q�*}�&����$#�;4X9o'��P.XQ�!#�\��!{!('L1O�Z��N;-n1r-/$#4)Nf��-/�Y��-"4���-/����$#')�x<�g á E���' +}-n �').\*&Q���-/�Y$#� È <?¦ Ë Er��$#.\-�_

��-/�� �-�0&12-�N��L5�-6��N;-��P-"5J$#��-/�m����-"*&�6<�eLEZ������<�g)E�9?'��Z��N;-�+,����$# ���!(4�'��P$(��N&.������ ��������y ����Z�?`«Ã{¾/� ' "&���µÀ&¾65��,8~��Äb' 5�� 8

<�e G El�K-"���a �J0� �a®c/>­@/B�>HG�B"I"I"IKB�>M,i)0 � aÎe�_3�K-"� � ? x B�a�0,N;-/�� �- �=aÕg � ©«¦A_<�g G El¼�'��X-/�� �Nx>���S �0� �'��P��-/��*}')����$#��4)!(zb��Q;4). -/�f� �k@61O$#��N��Y �')!#Q&. �0­����� �bG\1O$(��N��b �')!#Q�. �������

�V��'L1�_~y���-\��N�-] "Q;����-/�:����Q;+���.\'J��-/!89?��').²$#��-"�P����$(')� <��|�³eLEv��'Y �'). *&Q;��- �Y${�¹<�gDeLEn������Q&��-\��N;-Q�*}�&����$#�;4�9o'���.=Q�!{�l<�g á E7��' %&��� � _�2').\*&Q���-\<�g�Ó)E�_

�5U � � j eufRf7e1gRdjb*h mWm� 9e|b \nq q7eWgRdgf efe1g�j j;e��

���\����-"*b<?Ô:E�'�9���N;-Z+&���P$# ���!(4�'��P$(��N�.V0�1r-O��-"-/����'6�;-/ "$#�;-�1ON�-"��N;-"��� 2 N����T �')�:5�-"��4�-/�_T¡º������Q;�P��!;����'�*&*&$#�;4�PQ�!#-r$#�8��'v!#':'��6������N;-2��-"4)Q�!#����$(»"-/� +v�K�3_��K-"� �m@�B �]G�B"I"I"I�+}-2��N;-���-/[:Q�-/�� �-r'�9&��-"4)Q�!#���P$#»"-/� +v�K��) �8'�+&����$#�;-/�$#������-"*b<�Ó)E�_T¡��3-/�� PN]����-"* ��0f12-Z �').\*&����- � 2 1O$(��N � 2 6�� 2 0)1�N;-"��-�� ��$#�­��*���-��� �N;')��-/� �P. ��!#!;$#�:��-"4�-"�/0)9?'��-��;��.\*&!(-�� � aÎe�_A�µ9��N;-O�P����$#'�� ��� 6 ��� B�� ���

� �����$#�r!(-/���r��N����~��').\-O*��P-��� PN;')��-/�l��.]��!#!��JQ�.6+}-"� �"0J9o'��2-��D��. *&!(-�0

�ra á I á%á e�0,12-6����'�*Y���&��$#�;4\�;-"1´${.\*}'�����*�')${�f������' �_

�5U"! d � e e@^ e1gRdgj �RmZb�m)d�hRml\ b�eWk<\bj�elefg f7\cb�\ `am�j�m)b$#

�J'b9?���/0­12-|N&�/5�-l������Q�.\-/����N����=��N;-~�P-"4)Q�!#���P$(»/����$#')��*&���P��. -"��-"� � ${��%;�D-/�_m���x*����� ���$# �-�0­1r-l��!#��'t�;-"-/���'k PN;'J')��-m��� ��'�*���$#. ��! � � _bjk-m "�����P���&�;'). !(zk��*&!{$(�6��!#!r��N;-m�������t$#�f��'s�t���P��$#��${�;4Y��-"�\�����Ñ�Y��Q&��$#�;4��-"�"0K���&�tQ&��-���N;-\. $#�� "!#���P��$(%& "����$(')�Y-"����'��n')�s��N;-���Q��&$#�;4~��-"�����n�| ���$(��-"�P$(')�t9?'��� PN;'J')��$#�;4 � _ � '|�P-/��Q� �-��N;-l �').\*&Q;������$#')�0A1r-|������-V���;5����f����4�-m'�9O��N;-~9¬�� �����N����X��N;-~�P-"4)Q�!#���P$(»"-/� +v�K�³ �')�:5�-"��4�-/�\9¬������-"��9o'��\�!#����4�-"� � _ � N:Q��/0:$#������-/��� '�9�PQ��&��$#�;4���N;-�-/�f��$(�P-Z��-"5D$#��-/�]��!#4�'��P$(��N�. 9o'��2-/�� PN � 0J12-O*���'�*}')��-O��N;-O9?')!#!('«1O$#�;4*���'D �-/��Q;�P-�0J1�N�$# PNY �').6+&${�;-/��+}'���NV������$#��4�${.\*}'�����*�')${�f������' º�����V �N;':')�P$#�;4\��N;-�'�*&��$#. ��! � ����� ��������y &% "�ÃoÆ�¿D�Ø����Ä���Á�¿:¾0"����#� aL�¬Ã¬Á�ÄxÁ43 ��Äb' �e�_v�D�������Z1O$(��Nm�]!#����4�-n��-"4)Q�!{���P$(»/����$(')�l*&������.\-"��-"� � _

Page 11: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

gJ_O�K-"���a �J0� �a®c/>­@/B�>HG�B"I"I"IKB�>M,i)0 � aÎe�_3�K-"� � ? x B a�0,N;-/�� �- �=aÕg � ©«¦A_ÓJ_OÒ�Q��]����-"*&�v<�g G E�0<�Ó)E3�����b<?Ô:ET'�9��N;-v��-"5J${��-/� ¡v!(4�'��P$(��N�.¯gJ0JQ&�f��$#!���N;-v����'�*�*&$#�;4� ���$(��-"�P$(')�~$#�3������${��%�-/���� Ðadc/>R B"I"I"IHB�>R � i\_T¡v!(')�;46��N�-v1��/z�0���!{��'X �'). *&Q;��-v��N;-n. $#�� "!#���P��$(%& "����$(')� -"����'���')�|��N;-���Q&��$#�;4��-"�"_

Ô;_��v-/ ���-/����- � ��']� ��.]��!#!(-"�75���!#Q;-�_ÖJ_OÒO-"*}-/���O����-"*&�6<�Ó)EZ�����x<?Ô:E�0&����������$#�;4 1�$(��N �adc/>R B"I"I"IKB�>R � i)_

jk-l PN;'J')��-]��N�- '�*���$#. ��! � ���6��N;-]')�;-]��N����X �'�����-/��*}')���&�n��'Y��N;-~. $#��$#.XQ�.×. ${�� "!#������$#%& "����$(')�s-"����'��=')���N;-���Q&��$#�;4���-"�"_

� � �\ÞáÝT�H���AàZåb�ÝTã}�\å��}ã

���m��N�$#�7��-/ ���$#')�0�12-6Q���-n+}'���Nm��$#.XQ�!#����$#')�m�����l��-/��!H�������]��']$#!#!{Q������P����-v��N;-��µ��� .\-"��N;'D�_

!RUWV �5e1` h mW\Tj�elefg b�mS^;h m�j�^

� N;-��������\����-�4�-/�;-"������-/�m$#�|��N;-n����.\-�12�Lz|���7¼­$(4)Q���-�gJ_ � N;-v�P$#.=Q&!#����$(')�~��-/��Q�!(��������-n��N�'L1O�l$#�|¼­$(4)Q;��-�Ó� ¼­$(4)Q;�P-6ÖJ_

¼­$(4)Q;�P-=Ó\��N;'«1O�ON�'L1´��N�-���Q���$#��4X*,���P��.\-"��-"� � ${�Z��-/!(-/ ���-/�_ � N;-n'�*&��$#. ��! � $#�79?')Q����V��' +}-�-/[:Q&��!��'e������t �'�����-/��*}')��������'m�~.]$#�� "!#�����P$(%& "����$(')�Y�P����- á I g ��gJ_6¼­$(4)Q;��-=Ô|%��J-/�v��N;-X��Q���$#��4]*&���P��. -"��-"�v��' � a¶e�����l%&�&����e/��${.\*}'����r*}')$#�:���"_A¼­$(4)Q;��-�g� �').\*,����-/����N;-n��-/��Q&!(���2'�9K��N;-6�J�n�á���&�~��N�-n���n� ;��N�-��D���áN����e/Ó á ��Q;*�*}'����A*}')$#�:���"0J�����]��N�-O�µ��� Q���-/��e/�=$#.\*}'����T*}')$#�:���"�:��N;-"z 4)$(5�-v��$#. $#!{���3 "!#������$#%& "����$(')� +}')Q��&�����P$(-/�"_¼­$(4)Q;��-XÖ $#�79?'��v��N;-6����.\-X��$#.XQ�!#����$(')�V+&Q;�Z��$ G}-"��-/�:�O��$(»"-/��'�9­���P��$#��${�;4 ���������¦tadg á%á B�Ô á%á B�� á%á BP� á%á _njk-��-"-l��N���� ���X��N;-m��$(»"-l'�9����P��$#��$#��4b�������t¦�$#�� ���-/����-/�/0T��N;-m�:Q&.6+}-"�X'�9�$#.\*}'����=*}')$#�f�����;'J-/���;'�����-/���Ñ��'$#�� ��P-/����-�_

�Z�"Æ ��Â��«¾�� � N�-3��Q;*�*}'����}*}')$#�:���'�9D��N;-2�J�n�¯����-T��N;')��-T1ON�$# �N�����-3 "!#')��-T��'O��N�-3 "!#������$#%& "����$(')�n+}')Q����&����z'��l. $#�� "!#���P��$(%�-/�Ð������Q���Q���!{!(zÑN&�/5�-s!#����4�-Y12-/$(4)N:����¨­<?>8E�<�eX��¨�<?>8E�E�_ � N;-Y$#. *�'��P�\*�')${�f���]'�9n��N;-Y�µ�������-s��N;')��-s��N����m�;-/ ��P-/����-k��N;-t��-"4)Q�!#���P$#»"-/� +v�K�Î��N�-s. ')���"0������� "����+}-t-/$(��N;-"�m "!(')��-t��'Ð'��l9?���l9?��').��N;-l "!#������$#%& "����$(')��+}')Q��&������z�_ � N�${�6��$ G}-"��-/�� �-|$#�X������Q;�P��!�0�+}-/ "��Q���-|��N;-l�D���·${��')��!(z� �')�& �-"�P�;-/��1O$(��N��N;-] "!{������$(%& "����$#')��£/¤�¥:¦]§ ¨�<?>8E­�ÐeL©�g«ªµ0K1ON�${!(-���N;-\���n�Ì��!#��'V9?'D "Q���-/�n')�k��N�-]Q��;�D�;'L1��s*���'�+&��+&${!#$(��z ¨�<?>8E�_� N;')Q�4)N�*�')${�f���T�L12�Lz\9o�P').q��N;-Z "!#�����P$(%& "����$(')�\+}')Q��&������z6�;'���'��3 �')�f����$(+&Q;��-7��'6��-"��-"�P. $#��${�;4���N�-Z*}')��$(��$(')�'�97��N;-| "!#������$(%, "����$(')��+}')Q����&����z�0K��N;-"z�.]�/zx �')�:���P$(+&Q���- ��'b-/����$#. ����$#�;4Y��N;-~Q����J�;'«1O��*&��'�+&��+&$#!{$(��z]¨�<?>8E�_

e á

Page 12: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

0 50 100 150 200

8010

012

014

0

# of Import Points

Regu

larize

d Dev

iance

Choosing Lambda

Optimal Lambda = 1

0 50 100 150 200

0.26

0.27

0.28

0.29

0.30

0.31

0.32

0.33

# of Import Points

Misc

lassif

icatio

n Rate

Choosing Lambda

Optimal Lambda = 1

¼­$(4)Q;��-XÓ HN7���(����) � � � � �= �* � �%)�� ?�D�A�A ����� ?ZA�CGF ���� ?� ��� ?ZA�C A�A "(�� � � �- � � � �� ����� ;�� �;����� ;�� )�� ����,� ��� �,��� �,�= ������� � ��������� 1�� � A�C D���D �=�������"� �;������ � �������1�E�� ? "!)

� N;-���'�����!� �'). *&Q;������$(')����!& �')���A'�9,��N�-��J��� $#� È <?¦ G ¦KÉPE�<?-�_`4;_(0DÊ���Q;9¬. ���0�e/�����)E�0J1ON;-"�P-2¦KÉT$#����N;-Z�:Q&.6+}-"�'�9���Q;*�*}'�����*}')$#�:���"01ON�$#!#-X��N�- �').\*&Q;������$(')�&��!T �')����'�92��N;- �µ��� .\-"��N;'D��$#� È <?¦ G�ËVG E�0K1ON;-"�P- Ë ${�n��N;-�JQ�.6+}-"�2'�98$#. *�'��P�T*}')$#�f���/_T�;$#�� �- Ë �;'J-/���;'�����-/���|��'\$#�� ���-/����-�����¦s$#�� ���-/����-/�/0D����$#!{!#Q������P����-/�~$#�|¼�$#4)Q;��-ÖJ0���N;-= �').\*&Q;������$(')�&��!H �')���Z'�9���N;-��µ��� "���m+}-���.]��!#!(-"�7��N����m��N&���Z'�9­��N;-=�J�n��_

!RU/T [ m)\nm qR\Tj�\ b�mS^;hRm�j�^

���]��N�${�r��-/ ���$#')�0D1r-� �').\*&����-v��N;-v*}-"��9o'���. ���� �-/�r'�9H��N;-v���n�×�����|��N;-��J�n� ')�~��').\-��P-/��!��&��������-"���"_ � -/�+}-/�� PN&. �����\����������-"��������-�Q���-/�]9o'��2��N�$#�3*&Q;��*}')��-7��2���&�����D0;�r�P-/�������� "���� �-"�/0�¼­!#����-�����')!#���/0�+v-"�P. ���0���-/�����"0��. ��4�-�0,Ò�$#�;4)�;'��P.V0,�J*&!#$# �-�0 � NfzJ��')$#�0 � $(������$# �0 � 12')�;'��P.w�����Vj��L5�-"9o'���.m_ �v-"����$#!(-/�Y${�;9o'���. ����$(')�m��+}')Q;���N;-/��-=����������-"���O "���Y+}-n9o')Q��&�m$#�mÒ�������� �NÑ�/�2���( �<�g á%á%á E�_

� ��+&!(-Ñet �')�:����$#���|����Q�. .]����z�'�9���N;-/��-s����������-"���"_qÒ�����$#��!Z��-"���;-/!\<?Ô:E $#�|Q���-/����N;��')Q�4)N;')Q;�]��N�-/��-����������-"���/_ � N;-m*&���P��. -"��-"�P���d����� � ����-b%;�J-/�����~��*}-/ "$(%, l5���!#Q�-/�\��N����~���P-Y'�*���$#.]��!79o'��~��N;-s�D���3) �

e�e

Page 13: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

� ��+&!(-�eHs�;Q�. . ����z�'�9���N;-V��-/�¹+}-/�� �N�. �����Ñ����������-"���"_º¦Õ$#�\��N�-Y��$(»"-m'�9���N;-V������$#��$#�;4k�������D0�¨�${�\��N;-��$#. -/����$(')�\'�9��N�-O'��P$(4)${����!�$#�;*,Q;�"0 � G ${�T��N;-v*&���P��.\-"��-"�2'�9H��N;-��P����$#��!���-"�P�;-/!�0 � $#�T��N�-���Q��&$#�;4n*&���P��. -"��-"�/0����� 4 $#����N;-=��$(»"-n'�9­��N;-n��-/���v�������D_

����������-"� ¦ ¨ �G � 4

����������� Ô á%á g e ÓJI#e��_s�e á 6 t Ôf� á%á�2��-/�������� "���& �-"� g á%á � Ö á �JI Ö��_s�e á 6 G #7#¼­!#����-�����')!#��� � � � � Ó á á _ �$#�� Ô á%á+v-"��. ��� # á%á g á Ö�Ö á _ ÓDe�� Ó á%á��-/����� e # á e/Ó e/g á á _ ÓDe�� e á%á��. ��4�- e/Ó á%á e/� Ó á _ á%á g e á e áÒ�$#�;4)�;'��P. Ô á%á g á e á e á 6 � # á%á%á� N:zJ��')$#� e�Ô á Ö Ó á _#e #�Ö� $#������$# e/Ö á Ó g e á 6�� g á ÖDe� 12')�;'��P. Ô á%á g á Ô á á _ ÓDe�� # á%á%áj��L5�-"9o'��P. Ô á%á gDe g á e Ô*� á%á

e/g

Page 14: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

0 50 100 150 200

110

112

114

116

118

120

# of Import Points

Regu

larize

d Dev

iance

Lambda = 1

# of Import Points = 19

0 50 100 150 200

0.26

0.27

0.28

0.29

0.30

0.31

0.32

# of Import Points

Misc

lassif

icatio

n Rate

Lambda = 1

Test Error = 0.262

¼­$(4)Q;��-XÔ.NI���(����o � � � � �=,�* � � ) � ? D�A�A � ��� ? A�C2F � � � ? � � ? A�C A�A "(� ? "*) � ��� �;����� � � , � � � � ���� �=-����=>� � � � ��� ��� ��� ? "�� )

4�-/�;-"�P��!{$(»/����$(')�t*}-"��9o'���. ���� �-|<¬Ò ������� PN �/�Z���( #0Hg á%á%á E�_�Í3�� �Nk����������-"�nN����ng á ��-/��!#$(»/����$(')�&��'�93��N;-=������$#��$#�;4�����X��-/���T�������D_ � N;-r�P-/��Q�!(���­����-Z$#� � ��+&!(-Zg������ � ��+,!(-ZÓJ_ � N;-2�JQ�.=+}-"��')Q�����$#�;-�-/�� PN +��P�� ���-"�T${�­��N;-7.\-/���'L5�-"��g á ��-/��!#$(»/����$(')�&�Z'�9A��N;-�������$#��$#�;4 ���&�V��-/�����������D0,���&�V��N;-X�:Q�.=+}-"�O$#�Y-/�� PNb+��P�� ���-"��$#�O��N;-=�������&�����P�-"����'��L_l¼���'). � ��+&!(-|gJ0�12-~ "���Ñ��-"-|��N����6��N�-]�µ��� *}-"��9?'��P. �����=1r-/!{!3���=��N;-l�J�n�Ì$#�� "!#���P��$(%& "����$(')�x')���N;-/��-X+}-/�� PN&. �����m����������-"���"_n¼;�P'). � ��+&!(-�ÓJ0,12-� "���t��-"-=��N����v��N;-X���n�Ç��z:*&${ "��!#!(zmQ���-/�v�~.XQ� �Nb��.]��!#!(-"�9?�P�� ���$(')�~'�9��N;-O���P��${��$#�;4��������=��N����~��N;-��D���¢��'�$#���;-�����-"�P�;-/!,+&����${�T9¬Q��� ���$(')���/_ � N&$#�T. �Lz 4)$(5�-O��N�-��µ���� �').\*,Q;������$(')����!H����5����:����4�-6'«5�-"����N;-=�D���x_

� � �\å����:�TåPà7ã,ã®�Aà7ã,Ý

������N�$#�A��-/ ���$(')�H0)1r-7+&�P$(-"Ï�z6��-/�� ��P$(+}-���4�-/�;-"�P��!#$(»/����$#')��'�9,��N;-7�µ�n� ��'6.XQ�!(��$(�� "!#�����­ "!#������$#%& "����$(')�_T�DQ;*�*}')��-��N;-"��-����P-=hÎ "!#������-/�/_ � N;-n �')����$(��$#')����!�*���'�+&��+&${!#$(��z\'�9­��*}')$#�:�r+}-/$#�;4�$#�l "!#�����OuO4)$(5�-/�V�×aº>k$#�7��-/�;'���-/�

e/Ó

Page 15: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

� ��+&!(-6g �2'). *&���P$#��')�l'�9A "!#���P��$(%& "����$(')�l*}-"��9?'��P. ���& �-n'�9A�J�n� �����l�µ��� ')�m��-/�Y+�-/�& PN�. ���P�~����������-"���/_

����������-"� �J�n�áÍ3����'��=<��]E ���n�áÍ3����'��=<��]E����������� e á IA#��;<�� á I ���)E e á I Ó�Ô&<�� á I`Ô*�)E�2��-/�������� "���� �-"� g�ÖJI Ö��;<��vÔ;I Ö á E g�ÖJI ��g;<��vÔ;IA#��)E¼­!#����-�����')!{��� Ó�gJI ��Ö;<���e�I`Ôfg)E Ó�ÓJI � �;<���e�I ��Ô:E+v-"�P.]��� g�gJI ���;<��ngJI g��)E g�ÓJI Ö�Ó;<��ngJI`Ôf�)E��-/����� e/ÖJI ��Ö;<��nÓJI#e�Ô:E e/ÖJI � á <��nÓJI`Ôf�)E��. ��4�- ÓJI Ó�Ô&< á IA# á E ÓJI ÓDe)<�� á I � á EÒO${�;4)�;'��P. gJI á Ó;<�� á I#e/�)E e�I �$#D<�� á I g��)E� N:z:�P')$#� Ô;I � á <��ngJI ���)E ÖJI á%á <��nÓJI á g)E� $(�����&$# g�gJI#e��;<�� á I � á E g�gJI Ó��;<���e�I á Ó)E� 12')�;'��P. gJI � á <�� á I g�Ö)E gJI`ÔfÖ;<�� á I#e/Ö)Ej��/5�-"9?'��P. �JI ���;<�� á I`ÔfÓ)E e á I#e/Ó;<�� á I`Ô #�E

� ��+&!(-vÓ 2'). *&���P$#��')� '�9H�:Q�.=+}-"�3'�9��-"�P��-/!&+&���P$#�TQ���-/�]+:z~�D��� �����]���n� ')�]��-/�~+}-/�� �N�. �����\����������-"���"_

����������-"� �¶'�9T�J� �¯'�9­�������������� � á <���e á E gDe)<���#�E�2��-/�������� "���� �-"� e�e/Ö;<��nÖ)E e�Ô&<��nÓ)E¼­!#����-�����')!#��� Ö��$#D<��n�)E �;<��\eLE+v-"�P. ��� Ô á #D<���e á E e #D<��ng)E�O-/���P� � á <��vÔ:E e/g;<��ng)E�µ.]��4�- g�gDe)<���e�eLE #�g;<��\e/�)EÒO$#��4)�;'��P. ���;<��nÖ)E #�g;<���Ó á E� N:z:��')${� gDe)<��ng)E g�g;<��nÓ)E� $(������${ ���;<��n�)E �;<���g)E� 12')�;'��P. # á <��nÖ)E g�Ô&<��vÔ:Ej��/5�-"9?'��P. e/ÖDe)<��n�)E g �;<��nÓ)E

e�Ô

Page 16: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

0 50 100 150 200

0.55

0.56

0.57

0.58

0.59

0.60

# of Import Points

Reg

ular

ized

Dev

ianc

e# of Training Data = 200

# of Import Points = 19

0 100 200 300 400

0.58

0.59

0.60

0.61

0.62

# of Import Points

Reg

ular

ized

Dev

ianc

e

# of Training Data = 400

# of Import Points = 18

0 100 200 300 400 500 600

0.57

0.58

0.59

0.60

0.61

0.62

# of Import Points

Reg

ular

ized

Dev

ianc

e

# of Training Data = 600

# of Import Points = 19

0 200 400 600 800

0.57

0.58

0.59

0.60

0.61

0.62

# of Import Points

Reg

ular

ized

Dev

ianc

e

# of Training Data = 800

# of Import Points = 18

¼­$(4)Q;��-6Ö �� ��� ���� �+�� � , � � � 1�� � � � ��� ��� -��� � �f���$� 7#��Q,(�� ����� #��Q,(�� ��� )5N7������(�" � � � � �=3�* � �%) � � ?BA�C2F � ? "(� �� ? ��� ?hA�C A�A "*) � ��� ��� � �C���/ ��� ��� � ,t���(� �t�� � � ? D�A�A $� A�A $ ��A�A $� A�A �P�(��� � ��� ���� � �������(� � ,�����.� � �?�C�?� �R���� �S� �(� ��� �� � " ��$ "��$ "�� $ " )

���A¨���<?>8E3a��]<¬�ßa�u)° �×a�>8E�_��O-/�& �-���N;-6���/z�-/�v "!#�����P$(%& "����$(')�m��Q�!(-n$#��4)$(5�-/�m+Jz1u�<?>8ETa�����4).]��� � � � @ ��������� ��� ¨��/<?>8E

� N�-�.\'J��-/!N����7��N;-�9?'��P.�¨H@L<?>8EÌa 0 � ?A@ B

� �� �8@ 0 ��� ?A@ B B <�g�Ô:E

¨,G�<?>8EÌa 0 � D ?A@ B� �� �8@ 0 ��� ?A@ B B <�g�Ö)E___ <�g �)E

¨ � <?>8EÌa 0 ���1?K@ B� �� �8@ 0 ��� ?A@ B B <�g$#�E

1ON;-"�P- � � <?>8EXS � � � � � $#����N�-]ÒOÊ��n�t4�-/�;-"������-/�x+Jzt�V*�')�P$(��$(5�- �;-"%&�&$(��-���-"�P�;-/!��Ð<��(B�� E�_ +O'���$# �-]��N�����:@L<?>8E�B"I"I"I8B � � <?>8E6����-l�;'��X${�;-/�f��$#%&��+&!(- $#����N�$#�=.\'D�;-/!�0­9o'���$(9712-|���&���t �'). .\')�Ñ��-"�P. ��'s-/�� PN5� � <?>8E�0

e/Ö

Page 17: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

¨H@L<?>8E�B"I"I"I�B¬¨ � <?>8EA1O${!#!D�;'��r �N����;4�-�_ � '=. ����- � � <?>8EA$#��-/�f��$(%,��+&!(-�0)12-� �')���P$#�;-"�T��N;-v��zD. .\-"���P$# O �')�������P��$#�:���� �8@ � � <?>8ETa á I <�g��)E

� N;-/�l��N�-6.=Q&!(��$Ø�� "!#�����7Ê6�KÒÕ%&���Z�\.\'D�;-/!��']. ${��$#. $(»"-v��N;-n��-"4)Q&!#���P$(»"-/�m�;-"4)����$#5�-=!('�4���!#$#��-/!#$#N;'J'J�

� a � e¦M�R��8@ !#�8¨ 8>= <?>R�E%� � g ���� G��� <�g��)E

a e¦M�R��8@

� � � 6R � <?>R�E'��!#� ; 0 � ?K@ =�B � �����H�<0 � � ?K@ =CBED�� � � g ���9� G� � <�Ó á E

1ON;-"�P- � R­${�7�\+&$#�����Pz|hv��5�-/ ���'��v1O$(��Nl5���!#Q;-/�Z��!{!}»"-"��' -��; �-"*����me�${�l*�')�P$(��$(')�mu�$(9���N;-� "!#�����Z${�Zu�0&�����

� <?>R�EÌa < �:@L<?>R�E�B"I"I"I8B � � <?>R�E�E 6 B <�ÓDeLE

���9� G��� a��� �8@ � � � �

G��� I <��g)E

yv��$#�;4 ��N�-���-"*���-/��-/�f��-"�v��N;-"'���-/.Ç<¬Ê�$#.\-/!{�;'���9��ßj���Nf+,�D0�e/�$#JeLE�0}')�;-X "���b��N�'L1´��N&��� � � <?>8E�0,1�N�$# PNY. $#��$Ø�. $(»"-/� �x0�N����O��N;-n9?'��P.

� � <?>8ETaM�R��8@%& R � �Ð<?>R�B�>8E�I <�Ó�Ó)E

��-/�� �-�08<�g��)E�+}-/ �').\-/��×a e

¦M�R��8@

� � � 6R < �k@L<?¤�B�E � E 6 ��!{� ; ! 6 0 ? �� ? R � B���B�� D� ��� g��� �8@ � 6 � �bG � � <�Ó�Ô:E

1ON;-"�P- � aq< � @ ����� � � EF0� @ ���&� � G ����-��;-"%,�;-/� $#�\��N�-�����.\-�12�Lz ���r${�\��N;-O��1r'��� "!{������ "����-��;����� � @ <?¤�B�E$#����N;-6¤���Nb�P'L1®'�9��k@"_ +O'���$# �-X��N�����$#�V��N&$#��. 'J�;-/!�0&��N;-X �')�������P��$#�:�\<�g��)EO${���;'��v�;-/ �-/�������PzY���fzD.\'���-�0}9?'�����Z��N;-=. $#��$#.XQ�. '�9Z<�g��)E�0 � �� �8@ � � <?>8ETa á $#�7��Q;��'). ����$# "��!{!(zm������$#��%�-/�H_5UWV � hRm�j�e � o�ml\:^ ^tX Y []\:g q�� hRm�j�e � o�ml\:^ ^ ������D$#.]$#!#���K��' � N;-"'���-/.pe�0f�n �')����-/ ���$(')��+}-"��12-"-/�\��N;-7.=Q&!(��$Ø�� "!#�����­Ê��8Ò¹�������n.XQ�!(��$Ø�� "!#���P�A�D��� ��!#��'�-��D${�����"_

���s4�')$#�;4l9?��'). ��N;-\��12'��� "!#�������J�n�±��'V��N;-\.XQ�!(��$Ø�� "!{������ "!#������$(%, "����$(')�0H. ���:zY��-/��-/���P PN;-"����N��/5�-]*���'��*}')��-/�m5����P$(')Q���*&��'J �-/�&Q;��-/�"_

���t*��P�� ���$# �-�0��N;-�')�;-���5D������-/������ PN;-/. -�${��'�9?��-/�kQ���-/�%O4)$(5�-/�xh¯ "!#���P��-/�"0��N;-�*���'�+,!(-/.w${�v�&$(5J${�;-/�Y$#�:��'�|��-"�P$(-/�O'�9rhß')��-���5J�����P-/����*&��'�+&!(-/. �/0&�����b-/�� PNt')�;-���5D������-/���v*���'�+&!#-/. $#�������;��-/����-/�Y+JzV�]��$ G�-"��-/�:�� "!{���������*}-/ "$(%& 6�D���Ç "!#���P��$(%�-"�=<?-�_`4;_(0 �� "!#�����Xe � 5D�"_ ���;'��v "!#�����6e �fE��}��N;-/�b�]�;-"1®����.\*&!#-n������-/����N�-= "!#�����O'�9A��N;-

e��

Page 18: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

"!#�����P$(%�-"��1O$(��N���N;-V!#����4�-/���X�P-/��!�5���!#Q�-/��')Q���*&Q;�\u G a×����4). ��� � �8@ ��������� � � � 0r1ON;-"��-�� � $#�X��N;-l��-/��!�5���!#Q;-/�')Q;��*&Q��7'�9���N�-�u���Ns�J�n�á "!#���P��$(%�-"�/_

��������-/���|'�9K��')!#5J$#��4Xh´*���'�+&!(-/.]�"0f�T��*&�&$(�Y<�e/�����)E������~jk-/����')�V�´j������J$#�&��<�e/�����)E�4�-/�;-"�P��!#$(»"-/�s<�eLE3+:z��')!(5D$#�;4�')�;-=��$#�;4)!(-�'�*���${. $(»/����$(')�l*��P'�+&!(-/.�

. ���� � � <�Ó�Ö)E�PQ;+��-/ ��7��' � 8>= <?>R�E��3� � <?>R�E � � <�e7���"R � E�B <�Ó �)E

¤­aqe�B"I"I"IP¦ABÕuOaÎe�B"I"I"I"hvB�u��aºC�R <�Ó$#�E�"R � � á B �

R����� 8>=

�"R � � � <���)E

��� �8@ � � � �

G��� aÎe�I <�Ó��)E

ÒO-/ �-/�f��!(z�0r�H-"-��"�����( ¹<�g á%á g)E=*}')$#�:��-/�x')Q;�X��N����V<�Ó�Ö)E � <�Ó��)E=$#�X�;'�����!(1��/zD�\�2�Lz�-/��'�*���$#. ��!�_ � N;-"z*���'�*}')��-/�|���m��!(4�'��P$#��N�.¯��N����7$#.\*&!(-/. -/�f���r��N;-n���/z�-/�Z "!#���P��$(%& "����$(')�|�PQ&!(-������|-/����${. ����-/�7����4). ��� � �]<¬�qau)° �×a�>8E���$(��-/ ���!#z�_

��-"��-]12-|*���'�*}')��-]�Y��N;-"'���-/. ��N����X${!#!#Q�����������-/����N;-~ �')����-/ ���$(')�x+}-"��1r-"-/�Ñ��N;-|.=Q�!#��$Ø�� "!#������Ê6�KÒ¶�����')�;-�5�-"����$(')�m'�9���N;-6.XQ�!(��$Ø�� "!{�����O�J�n��_

� y��������� � "&¿LÀfÀDÁ�¾"�]�%$D� �¬Â���Ã?Ä�Ã?Ä&� ')�����t��Â��vÀD��Ã? K Ão¾"� ¾/��ÀD��Â��*)"�(�?+Oì ¬�/ 0-� � <?>8E�+7¾" {��  � 8>= <?>R�ET� � � <?>R�E /á B 1,¤�B 1�u��a�C�R� ���$;��Ä���¾ � F á +��%$D� a/�Ø��¾�¾�à �RaP�)�¬Ã¬Á�Ä )�Á�¿DÄb')��Â�C_��Ã%`��"Ä() C~�%$D��ÆX¿D�Ø�¬Ã\L4a"�(��¾�¾�2 � 5���=,8 K Ã?�o�aPÁ�Ä<`��"Â��J�X��Á~�%$D���k��Ã%`���Ä )?C|�%$D�=Æ�¿D� �¬Ã%L9a/�Ø��¾P¾ "RQ�SU5��*V,8 : 5 �*=,8 +3à 3=�%$D�=�Ø�)������Â�Ão¾�¿DÄ�Ã�Z/¿&�/ 

� N;-=*���'J'�9T'�9T��N;-X��N;-"'���-/. $#��5�-"��zY�P$#. $#!#������'~��N&���v'�9 � N;-"'���-/. e�01r-X'). $(��$(�vN;-"��-�_ +O'���-\��N�����$#�b��N;- "����-�'�9A��-"*,���P��+&!(-� "!#���P��-/�"0K<�Ó�Ö)E � <�Ó��)E7$#��4)Q��������f��-"-/�b��' +}-����/z�-/��'�*���$#. ��!�_

5U/T � hRm�j�e � o�ml\:^ ^�� ���� N;-s.XQ�!(��$Ø�� "!#���P�]�µ��� *���'D �-/��Q;��-t$#�|��$#. $#!{���]��'���N;-s��12'��� "!#�����m "����- <?12-s'). $(�|��N;-k�;-"����$#!#�FE�0O�����º��N;- �').\*&Q�������$(')����!� �')���2$#� È <�h�¦ G�ËVG E�_­¼­$(4)Q���- �n$#�T�6��$#.XQ�!#����$(')��'�9}��N;-Z.XQ�!(��$Ø�� "!{�����A�µ���x_ � N;-Z�&������$#�\-/�� �N "!#�����O����-�4�-/�;-"�P����-/�Y9o�P'). � . $Ø�D��Q;��-�'�9 +���Q��P��$#������<(�v������$(-|�/�2���Ø {0,g á%á eLE�_

� �¶��ã��T��ã�ã��P���

� N;-v��Q;*�*}'����A5�-/ ���'��Z.]�� PN�$#��-�N����r+}-"-/� 5�-"��z]�PQ� " �-/����9¬Q�!�9?'��2��12'��� "!#�����7 "!#�����P$(%& "����$(')�~����� 4)��$#��-/�~�X!('��3'�9������-/�:��$(')�b${�l��N;-6. �� �N�$#�;-�!(-/������$#�;4\��'D "$(-"��zV${�l��N;-�*&�����O��-/�Vz�-/���P�"_��Y���:zl*&��*}-"�P�ZN��L5�-6+}-"-/�m*&Q�+&!#$#��N�-/�

e #

Page 19: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

Multi−class IVM − 32 Import Points

Training Error: 0.237Test Error: 0.259Bayes Error: 0.251

¼­$(4)Q;��- � JNI���(����< � � � ���=#�* � � )�� ? � � ? �A�A � ?BA�C �� �� � � � ? D )

��'m-��D*&!#��$#�b1ON:zV��N;-\��Q;*�*}'����v5�-/ ���'��6. �� �N�$#�;-�*}-"��9?'��P. ��1r-/!{!�${�Y��1r'��� "!#���P�6 "!#�����P$(%& "����$(')�_6�Y')���n'�9r��N�$#�!#$(��-"������Q;��-� �')�� �-/�f��������-/�Z')�l��N;-n �')�� �-"*��7'�9�. ����4)$#�H_��T����$(')Q��7. $#�P "!#������$(%, "����$(')� -"���P'��7+�')Q&�����2N��/5�-n+}-"-/��;-"�P$#5�-/�x+&����-/��')����N�-|. ���P4)$#�º<?-�_`4;_(02�T��*&��$#�,07e/����ÖJ�7�T��*&��$#�,0Ze/�����J�7��������!(-"��� �×�DN��L1r-�� � �/zD!('��/0ve/�����J��DN��L1r-�� � �/zD!('���� 2�P$#����$#����$#��$�0,e/�����)E�_

��'L12-"5�-"�/0')Q;��5J$(-"1®$#�V��N&$#�Z*&��*}-"�O${�O�|!#$(����!(-���$ G�-"��-/�:�O9?��'). ��N����O+&����-/�Y')�b��N;-= �')�& �-"*���'�9T.]����4)$#�_�J-"5�-"�P��!D�P-/��-/���P PN�-"�P�TN��L5�-Z�;'���-/����N;-���-/!#����$(')�&��N�$(*=+�-"��1r-"-/� ��N;-7��Q;*�*}'����85�-/ ���'��r. �� �N�$#�;-7�����X��-"4)Q�!{���P$(»"-/�9¬Q��� ���$(')�Y-/����$#. ����$(')�t$#�bÒOÊ��n�x<?-�_`4;_(0HÍ35:4�-/�&$(')Q��/�Z���( #0­e/�����J�Hj���N:+&�D0Ae/�����J� ��������$(-m�/�7���Ø {0Hg á%á eLE�_ � N;-��-"4)Q�!{���P$(»"-/�k9¬Q��� ���$(')�x-/����$#. ����$#')��*���'�+,!(-/.² �')�:����$#������1r't*&������� X�b!(')����9¬Q��� ���$#')�������x�Y��-"4)Q�!#����$(»/����$(')���-"�P.m_Aj�N�����$#�3��*�-/ "${��!�1O$(��N]��N;-��PQ;*�*}'����A5�-/ ���'��Z. �� �N�$#�;-v$#�T��N;-�!(')���39?Q&�� ���$(')�0J$�_`-�_A��N;-�N&$#�;4�-O!(')�P�"_ � N;-. ����4)${�k. ���D${. $(»/$#�;4l*��P'�*�-"�P��zt'�9r��N;-~��Q;*�*}'����v5�-/ ���'��X.]�� PN�$#��- �;-"�P$(5�-/�n9?��').×��N�-]N�$#�;4�-\!(')�P�n9?Q&�� ���$(')�_�K${�t<�g á%á g)E2*}')$#�:��-/�|')Q;�2��N�������N;-nN�$#�;4�-�!(')����$#�2���/z�-/�O �')�&��$#����-/�:�"0;$�_`-�_A��N;-�*}'�*&Q�!#����$(')�~. $#��${. $(»"-"�3'�98��N;-!(')����9¬Q��� ���$(')�b��4���-"-/��1O$(��NY��N;-=���/z�-/���PQ�!(-6${�V��-"�P. �v'�9T "!#���P��$(%& "����$(')�H_Zjk-�+�-/!{$(-"5�-���N�$#�v$#���]+&$#4~����-"*s$#�-��D*&!#��$#��${�;4O��N;-Z�PQ� " �-/���­'�9���N;-7��Q;*�*}'�����5�-/ ���'��r. �� �N�$#�;-�0f+�-/ "��Q&��-7$(�A$#.\*&!#$#-/�K��N;-Z�PQ;*�*}'����K5�-/ ���'��2. �� PN&$#�;-$#�7���PzJ$#��4\��'~$#.\*,!(-/.\-/�:�7��N;-6���/z�-/���PQ&!(-�_���'L12-"5�-"�/0}��N�$#�Z$#�Z')��!(z|*&�����Z'�9A��N;-=����'���z��&12-6+}-/!#$(-"5�-n��N�������N;-��-"4)Q�!{���P$(»/����$(')�l��-"�P.wN����Z��!#��'\*&!#�/z�-/�Y���Y$#.\*}'��������:����')!(-�$#�l��N�-6��Q;*�*}'�����5�-/ ���'���. �� PN&$#�;-7) �Z��Q& " �-/���"_

ÒO-"4)Q�!#���P$(»/����$#')��$#�H���n-/�P��-/�f��${��!) �').\*}')�;-/�:�K$#��.\'D�;-"�P�n�&�����Z������!(zD��$#�"0�$#��*&������${ "Q�!#���1ON;-/����N�-3�:Q&.6+}-"�'�9Z+&���P$#��9¬Q��� ���$(')�&�=$#�=!#����4�-�0A*}')����$#+&!(zs!#����4�-"�X��N����Ñ��N;-|�JQ�.=+}-"�6'�9Z'�+&��-"��5�����$#')���"0A�����Ñ�;')�D����-"4)Q�!{���P$(»"-/�

e/�

Page 20: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

%�����$#��4l${��4)Q����P���:��-"-/����'V4)$(5�-]+&����!(zV'«5�-"����%�����-/�Ñ.\'D�;-/!#�"_ � N;-�-/��!#���P4�-/�k9o-/����Q���- ��*&�� �-]${�s��N;- ��Q;*�*}'����5�-/ ���'��V. �� �N�$#�;-Y��!{!('L1O�~��N;-b%�����-/��. 'J�;-/!O��'x+}-YÏ&-��D$(+,!(-�02���&�¹��N;-t��-"4)Q�!#����$(»/����$(')�Ð��-"�P.Ì �')�:����')!#�|��N;- �').\*&!#-��D$(��z�'�9v��N�-Y%�����-/��.\'J��-/!��Z��N;-��rGV������Q;�P-m'�9n��N;-V��-"4)Q�!{���P$(»/����$(')�Ð��-"��. $#����N�-b��Q;*&*�'��P�X5�-/ ���'��. �� �N�$#�;-]��!{!('L1O�6��N;- %�����-/�Ñ.\'D�;-/!A��'tN��/5�-|�V%&��$#��-\��-"*���-/��-/�:������$(')�0�-"5�-/�Ñ$(9���N;- %�����-/�Ñ.\'D�;-/!T$#��${�����$#�;%,��$(��-Z��$#. -/����$(')����!D��*,�� �-�_��O-/�& �-O12-O*���'�*}')��-���N����3+Jz\��-"*&!{�� "$#�;4n��N;-vN�$#�;4�-O!#')���T'�9��N;-v��Q;*�*}'����A5�-/ ���'��. �� �N�$#�;-�1O$(��N=��N;-Z�;-"4)����$#5�-7+&$#�;'). ${��!f!('�4���!#$#��-/!#$#N;'J'J�H0«1ON&$# PN�$#�­��!#��'n���/z�-/�r �')����$#����-/�f�"0)12-7��N;')Q�!{�6+}-���+&!(-��'|4�-"�v�~%�����-/�t.\'J��-/!K��N�����*}-"��9o'���. �O��${. $#!#���P!#z]��'|��N;-X�PQ;*�*}'����75�-/ ���'���. �� �N�$#�;-�_ � N;-6��-/�PQ�!(��$#�;4\��-"���;-/!!('�4)$#����$# 2��-"4���-/����$#')� $#�A��').\-"��N&$#�;4n')Q;�T��������${����$# "$#�����3����-75�-"��z�9?��.]$#!#$#���­1O$(��Nm<?-�_`4;_(0�+v��-"-/�|� -3�����;-/!#!�0�e/����ÖJ��v������$(-�� � $(+&��N&$(�P����$�0De/��� á �Dj���Nf+,�l�/�����( {0�e/����Ö)E�_Tjk-v��!#!�Q��&�;-"�P����������1�Nfz\$(�T "���~1r'��P�X12-/!#!�_ � N;-�����.\-��-/����')�&$#�;4l �')Q�!#�b+�-X��*�*&!#$#-/�V��'l��N;-���Q;*�*}'�����5�-/ ���'��6. �� PN&$#�;-�_ � N;-�$#.\*}'����Z5�-/ ���'��6.]�� PN�$#��-X��!(4�'���$(��N�.$#� ��Q����Z�\1��/zl��'] �'). *���-/���O��N;-�������� �����V��-/��Q� �-n��N;-= �').\*&Q;������$(')�&��!H �')���"_

Ên-"���;-/!A!('�4)$#����${ =�P-"4���-/����$(')�k${�n�;'��n��N;-\')��!(zb.\'J��-/!­��N����n*}-"��9o'���. �n��$#. ${!#���P!(zl��'m��N;- ��Q�*�*}'�����5�-/ ���'��. �� �N�$#�;-�0���-"*&!{�� "$#�;4O��N�-2N�${�;4�-r!(')�P�K1O$#��N=���:z6��-/���P$(+&!(-T!(')�P�89¬Q��� ���$#')��1O$#!{!�4)$(5�-7��$#. ${!#���H��-/��Q&!(�"0«9?'��­-��D��. *&!(-�0��N;-\-��D*}')�;-/�f��${��!�!#')����9?Q&�� ���$(')�t'�93+}'J')����$#�;4�<¬¼;��-/Q&����� �D PN&��*&$(��-�0Ae/���$#�E�0���N;- ��[JQ�����-/�t-"����'���!(')�P� <?-�_`4;_(0��Q�N�!#.]�����t� -3QH0Kg á%á e�� �}N&���;4l� �n!(-/�"0Hg á%á e��­�b�����;'��~�/�O���( #0�g á%á g)E������s��N;-meL©«C��!#')���v9o'�����${�������� �-12-/$(4)Nf��-/�]��$#�� ��P${. $#������$(')�|<��Y���P��')�~� � 'J�&�0fg á%á g)E�_ � N;-/��-Z!(')���­9¬Q��� ���$(')���­����-���!#!D�2�Lz�-/�r �')�&��$#����-/�:�"_ � N;-�;-"4)����$(5�-7+,$#�;'). $#��!:!('�4���!#$(��-/!{$#N;'J'J�����&�=��N�-2-��D*}')�;-/�:��$#��!:!#')���­����-7��!#��'�. ����4)$#�D��.]���D$#.]$(»/$#�;4O!#')����9?Q��& ���$(')���"�+&Q;�7��N�-���[:Q&����-/�m-"����'���!(')���Z�����l��N�-]eL©«C��s!#')���Z����-6��'��"_

� ' ��Q�. .]���P$(»"-�0D. ����4)$#�l. ���;$#. $(»/����$#')�|${�r+Jz~�&����Q;��-n���;')�D����-"4)Q�!{���P$(»"-/�|'�+��-/ ���$(5�-�0������m��')!(5D$#�;4�$(��$#�N�$(4)Ns��${.\-/����$(')�&��!K��*&�� �- ${�n!#$(��-/!(zm��'Y!#-/���b��'m'«5�-"����%�����$#��4Y�����s+&���t*���-/�&$# ���$(')�t*}-"��9o'���. ���� �-�_ � N�$#�vN����+}-"-/�6'�+,��-"��5�-/��$#�=*��P�� ���$# �-2+:z=. ���fz6��-/��-/���P �N;-"�P�"0)$#�6*&������$# "Q&!#�����2��-/${. ���|<�e/�����)E�_ �nQ;�� �')�& "!#Q���$(')�=$#�8��N����. ����4)${�X.]���D$#.]$(»/����$(')�\$#�­�;'��A��N;-�')��!#z6��-"zX��'n��N;-Z��Q;*�*}'����85�-/ ���'��r. �� �N�$#�;-7) �3��Q� " �-/���"�f��N;-7��-"4)Q�!#����$(»/����$(')���-"�P. N&���Z*&!#�Lz�-/�V���V$#. *�'��P�����f�7��')!#-�_

������� �� � �� � E� � � �

jk-���N������m�D��N&����')�VÒZ')�P��-"�"0 �vzJ!{���b�D. ��!#!�0��)')N��b�J��'���-"z�0,ÒZ'�+ � $#+&��N�$(������$�0f�������f$#�;4). ${�;4�-3���Y9o'��O��N;-/$(�N;-/!(*&9?Q�!� �'). .\-/�:���"_�jk-]����- ��!{��'l4��P����-"9?Q&!A9o'��n��N�-\��N;��-"-\��-"5D$(-"12-"�P�n�����s')�;- ������'J "$#����-\-/�&$(��'���9?'��n��N;-/$(� �'). .\-/�:���­��N����AN;-/!(*}-/�X$#.\*��P'L5�-2��N;-�*&��*}-"�/_��f$ �N:Q=12���­*,������$#��!#!(zn��Q�*�*}'�����-/�6+Jz���N;-O�J������9o'��P� +v�P���&Q�����-¼;-/!#!#'L1O��N&$(*H_ � �P-"5�'��F��������$#-�$#�2*&������$#��!#!#z ��Q;*�*}'�����-/�~+:z~4��P���:� ���s�:����� á Ó ��ÔfÖ 9o��').¶��N�- +v����$(')����!K�; "$(-/�� �-¼;')Q��&������$(')�0������V4��P���f��Ò �\eF� �¡Z��#�g á g��«� á e�9?��').p��N�-�+�����$(')�&��!H��������$(��Q;��-/��'�9 ��-/��!(��N_

e/�

Page 21: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

� Û\Û|Ý3�� ���� b*e e e �� �Rm�e|b�mS` V

¼;'�����N;-�*&Q;�P*�')��-�'�9A��$#. *&!(-��;'�������$(')�0�12-�'). $#�7��N;-6 �')���������:�8wSxn${�m��N;-n*���'J'�9µ_Ajk-=�;-"%&��-

� < { E�� M�R �8@ !#� ; e��50 698>= ?K@ =�B � { D I

�i�� � % �AÁ�Ä;¾�Ã�'f�" �%$D� Á�À}�¬ÃoÆ�ÃcN/���¬Ã�Á�ÄYÀ,Â�Á&)��#��Æ 5�798�:<5W=,8Y+Z�#�"�7�%$;��¾"Á�� ¿;�¬Ã�Á�Ä )��_'f�"Ä,Á�����' )?C D{ <�£�E�  [\3X�%$;��¬Â���ÃoÄ&ÃoÄ&� ')��������Â��s¾"�µÀD��Â��*)��#�,+|ì ¬�/  - { +\¾� o�� ®C R y2<?> R E 6 { / á B 1,¤4+]�%$;��ÄÐC R yr<?> R E 6 D{ <�£�E / á B 1,¤Y��ÄT'

� D{ <�£�E � G aÕ£p3�Á�ÂX���o��£�/ £ x + K $D�"Â���£ x Ão¾=� � M:��'nÀ;Á�¾�ì�¬Ã\`��XÄ�¿DÆ6)P�"Â� ��X��ÄbaF�,+�����]{ ? É BÉ ���� G

aqe) 

� ���n� ��DQ;*&*�')��- -D¤ G 0&£)I!2FI�C�R � yr<?>R � E76 { � á 0���N�-/�

� < { E � !#� ; e��<0 698 = � ?A@ = � B � { D <?Ô á E� !#�7gJI <?Ô�eLE

��� ��N;-b'���N�-"�|N����&�0�+:zÐ��N;-s��-"*&������+&$#!#$(��zÑ���P��Q�.\*���$#')�0�1r-t�J��'L1¢��N;-"��-Y-��;$#����� {HG B � {HG � GxaÌe�0�£)I!2FIC R yr<?> R E 6 {HG / á 01,¤�_ � N;-/�m9?'���£�/�£ x aÎ�V!{�}<�g @��µM �¹eLE�©�.]$#� R �C R yr<?> R E 6 {HG,� 0;1r-=N��/5�-

� <�£ { G EÌaM�R��8@ !#� ;fe��<0 698>=� ?A@ =CB�� { � É D <?Ôfg)E

� M�R��8@

!#�Zg¦ a�!#�ZgJI <?ÔfÓ)E

�D$#�& �- � <;D{ <�£�E�E � � <�£ { G E�0�12-6N��/5�-�0,9o'��v£�/ £�x�0;C�R y2<?>R�E 6 D{ <�£�E / á B 1,¤�_¼;'���£�/�£�x�0&$(9 � D{ <�£�E � G � £f0;12-6 �')����$#��-"�7��']�� "��!(-6Q�* D{ <�£�E2+Jz|!(-"����${�;4

D{�� <�£�EAa D{ <�£�E� D{ <�£�E � G

£fI

� N;-/� � D{�� <�£�E � Gva³£)0����&�� ; D{ � <�£�E D a

M�R��8@ !#���He � 0 698>= ?K@ =�B�� ]{ < ? É B�� <?Ô�Ô:E

� M�R��8@ !#� � e � 0 698>= ?K@ =�B�� ]{ ? É B � <?ÔfÖ)E

a � ; D{ <�£�E D B <?Ô*�)E

g á

Page 22: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

1ON�${ PNm$#�Z�\ �')�:���P����${ ���$(')�_���-/�� �- � D{ <�£�E � GOa³£)_

+�'L1®1r-= �')����$#�;-"�7��1r'|��-"*&���P����${�;4] "������${������-/� { @ ����� { G 0&��Q� �Nm��N���� � { @ � G�a � { G � G�aÎe�_2¡����PQ�.\-��N���� { @ ��-"*&��������-/�Z+}-"����-"�/0&$�_`-�_

��@ a�. $#�R C R yr<?> R E 6 { @ / �fG a³. $#�R C R y2<?> R E 6 { G / á I

�i�� ��� ��$D��Â��]��M�Ão¾F�?¾�¾"Á�Æ]��£�x�a��7< � @/B � GLEn¾F¿<a?$Y�%$J��� 1£A/º£�x +­£ { @ ÃoÄTa"¿DÂP¾6¾�Æ ���?�(�"Â=�(Á�¾P¾��%$J��Äb£ { G +Ã?ÄkÁ)�%$D�� K Á�Â9'�¾ �

� <�£ { @ E � � <�£ { G E�I� ���n� ��H-"�

£ x a��7< �;@ B �:G ETa !#��¦ �Ð!#�7g� @3� � G B

��N;-/� 1£ / £�x�0�1r-=N��/5�-M�R��8@ !#� ; e��<0 698>= ?A@ =CB � { É D � ¦�!#� ; e �<0 6 É � D <?Ô #�E

� ¦n-��J*8<���£F� � @FE <?Ôf�)E� e

g -��J*�<��O£/� � GLE <?Ôf�)E� !#� ; e �<0 6 É � D D <�Ö á E

�M�R��8@ !#� ; e��<0 698>= ?A@ =CB�� {

DÉ D I <�ÖDeLE

� N;-n%&�P���7�����m��N;-=!#�����Z$#�;-/[JQ���!#$#��$(-/��$#.\*&!(z

� <�£ { @ E � � <�£ { G E�I

+�$#5�-/����N;-/��-���12'�!(-/. . ���/0�12-7 "���\�;'L1Ð*&��'L5�-���N����A���:z= �')�:5�-"��4�-/�� �-Z*}')$#�:�8'�9 ]{ ? É BÉ .=Q����8+}-��v.]����4)$#�. ���;$#. $(»/${�;4]��-"*&��������'��/_�¡��P��Q�.\- { G $#�v�l �')�f5�-"��4�-/�& �-\*�')${�f�v'�9 ]{ ? É BÉ _ �v-/�;'���- �&G aÎ.]$#�DR«C�R y2<?>R�E76 { G _�D$#�& �-r��N;-����P��${��$#�;4v������������-7��-"*&���P��+&!#-�0) "!(-/���P!(z ��G / á <¬��$#�� �-�'���N;-"�P1O$#��- � <�£ { G E8�;'J-/�­�;'��­-"5�-/� �')�f5�-"�P4�-��' á ����£ F I E�_

gDe

Page 23: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

+�'L1�08������Q�.\-���').\-��{ 1�$(��N � �{ � G=apeXN&����+&$(4�4�-"�n. $#��${. ��!K. ���P4)$#���� / ��G _6�2zY �')�f��${�:Q�$#��zY'�9r��N;-. $#�&$#. ��!}. ����4)$#�m${� { 0���N�-"��-n-��D${�����Z��').\-6'�*�-/�Y�;-/$(4)N:+�'���N;':'D�|'�9 { G

4 { � adc { � { � { G � G � � i)B

�����V��� �H/ á 0&�PQ� PNm��N&����. $#�R C R yr<?> R E 6:{ � �� ���"B 1 { S 4 { � I

+�'L1 +:zs�H-/. .]�lÔV1r-\4�-"�=��N����n��N;-"��-]-��D$#�����n��').\-~£ x a �7<��� B��� � ��Ev��Q& PNk��N����X£��{ $#�� "Q;�P����.]��!#!(-"�!(')���Z��N����Y£ { 9?'��O���:zm£0/ £ x B { S 4 { � _ � N;-"��-"9?'���- { G "�����;'��Z+}-�� �')�:5�-"��4�-/�� �-X*}')$#�:�2'�9 ]{ ? É BÉ _

jk-l �')�� "!#Q���-]��N����X���fz� �')�:5�-"��4�-/�� �-m*}')$#�:��'�97��N;-|��-/[:Q�-/�� �- ]{ ? É BÉ .=Q&����+}-~�b. ����4)$#��. ���D${. $(»/$#�;4��-"*&��������'��/_\��92��N;- . ���P4)$#�k. ���;$#. $(»/$#��4|��-"*,���P����'��=$#�nQ&��$#[JQ;-=��N�-/��$(�n$#�n��N;-\')�&!(zY*}')����$#+&!(-� �')�f5�-"��4�-/�& �-*}')$#�:�"0������l��N;-"��-"9?'���-7

!#$#.É��D{ <�£�E£ a³����4 . ���

� { �D�8@ . $#�R C�R yr<?>R�E 6 { I

������N;-~ "����-~��N&���6��N;-].]����4)$#��. ���;$#. $#»/$#�;4V��-"*&��������$#�;4YN:z:*}-"��*,!#���;-\$#���;'��XQ���$#[JQ;-�0H��N&$#�� �')�� "!#Q&��$(')� "���V-/���P$#!(z]+}-n4�-/�;-"����!#$(»"-/�m��'] �N����P�� ���-"�P$#»"-=� Q��&$#[:Q�-���')!#Q;��$(')�l+Jz|��-"%&��$#�;4X��$(-���+��P-/����-"�P��r$#9K��N;-6.]$#��$#. ��!. ����4)${� $#�A��N;-v����.\-�0J��N;-/� ��N�-O��-/ �')���~. $#��$#.]��!;. ����4)$#� ��-"��-"�P. $#�;-/�T1ON�$# �N .\'D�;-/!���-"*&��������-/�3+}-"����-"�/0D�������'X')�_ ����!(z\$#�]��N;-� "����-���N����r��N�-�1ON�')!(-Z'��P�;-"����������$#����$# "�2'�9��N;-v.]����4)$#���r$#�r �').].\')�|��'X. ���:z]��')!{Q;��$(')��� "���V��N�-"��-n��-/��!#!(z~+}-�.\'���-���N����V')�;-6 �')�:5�-"��4�-/�� �-6*}')$#�:�79?'�� ]{ ? É BÉ _

� � � �&��� � � ����"� �� «s¤}¥zÀ¯�D¥}¥OÂ��]É��̱��N«F¸��D¾È�0«FÓ�À¯£S¤WÂ��NÉ*° " � � � ´��4�D®k�W¤z«sÀ¯­ÆÕW«o¥¨­Æ£s®J¢8�D¤¨¹º£s¤z©¬«o®�§D�»£o¹0 }¡k¢�¢N£S¤}¥.¦s�W§�¥¨£S¤�©¬«s§��k­Æ®k�O �«s®�½J£s¥¨�k�W¤¢�«o¥}¥¨�W¤¨®�§�À¶«s z }­¯Á��W¤z WÉ�Ê¿® � É�±%§����£S�DÀÆ·s£s¢k¹�Â���É � ¡k¤z¼s�O ������! �"$#�%'&)(�*,+�-/.�#�0213(!4 �65����� � 3� �$L � � � � (�� � � �4� �*% � ������ �& � � �E�� RM � �� � � � , ��798;:<�=0>*,1>1?�� @A �� 0�*?+)*3B!1C.>*?-DB)*?0?(�EF��� � *3B)B!*�.C.,(�G$�IHCJ?K�KLKLMN7PO)%/.�-RQ?&6.�*3S�#L0>TUQ�%'&�1�1>-/VWQ?&6.�-D#LBÇÃXT91>O)Y)YZ#�0>.\[L*?Q].�#�0F"^&LQ2_)-DB!*?1?�a`�b6cedfZg�hji6hlk b6m i6n�o�f�hpk c kDq,i6hlk b6m i mZre4 fLfZnskut2i6hlk b6m!v](xw)y�()zX{,|�}L~)�� z6� � 0>*?-D"^&�B�()����HCJ?KLK�KLM���0�*?+)-RQ�.>-R#�B�SL&�"$*,1�&�B!+U&�02Q�-RB)S$&�%RS�#�0�-D.>_)"^1?����� g��>i�n `�b6c fZg�hji6hlk b6mW(����DJ?}LK�z���JA{�J6���� }��\��O)_)%R"^&�B)B�(F��������O�(F���\H @���� J,Me��#X#X1;.�-DB!S��N-/.�_�.>_)*����9%R#L1�13�P0�*3SL0>*,1>1>-R#�B�&�B!+�Q�%'&�1�1>-/VWQ?&6.�-D#LB�����b g�� m i6n bC�4\c^� �]kut2i m�� hji6hlk v hpkut2i6n 4�v2v3b t3kui6hlk b6mW�=��Q?Q�*3Y).>*?+��� {A�=��O)0�S�*?1?(x \�=HCJ?K�KL¡LM\��.>O�.�#�0�-R&�%�#�B¢1CO)Y!YW#L0C.£[�*,Q].�#�0¤"^&�Q2_)-RB)*?1�¥¦#L0£Y!&6.>.>*?0>B§0>*,Q�#LS�B)-D.>-R#�B��e8jB�¨ i�h©i�ª9k m k mX« i mZr¬�mZb�­ n ��r?«L�¤¨ k v t b 5 � �]® (�y���G¤%ROX��*30N�\Q3&�+)*3"$-RQ¤�=OkÃ)%R-R1>_)*3021?()��#X1;.�#�B��

¯�¯

Page 24: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

� ~6��E�[�SL*3B)-R#�O�():¤�R(!��#LBL.�-D%l()7��R(!� ��#LS�SL-D#W(X:¤��HCJ?KLK�KLM��N*?S�O)%'&�0�-��?&6.�-D#LB B)*3.;��#L0���1 &�BW+a1>O)Y)YZ#�0>.F[�*,Q].>#L0 "$&LQ2_)-RB)*?1?��8jB��� �W�� �"$#L%R&!(X���X��&�0C.�%D*3.C.,(X���� �Q2_�#�%���#LY�¥��  \�� �Q2_�O)O)0�"^&�B!1?(�*,+�-D.>#�021?(�4\r 5 i m t ��v k m� i6� «X� ª�i6� « k m�` nDi v2v k � � � v]��798;:��0�*?1�1?�� �,�� )0�*3O)BW+�(A���6� �Q2_W&�Y)-R0>*L(��£��H;J?KLKX��M�� +�*?Q3-R1>-D#LB��l.>_)*?#�0�*�.>-'Q�SL*3B)*?0�&�%D-��?&�.>-R#�B¤#�¥W#�B��©%D-RB)*�%D*,&�0�B)-RB)S�&�BW+ &�Be&�Y)Y!%D-'Q3&�.>-R#�B.>#vÃZ#�#L1C.>-RB)S!�F��b g�� m i6n bC�$`�b6c fZg�h � � i mZr� ® v h �3c � t�k �3m t ��v](�����H;JAM]�RJ�J,K6�2J?z�K!�� ¡6����0�*3*?B�(L���X�<�=&�B!+�*?%D%l(��\�ZH;J,K�¡L{LM� �*3"$-D�lYW&�02&�"$*�.�0>-'Q S�*?B)*302&�%R-��?*?+�%D-RB)*,&�0="$#�+�*?%R1?��� � b t �2�2r k m�«6v���mZr���m h � � m i6hlk b6m i�n� �� ª `�b�m?��� � ��m t ��(Z��&�BWQ3&�1C.>*?0?(���*?Q].�O)0�*�B!#�.>*,1N-RB9 �.�&6.�-R1C.>-'Q31���#!�! �y�(�}L}6|){�{��� �Y)0�-RB)S�*?0C�#"�*30�%R&�S!($�F*?� ��#L0����� K6�%�&L1;.�-D*L(!:¤�!��: -¯Ã!1>_)-R0�&�B)-l(��£��H;J,K�K � M � �3mZ� �>i�nskDq ��r$4\r�r k hlk 5 � ª b,r�� n v]�� �_!&�Y)"^&�B9&�B!+&%�&�%D%l�� J � �%\&�1C.>-R*�():¤�R(!: -ÆÃ!1C_!-D02&�B)-l(��£�R(!�' !0>-R*?+)"$&�B�((�W�RH @��L� J,M*)�+)�e� n ��c^��m h v bC�¤v h©i�hpk v hlkut�i�n�n � i6� m k mX«��= �Y)0�-DB!S�*30,�� J�J��ZG£&�O�¥¦"^&�B�(L���ZH;J,K�K�KXM� �#�%R[�-DB!S¤.>_)*-,XO!&L+�02&6.>-'Q Y)0�#�SL0�&�"e"$-RB)S�Y)0>#SÃ)%R*3" &�0�-R1>-DB!S�-RB1>O)Y)YZ#�0>.=[�*,Q].>#L0�Q�%'&�1�1C-DVWQ?&6.>-R#�B��8jBP���Z �Q2_.�#�%���#�Y)¥;(Z \�W��O)0�S�*,1F��� �Z �"$#L%R&!(!*?+!13(�4�r 5 i m t �]v k m9¬$� � m�� n�ª � h +)b,rAv dF� g,f�f b �]h*/ � t3h b � �� i�� m k mX«��N798;:��0�*?1�1?�� J @ ��G¤*3*?0C.�_)-l(� ��D(�0\O!&�B�(�G$�R(! �_)*?[6&�+�*L(� ���� ��#X#W(X� ��H @��L�L@ M��<¥u&�1C. +)O!&�%�&�%RS�#L0>-D.>_!" ¥¦#L0��L*30�B)*3%Z%R#�S�-'1C.>-'QF0�*3S�0�*?1�1>-D#LB���]m h � � m i�hpk b�m i�n `�b6m?��� � �3m t �$b6m ªPiLt + k mZ�1x� i�� m k m�«�(�w32��� J?z6�=G¤-R"$*3%'+�#�0>¥;(4�e�I�65¢&�_�Ã!&!(4�e�=HCJ?K���J,M¤ �#L"$*^0>*,1CO)%D.�1�#�B�:NQ2_)*DÃ�T�Q2_)*87^&�B§1>Y)%R-DB!*$¥¦O)B!Q].�-D#LB!1?� �39 ª�i6h +�9P4\m i�n 94 fLfZnskut 9: � �()¡ @ |�KX{��� J3}�����*?*�(X���R(���-RB�(X�����;5§&�_@ÃW&)(3�e�ZH @����X@ M�7PO)%/.�-RQ?&6.�*3S�#L0>T$1>O)Y)YZ#�0>.�[�*,Q].�#�0="^&LQ2_)-DB!*?1?(�.�_)*3#L0>TL(X&�B!+&�Y!Y)%D-'Q3&�.>-R#�B$.�#.>_!*FQ�%'&�1�1C-DVWQ3&�.>-R#�B�#�¥W"$-'Q�0�#L&�0>02&AT�+!&6.�&¤&�B!+$1>&�.>*3%R%R-/.�*�02&�+)-R&�B!Q�* +)&6.2&)� ��b g�� m i�n b;��4\c$� �]kut2i m� h©i�hpk v hlkut2i6n 4¤v�v3b t�kui�hpk b�m!�:x#$&�Y)YZ*?&�0,�� J,{A�)��-DB�(����)H @����X@ M� �O)Y)YZ#�0>.�[L*?Q�.>#�0I"^&�Q2_)-RB)*,1I&�B!+ .>_)*N� &AT�*,1�0�O)%R*�-RBeQ3%R&L1>1>-DVWQ3&�.>-R#�B��x¨ i6hji¤ª9k m k mX« i mZr\¬�mZb6­ n �2r?«L�¨ k v t b 5 � �]® (�<�( @ {�KA| @ ��{)�� J?~6����-RB�($= �R(35¢&�_�Ã!&)(3�e�R(3=�-'&�B)SW(>0��D((�¤&�#!($ ��D()G¤%R*3-RB�(3�£��� G¤%D*?-DB����ZH @����L� M�(� �"$#�#�.�_)-RB)Se1>Y)%R-DB!*\�-��?�"��<"e#�+�*?%R1¥¦#�0\%R&�0>SL* +)&�.�&1>*�.21��N-D.>_���*?0>B)#LO)%R%D-x#sÃ!1>*30�[6&6.>-R#�BW1�&�BW+�.>_)*e0�&�B!+�#L"e-��3*,+@�¤�� A" ��4\m!m i6n v�bC��� h©i�hpk v hlkut v](�y(B�(xJA{L� � |J?~ ��� �� JA�,�I��O)#W(�CI�!�D5§&�_�Ã!&)(��e�xH;J?KLKX��MA%�T�Ã)0>-'+9&�+!&�Y�.�-D[L*¤1>Y)%R-DB!*?1?�\��b g�� m i6n bC��4\c^� �]kut2i m�� hji6hlk v hpkut2i6n 4�v2v3b t3kui6hlk b6mW(�2�y�(J � �?|�J�J?~!�� J?¡6��7P&�B)B!#�0,(� ��R(�79*3-R0,(4�£�I�EC�_!&�B)SW(I:¤��H @����L@ M¤: _)* Q3#�B!1>-R1C.>*?B!Q�T #�¥NS�0�*3*,+�T &�%DSL#�0�-/.�_)"^1�¥¦#�0 Q3%R&L1>1>-DVWQ3&�.>-R#�B���8jB� � b t �2��r k mX«�v�b;� h +)��F g�� b f � i m `�b6m?��� � �3m t �$b6m `�b�c f�g�h©i�hpk b�m i6n x� i�� m k m�«G)�+)�2b �]® �� J?K6��7P&�0>0�#�B�(>�W��� :�#�+)+�()7���H @����L@ MH0\-R1C.�&�B!Q�*¤��*3-RS�_X.>*,++�-'1>Q30>-R"$-DBW&6.>-R#�B��I)W� t +�m kut2i6n�J � f b �]h � bK9MLONONKP��� �Q2_!#X#L%�#�¥?\YZ*302&6.>-R#�BW1��F*?1>*?&�02Q2_a&�B!+�8jB!+�O!1C.>0�-'&�%�E�B!S�-RB)*3*?0>-RB)S!(! �#L0>B)*?%D%�Q�B)-R[�*3021>-/.;TL�� @�� �I��%'&6.C.,(��W��H;J,K�KLKLM: !&L1;.�.>02&�-RB)-DB!S^#�¥�1CO)Y!YW#L0C.�[L*?Q�.>#�0N"^&LQ2_)-DB!*?1FOW1C-RB)S1>*R,XO)*3BX.�-R&�%�"$-DB)-R"^&�%x#�Y�.�-D"$-��?&6.�-D#LB���8jBP�\� �Q2_�#L%��L#�Y�¥;(! \�!��O)0�S�*,1 � ���! �"e#L%R&!(�*?+)1?(W4\r 5 i m t ��v k m�¬$� � m�� n�ª � h +!b?r6v�d�� g,f�f b �]hS/ � t�h b � x� i6� m k m�«���7P8;:<�=0>*,1>1?�� @ J���T�&6.�1�Q2_�((�e�R(�?\B)#�+)&!():¤�)��7U�O!%D%R*30,()G$��H @����L� M� �#�¥ .F"^&�0�S�-RB!1�¥¦#�0F&L+)&oÃZ#�#L1C.?� ª�i�t + k m��I�� i6� m k mX«�(�J]|�zL{)�� @�@ ���N#X1>1>*�.,(� ��R(>CZ_�O�(O�W�6�V%�&L1;.�-D*L(�:¤�)H @���� }�M�7P&�0>SL-DB�"^&�W�-D"$-��3-RB)S�%D#X1>1x¥¦O)B!Q�.>-R#�B!1?��� � g��>i6n ��m?��b � c i6hlk b6mX� � b t �]v2v k mX«� ® v h ��c�v](�w$<���:x#$&�Y)YZ*?&�0,�

¯3Y

Page 25: N Z1ON;-/ V4)$(5hastie/Papers/jcgs02_c.pdf · ' 9K N-n P 9?' P.\-/ l *& - " l+}-5 -" zl!# 4 - 0D-"5 -/ V$# %& $( -v$# l ').\- " -/ "_ N$# 2 -"-/. $# 4)!(z * ')N&$(+&$( $(5 -

� @ z6�� �_W&A��*3�©:I&AT�%D#L0?(>�!���� �0�-R1C.>-'&�B!-DB)-l(�����HCJ?KLK�KLM=7P&�0�S�-RBa+)-R1C.>0�-¯Ã!O�.>-R#�B�ÃW#LO)B!+)1�#LBaSL*3B)*?0�&�%D-��?&�.>-R#�B��x8jB � � b t �2�2r k mX«�vb;� h +!��F g�� b f � i m `�b6m,��� � ��m t �eb6m `�b6c fZg�hji6hlk b6m i�n x� i6� m k m�«G)�+!��b �]® �� @ }��� �"e#L%R&!(������ �Q2_�#L%��L#�Y�¥;(�����H @����L� M� �Y!&�0�1>*�SL0>*?*?+�T�"$&�.>0�- W�&�Y)Y)0�# W�-D"^&6.�-D#LBP¥¦#L0�"^&LQ2_)-DB!*e%R*?&�0>B!-DB)SW��8jB � � b6dt �2��r k mX«�v b;� h +)����� 5 �3m h �2��m h + �]m h � � m i6hlk b6m i6n `�b�m?��� � ��m t �eb�m ª�i�t + k m��I�� i6� m k mX«���79#�0�SL&�BaG£&�O�¥¦"^&�B)BU��OkÃ!%D-'1C_!*30213�� @ {A��"�&�Y)B)-���(�" ��HCJ?KLKL{�M*)�+)�¤� i�hpg�� � b;��� h©i�hpk v hlkut2i6n x� i6� m k m�«G)�+!��b �]® �� �Y!0>-RB)S�*?0:"�*30�%R&�S!()��*30�%D-RB��� @ ~6��"�&�Y)B)-���(�" ��HCJ?KLK�¡LMF� hji6hlk v hpkut2i�n �� i�� m k mX« )�+)�2b �]® �!5 -D%R*3TL((�F*?� ��#L0����� @ �,�M5§&�_@ÃW&)(��e�\H;J,K�KLKLM$ �O)Y)YZ#�0>. [L*?Q].�#�0^"^&�Q2_!-DB)*,13( 0�*3Y)0�#�+�O!Q3-DB)S �L*30�B)*3% %�-D%ÆÃW*?0C.�1CY!&LQ�*,1&�B!+ .�_)*P02&�B!+�#L"$-��?*?+�¤�� A" �L8jB^�\�X �Q2_�#�%���#LY�¥;(X \����O)0�S�*,1��<� �L �"$#�%'&)(L*?+)1?(�4\r 5 i m t �]v k m$¬e� � mZ� n)ª � h +!b?r6v�d�� g,fLf b �]h�/ � t�h b � x� i6� m k m�«��798;:���0�*?1�13�� @ ¡6�:5¢&�_�Ã!&)(!�e�R(A��O�(  \�D(H5¢&�B!S!(����R(=�� �_!&�Y)YZ*3%R%p(!��� HCJ?KLKL{�M �#�¥ .^Q�%'&�1�1C-DVWQ?&6.>-R#�B�(�&!� ��� &)�§0>-'1��§*,1;.�-D"^&�.>-R#�B�(�[�-'&YZ*3B!&�%D-��3*,+�%R#�S��©%R-��L*3%R-D_)#�#�+¤&�B!+�1C"$#�#�.�_)-RB)S�1>Y)%D-RB)* &�B!&�%DT�1>-R1�#�¥![6&�0>-'&�B!Q3*���8jBS0 � %���5§#�%RYW*?0C.,(6*?+�-D.>#L0?()�+)� ª�i6h +)�3c i�hpkut vb;� � �3mZ� �>i�nskDq,i6hlk b6m!�� �&�BX.�&* !*£8jB!1;.�-/.�O�.>* �.>O!+�-R*?1�-DBa.>_!* �Q�-R*3B!Q3*?1N#�¥� �#L"eY!%D*8W�-D.;T����\+)+�-'1C#LB��#5 *,1C%R*3T �=OkÃ)%R-R1>_)*?0?�� @ K6� 5§*?1C.>#�B�(��!��� 5¢&6. �X-RB!1?(x \��H;J?KLK�KXM� �O)Y!YW#L0C.¤[�*,Q].>#L0\"^&LQ2_)-DB!*?1�¥¦#�0�" O)%D.>-'Q�%'&�1�1�Y!&6.>.>*30�B�0�*?Q3#�SLB)-/.�-D#LB��¤8jB � � b6dt �2��r k mX«�v b;� h +)����� 5 �3m h + F g�� b f � i mP� ® c f bAv k g c b6mU4 �]hlk ��t3kui6n � � g��>i6n ��� h ­=b � � v]�� z � �A5 -D%R%D-'&�"^1?(� \�I� �*?*3SL*30,(x7 H @���� JAM�Q�1>-DB)SU.�_)*���T�1C.>0�#�" "$*�.>_!#�+ .�#�1CYZ*3*,+§O)Y ��*?0>B)*?%�"^&�Q2_)-RB)*?1?�8jB :¤��G$���*?*3B�(�:¤� �e�40\-D*3.C.�0>-'Q2_ � " ��:�0�*?1>Y�(I*?+�-D.>#L0�1?(�4\r 5 i m t �]v k m�� � g��>i6n �]m,��b � c i6hlk b6m � � b t �]v2v k mX«�� ® v h ��c�v�L N���798;:��0�*?1�1?�� z)J���C�_!&�B)SW(�:¤�=� ?\%D*,13(: ���H @���� J,M�:�*8WX. Q?&6.�*3S�#L0>-��?&�.>-R#�B ÃW&�1>*?+ #�B�0>*?S�O)%'&�0�-��3*?+ %D-RB)*,&�0^Q�%'&�1�1C-DVWQ?&6.>-R#�B "$*�.�_)#�+)13��]m,��b � c i6hlk b6m J � hp�]k � 5 i6n (��x� {A�jz)J��� z @ � CZ_�O�(K�W�L� %�&L1;.�-D*L(L:¤�WH @��L� }XM� �%'&�1�1C-DVWQ?&6.>-R#�B$#�¥ZSL*3B)*F"$-'Q�0�#L&�0>02&AT�1�Ã�T YZ*3BW&�%R-��?*?+$%R#�S�-'1C.>-'Q 0>*?S�0�*?1�1C-R#�B���� k b6v hji6hlk v]dhlkut v]��8jBUY)0�*?1�13�

¯��