crossmodal learning and prediction of autobiographical episodic experiences using a sparse...

Upload: dr-sascha-jockel

Post on 10-Apr-2018

220 views

Category:

Documents


0 download

TRANSCRIPT

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    1/242

    Xidwhrzdpt ag Lokbxrm

    Gojxept ag Koplhkopdjz% Digarkopdjz oi` Iopxroe Zjdhijhz

    @h~orpkhip ag Digarkopdjz

    Jrazzka`oe Ehoridim oi`

    ^rh`djpdai ag Oxpabdamro~ldjoe

    H~dza`dj H|~hrdhijhz xzdim o

    Z~orzh @dzprdbxph` Khkart

    @ajparoe Plhzdz

    zxbkdpph` btZozjlo Fajche

    ag Lokbxrm

    Iawhkbhr 2>>4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    2/242

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    3/242

    @dzzhrpopdai

    vxr Hreoimxim `hz oco`hkdzjlhi Mro`hz@r) rhr) iop)

    oi `hr Gocxepop gxr Koplhkopdc% Digarkopdc xi` Iopxr}dzzhizjlogphi`hr Xidwhrzdpop Lokbxrm

    hdimhrhdjlp bhdk @h~orpkhip Digarkopdc

    Mhihlkdmp wai `hr KDI+Gocxepop% @h~orpkhip Digarkopdc`hr Xidwhrzdpop Lokbxrm oxg Oiprom wai

    Fdoi}hd Vloim% ^rag) @r) ,Hrzpmxpojlphr% Bhprhxhr$Bhri` Ihxkoii% ^rag) ^l@ ,V}hdpmxpojlphr$

    Lokbxrm% ?2) Kod 2>?> ,Pom `hr @dz~xpopdai$

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    4/242

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    5/242

    Obzprojp

    Pldz }arc `hwhea~z o jaiihjpdaidzp khkart ka`he gar o zhrwdjh rabap plop zopdzhz o ixkbhrag `hzd`hropo6 ozzajdopdwdpt% womxhihzz% o~~ra|dkopdai% rabxzpihzz% `dzprdbxpdai oi` ~oroe+ehedzk) O bdaeamdjoeet diz~drh` oi` koplhkopdjoeet zaxi` plhart ag o ldmlet `dzprdbxph` oi`z~orzh khkart zhrwhz oz plh bozdz gar pldz }arc) Plh za+joeeh z~orzh `dzprdbxph` khkart,Z@K% `hwhea~h` bt ^) Coihrwo% jarrhz~ai`z raxmlet pa o roi`ak+ojjhzz khkart ,ROKag o jaiwhipdaioe jak~xphr bxp ~hrkdpz plh ~rajhzzdim ag jaizd`hrobet eormhr o``rhzz z~ojhz)Jak~eh| zprxjpxrhz orh rh~rhzhiph` oz bdiort ghopxrh whjparz) Plh ka`he dz obeh pa ~ra`xjhh|~hjpopdaiz ag }are` zpophz oi` jak~ehkhip ~orpdoe zhizart ~opphriz ag oi hiwdraikhipbozh` ai khkardzh` h|~hrdhijh) Joxzh` bt abfhjpz ag plh }are`% ~rhwdaxzet ehorip h|~hrd+

    hijhz }dee ojpdwoph ~opphri zhqxhijhz di plh khkart oi` jeodk plh ztzphkz opphipdai) Di pldz}arc% plh z~orzh `dzprdbxph` khkart jaijh~p dz kodiet jaizd`hrh` o bdaeamdjoeet diz~drh` oi`jaiphip+o``rhzzobeh khkart zprxjpxrh) Dp dz xzh` pa dk~ehkhip oi oxpabdamro~ldjoe eaim+phrk khkart gar o kabdeh zhrwdjh+rabap pa zparh oi` rhprdhwh h~dza`dj zhizar oi` ojpxopar~opphriz)

    ]dpldi plh zja~h ag pldz }arc plh z~orzh `dzprdbxph` khkart jaijh~p dz o~~edh` pa zhwhroe`akodiz ag kabdeh zhrwdjh rabapdjz% oi` dpz ghozdbdedpt gar plh rhz~hjpdwh orhoz ag rabapdjzdz oioetzh`) Plh zpx`dh orhoz roimh grak ~opphri kopjldim% kabdeh koid~xeopdai% iowd+mopdai% phehkoid~xeopdai pa jrazzka`oe diphmropdai) Plh rabap xpdedzhz ~ra~hrpdhz ag z~orzh`dzprdbxph` khkart pa `hphjp diphi`h` ojpdaiz ag lxkoi pheha~hroparz oi` pa ~rh`djp plhrhzd`xoe kapdai profhjpart ag didpdoph` ork ar rabap kapdaiz) Zhwhroe h|ok~ehz zla} plh

    ka`hez gozp oi` aiedih ehoridim jo~obdedpt gar ~rhja`h` oi` diphrojpdwhet ~rawd`h` kapdaizhqxhijhz ag o 7 @aG rabap ork) Oi o~~ra~rdoph hija`dim ag zhizar+bozh` digarkopdai dipao bdiort ghopxrh z~ojh dz `dzjxzzh` oi` oephriopdwh ja`dim zjlhkhz orh hexjd`oph`)

    O proizghr ag plh `hwhea~h` ztzphk pa rabapdj zxbhe`z zxjl oz wdzai+bozh` iowdmopdai dz`dzjxzzh`) Plh ka`hez ~hrgarkoijh dz jak~orh` ojrazz bapl ag plhzh `akodiz% koid~xeo+pdai oi` iowdmopdai) O ldhrorjldjoe h|phizdai hiobehz plh khkart ka`he pa edic ea}+ehwhezhizart ~hrjh~pz pa ldmlhr+ehwhe zhkoipdj pozc `hzjrd~pdaiz) Pldz edic dz xzh` pa ~hrgark ojeozzdjopdai ag `hkaizproph` phehkoid~xeopdai pozcz bozh` ai plh rabapz h|~hrdhijh di plh~ozp) Phzpz orh ~rhzhiph` }lhrh `dhrhip zhizart ~opphriz orh jakbdih` dipa oi diphmroph`~hrjh~p ag plh }are`) Plazh jrazzka`oe ~hrjh~pz orh xzh` pa `dzzaewh okbdmxdpdhz plop kotordzh grak xidka`oe ~hrjh~pdai)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    6/242

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    7/242

    Vxzokkhigozzxim

    Di `dhzhr Orbhdp }dr` hdi caiihcpdaidzpdzjlhz Mh`ojlpidzka`hee gxr hdihi Zhrwdjh+Rabaphrrhoedzdhrp% `oz hdih Rdhmh wai @hzd`hropo hrgxeehi zaee6 Ozzavdopdwdpop% Xizjlorgh% O~~ra|d+kdpop% Rabxzplhdp% Whrphdeplhdp xi` ^oroeehedzkxz) Oez Mrxi`eomh `dhip `dh wai ^) Coihrwohip}djcheph xi` bdaeamdzjl diz~drdhrph Plhardh hdihz lajlmro`dm whrphdephi xi` `xii bhzhpvphiZ~hdjlhrz% hime) Z~orzh @dzprdbxph` Khkart ,Z@K) Hz hipz~rdjlp mhihrhee hdihk Z~hdjlhr

    oliedjl `hk Roi`ak+Ojjhzz Khkart ,ROK hdihz Jak~xphrz }abhd hdi }hdpoxz mrahrhrO`rhzzroxk obmh`hjcp }hr`hi coii) Cak~eh|h Zprxcpxrhi }hr`hi oez zhlr eoimh Whcparhihdihz bdiorhi Khrckoezroxkz oxg `oz Mh`ojlpidzka`hee obmhbde`hp) @oz Ka`hee hrvhxmp Hr+}orpximhi xi` whrwaeezpoi`dmp ~orpdheeh ]olrihlkximhi `hr Xk}hep kdpphez mhz~hdjlhrphrZhizar`ophi) Oxzmheazp `xrjl Abfhcph `hr Xk}hep }hr`hi vxwar mhehriph Hrgolrximhi `xrjlGaemhi wai Ocpdwdhrximzkxzphri dk Gacxz `hr Oxgkhrczokchdp `hz phjlidzjlhi Ztzphkz `or+mhzpheep) ^rdkor }dr` di `dhzhr Orbhdp `oz Z~orzh @dzprdbxph` Khkart oez hdih `hk khizjl+edjlhi Warbde` oliedjlh Mh`ojlpidzzprxcpxr vxr oxpabdamro~ldzjlhi Eoimvhdpz~hdjlhrxim waiHrgolrximzkxzphri `dzcxpdhrp)

    @dhzh Orbhdp ~rozhipdhrp `dh Xbhrpromxim `hz Z~orzh @dzprdbxph` Khkart Caivh~pz oxgwhrzjldh`hizph @akoihi `hr kabdehi Zhrwdjh+Rabapdc xi` oioetzdhrp `hzzhi Hdmixim gxr `dh

    fh}hdedmhi Bhrhdjlh) @dhzh Bhrhdjlh xkgozzhi `dh kabdeh Koid~xeopdai% Iowdmopdai% Phehko+id~xeopdai xi` `dh crhxvka`oeh Diphmropdai whrzjldh`hiorpdmhr Zhizarkxzphr) @hr Rabaphrixpvp `dh ~ro`dcpdwhi Hdmhizjlogphi `hz Ka`heez xk bhdz~dhez}hdzh Diphipdaihi wai Pheh+

    a~hroparhi vx hrchiihi xi` didpddhrph Rabaphrork+Bh}hmximzkxzphr za}dh kabdeh Iowdmo+pdaizoxgmobhi oxpaiak vx Hi`h vx gxlrhi) Whrzjldh`hizph Oi}hi`ximzzvhiordhi vhdmhi `dhzjliheeh Ehrigoldmchdp wai ca`dhrphi za}dh diphrocpdwhi Koid~xeopdaizzhqxhivhi hdihz Raba+phrorkz kdp zhjlz Grhdlhdpzmro`hi kdpphez hdihr war}orpzmhrdjlphphi% ihxraioehi Orjldphcpxr%`dh `oz Z@K `orzpheep) @obhd }hr`hi x)o) `dh ^rabehkh `hr Digarkopdaizhica`dhrxim waiZhizar`ophi di hdihi bdiorhi Khrckoezroxk hrarphrp xi` }hdphrh Ca`dhrximzkamedjlchdphixiphrzxjlp)

    @dh Xbhrpromxim `hz Ka`heez oxg oi`hrh Ka`oedpophi vxr Eazxim wai wdzxheehi Iowd+mopdaizoxgmobhi }dr` `ormhzpheep xi` `oz Whrloephi `hz Ka`heez bhvxmedjl `hr Koid~xeo+pdaiz`akoih whrmedjlhi) @xrjl hdih ldhrorjldzjlh Hr}hdphrxim `hz Mh`ojlpidzka`heez }dr`hz hrkamedjlp% Zhizar}olrihlkximhi kdp zhkoipdzjlhi Caivh~phi lalhrhi Obzprocpdaiz+

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    8/242

    dw Mhrkoi Obzprojp

    mro`hz vx whrcix~ghi xk bhdz~dhez}hdzh Vdheh hdihr diphrocpdwhi Phehkoid~xeopdaizoxgmobhgrxlvhdpdm vx hrkdpphei) Hz }hr`hi Xiphrzxjlximhi ~rozhipdhrp% `dh hdih crhxvka`oeh Di+phmropdai whrzjldh`hiorpdmhr Zhizarkxzphr vx hdihk kxepdka`oehi ^hrvh~p `hr Xkmhbxim

    `orzpheehi% xk Okbdmxdpophi xidka`oehr ]olrihlkximhi vx cak~hizdhrhi)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    9/242

    Jaiphipz

    Obzprojp d

    Mhrkoi Obzprojp ddd

    ?) Dipra`xjpdai ??)?) Kapdwopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 2

    ?)?)?) Ehoridim grak H|~hrdhijh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 2?)?)2) Jamidpdwh Rabapdjz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) :?)?):) @dzprdbxph` Rh~rhzhipopdaiz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0

    ?)?)0) Zhqxhijh Ehoridim ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 8?)2) Obaxp pldz ]arc ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 8

    ?)2)?) Abfhjpdwhz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 8?)2)2) Rhqxdrhkhipz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 7?)2):) Hwoexopdai oi` Woed`opdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 4?)2)0) Gxrplhr Digarkopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 4

    ?):) Plhzdz Zprxjpxrh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?>

    2) Khkartoi Xirhwhoeh` Ktzphrt ??2)?) Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?2

    2)?)?) Zlarp+phrk Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?2

    2)?)2) Eaim+phrk Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?:2)?):) Oi Hwhreozpdim @hboph ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?:2)?)0) Plrhh ^rajhzzdim Zpomhz ag Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?0

    2)2) Khkart Ka`hez oi` Jamidpdwh Orjldphjpxrhz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?82)2)?) O`o~pdwh Jaiprae ag Plaxmlpz Plhart ,OJP ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?82)2)2) Khkart ^rh`djpdai Grokh}arc ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?72)2):) Jaiihjpdaidzp Ka`hez ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?7

    2):) Ozzajdopdwh Khkardhz oz oi Dizprxkhip ag ^rh`djpdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?=2):)?) Lhbbdoi Ehoridim ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?=2):)2) Plh La~he` Ka`he ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?:)8) Dk~rawhkhipz ag plh Z@K @hzdmi ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0?

    :)8)?) Fohjche!Corezzaiz Zhehjph`+Jaar`dioph @hzdmi ) ) ) ) ) ) ) ) ) ) ) ) ) 0?:)8)2) Z~opphr oi` Z~orjlxic Ja`h ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 02

    :)8):) Woexh+Bozh` Rhdigarjhkhip Ehoridim ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0:

    :)8)0) Zdmioe ^ra~omopdai Ka`he ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 00

    :)8)8) Mhihpdj Z~orzh @dzprdbxph` Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 00:)7) O~~edjopdaiz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 00

    :)7)?) Jxepxroe Hwaexpdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 08

    :)7)2) ^orp ag o Jamidpdwh Orjldphjpxrh6 ED@O ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 08

    :)7):) Kabdeh Rabap Iowdmopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 08

    :)7)0) ]hoplhr Garhjozpdim ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 07:)7)8) Z~hhjl Rhjamidpdai oi` ^raixijdopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0=

    :)=) Jaijex`dim Rhkorcz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0=

    :)=)?) O`woipomhz ag plh Z@K Ka`he Rhmor dim Jamidpdwh Rabapdjz ) ) ) ) ) 00)2)?) POZHR Jaiprae Orjldphjpxrh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 7>

    0)2)2) EDVOR@ Jaiprae Orjldphjpxrh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 7>

    0)2):) Pheha~hropdai Jaiprae Orjldphjpxrh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 72

    0):) Jaijex`dim Rhkorcz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 70

    8) Dk~ehkhipopdai ag oi` ^ra~hr Hija`dim gar Z~orzh @dzprdbxph` Khkart 788)?) Dk~ehkhipopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 7=

    8)?)?) @tiokdj Khkart Oeeajopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 7=

    8)?)2) @opo Ojqxdzdpdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 7=8)?):) Khkart Zparomh oi` Rhprdhwoe ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 7

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    11/242

    Jaiphipz wdd

    8)?)0) Orjldphjpxrh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 74

    8)?)8) Jak~eh|dpt ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 74

    8)2) H|~hrdkhipz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 74

    8)2)?) Jak~ordim @dhrhip Hija`dim ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) =?8)2)2) @hoedim }dpl Khkart @okomh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) =7

    8)2):) Awhrjakdim rabehkz }dpl Jrazz+Zhqxhijhz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) =

    =)8)?) H|~hrdkhip O6 Zcdeeh` PhojlhrXizcdeeh` Xzhrz ) ) ) ) ) ) ) ) ) ) ) ) ) ??2

    =)8)2) H|~hrdkhip B6 Zcdeeh` PhojlhrZcdeeh` Xzhr ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ??2=)8):) H|~hrdkhip J6 Xizcdeeh` PhojlhrzXizcdeeh` Xzhrz ) ) ) ) ) ) ) ) ) ) ) ??2

    =)8)0) H|~hrdkhip @6 Xizcdeeh` PhojlhrzZcdeeh` Xzhr ) ) ) ) ) ) ) ) ) ) ) ) ) ??2

    =)8)8) H|~hrdkhip H6 Xizcdeeh` PhojlhrXizcdeeh` Xzhrz ,Kxpxoeet H|jexzdwh ??:

    =)8)7) Hwoexopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ??:=)8)=) Rabxzpihzz pa Iadzh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?2?

    =)7) @dzjxzzdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?2:

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    12/242

    wddd Jaiphipz

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    13/242

    Jaiphipz d|

    Edzp ag Pobehz 2>=

    Edzp ag Oemardplkz 2>4

    Bdbedamro~lt 2??

    Di`h| 228

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    14/242

    | Jaiphipz

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    15/242

    ?Dipra`xjpdai

    Khkart dz plh khoiz bt }ldjl }h `ro} ai axr ~ozp h|~hrdhijhz di ar`hr paxzh pldz digarkopdai di plh ~rhzhip),Rabhrp F) Zphribhrm% ^raghzzar ag ~ztjlaeamt% ?444

    Jaiphipz

    ?)?) Kapdwopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 2

    ?)?)?) Ehoridim grak H|~hrdhijh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 2

    ?)?)2) Jamidpdwh Rabapdjz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) :

    ?)?):) @dzprdbxph` Rh~rhzhipopdaiz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0

    ?)?)0) Zhqxhijh Ehoridim ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 8?)2) Obaxp pldz ]arc ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 8

    ?)2)?) Abfhjpdwhz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 8

    ?)2)2) Rhqxdrhkhipz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 7

    ?)2):) Hwoexopdai oi` Woed`opdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 4

    ?)2)0) Gxrplhr Digarkopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 4

    ?):) Plhzdz Zprxjpxrh ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?>

    Kapar ehoridim di bdaeamdjoe bhdimz h|ldbdpz ~ra~hrpdhz zxjl oz mhihroedzopdai% ehoridim%

    `dzjrdkdiopdai% oi` garmhppdim) Rhjamidzdim oi` rhjaizprxjpdim kapdaiz dz dk~arpoip garoioetzdim bhlowdaxrz% ojpdwdpdhz oi` kawhkhipz) Profhjpart ehoridim dz o gxi`okhipoe jak+~aihip pa phojl o rabap jak~eh| koid~xeopdai ~opphriz) Dg pldz dz ojldhwh` plraxml oidiphrojpdwh jaiprae bt o lxkoi dizprxjpar dp dz cia}i oz ehoridim bt `hkaizpropdai ,Eb@)La}hwhr% lxkoi `hkaizpropdaiz orh iadzt oi` dihwdpobet dijaizdzphip)

    Plh maoe ag pldz }arc dz pa bxde` o khkart ztzphk plop dz obeh pa ehori oi` ~rh`djp ea}+ehwhe zhizar oi` ojpxopar ~opphriz ag o zhrwdjh rabap) Plh khkart ztzphk zlaxe` oeea} plhrabap pa ehori kapdai zhqxhijhz oi` pa oxpaiakaxzet jaiprae dpz ojpxoparz bt rhprdhwdimzhqxhijhz op o eophr `oph) Dp zlaxe` oeea} kocdim ~rh`djpdaiz ag plh jaizhqxhijhz gar o~hrjhdwh` zdpxopdai zdkdeor pa oerho`t ehorip jdrjxkzpoijhz) La}hwhr% o kofar rhqxdrhkhipgar zxjl o ztzphk dz o flh|dbeh oi` gozp khkart+bozh` ehoridim jak~aihip plop h|ldbdpz

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    16/242

    2 Jlo~phr ? Dipra`xjpdai

    plh obdedpt pa rhjamidzh% jexzphr% oi` o~~ra|dkoph profhjpardhz `hkaizproph` bt lxkoiz hwhixi`hr jaizd`hropdai ag iadzt oi` dijak~ehph ~opphriz)

    Pa ~xrzxh plh `hwhea~khip ag jaizjdaxz kojldihz oi` jamidpdwh rabapz% plh khkart ztzphk

    ihh`z pa bh jo~obeh ag ozzajdopdim ih} di~xp ~opphriz pa oerho`t ehorip jaiph|pz) Zdkdeoret%plh khkart ztzphk ihh`z pa bh flh|dbeh hiaxml pa khkardzh oi` mhihroedzh diphrojpdwhetpoxmlp kapdai profhjpardhz grak bapl di`dwd`xoe oi` kxepd~eh xzhr `hkaizpropdaiz) Bhjoxzhrabapz orh mhihroeet a~hroph` }dpl karh ploi o zdimeh zhizar% plh ztzphk ihh`z pa gojdedpophoi h|phizdai }dpl gxrplhr zhizardj ka`oedpdhz) Plh dk~ehkhipopdai ag plh rabap khkartzprxjpxrh ~rhzhiph` di pldz }arc dz bozh` ai plh }arc obaxp z~orzh `dzprdbxph` khkart,Z@K ~ra~azh` bt Coihrwo ,?4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    17/242

    ?)? Kapdwopdai :

    Ehp xz jaizd`hr oi di`dwd`xoez zxbfhjpdwh ~hrjh~pdai ag plh }are` op oit mdwhi kakhip ozo zpoph di }ldjl plh }are` rhzd`hz di o ~orpdjxeor kakhip) Plh fla} ag plh }are` zpophz awhrpdkh joi plhi bh `hzjrdbh` oz o zhqxhijh ag zxbfhjpdwh ~hrjh~pdaiz) Ojjar dimet% o zdk~eh

    }ot pa bxde` o }are` ka`he dz pa zparh plh rh~arpz ag plh zhizhz di plh khkart oi` pa rhprdhwhplhk grak plhrh eophr) Plxz% o khjloidzk dz rhqxdrh` pa zparh zxbfhjpdwh ~hrjh~pdaiz di okhkart di o }ot plop plh ztzphk dz obeh pa rhprdhwh plh digarkopdai eophr gar ~rh`djpdim}lop kdmlp lo~~hi) Jamidpdwh ~ztjlaeamdzpz lowh d`hipdh` plrhh jakkai a~hropdaiz agkhkart6 hija`dim% zparomh% oi` rhprdhwoe) O khkart zprxjpxrh ~azzhzzdim obawh+khipdaih`gxijpdaioedpdhz }dee bh dk~ehkhiph` gar o zhrwdjh rabap pa hija`h% zparh oi` rhprdhwh ea}+ehwhezhizar oi` ojpxopar ~opphriz)

    Zakh mhihroe ~rdijd~ehz orh cia}i grak zpx`dhz roimdim grak ihxrazjdhijh pa jamidpdwhzjdhijh oi` ~ztjlaeamt) Plh brodi rhkhkbhrz rhjxrrdim ojpdwdpt ~opphriz oi` `hphjpz rhmx+eordpdhz di plhk ,Lo}cdiz% 2>>8) Plop oeza h|~eodiz }lt pldimz bhjakh gokdedor oi` }lt }hrhlhorzh khipoe ar ~ltzdjoe zcdeez }lhi ~rhzhiph` }dpl zdkdeor ~opphriz awhr oi` awhr omodi)

    Khkart ~eotz o whrt dk~arpoip raeh di pldz ~rajhzz) Plh orpdjdoe dipheedmhijh ,OD jakkx+idpt gajxz ai la} lxkoiz rhozai oi` zaewh ~rabehkz) Plht rhwhoe aih ag plh ldmlhzp ehwhezag lxkoi bhlowdaxr) Pro`dpdaioe OD kodiet gajxzhz ai rhozaidim% bxp agphi ihmehjpz ploppldicdim dz oeza bozh` ai digarkopdai zparomh oi` rhprdhwoe) Dp kazpet jaizd`hrz }lop pa `a%bxp iap }lop plhzh `hjdzdai ~rajhzzhz oi` ojpdaiz orh bozh` ai) Koplhkopdjoe ka`hez plopzpx`t ~rdijd~ehz gar `hphjpdim rhmxeordpdhz }dpldi `dhrhip ~opphriz dijex`h ozzajdopdwh khk+ardhz oi` zheg+armoidzdim ko~z ,]deezlo}% ?4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    18/242

    0 Jlo~phr ? Dipra`xjpdai

    oi` khkardzh rhehwoip }are` cia}eh`mh oi` pa armoidzh pldz cia}eh`mh pa gojdedpoph diphr+ojpdai }dpl dpz hiwdraikhip) @Kheea oi` Groicedi ,2>>4 ~ra~azh gaxr gxi`okhipoe pt~hzag ehoridim plop }axe bh hzzhipdoe gar jamidpdwh% oxpaiakaxz `hwhea~dim rabapz6 ehoridim

    ag ~hrjh~pxoe qxoedpdhz% cia}i oz ~hrjh~pxoe ehoridim% h~dza`dj ehoridim ag hwhipz% ~rajh`xroeehoridim ag ih} ojpdaiz oi` ojpdai zhqxhijhz% oi` opphipdaioe ehoridim) ^hrjh~pxoe ehoridimdi lxkoiz% gar dizpoijh% ajjxrz dijrhkhipoeet3 plhrh dz ia ihh` gar eormh prodidim zhpz) Ehori+dim oi` cia}eh`mh h|projpdai dz ojldhwh` bt o `tiokdj ztzphk plop joi o`o~p pa jloimhzdi plh iopxrh ag plh zpdkxed ~hrjhdwh` di plh hiwdraikhip) Opphipdaioe ehoridim dz jaijhrih`}dpl plh ~rdijd~ehz plop `rdwh opphipdai)

    Aih qxhzpdai o``rhzzh` di pldz }arc dz }lhplhr rabapz joi bhihp grak o ztzphk plop dzbozh` ai lxkoi+edch ehoridim khjloidzkz di plh zhizh plop plht bhjakh karh flh|dbeh ojjar`+dim pa6 plh rhqxdrh` prodidim jtjehz% cia}eh`mh diphmropdai% proizghr ag h|dzpdim cia}eh`mhpa ih} bxp zdkdeor pozcz oi` khkart armoidzopdai) Lodcaihi ,2>>4 d`hipdhz ozzajdopdwh~rajhzzdim oz plh kazp hehkhiport jamidpdwh ~rajhzz gar `hphrkdidim plh ~ra~hr kapar rh+

    z~aizh pa o ~hrjhdwh` zdpxopdai) Pldz jaxe` bh koiomh` hdplhr bt rhojpdwh o~~raojlhz oz~ra~azh` bt Braacz ,?4= lowh bhhi kapdwoph`bt plh gxi`okhipoe orjldphjpxroe `dhrhijhz bhp}hhi plh brodi oi` plh jaiwhipdaioe wai+Ihxkoii orjldphjpxrh) Bhlowdaxrz karh zdkdeor pa plh brodi orh h|~hjph` pa bh abpodih`bt zpx`tdim orjldphjpxrhz plop orh karh zdkdeor pa plh brodi)

    Ojjar`dim pa Zfa`di ,?440% z~orzh ja`dim ~rawd`hz oi hjdhip khoizag rh~rhzhipdim `opo gaxi` di plh iopxroe }are` oi` ~rawd`hz o khoiz ag hjdhipet garkdimozzajdopdaiz oi` zpardim khkardhz) Dp oeza o~~horz plop z~orzh rh~rhzhipopdaiz jaizpdpxph oi

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    19/242

    ?)2 Obaxp pldz ]arc 8

    dk~arpoip ~rajhzzdim zprophmt ag plh ihrwaxz ztzphk% }ldjl kozzdwhet dijrhozhz plh zparomhjo~ojdpt ag ozzajdopdwh khkardhz }ldeh zowdim hihrmt ,Gdhe`% ?4403 Vloa% 2>>0) Plh z~orzhoi` `dzprdbxph` hija`dim ag zhizardkapar digarkopdai di oi ozzajdopdwh khkart jaizpdpxphz

    plh kofar abfhjp ag rhzhorjl di pldz gaeea}dim zpx`t ai `hwhea~dim o bdaeamdjoeet+diz~drh`jamidpdwh khkart ztzphk gar zhrwdjh+rabapz)

    ?)?)0) Zhqxhijh Ehoridim

    Plh diphrioe rh~rhzhipopdai ag o rhoe+}are` ~rabehk kazpet jaizdzpz ag o z~opda+phk~aroear`hrh` zhp ag hwhipz oi` ojpdaiz) Zhqxhipdoe armoidzopdai dz gxi`okhipoe di lxkoi bhlowdaxr,Poifd% 2>>?3 Bo~d oi` @ato% 2>>?3 Zxi oi` Mdehz% 2>>?3 Zhrrdhi% 2>>4) Ojjar`dim pa Zxioi` Mdehz ,2>>?% zhqxhijh+ehoridim ~rabehkz joi bh `dwd`h` dipa plh jophmardhz ag zhqxhijh~rh`djpdai% mhihropdai% rhjamidpdai oi` zhqxhipdoe `hjdzdai kocdim)

    Di pldz }arc% phk~aroeet ar`hrh` zhqxhijhz }dee kodiet bh jrhoph` plraxml o `dzjrhph

    zok~edim ag rabap profhjpardhz ,oi` gxrplhr ~orokhphrz `xrdim o jak~eh| kawhkhip ag% h)m)%o rh`xi`oip koid~xeopar ar o kabdeh ~eopgark) Mhihropdim o zhqxhijh plraxml ojpdaiz%kocdim o zhqxhipdoe `hjdzdai% dz jaizd`hrh` oz bhdim profhjpart+ardhiph` di pldz }arc) Pldzkhoiz plop o mdwhi zhqxhijh zd% zd#?% ) ) ) % zf 3 of zf#? zlaxe` `hphrkdih oi ojpdai of op pdkhzph~ f plop eho`z pa plh `hzdrh` zpoph zf#?)

    ^rakdihip o~~raojlhz pa zhqxhijh ehoridim orh rhjxrrhip bojc+~ra~omopdai ihp}arcz ,Lajlrh+dphr oi` Zjlkd`lxbhr% ?44=% ozzajdopdwh ihp}arcz zxjl oz La~he` ihp}arcz ,La~he`%?4% phk~aroe `dhrhijh oi` rhdigarjhkhipehoridim ,Zxppai oi` Borpa% ?44

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    20/242

    7 Jlo~phr ? Dipra`xjpdai

    aiedih }ldeh bhdim rabxzp omodizp iadzh) Gxrplhrkarh% dp zlaxe` bh hiobeh` pa rheoph jxrrhipzdpxopdaiz pa ehorip% zdkdeor pozcz ag dpz ~ozp pa ~rh`djp ~azzdbeh jaizhqxhijhz bozh` ai plh~rhzhip jaiph|p) Di ar`hr pa rhojl plh diphi`h` maoe ag o rhkhkbhrh` pozc oxpaiakaxzet% plh

    rabap zlaxe` bh oeea}h` pa jaiprae dpz ih|p kawhkhipz bozh` ai plh ~rh`djph` jaizhqxhijhz)Plh khkart ztzphk loz pa ~rawd`h khjloidzkz gar `hphrkdidim plh zdkdeordpt ag zdpxopdaizdp jxrrhipet gojhz pa plazh zparh` di dpz khkart) Plh kodi abfhjpdwh ag pldz }arc dz pa bxde` obdaeamdjoeet+diz~drh` ozzajdopdwh khkart ztzphk plop ~azzhzzhz bozdj jamidpdwh jo~obdedpdhz garkhkart zparomh oi` rhprdhwoe oi` dz obeh pa ehori oi` ~rh`djp ea}+ehwhe zhizar oi` ojpxopar~opphriz) Pldz }arc rhoedzhz o jaijrhph dk~ehkhipopdai ag plh ldmlet obzprojp Z@K ka`heoi` ~rhzhipz o ghozdbdedpt zpx`t ag kocdim plh Z@K ka`he ojjhzzdbeh gar rabapdj o~~edjopdaizoi` jamidpdwh rabapdjz rhzhorjl) Plh kapdwopdai ag xzdim o khkart gar rabapdj o~~edjopdaizdz pa kdkdj lxkoi khkart }dpl o ka`he plop joi koch ozzajdopdaiz bhp}hhi digarkopdai%rhjoee karh zoedhip digarkopdai karh ojjxrophet% oi` lowh o jak~orobet gozp khkart rhjoee)Kapdai zhqxhijhz plop orh rhkaphet h|hjxph` bt o pheha~hropar zlaxe` bh rhjamidzh` bt plh

    rabap pa lhe~ plh xzhr ojjak~edzl plh diphi`h` ojpdai) Plh gaeea}dim rhzhorjl qxhzpdaiz }deebh o``rhzzh` di pldz }arc6

    Pa }ldjl h|phi` joi plh jaiihjpdaidzp Z@K jaijh~p bh xzh` pa hi`a} rabapz }dplbozdj jamidpdwh jo~obdedpdhz pa khkardzh rabap kapdai zhqxhijhz1

    La} joi zhizar+bozh` digarkopdai plop ardmdiophz grak eozhr roimh zjoiihrz oi` jok+hroz bh hija`h` zxjl oz pa koch dp xzobeh di o jaiihjpdaidzp ihp}arc1

    Dz dp ~azzdbeh pa rheoph ih} di~xp ~opphriz oi` zhqxhijhz ag ~opphriz pa oerho`t ehoripzdpxopdaiz bt zakh cdi` ag mhihroedzopdai1

    Joi o khkart bh xzh` pa ~rh`djp o jhrpodi bhlowdaxr rhmor`dim o mdwhi zdpxopdai bozh`ai ~ozp h|~hrdhijh bt khoiz ag khjloidzkz ag obzprojpdai1

    Dz dp ~azzdbeh pa modi khkart+bozh` oxpaiakaxz rabap jaiprae bt rhprdhwdim zhqxhijhzgrak h|~hrdhijh }dpl rhz~hjp pa plh jxrrhip jaiph|p1

    @ahz oi Z@K+bozh` ka`he zx~~arp `dhrhip ~hrjh~pxoe ka`oedpdhz hqxoeet1

    Joi oi Z@K bh xzh` pa d`hipdgt plh diphip ag o lxkoi a~hropar plop xzhz o rabap garo rhkaph pozc h|hjxpdai1

    Dz oi Z@K zxdpobeh gar ojjak~edzldim ~hrjh~pxoe `dzokbdmxopdai ag jeozzdjopdaiz ~ra+

    wd`h` bt `dhrhip zhizardj ka`oedpdhz1

    ]lop orh plh ~rabehkz oi` o`woipomhz ag zxjl o ztzphk oz jak~orh` pa aplhr o~+~raojlhz1

    ?)2)2) Rhqxdrhkhipz

    Pldz }arc xpdedzhz Coihrwoz Z@K ka`he ,Coihrwo% ?4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    21/242

    ?)2 Obaxp pldz ]arc =

    profhjpart h|ok~ehz ar diphrojpdwhet lxkoi+mxd`h` kawhkhipz pa gxee oi orbdprort ldml+ehwhe pozc) Plh ztzphk dz prodih` }dpl o `dzjrhph zhp ag z~opdoe ~azdpdaiz rhzxepdim grak o`hzdrh` jaipdixaxz kapdai zhqxhijh) Plh ka`he zlaxe` bh obeh pa diphr~aeoph ~adipz oi`

    fadip oimehz bozh` ai plh prodih` kapdai ~opphriz oi` pa h|pro~aeoph kapdai zhqxhijhz bozh`ai dpz h|~hrdhijh)

    Hqxd~~dim o rabap }dpl oi ozzajdopdwh khkart plop bhorz o rhzhkbeoijh pa zakh lxkoieaim+phrk khkart jlorojphrdzpdjz kxzp bh bozh` ai o `hidpdai ag rhqxdrhkhipz) Di plhgaeea}dim zakh ghopxrhz ag lxkoi+eaim phrk khkart orh hk~lozdzh` oi` plhdr dk~arpoijh}dpl rhz~hjp pa jamidpdwh% oxpaiakaxz `hwhea~dim rabapz orh hexjd`oph`)

    ^opphri rhjamidpdai6 Oi hzzhipdoe khjloidzk ag plh brodi dz pa rhjamidzh oi` `dzjrdkdiophldml+`dkhizdaioe zhizardoe di~xp ~opphriz% h)m) z~hhjl zdmioez% lxkoi gojhz% kawhkhipzoi` pa jeozzdgt plhk bozh` ai oerho`t ehorip ~opphriz) Jeazhet rheoph` di`dwd`xoe ~op+phriz orh mrax~h` dipa jophmardhz bozh` ai jakkai ~ra~hrpdhz) Plh rhjamidpdai oi`

    jeozzdjopdai ag ~opphriz dz plh kazp gxi`okhipoe rhqxdrhkhip gar rabapz di d`hipdgtdimkhoidimgxe hipdpdhz di ~ltzdjoe zdmioez) Joxzh` bt oi opprojpar jlorojphrdzpdj% zxjjhz+zdwh khkart rho`dim }dee eho` plh rabap pa i` o zdkdeor ~opphri ar zhqxhijh di dpzkhkart) Ka`hri oi` gxpxrh rabapz plop zhizh plhdr hiwdraikhip plraxml wordaxz zhi+zarz lowh pa `hoe hz~hjdoeet }dpl ldml+`dkhizdaioe ghopxrh ~opphriz) Plh Z@K plharto~~horz pa bh ldmlet zxdpobeh pa `hoe }dpl eormh ~opphri z~ojhz) ^opphriz `dzjxzzh`di pldz }arc ardmdioph grak eozhr roimh zjoiihrz% akid`drhjpdaioe jokhroz% rh`xi`oipkoid~xeoparz oi` gxrplhr zhizarz oi` ojpxoparz)

    Jaiphip+o``rhzzobeh6 Lxkoi eaim+phrk khkart dz o``rhzzh` bt jaiphipz roplhr ploi z~h+jdj o``rhzzhz0) O rabap plop rhprdhwhz o zaexpdai pa o ~rabehk ar plh jaizhqxhijhzag oi ojpdai bt jxhdim dpz khkart }dpl plh jxrrhip zhizardoe `hzjrd~pdai ag plh }are`

    }axe bh jehoret bhihjdoe) Dg zhizar+bozh` ~opphriz orh xzh` oz plh o``rhzz }lhrh plhtorh pa bh zparh` di khkart% dp bhjakhz ~azzdbeh pa jaiwhrmh ai o zparh` ~opphri zporp+dim grak oi diojjxroph ,ar dijak~ehph whrzdai ag plop di~xp+~opphriz bt oi dphropdwh~rajhzz) Di oi Z@K% ~opphriz rho` grak oi diojjxroph khkart+o``rhzz }dee rhprdhwho karh ojjxroph whrzdai ag plh zokh khkart+o``rhzz bhjoxzh plh woexh }oz ardmdioeet}rdpphi dipa koit khkart eajopdaiz }dpldi o mdwhi ojjhzz `dokhphr)

    Oxpa+ozzajdopdwdpt6 Plh brodi hzzhipdoeet khkardzhz o zhp ag khoidimgxe abfhjpz ag plh }areoi` plh rheopdaiz oi` ozzajdopdaiz bhp}hhi plazh abfhjpz) Oxpa+ozzajdopdwh khkardhzhiobeh plh rhprdhwoe ag oi hipdrh khkart hwhi grak o gromkhiport zok~eh ag dpzheg% h)m)zhwhroe iaphz oeea}dim xz pa rhprdhwh o }laeh zaim) Dg o rabap jxhz dpz khkart }dpl o

    profhjpart plop dz zdkdeor pa o profhjpart ag zakh ~rhwdaxzet hijaxiphrh` pozcz% oxpa+ozzajdopdai oeea}z pa rhprdhwh plh jaizhqxhijhz ag plop ~rhwdaxzet h|hjxph` profhjpart}dpl rhz~hjp pa plh jxrrhip jaiph|p)

    Mhihroedzopdai6 Plh jo~obdedpt pa h|phi` o jaijh~p pa zakh ehzz+z~hjdj jrdphrdo dz o gxi+`okhipoe jlorojphrdzpdj ag rhozaidim) Mhihroedzopdai dz `drhjpet rheoph` pa obzprojpdai)O ztzphkz obdedpt pa ojqxdrh oi` zparh ih} digarkopdai dz qxoipdh` bt dpz obdedptpa `dzpdimxdzl okaim zpdkxed oi` pa ozzajdoph oi o~~ra~rdoph zpdkxexz }dpl plh jxr+rhip% xijai`dpdaih` zpdkxexz) Mhihroedzopdai `dkdidzlhz plh zhizdpdwdpt pa di~xp iadzh%

    0Oeplaxml khkart `ahz iap xzh o``rhzzhz pa ojjhzz khkart jaiphipz% D }dee xzh plh phrk pa rhghr pa khkartjheez) Plh phrk o``rhzz z~ojh }dee rhghr pa plh hipdrh okaxip ag jheez di o khkart)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    22/242

    < Jlo~phr ? Dipra`xjpdai

    wordopdaiz ag di~xp zpdkxed oi` plh ihh` gar zparomh jo~ojdpt op plh jazp ag o ~azzdbehdijrhozh ag goezh+~azdpdwh rhz~aizhz) ]dpl rhz~hjp pa pldz }arc% xzdim di dwd xoe bxpzdkdeor ~opphriz oz o``rhzzhz gar plh Z@K eho`z pa oi owhromdim ag plh zparh` `opo

    ~opphriz) Ghopxrhz plop orh jakkai pa oee ar kazp ~opphriz di plh ihdmlbaxrlaa` agplh xzh` khkart eajopdaiz }dee zpoi` axp oz oi hija`dim gar o jexzphr ag ~opphriz oi`plxz joxzh mhihroedzopdai) Plh opprojpdai bt zparh` ~opphriz oeea}z pa rho` digarko+pdai grak plh khkart }dpl o womxh o``rhzz ~opphri }ldjl joi bh jaizd`hrh` o cdi` agobzprojpdai8)

    Z~orzh ja`dim6 Plh o``rhzz z~ojh rhzxepdim grak ea}+ehwhe zhizart ~hrjh~pdaiz ag o rabapdijex`dim wordaxz zhizarz dz xzxoeet qxdph eormh) Khkardzdim rhghrhijh whjparz gar hojl~azzdbeh zjhiorda ar zdpxopdai plhrhgarh bhjakhz dighozdbeh) Z~orzh ja`dim ~rdijd~ehz%}ldjl orh xzh` di plh brodi% zlaxe` rh`xjh plh o``rhzz z~ojh pa o karh rhozaiobehzdvh) Ojjar dimet% ztzphk di~xpz orh iap rhqxdrh` pa kopjl zparh` khkart o``rhzzhz

    h|ojpet bxp kxzp goee }dpldi o z~hjdj `dzpoijh ag oi o``rhzz pa ojpdwoph jeazhet rheoph`jaijh~pz)

    Rabxzpihzz pa iadzh6 Iadzh joxzh` bt plh diojjxrojt ag zhizarz oi` jak~eh| `tiokdjz diplh ~hrjhdwh` }are` dz zpdee jloeehimdim) O rabap kxzp xzh khjloidzkz pa `hoe }dpl iadzhdi o rabxzp gozldai pa kopjl di~xp zpdkxed }dpl khkardzh` ~opphriz) Mhihroedzopdaioi` obzprojpdai oz khipdaih` obawh ~eot o jrxjdoe raeh gar loi`edim iadzh)

    Rhzdedhijh pa khkart `okomh6 O jaijh~p% h)m) Mroi`kaplhr% dz z~rho` ojrazz o ihp}arcag ihxraiz roplhr ploi xzdim o zdimeh xidp) Pldz dz plh a~~azdph ag ztkbaedj rh~rhzhipo+pdaiz kazpet xzh` di jeozzdjoe OD) ]lhi o rabap xzhz `dzprdbxph` rh~rhzhipopdai% kdiar`okomh pa plh xi`hretdim ihp}arc }dee iap joxzh plh eazz ag hipdrh jaijh~pz)

    Aih+zlap ehoridim6 Plh obdedpt pa zparh oi` rhjamidzh jak~eh| ~opphriz ogphr o zdimeh ar gh}h|~azxrhz dz joeeh` aih+zlap ehoridim) O rabap ihh`z pldz obdedpt pa owad` eaim prodidim~lozhz)

    Garmhppdim oi` mrojhgxe `hmro`opdai6 O kofar dizprxkhip gar khkart koiomhkhip }ldjljaiprdbxphz pa hizxrdim plop ~rdkordet plh rhehwoip khkardhz orh rhjoeeh`) @dhrhipplhardhz lowh hkhrmh` grak h|phizdwh rhzhorjl ai garmhppdim% h)m) projh `hjot% diphr+ghrhijh oi` rh~rhzzdai plhart7) ]lhi hiloijdim dipheedmhip ztzphkz% h)m) rabapz% }dpl

    lxkoi+edch khkart jo~obdedpdhz% garmhppdim joiiap bh ihmehjph`) Dp jaxe` gojdedpoph plhojqxdzdpdai ag ih} zcdeez bt }hochidim `dzprojpdwh% ae`hr aihz) Mrojhgxe `hmro`opdaikhoiz plop o ztzphk rhz~ai`z }dpl plh bhzp o~~ra|dkopdai pa zakh eazp digarkopdai)Dg o rabap loz garmapphi oi h|ojp h|hjxpdai ag oi ojpdai dp zlaxe` bh obeh pa rhz~ai`}dpl oi o~~ra~rdoph o~~ra|dkopdai ag dp)

    8Plh `hpodez ag khkart zparomh oi` rhprdhwoe orh hexjd`oph` di Zhjpdai :)2)7Ojjar`dim pa projh `hjot plhart% pdkh dz plh joxzh ag garmhppdim) Plh diphrghrhijh plhart `hzjrdbhz diphrghrdim

    oi` dildbdpdim hhjpz ag ~rhwdaxzet ehorip oi` rhpodih` khkart dphkz }ldeh rh~rhzzdai plhart ormxhz plopxi~ehozoip h|~hrdhijhz orh ~xzlh` dipa plh xijaizjdaxz pa owad` khipoe rh+h|~azxrh) Di plh jaxrzh ag pldz}arc }h omrhh }dpl plh `hidpdai plop garmhppdim ajjxrz bhjoxzh aplhr digarkopdai oephrz ar diphrghrhz }dploerho`t zparh` khkart jaiphipz bapl ~raojpdwhet oi` rhpraojpdwhet)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    23/242

    ?)2 Obaxp pldz ]arc 4

    ?)2):) Hwoexopdai oi` Woed`opdai

    Plh ka`he zlaxe` ~rawd`h o rabap }dpl jo~obdedpdhz gar ehoridim oi` ~rh`djpdim oxpabdamro~l+djoe h~dza`dj zhqxhijhz% kodiet rabap ork kapdai zhqxhijhz% bozh` ai o bdaeamdjoeet+diz~drh`khkart ka`he) Plh ka`he zlaxe` ~rawd`h zdk~eh zparomh oi` rhprdhwoe khjloidzkz) Pa plhbhzp ag plh oxplarz cia}eh`mh plhrh dz ia }arc cia}i rhmor`dim rabap ork koid~xeopdaibozh` ai oi Z@K) Zdijh pldz }arc zhrwhz oz o cdi` ag ghozdbdedpt zpx`t dp dz lor` pa bhijl+korc plh rhzxepz ordzdim grak pldz plhzdz) Ihwhrplhehzz% plh khkart }dee bh fx`mh` bt plhojjxrojt dp `dz~eotz `xrdim plh rhprdhwoe ag kapdai ~opphriz% dpz rhzdzpoijh pa iadzh% dg ~rh`dj+pdaiz ag jaizhqxhijhz ioeet rhojl plh hi` ag o pro fhjpart oi` za garpl) Plxz% o ixkbhr agh|~hrdkhipz }dee bh jai`xjph` pa d`hipdgt plh a~hropdaioedpt ag oi Z@K di `dhrhip rhzhorjl`akodiz ag rabapdjz ojjar`dim pa plh rhqxdrhkhipz khipdaih` obawh)

    ?)2)0) Gxrplhr Digarkopdai

    Aplhr }arc loz bhhi ~ra~azh` plop xzhz ozzajdopdwh khkardhz pa ehori kapdai profhjpardhzag rabap koid~xeoparz) Pa khipdai zakh ag dp6 Oebxz ,?4=8 `hwhea~h` plh JKOJ jaipraeehrbozh` ai zprxjpxrhz rheoph` pa plh jhrhbheexk) Oroxfa oi` Wdhdro ,?440 xzh` o rhjxrrhip ihxroe ihp}arc }dpl ~orokhprdj bdoz ,RII^B pa mhihrophztijlraiaxz rabap ork kapdai ~opphriz }dpl rhz~hjp pa o lxkoi `hkaizpropar) Rhdilorpoi` Zphde ,2>> koid~xeopar)

    JKOJ bheaimz pa plh jeozz ag edihor gxijpdai o~~ra|dkopar joeeh` pdeh ja`dim) Pdeh ja`dim

    loz bhhi xzh` di koit rhdigarjhkhip ehoridim pozcz oi` dz }hee+zxdph` gar hjdhip aiedihehoridim) Xigarpxiophet% pdeh ja`dim oi` ro`doe bozdz gxijpdai ihp}arcz bhjakh dk~rojpdjoe}lhi xzh` gar pozcz }dpl whrt ldml `dkhizdaioedpt% h)m) zhwhroe lxi`rh z ag `dkhizdaiz)Pldz dz bhjoxzh plhdr jak~xpopdaioe jak~eh|dpt dijrhozhz h|~aihipdoeet }dpl plh ixkbhr ag`dkhizdaiz ,Zxppai oi` Borpa% ?44

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    24/242

    ?> Jlo~phr ? Dipra`xjpdai

    rabapz% zxjl ztzphkz ihh` pa khkardzh o ka`he ag plh }are` oi` zlaxe` bh hi`a}h` }dplgxi`okhipoe jo~obdedpdhz pa ozzajdoph ojpxoe jdrjxkzpoijhz pa ~ozp h|~hrdhijhz oi` pa jai+zpoipet o`o~p plh xi`hretdim ka`he) Plh ihxrabdaeamdjoeet ~eoxzdbeh Z@K ka`he loz jhrpodi

    zdkdeordpdhz }dpl plh jhrhbheeor jarph|% o ~orp ag plh kokkoedoi brodi z~hjdoedzdim di zhi+zardkapar jaar`diopdai) Pldz }arc kdmlp bh ag ~orpdjxeor diphrhzp pa rhzhorjlhrz plop zhhco ih} jak~xpopdaioe ka`he h|ldbdpdim rabxzp oi` zjoeobeh jlorojphrdzpdjz oi` iarkoeet orhjaijhrih` }dpl ihxroe ihp}arcz)

    ?):) Plhzdz Zprxjpxrh

    Pldz jlo~phr mdwhz oi dipra`xjpdai pa plh plhzdz oi` plh kapdwopdaiz bhldi` dp) Plh rhkodi`hrag plh plhzdz dz armoidzh` oz gaeea}z)

    Jlo~phr 2 deexzprophz plh kodi khkart gxijpdaiz zxjl oz ojqxdrdim% zpardim oi` ojjhzzdimcia}eh`mh) Oi dipra`xjpdai dz mdwhi pa rhjhip i dimz di lxkoi khkart rhzhorjl grak

    o ihxrazjdhijh ~hrz~hjpdwh oi` wordaxz jamidpdwh orjldphjpxrhz orh ~rhzhiph ) Plh jlo~phrjaijex`hz }dpl wordaxz ozzajdopdwh ihp}arc ka`hez }ldjl gark plh bozdz gar hqxd~~dim o rabap}dpl o ~rh`djpdwh khkart khjloidzk di pldz }arc)

    Jlo~phr : `dzjxzzhz Coihrwoz z~orzh `dzprdbxph` khkart ka`he di `hpode% }ldjl dz plhbozdz ag pldz }arc) Rheoph` ka`hez oi` h|phizdaiz orh ~rhzhiph`) Zhwhroe Z@K+bozh` rabapdjoi` iai+rabapdj o~~edjopdaiz orh dipra`xjh`)

    Jlo~phr 0 ~rhzhipz oee ihjhzzort `hpodez obaxp plh lor`+ oi` zagp}orh ag plh xpdedzh` rabapztzphkz% iokhet POZHR oi` EDVOR@) Gxrplhrkarh% o brdhg dipra`xjpdai pa o phehkoid~+xeopdai ztzphk dz mdwhi plop loz bhhi `hwhea~h` gar pldz }arc) Plh ztzphk dz xzh` garoi diphrojpdwh jrhopdai ag `dwhrzh rabap ork kapdai zhqxhijhz plraxml `hkaizpropdaiz btorbdprort lxkoi dizprxjparz)

    Jlo~phr 8 `hzjrdbhz plh dk~ehkhipopdai ag oi Z@K gar rabapdj o~~edjopdaiz) Zakh `h+jdhijdhz ag plh zaxrjh ka`he orh hedkdioph` bt dijex`dim o ixkbhr ag gxijpdaioe h|phizdaiz)Oephriopdwh digarkopdai hija`dim khpla`z orh ~ra~azh` oi` oioetzh` di `hpode ogphr gojdimzhwhroe ~rojpdjoe ~rabehkz) O zhrdhz ag koid~xeopdai h|~hrdkhipz dz jai`xjph` }dpl o 7 @aGrabap ork gar hwoexopdai)

    Jlo~phr 7 o~~raojlhz plh proizghr ag plh Z@K ka`he pa aplhr rabapdj pozcz di `dzpdijphe z) Plh khkart ka`he% kodiet xzh` gar koid~xeopdai pozcz plraxmlaxp pldz }arc% dzo~~edh` pa plh `akodi ag rabap iowdmopdai bozh` ai wdh}+zhqxhijhz) Plh bhlowdaxr ag plhZ@K dz oioetzh` oi` jak~orh` ojrazz bapl `akodiz)

    Jlo~phr = zpx`dhz oi diphipdai+`hphjpdai ztzphk bozh` ai h~dza`dj h|~hrdhijhz) Pa mraxi`ea}+ehwhe digarkopdai }dpl ldml+ehwhe zhkoipdj pozc `hzjrd~pdaiz% o kxepd+Z@K orjldphjpxrh

    dz `hwhea~h` pa kodipodi oi` xpdedzh o ixkbhr ag Z@K dizpoijhz) Plh khkart ka`he mhihr+oedzhz zhwhroe prodidim profhjpardhz mdwhi bt lxkoi dizprxjparz oi` jeozzdhz orbdprort prdmmhrprofhjpardhz dipa o zhp ag cia}i pozc profhjpardhz) Zhwhroe h|~hrdkhipz orh rh~arph` oi`hwoexoph` pa ojjaxip gar wortdim zcdee ehwhez ag plh dizprxjparz)

    Jlo~phr < ozzhzzhz jrazzka`oe hhjpz ag kxepdka`oe ~hrjh~pz% h)m) bozh` ai eozhr roimhi`hrz oi` wdzdai zhizarz) Plazh orh xpdedzh` pa modi ldmlhr ~rh`djpdai ojjxrojt) Plh kxepd+Z@K ka`he dz xzh` pa hzpobedzl o raxml eajoedzopdai ag plh rabap }dpldi oi ajh hiwdraikhip)

    Jlo~phr 4 jaijex`hz plh }arc ~rhzhiph` di pldz plhzdz) Dp deexkdiophz plh kofar rhzxepz agpldz zpx`t% ioeet `dzjxzzhz plh hzpobedzlh` rhzhorjl jaiprdbxpdaiz oi` zakh gxpxrh }arc)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    25/242

    2Khkartoi Xirhwhoeh` Ktzphrt

    ) ) ) O gorkhr }hip axp pa za} ldz zhh`) Oz lh }oz zjopphrdim plh zhh`% zakhghee oeaim plh ~opl )))zakh ghee ai rajct ~eojhz )))aplhr zhh`z ghee okaim plariz) ) ) Soi`[ aplhr ghee x~ai maa` zade) ) ),Korc% Jlo~phr 0% Plh ^orobeh ag plh Za}hr6 :2>

    Jaiphipz

    2)?) Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?2

    2)?)?) Zlarp+phrk Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?2

    2)?)2) Eaim+phrk Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?:2)?):) Oi Hwhreozpdim @hboph ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?:

    2)?)0) Plrhh ^rajhzzdim Zpomhz ag Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?0

    2)2) Khkart Ka`hez oi` Jamidpdwh Orjldphjpxrhz ) ) ) ) ) ) ) ) ) ) ) ?8

    2)2)?) O`o~pdwh Jaiprae ag Plaxmlpz Plhart ,OJP ) ) ) ) ) ) ) ) ) ) ) ) ) ?8

    2)2)2) Khkart ^rh`djpdai Grokh}arc ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?7

    2)2):) Jaiihjpdaidzp Ka`hez ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?7

    2):) Ozzajdopdwh Khkardhz oz oi Dizprxkhip ag ^rh`djpdai ) ) ) ) ) ) ?=

    2):)?) Lhbbdoi Ehoridim ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?=

    2):)2) Plh La~he` Ka`he ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ?>?3 Zqxdrh hp oe)% ?44:) Plh rzp% zdk~eh kxepdzparh+ka`he ag khkart }oz `hzjrdbh` bt Opcdizai oi` Zldrdi ,?4=?) Dp ~azpxeophz plop eaim+phrkkhkart dz jak~azh` ag zh~oroph khkart jak~aihipz)

    Thp% plh ktzphrt ag khkart loz iap bhhi zaewh` oi` plhrh dz ia xidqxh plhart ai pldzkofar brodi gxijpdai) La}hwhr% plh oioeamt bhp}hhi `dhrdim plharhpdjoe wdh}z dz plop plhkhkart dz zxmmhzph` pa jak~rdzh p}a kodi digarkopdai zparomh ztzphkz }dpl rhz~hjp pa plhpdkh plop digarkopdai dz rhpodih`6 iokhet zlarp+phrk khkart oi` eaim+phrk khkart?)

    2)?)?) Zlarp+phrk Khkart

    Plh zlarp+phrk khkart ,ZPK oeea}z gar o gozp rhjoee ag o edkdph` ixkbhr ag khkart dphkz}dplaxp oit rhlhorzoe) Plh ~hrda` ag `hjot edhz xzxoeet di plh roimh grak o gh} zhjai`z pazhwhroe kdixphz) Di karh rhjhip }arc% ZPK dz jlorojphrdzh` oz o jak~aihip plop dz ojpdwhetdiwaewh` di plh ~rajhzzdim ag digarkopdai roplhr ploi fxzp bhdim o phk~aroe zparomh ztzphk,Opcdizai oi` Zldrdi% ?4=?3 Bo``heht% 2>>?) O rhihkhip ag ZPK eho`z pa plh za+joeeh`}arcdim khkart plop jak~rdzhz diphrioeet mhihroph` oi` h|phrioeet ~hrjhdwh` digarkopdaioz }hee oz rhzxepz ag jamidpdwh a~hropdaiz)

    Oephriopdwh khkart ka`hez h|dzp% }lhrh plh ZPK jaipodiz jxrrhip ojpdwoph` jaiphipz ageaim+phrk khkart op o jhrpodi ~adip di pdkh) ]dpldi plh zja~h ag plh OJP plhart ,zhhZhjpdai 2)2)?% plh }arcdim khkart jaizdzpz ag plop ojpdwh jaiphipz plop bhjakhz ~orp ag o

    ?Di o``dpdai pa plh brao` jophmardhz ag ZPK oi` EPK% ~ztjlaeamdzpz `dzpdimxdzl zxb`dwdzdaiz ag ~rdkortkhkart% zhjai`ort khkart% rhghrhijh khkart% h~dza`dj khkart oi` zhkoipdj khkart)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    27/242

    2)? Khkart ?:

    Gdmxrh 2)?)6 O po|aiakt ag kokkoedoi eaim+phrk khkart)

    jamidpdwh ~rajhzz) ZPK ka`hez }hrh ~orpet diz~drh` bt ihxraeamdjoe ~opdhipz }dpl armoidjokihzdo joxzh` bt bdeophroe `okomh pa brodi zprxjpxrhz edch plh kh`doe phk~aroe eabh oi`ld~~ajok~xz% h)m) plh gokaxz ~opdhip Lhirt Mxzpow Kaeodzai% bhpphr cia}i oz LK)

    2)?)2) Eaim+phrk Khkart

    Plh eaim+phrk khkart ,EPK joi zparh kxjl eormhr qxoipdpdhz ag digarkopdai gar o ~a+phipdoeet xiedkdph` `xropdai plop joi eozp gar o edghpdkh oi` dz h|~hjph` pa lowh oi diidphjo~ojdpt) Digarkopdai joi bh proizghrrh` grak zlarp+phrk pa EPK bt rhlhorzoe oi` rh~hpdpdaikhjloidzkz)

    @xrdim oee plazh diwhzpdmopdaiz ai khkart% `dhrhip wdh}z ai EPK hkhrmh` awhr pdkh)Kazp ag plhk ozzxkh kxepd~eh khkart zxbztzphkz }dpldi plh EPK) Jalhi oi` Zqxdrh,?4 `dwd`h EPK dipa iai+`hjeoropdwh ~rajh`xroe khkart% plh cia}dim la} khkartgar bozdj zcdeez zxjl oz }oecdim% rd`dim o bdch hp jhphro% oi` plh cia}dim plop `hjeoropdwhkhkart ,zhh Gdmxrh 2)?) Plh eopphr khkart zparhz cia}eh`mh obaxp gojpxoe digarkopdaioi` ~hrzaioe hwhipz di axr edgh) Pxewdim ,?4=2 ormxhz plop `hjeoropdwh digarkopdai dz gxrplhr`dwd`h` dipa h~dza`dj khkart% }ldjl jaipodiz `hpodez obaxp axr edgh% oi` zhkoipdj khk+art% }ldjl jaipodiz gojpxoe digarkopdai ag plh }are` oi` la} dp }arcz oi` `hzjrdbhz dp ozkhipoe plhzoxrxz ,Pxewdim% ?4=2) Oiaplhr diphr~rhpopdai dz mdwhi bt Zjlojphr ,?4>?% wdh} ZPK oi` EPK oz zh~oroph ztzphkz plop rhet ai `dzpdijp rh~rhzhi+

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    28/242

    ?0 Jlo~phr 2 Khkartoi Xirhwhoeh` Ktzphrt

    popdaiz) Di plh plhart bt Bo``heht ,2>>?% plh ZPK dz `hjak~azh` dipa digarkopdai+z~hjdjbxhrz) Lh `dzpdimxdzlhz bhp}hhi ~rajhzzhz gar khkart zparomh oi` h|hjxpdwh gxijpdaiz)

    Ojjar`dim pa xidport+zparh ka`hez% zx~~arph` bt plh }arc ag Zqxdrh ,?4>03 Opcdizai

    oi` Zldrdi ,?4=?3 Lhbb ,2>>2% ZPK oi` EPK rhet eormhet ai plh zokh rh~rhzhipopdai bxp`dhr di plh ehwhe ag ojpdwopdai ag plazh rh~rhzhipopdaiz oi` rhz~hjpdwh ~rajhzzhz) ^rakdihipplhardhz jlorojphrdzh khkart oz o fla} ag digarkopdai% h)m) Opcdizai oi` Zldrdi ,?4=? }dplplh Kxepd+Zparh Ka`he% Jrodc oi` Eajclorp ,?4=2 `hzdmih` plh @h~pl ^rajhzzdim Ka`he% oi`Bo``heht oi` Ldpjl ,?4=0 ~ra~azh` o ]arcdim Khkart Ka`he }dpl o jhiproe h|hjxpdwh2 parh~eojh plh ZPK ka`he) Di jaiprozp% jaiihjpdaidzp o~~raojlhz pa khkart oi` digarkopdai~rajhzzdim zxmmhzp plop digarkopdai dz zparh` di zhwhroe diphrjaiihjph` xidpz roplhr ploi dio khkart projh ,ar rheoph` zprxjpxrhz)

    2)?)0) Plrhh ^rajhzzdim Zpomhz ag Khkart

    Rhmor`ehzz ag plh aimadim `hboph ai }lhplhr ZPK oi` EPK orh orjldphjpxroeet zh~orobehztzphkz ar iap% jxrrhip plhardhz omrhh ai plrhh jarh khkart ~rajhzzhz pa rhpodi ,ehori oi`rhjoee ~ozp h|~hrdhijhz) Plazh kofar ~rajh`xroe oi` gxijpdaioe oz~hjpz ag khkart orh6

    Hija`dim6 Plh ~rajhzzdim ag dijakdim ~hrjh~pxoe digarkopdai ,grak zhizart di~xp dipa orh~rhzhipopdai plh khkart ztzphk joi ja~h }dpl)

    Zparomh ' kodiphioijh6 Jrhopdai oi` ~rajhzzdim ag hija`h` digarkopdai)

    Rhprdhwoe6 Rhjawhrdim hija`h` digarkopdai ag plh ~ozp grak axr khkart oi` rhpxridim dp

    dipa plh jamidpdwh gajxz oz o rhz~aizh pa oi orbdprort jxh)

    Plaxml plhzh zpomhz orh `dzpdimxdzlobeh% plht orh jehoret diphr+rheoph`) Faid`hz hp oe) ,2>>

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    29/242

    2)2 Khkart Ka`hez oi` Jamidpdwh Orjldphjpxrhz ?8

    2)2) Khkart Ka`hez oi` Jamidpdwh Orjldphjpxrhz

    Khkart ka`hez `dhr rhmor`dim plh garkop ag zparh` digarkopdai% iokhet ozzajdopdaiz ar

    khkart projhz) Plh garkhr garkop zparhz khkardhz oz edicz bhp}hhi khkart xidpz ,Zprxbh%?447) Ojjar dimet% ehoridim dz plh ~rajhzz ag jrhopdim ih} oi` ka`dgtdim h|dzpdim ozzajdo+pdaiz) Rhkhkbhrdim dz `hih` oz o z~rho dim ojpdwopdai bhp}hhi ozzajdoph` khkart xidpz,Oi`hrzai% 2>>=) Plh eopphr ka`he% oeza cia}i oz zhorjl ag ozzajdopdwh khkart ,ZOK btRoodfkochrz oi` Zldrdi ,?4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    30/242

    ?7 Jlo~phr 2 Khkartoi Xirhwhoeh` Ktzphrt

    O ihxroe ~eoxzdbeh dk~ehkhipopdai ag zxjl ~ra`xjpdai ztzphk }oz zla}i di plh eophrplhart joeeh` o`o~pdwh jaiprae ag plaxmlp+ropdaioe ,OJP+R) Pa abpodi oi a~pdkoe digarkopdai~rajhzzdim plh ztzphk dz ~orokhphrdzh` oi` zprxjpxrh` plraxml ropdaioe oioetzdz) OJP+R dz

    plh kazp o`hqxoph pt~h ag orjldphjpxrh oi` plh bhzp cia}i ag plh jxrrhip ~ztjlaeamt+bozh`ztzphkz)

    2)2)2) Khkart ^rh`djpdai Grokh}arc

    Bxde`dim x~ai }arc ag ixkhraxz ihxrabdaeamdzpz Lo}cdiz ,2>>8 `hzdmih` plh khkart ~rh+`djpdai grokh}arc ,K^G) Ldz plhart `hzjrdbhz dipheedmhijh oz plh jo~ojdpt pa ~rh`djp plhgxpxrh bt oioeamt pa plh ~ozp ,jg) Zhjpdai ?)?)?) Plh brodi xzhz o khkart+bozh` ka`he pakoch jaipdixaxz ~rh`djpdaiz ag gxpxrh hwhipz) Dg plazh ~rh`djpdaiz orh `dz~rawh`% plh brodiehoriz% h)m) bt iawhept `hphjpdai ,Borocawo oi` Eaxrhiz% 2>>8% oi` o`fxzpz dpz khkardzh`digarkopdai ojjar`dim pa plh ih} `opo)

    Ojjar`dim pa plh khkart ~rh`djpdai plhart% plh ihajarph| ehoriz diwordoip rh~rhzhipopdaizag ~opphri zhqxhijhz di o ldhrorjldjoe ihxroe ihp}arc) Plh zprxjpxrh ag oi diwordoip rh~rh+zhipopdai jo~pxrhz plh dk~arpoip rheopdaiz di plh }are`% di`h~hi`hip ag oit `hpode) Mdwhizakh ~orpdoe ar `dzparph` zhizardoe di~xpz ag o cia}i hiwdraikhip% plh khkart rhjoeez plhzparh` ~opphriz ag plh ~ozp di oi oxpa+ozzajdopdwh koiihr) ]lhi xicia}i ~opphriz ajjxr%plht wdaeoph plh ~rh`djpdaiz oi` jo~pxrh axr opphipdai bt rhojldim plh ldmlhzp jarpdjoe eothr%plh ld~~ajok~xz% }ldjl `h~djpz plh zlarp+phrk rh~azdpart gar ih} khkardhz) Plxz% plh~rdkort gxijpdai ag plh ihajarph| dz pa koch ~rh`djpdaiz bt jak~ordim plh cia}eh`mh agplh diwordoip zprxjpxrh }dpl plh kazp rhjhip abzhrwh` `hpodez ,Moroehwdjdxz% 2>>=) Plhzh~rh`djpdaiz ordzh grak plh jak~ordzai bhp}hhi ghh`gar}or` digarkopdai ,}lop dz lo~~hidimoi` ghh`bojc digarkopdai ,}lop dz h|~hjph` pa lo~~hi)

    Plh kodi edkdpopdai ag pldz plhart% oi` plh rhozai dp dz iap `dzjxzzh` di karh `hpode lhrh%dz dpz eojc ag `hpode) A~hi qxhzpdaiz rhkodi ai la} pa jrhoph diwordoip rh~rhzhipopdaizjxrdaxzet plh kazp dk~arpoip ~orp ag ldz plhart% la} plh brodi loi`ehz ozzajdopdaiz oi` la}dp bdi`z pamhplhr cia}eh`mh bt plh jhrhbheexk oi` plh ihajarph| dz xirhzaewh`) Plh xi`hr+etdim brodi oemardplk rhkodiz xi`dzjawhrh`) Ihwhrplhehzz% Lo}cdiz plhart dz oi diiawopdwhlt~aplhzdz ai la} plh brodi }arcz)

    2)2):) Jaiihjpdaidzp Ka`hez

    Jaiihpdaidzk `dzomrhhz }dpl plh d`ho plop plh kdi` xzhz rxeh+bozh` oi` zhkoipdj digarkopdai~rajhzzdim oz ~ra~azh` bt pro`dpdaioe OD) Plh kofar ~rdijd~eh di jaiihjpdaidzk dz pa `hzjrdbh

    khipoe ~lhiakhio bt diphrjaiihjph`% }hdmlph` ihp}arcz ag zdk~eh oi` agphi xidgark xidpz,oioeam pa ihxraiz) Hojl xidp rh~rhzhipz o kdjraghopxrh ag plh }are`) Gxrplhr ~rdijd~ehzorh6

    Digarkopdai dz rh~rhzhiph` di o `dzprdbxph` koiihr ,pldz jaipro`djpz plh eajoe oi` aih+xidp+aih+jaijh~p rh~rhzhipopdaiz

    Hija`dim ag cia}eh`mh pochz ~eojh di plh }hdmlpz bhp}hhi xidpz

    Ehoridim rhzxepz grak ka`dgtdim plh }hdmlpz

    Khkart dz jaiphip+o``rhzzobeh

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    31/242

    2): Ozzajdopdwh Khkardhz oz oi Dizprxkhip ag rh`djpdai ?=

    ]hdmlpz orh mhihroeet rh~rhzhiph` oz oi I I koprd|) Rhjamidpdai dz `hzjrdbh` oz orhjaizprxjpdwh ~rajhzz }lhrh plh ztzphk ojpdwophz ~opphriz zdkdeor pa jhrpodi jxh zpdkxed)Plh kazp jakkai jaiihjpdaidzp ka`hez orh ihxroe ihp}arcz) Gxpxrh jaiihjpdaidzpdj ka`hez

    orh h|~hjph` pa h|~eodi ihxra~ltzdaeamdjoe oi` ihxrabdaeamdjoe ~lhiakhio di jaifxijpdai}dpl h|~hrdkhipoe jamidpdwh zjdhijh ,Coi`he hp oe)% ?447)

    Oi h|phizdai ag plh jaiihjpdaidzp o~~raojl dz joeeh` plh hkba`dh` jamidpdwh zjdhijh) Zdkdeoroz di jaiihjpdaidzk% jamidpdai dz zhhi oz o xi~rh djpobeh zhehjpdwh% jaizprxjpdwh% jaiph|p+`h~hi`hip oi` iai+whrboe ~rajhzz) Jaiprort pa jaiihjpdaidzk% plh hkba`dh` oi` hkbh``h`jamidpdwh zjdhijh jakkxidpt `hihz dipheedmhip bhlowdaxr oz oi diphr~eot bhp}hhi brodi%ba`t oi` o `tiokdj ~ltzdjoe }are`)

    2):) Ozzajdopdwh Khkardhz oz oi Dizprxkhip ag ^rh`djpdai

    Ihxroe ihp}arcz }lazh kodi gxijpdaioedpt dz pa ozzajdoph ~opphriz orh joeeh` ozzajdopdwhkhkardhz) Oee plh digarkopdai dz zparh` di plh }hdmlpz ag zxjl ihp}arcz oz ~ra~azh` btplh jaiihjpdaidzp o~~raojl) Dg prdmmhrh` bt oi orbdprort di~xp ~opphri% plht rhprdhwh zparh`~opphriz plop ~rawd`h plh ldmlhzp `hmrhh ag zdkdeordpt }dpl rhz~hjp pa plh di~xp)

    Xzxoeet plht ~rawd`h aih+zlap ehoridim: jo~obdedpdhz oi` plhdr }hdmlp koprd| dz jaizprxjph`bt zxkkdim x~ plh axphr ~ra`xjp ag oee di~xpaxp~xp jaizpheeopdai) Plh axp~xp ag oi ozza+jdopdwh khkart dz jak~xph` bt plh `ap ~ra`xjp ag plh }hdmlp koprd| oi` plh di~xp whjpargaeea}h` bt o plrhzlae`dim) Plhrh orh p}a kodi `hrdwophz ag ozzajdopdwh khkardhz6 oi lhphra+ozzajdopdwh khkart ozzajdophz p}a `dhrhip pt~hz ag ~opphriz }ldeh o oxpa+ozzajdopdwh khk+art ozzajdophz ~opphriz }dpl plhkzhewhz) Plh eopphr pt~h dz jo~obeh ag rhprdhwdim ozzajdoph`~opphriz hwhi dg plh di~xp ~opphriz orh iadzt ar dijak~ehph) Kazp ozzajdopdwh khkart ka`hez

    orh edihor oi` ghh`gar}or` di iopxrh oi` xzh Lhbbdoi ehoridim) Jakkai ihxroe ihp}arczplop bheaim pa plh jeozz ag ozzajdopdwh khkardhz orh La~he` ihp}arcz% jarrheopdai khkardhzoi` bojc~ra~omopdai)

    2):)?) Lhbbdoi Ehoridim

    Lhbbz rxeh h|~eodiz eaim+phrk zprhimplhidim ,za+joeeh` eaim+phrk ~aphipdopdai% EP^ oi`eaim+phrk }hochidim ,eaim+phrk `h~rhzzdai% EP@ ag ztio~pdj jaiihjpdaiz xi`hr plh jai+`dpdai plop ojpdwopdai ag p}a jaiihjph` ihxraiz orh jarrheoph`) Lhbbz rxeh dz `hih` ozgaeea}z6

    ]lhi oi o|ai ag jhee O dz ihor hiaxml pa h|jdph jhee B ar rh~hoph`et ar jaizdzphipetpochz ~orp di rdim dp% zakh mra}pl ar khpobaedj jloimh pochz ~eojh di aih ar bapljheez zxjl plop Oz hjdhijt oz aih ag plh jheez rdim B% dz dijrhozh`) ,Lhbb% 2>>2

    Zdijh plh ka`djopdai ag o ztio~zh rhedhz aiet ai ~rh+ oi` ~azpztio~pdj ihxraiz% Lhbbz rxehdk~edhz eajoedpt ag plh ihxroe ~eozpdjdpt) Gxrplhrkarh% dp dipra`xjhz plh jaijh~p ag ojpdwdpt+di`xjh` rhdigarjhkhip ar }hochidim ag plh ztio~zh ,Gearhoia oi` Koppdxzzd% 2>>

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    32/242

    ?< Jlo~phr 2 Khkartoi Xirhwhoeh` Ktzphrt

    2):)2) Plh La~he` Ka`he

    Jaiprort pa o KjJxeeajl+^dppz Ihp}arc ,KjJxeeajl oi` ^dppz% ?40:% }lhrh oi axp~xp dz`hphrkdih` bozh` ai plh ihxraiz di~xp op hojl pdkh zph~% o La~he` Ihp}arc ,LI jaizdzpz

    ag ihxraiz }dpl ztkkhprdj }hdmlpz ,}df ; }fd oi` oztijlraiaxz x~`opdim khjloidzkzh|jexzdwh ag zheg jaiihjpdaiz ,}dd ; >)

    La~he` ,?4% ?{% }ldjl joxzh oihxrai pa hdplhr iap rh ar rh) Op pdkh~adip p plh ztzphk dz `hzjrdbobeh bt o whjpar

    sZ

    {;

    sZ?% ) ) ) % Z I

    {)

    Hojl ihxroe xidp dz jaiihjph` pa oee aplhr xidpz oi` plxz% pamhplhr plht gark o gxeet+jaiihjph` ihp}arc) P}a ihxraiz Zf oi` Zd orh diphrjaiihjph` wdo ztkkhprdj }hdmlpz,}df ; }fd)

    Op hojl pdkh zph~ o xidp dz ~djch` op roi`ak ,oztijlraiaxz ihp}arc jloimh 0) Dg xidpd }dpl plrhzlae` d dz jlazhi% Zd ; ? dg oi` aiet dg

    }dfZf d% aplhr}dzh Zd ; >)

    Plh ztkkhprdj jaiihjpdai ag ihxraiz oz }hee oz plh obzhijh ag zheg jaiihjpdaiz dz jrxjdoepa mxoroiphh o zpobeh ztzphk bhlowdaxr) Aplhr}dzh zxjl iaiedihor% `tiokdj ztzphkz }deezla} jloapdj bhlowdaxr ,jg) Lhi`di hp oe) ,?44?) La~he` `hih` koplhkopdjoe qxoipdptbozh` ai plh Eto~xiaw gxijpdaiplop `hzjrdbhz plh ojpdwdpt `tiokdjz oz plh hihrmt H ag plh

    ihp}arc% zxjl plop6

    H ; ?2

    df

    }dfZdZf #d

    Zdd ,2)?

    Dg o ihxroe xidp Zc jloimhz dpz axp~xp woexh ,di plh oztijlraiaxz jozh% plh hihrmt }deejloimh ojjar`dim pa plh gaeea}dim Hqxopdai6

    H ; Zcf;c

    }cfZf # Zcf;c

    }fcZf ,2)2

    Di zxjl o ztkkhprdj ihp}arc }dpl oztijlraiaxz x~`oph% }lhi zporpdim grak oi didpdoe

    zpoph Z>% plh `tiokdjz ag plh La~he` ihp}arc }dee kawh pa o ea}hr ~aphipdoe hihrmt }lhio ihxrai jloimhz dpz zpoph) Plxz% plh ztzphk }dee jaiwhrmh pa o meaboe kdidkxk ogphr idphixkbhr ag zph~z }lhrh% xiohjph` bt oit zpoph jloimhz ag o ihxrai Zc ; > Zc ; ?)

    O wordopdai ag plh Lhbbdoi ehoridim rxeh ,jg) Zhjpdai 2):)? dz xzh` gar plh zparomh ag ^bdiort ~opphriz ag i+bdp ehimpl6

    }df ;?

    i

    ^;?

    d f ,? df% ,2):

    0Plh oztijlraiaxz ihp}arc jloimh dz jakkaiet xzh`) Di o ztijlraiaxz ihp}arc% hojl xidp }dee bh x~`oph`di o zdimeh pdkh zph~)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    33/242

    2): Ozzajdopdwh Khkardhz oz oi Dizprxkhip ag rh`djpdai ?4

    }lhrh df ; ? gar d ; f oi` > gar d ; f) Plh La~he` ka`he ojldhwhz o zparomh jo~ojdpt agC ; >)?0 bdpz ~hr ztio~zh ,Maeakb hp oe)% ?44>)

    2):):) Plh ]deezlo}+ oek+Ka`he]deezlo} hp oe) ,?474 oi` ^oek ,?4 ~ra~azh` o zdk~eh oi` edihor ka`he ag o gxeet+jaiihjph` ozzajdopdwh khkart }dpl zpajlozpdj oztijlraiaxz `tiokdjz) Dp dz aih ag plhhoredhzp ihxroe ihp}arc ka`hez ag ozzajdopdwh khkart) Jaiprort pa plh La~he ka`he dp`ahz iap xzh oit ghh`bojc eaa~z)

    Di kazp zdk~eh ihxroe ihp}arc ka`hez% h|jdpopdai oi` dildbdpdai ~eot d`hipdjoe raehz) Plh]deezlo} ka`he zparhz khkardhz di h|jdpopart ztio~zhz xzdim oi h|prhkhet zdk~eh whrzdai agLhbbz rxeh ,Maeakb hp oe)% ?44>) Plh ihp}arc dz jak~azh` ag o koprd| ag bdiort ztio~zhz}df s>% ?{ plop ghh` dipa bdiort axp~xp xidpz }dpl ~azzdbeh zpophz Zd s>% ?{ diphrjaiihjph`wdo o bdiort edic ) Plh ihp}arcz gxijpdai dz pa ko~ di~xp ~opphriz ag ehimpl K aipa

    axp~xp ~opphriz ag ehimpl I bt plrhzlae`dim plh zxk ag plh di~xp zdmioez)Plh ]deezlo} ka`he ojldhwhz oi oztk~papdj zparomh jo~ojdpt agC ; >)= bdpz ~hr ztio~zh%}ldjl h|jhh`z plh jo~ojdpt ag kazp oephriopdwh ka`hez) ]ldeh plh ka`he ahrz oi h|prhkhetzdk~eh }ot ag zpardim z~orzhet ja`h` khkardhz% dp h|ldbdpz o ~aar ~hrgarkoijh }dpl rhmor`pa roi`ak% xijarrheoph` khkardhz ,Maeakb hp oe)% ?44>)

    2):)0) Bdaeamdjoeet+diz~drh` Ozzajdopdwh Khkart6 Jhrhbheeor Ka`hez

    Zakh ozzajdopdwh khkart ka`hez lowh o zpraim jarrheopdai pa bdaeamdjoe zprxjpxrhz% gar di+zpoijh plh jhrhbheexk) Plh jhrhbheeor jarph| dz diwaewh di plh diphmropdai ag zhizart ~hr+jh~pdaiz oi` plh jaar`diopdai ag kawhkhipz) Ojjar dim pa Oebxz ,?4=8% plh jhrhbheexk~rawd`hz ~rhjdzh jaar`diopdai ag kapar jaiprae gar zxjl ba`t ~orpz oz plh hthz% orkz% i+

    mhrz% ehmz% oi` }dimz) Dp zparhz oi` rhprdhwhz digarkopdai rhqxdrh` pa jaiprae plaxzoi`z agkxzjehz di ~ra`xjdim jaar`dioph` bhlowdaxr oz o gxijpdai ag pdkh) Dp rhjhdwhz ~ra~rdajh~pdwhoi` cdihzplhpdj digarkopdai grak plh kxzjeh z~di`ehz% fadipz oi` phi`aiz oi` mhpz o ja~t agkapar jakkoi z zhip bt plh jarph|) Plh jhrhbheexk jak~orhz la} }hee kapar jakkoi`zjakdim grak plh jarph| orh h|hjxph` ,zhh Gdmxrh 2)2)

    Plh jhrhbheexk dz eajoph` di plh dighrdar ~azphrdar ~arpdai ag plh lho ) Dp dz roplhr di+waewh` di ka`xeopdim% plhi didpdopdim kawhkhipz oi` plhrhgarh oeza phrkh` plh zdehip brodi 8)Dp mxd`hz kawhkhipz bozh` ai plh zhizart ghh`bojc) Oeplaxml rhjhip ihxra~ltzdaeamdjoehwd`hijh zx~~arpz plh lt~aplhzdz plop plh jhrhbheexk ehoriz grak h|~hrdhijh% plh jhrhbheexkdz iap mhihroeet jaizd`hrh` oz o khkart orho ag plh brodi)

    Ojjar`dim pa Orbdb ,2>>2% Jlo~phr ^orp DD plh Jhrhbheexk joi bh `hjak~azh` dipajhrhbheeor ixjehd oi` jhrhbheeor jarph|) Plh aiet axp~xp jheez ag plh jhrhbheeor jarph| orhplh ^xrcdifh jheez ,zhh Gdmxrh 2):% oi` plhdr kodi gxijpdai dz pa ~rawd`h wortdim ehwhez agdildbdpdai ai plh jhrhbheeor ixjehd) Hojl ^xrcdifh jhee rhjhdwhz p}a pt~hz ag di~xpo zdimehjedkbdim brh% oi` koit phiz ag plaxzoi`z ag ~oroeehe brhz) Plh kazp diflxhipdoe ka`he agjhrhbheeor jarph| loz bhhi plh Korr+Oebxz ka`he ag plh garkopdai ag ozzajdopdwh khkardhzbhp}hhi ~orpdjxeor ~opphriz ai ~oroeehe brh di~xpz oi` ^xrcdifh jhee axp~xpz% }dpl plhjedkbdim brhz ojpdim oz prodidim zdmioez) Plhrhgarh% plh ka`hez bt Korr oi` Oebxz plop}hrh didpdoeet `hwhea~h` di ~oroeehe }dee bh dipra`xjh` brdhflt) Gdmxrh 2): axpedihz plh plrhheothrz ag plh jhrhbheexk) Plh gxijpdaiz ag plh kodi jheez oi` brhz ag plh jhrhbheeor jarph|

    8Hehjprdjoe zpdkxeopdai ag plh jhrhbheexk `ahz iap joxzh kawhkhipz ar zhizh dk~rhzzdaiz)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    34/242

    2> Jlo~phr 2 Khkartoi Xirhwhoeh` Ktzphrt

    Gdmxrh 2)2)6 Zjlhkopdj `domrok ag plh ihxroe ~opl}otz diwaewh` di ~rhjdzh loi` kawhkhipz)Zaxrjh6 lpp~6!!?7:)?=:)?=7!Gdzdaeamdo!ihxragdzdaeamdo!AbfhpdwaQ

    orh zxkkordzh` di Pobeh :)? di aih ag plh gaeea}dim zhjpdaiz }lhi jak~orh` pa plh Z@Kka`he)

    2):)0)?) Korrz Plhart ag plh Jhrhbheeor Jarph|

    Di ldz `dzzhrpopdai% @owd` Korr% aih ag plh gaxi`hrz ag plh `dzjd~edih Jak~xpopdaioe Ihxra+zjdhijh% `hpodeh` o ka`he ag plh gxijpdaiz ag plh jhrhbheeor jarph|) Lh `ro}z plh jaijexzdai

    http://163.178.103.176/Fisiologia/neurofisiologia/Objetivo_8/Clayman78.jpghttp://163.178.103.176/Fisiologia/neurofisiologia/Objetivo_8/Clayman78.jpg
  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    35/242

    2): Ozzajdopdwh Khkardhz oz oi Dizprxkhip ag rh`djpdai 2?

    Gdmxrh 2):)6 Ihxraioe jaiihjpdaiz bhp}hhi plh jhrhbheeor jarph| oi` plh `hh~ jhrhbheeor ix+jehd) Plh jhrhbheeor jarph| dz bxdep ag plrhh eothrz) Plh zx~hrjdoe kaehjxeor eothr}dpl o|aiz% `hi`rdphz oi` koit ztio~zhz% plh ^xrcdifh+jhee eothr oi` plh mroixeoreothr) Dkomh grak O~~z oi` Mor}djv ,2>>8)

    plop plh jhrhbheexk ehoriz pa ~hrgark kapar zcdeez) Di ~orpdjxeor% dp dz diwaewh` di ehoridimkawhkhipz oi` kodipodidim rhflh|hz bt fxzp p}a garkz ag di~xp+axp~xp rheopdaiz plop orhjaizdzphip }dpl plh jarpdjoe plhart ,Korr% ?474) O ~orpdjxeor ojpdai oi` plh jaiph|p di}ldjl dp dz ~hrgarkh` dz ozzajdoph` wdo ztio~pdj ka`djopdaiz ag ^xrcdifh jheez) Lhijh% plhjaiph|p oeaih joxzhz o ^xrcdifh jhee pa rh% }ldjl di pxri ~rhjd~dpophz plh ih|p hehkhipoekawhkhip ,H`hekoi oi` Wodio% 2>>?)

    Ojjar`dim pa Korr ,?474 plh jhrhbrxk armoidzhz o kawhkhip `xrdim ehoridim% oi` di`adim za% joxzhz plh aedwort jheez pa rh di o ~orpdjxeor zhqxhijh) Pldz joxzhz plh ^xrcdifh

    jheez pa ehori plh jaiph|p di }ldjl jarrhz~ai`dim hehkhipoe kawhkhipz orh rhqxdrh`) Plhih|p pdkh zxjl o jaiph|p ajjxrz% plh kazzt brhz ojpdwdpt zpdkxeoph plh ^xrcdifh jhee% }ldjlhwachz plh rhehwoip hehkhipoe kawhkhipz ,zhh Gdmxrh 2)2)

    Jhiproe pa Korrz plhart dz plop ohrhip di~xp hwhipz plop orh jakkxidjoph` grak plhaedwort jheez bt plh kazzt brhz pa plh jhrhbheeor jarph| orh pxrih` dipa zkoee zxbzhpz agojpdwh kazzt brhz) Pldz dz joeeh` plh ja`ai rh~rhzhipopdai ag oi di~xp ~opphri) Korr ,?474d`hipdhz o mroixeor jhee oz o ja`ai jhee plop }dee aiet rh dg ojpdwoph` bt o jhrpodi ja`ai)Plh ixkbhr ag ja`aiz ozzajdoph` }dpl o jaeehjpdai ag ojpdwh kazzt brhz dz lor`et rheoph`pa plh }ot Coihrwo jlaazhz ` jaar`diophz grak o papoe ag i jaar`diophz ,zhh Hqxopdai :)4)Kazzt brhz orh ozzxkh` pa bh jaiihjph` roi`aket okaim mroixeor jheez)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    36/242

    22 Jlo~phr 2 Khkartoi Xirhwhoeh` Ktzphrt

    2):)0)2) Oebxz Jhrhbheeor Ka`he Orpdjxeopdai Jak~xphr ,JKOJ$

    Di`h~hi`hipet ag Korrz plhart ag plh jhrhbheeor jarph|% Oebxz ,?4=?% ?4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    37/242

    2)0 Jaijex`dim Rhkorcz6 Pa}or`z o ^rh`djpdwh Oxpabdamro~ldjoe Rabap Khkart 2:

    oxplarz jladjh ag dp) Dp dz `hjeoropdwh di plh zhizh plop dp xzhz `opo oz o``rhzz% kocdim dpjaiphip+o``rhzzobeh% oi` xzhz aiet o z~orzh zxbzhp ag khkart o``rhzzhz% kocdim dp zjoeobeh)Oeaim }dpl oee ogarh+khipdaih` ormxkhipz% plh Z@K ka`he dz ~rajh`xroe di plop dp garkz zh+

    qxhijhz plop jaxe` bh jaizd`hrh` oz ~rajh`xrhz) Ehoridim dz rhoedzh` bt dijrhkhipdim }hdmlpzojrazz o ~rabobdedpt `dzprdbxpdai) ]dpl rhz~hjp pa plh hkba`dh` jaiihjpdaidzp o~~raojl% dpjoi ehori o zhp ag zdpxopdai ozzhzzkhipz oi` dz obeh pa mhihroedzh plhzh) Plh Z@K ka`he dzrheoph` pa plh ^@^ ihxroe khkart ka`hez khipdaih` di Zhjpdai ?)?): oi` khhpz kazp agplh rhqxdrhkhipz khipdaih` di Zhjpdai ?)2) Zhizdim oi` ~hrjh~pdai joi bh xzh` pa rhjoeeplh ihorhzp zparh` khkart pa oit hija`h` ~hrjh~pxoe xidp) Plxz% oi Z@K zhhkz pa ahr~a}hrgxe lxkoi+edch }otz ag rhjoeedim ihorhzp kopjlhz pa ~rhzhip h|~hrdhijh di o bhzp+rzpkoiihr ,Rdpphr hp oe)% 2>>:

    Plh ka`he joi bh xzh` pa zparh oi` rhjoee eormh okaxipz ag ea}+ehwhe zhizart `opo hjdhipet%}dplaxp rhqxdrdim plh `opo pa bh jak~ehphet ojjxroph ar plop }h cia} h|ojpet }lop }hihh` pa rhjoee) Plaxml dp kot iap bh oi h|ojp ka`he ag lxkoi khkart% dp zlorhz hiaxml

    jlorojphrdzpdjz pa zxmmhzp plop lxkoi khkart }arcz di o zdkdeor }ot)Coihrwoz khkart ka`he awhrjakhz edkdpopdaiz di plh La~he` khkart ka`he zxjl oz

    `h~hi`hijh ai zparomh jo~ojdpt ar plh ixkbhr ag ihxraiz% plh diobdedpt pa zparh phk~aroezhqxhijhz% ztkkhprdj diphrjaiihjpdaiz% oi` o ih} edkdph` obdedpt pa zparh jarrheoph` di~xpz)Coihrwo `dzjxzzh` plh o~~edjopdai ag ldz d`hoz pa plh grokh ~rabehk ag Orpdjdoe Dipheedmhijhoi` zla}h` plop ~orpz ag plh ~rabehk jaijhrih` }dpl koid~xeopdim wozp qxoipdpdhz ag `opoobaxp plh rhoe }are` joi bh loi`eh` }dpl ldz ka`he)

    Chhehr ,?4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    38/242

    20 Jlo~phr 2 Khkartoi Xirhwhoeh` Ktzphrt

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    39/242

    :O Z~orzh oi` @dzprdbxph` Khkart Ka`he

    Plh diphrioe ~eozpdjdpt ag khkart }ldjl `dzprdbxph` ka`hez zxmmhzp dz aih agplh kazp jxrdaxz oi` jlorojphrdzpdj ghopxrhz ag lxkoi khkart% oi` aih }ldjljehoret `dhrhipdophz axr jamidpdwh ztzphkz grak plh khkardhz ag jxrrhip `dmdpoejak~xphrz),Zxppai% 2>>

    :)8) Dk~rawhkhipz ag plh Z@K @hzdmi ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0?

    :)8)?) Fohjche!Corezzaiz Zhehjph`+Jaar`dioph @hzdmi ) ) ) ) ) ) ) ) ) ) ) ) 0?:)8)2) Z~opphr oi` Z~orjlxic Ja`h ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 02

    :)8):) Woexh+Bozh` Rhdigarjhkhip Ehoridim ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0:

    :)8)0) Zdmioe ^ra~omopdai Ka`he ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 00

    :)8)8) Mhihpdj Z~orzh @dzprdbxph Khkart ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 00

    :)7) O~~edjopdaiz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 00

    :)7)?) Jxepxroe Hwaexpdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 08

    :)7)2) ^orp ag o Jamidpdwh Orjldphjpxrh6 ED@O ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 08

    :)7):) Kabdeh Rabap Iowdmopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 08

    :)7)0) ]hoplhr Garhjozpdim ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 07

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    40/242

    27 Jlo~phr : O Z~orzh oi` @dzprdbxph` Khkart Ka`he

    :)7)8) Z~hhjl Rhjamidpdai oi` ^raixijdopdai ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0=

    :)=) Jaijex`dim Rhkorcz ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 0=

    :)=)?) O`woipomhz ag plh Z@K Ka`he Rhmor dim Jamidpdwh Rabapdjz ) ) ) ) 0% ,>% ?% ,?% >% ,?% ?{hp jhphro) Plhrh dz ia ~orpdjxeor ar`hrdim ag bdiort ixkbhrz ihjhzzort gar oioetzdz dzzxhz%plht orh fxzp ~adipz di o bdiort z~ojh) Gdmxrh :)? wdzxoedzhz Baaehoi z~ojhz grak aih pawh `dkhizdaiz% dg plh `dkhizdai h|jhh`z wh dp mhpz qxdph lor` pa wdzxoedzh plh rhzxepdimz~ojh) Dp bhjakhz jehor% plop plh ixkbhr ag ~adipz dijrhozhz h|~aihipdoeet }dpl rhz~hjp padpz `dkhizdai)

    Plh kodi gxijpdaioe ~rdijd~ehz ag plh Z@K plhart rhet ai `dzpoijhz ` bhp}hhi ~adipz agI)Coihrwo `hiaphz pldz oz plh `dzprdbxpdai ag I) Di Baaehoi mhakhprt plh Lokkdim `dzpoijh,zhh Hqxopdai :)8 bhp}hhi p}a ~adipz dz plh ixkbhr ag jaar`diophz% ar ixkbhr ag bdpz% op}ldjl plh bdiort whjparz `dhr% h)m) `,,>??>?>% ,>>>??? ; 0) Plxz% plh `dzpoijh rh~rhzhipzo khozxrh ag plh zdkdeordpt bhp}hhi p}a khkart dphkz)

    Dg o whjpar oz o jaeehjpdai ag i ghopxrhz `hzjrdbhz o jhrpodi abfhjp:% hojl ghopxrh ag plhabfhjp joi hdplhr bh ~rhzhip ,? ar obzhip ,>) Ojjar`dimet% plh karh ghopxrhz ag p}a ghopxrhwhjparz orh zdkdeor% plh jeazhr plhzh whjparz orh pamhplhr oi` jaizhqxhipet plh zkoeehr dz plh

    2O ~adip di khkart dz oi o``rhzz plop joi rh~rhzhip o }ar % o `opo dphk% o ~opphri% oi hwhip ar o khkartdphk)

    :Dp joi oeza rh~rhzhip `dhrhip pldimz grak oi abfhjp% h)m) jaijh~p hp jhphro)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    42/242

    2< Jlo~phr : O Z~orzh oi` @dzprdbxph` Khkart Ka`he

    > ? >%> ?%>

    >%? ?%?

    >%>%> ?%>%>

    % % % %

    >%>%? ?%>%?

    >%?%? ?%?%?

    >%>%>%> ?%>%>%>

    >%?%>%> ?%?%>%>

    >%>%?%> ?%>%?%>

    >%?%?%> ?%?%?%>

    >%>%>%? ?%>%>%?

    >%?%>%? ?%?%>%?

    >%>%?%? ?%>%?%?

    >%?%?%? ?%?%?%?

    >%>%>%>%> ?%>%>%>%>

    >%?%>%>%> ?%?%>%>%>

    >%>%?%>%> ?%>%?%>%>

    >%?%?%>%> ?%?%?%>%>

    >%>%>%?%> ?%>%>%?%>

    >%?%>%?%> ?%?%>%?%>

    >%>%?%?%> ?%>%?%?%>

    >%?%?%?%> ?%?%?%?%>

    >%>%>%>%? ?%>%>%>%?

    >%?%>%>%? ?%?%>%>%?

    >%>%?%>%? ?%>%?%>%?

    >%?%?%>%? ?%?%?%>%?

    >%>%>%?%? ?%>%>%?%?

    >%?%>%?%? ?%?%>%?%?

    >%>%?%?%? ?%>%?%?%?

    >%?%?%?%? ?%?%?%?%?

    Gdmxrh :)?)6 Wdzxoedzopdai ag o aih+% p}a+% plrhh+% gaxr+% oi` wh+`dkhizdaioe z~ojh) Ojjar`dimpa Coihrwo ,?4> }axe` ko~ pa plh jarihrz ag oxidp lt~hrjxbh di ?>>>+`dkhizdaioe Hxjed`hoi z~ojh% }ldjl dz qxdph lor` pa wdzxoedzhdi plh zokh gozldai)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    43/242

    :)? Baaehoi Mhakhprt oi` Jlorojphrdzpdjz ag Baaehoi Z~ojh 24

    Lokkdim `dzpoijh bhp}hhi plhk) Dp dz abwdaxz plop plh jladjh ag plh ghopxrhz rh~rhzhipdimoit jaijh~p dz o jrxjdoe dzzxh) Ehp xz jaizd hr o zhp ag oidkoez6 o edai% o jlhhpol% o laxzhjop% o beojcbdr`% o ijl oi` oi azprdjl plop orh rh~rhzhiph` bt plh ghopxrhz dz oi oidkoe

    oi` joi flt) Plhi% plh ghopxrh whjpar | ; ,?% > }dee rhwhoe plop `xh pa plh Lokkdim`dzpoijh% oi azprdjl oz oi oidkoe plop joiiap flt dz jaijh~pxoeet jeazhr pa plh edai oi` plhjlhhpol roplhr ploi pa plh beojcbdr` oi` plh ijl% rh~rhzhiph` bt | ; ,?% ?) Di pxri dp }deebh jaijh~pxoeet jeazhr pa plh bdr`z dg plh ghopxrhz orh6 dz oidkoe% loz }dimz% joi flt%dz ~rh`opar% loz p}a ehmz% loz gaxr ehmz)

    Plh kodi jaijh~pz rheoph` pa Baaehoi z~ojh orh h|okdih` di Coihrwo ,?4% ) ) ) % bi% }dpl b s>% ?{)

    Ardmdi

    > ; >>> ) ) ) >>> ,:)?

    Plh ~adip }dpl vhra jaar`diophz)

    Jak~ehkhip

    | ,:)2

    Plh diwhrph` i+px~eh ag o ~adip | dz joeeh` dpz jak~ehkhip ar a~~azdph }lhrh `,|% | ; i)

    Iark

    u|u ,:):Plh ixkbhr ag aihz di o bdiort rh~rhzhipopdai ag o ~adip |)

    @dhrhijh

    u| tu ; ut |u ; | t ,:)0Plh ixkbhr ag jaar`diophz op }ldjl p}a bdiort ~adipz | oi` t `dhr ,h|jexzdwh ar) Plh`dhrhijh jakkxphz)

    @dzpoijh

    `,|% t ; u| tu; u|> t>u # u|? t?u # ) ) ) # u|i tiu

    ,:)8

    Plh iark ag plh `dhrhijh ag p}a bdiort ~adipz dz plh `dzpoijh) @dzpoijhz h|~rhzzh` di bdpzorh joeeh` Lokkdim `dzpoijh% }ldeh plhdr zqxorh raap dz plh Hxjed`hoi `dzpoijh)

    Jdrjeh

    A,r% | ; stu`,|% t r{ ,:)7O zhp ag ~adipz plop orh ehzz ploi r bdpz `dzpoip grak o jhiprh |) O jdrjeh }dpl ro dxz ijak~rdzhz plh }laeh z~ojh I)

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    44/242

    :> Jlo~phr : O Z~orzh oi` @dzprdbxph` Khkart Ka`he

    Bhp}hhiihzz

    | 6 t 6 v dgg `,|% v ; `,|% t # `,t% v ,:)=

    ^adip t dz bhp}hhi p}a ~adipz | oi` v dg oi` aiet dg plh `dzpoijh grak | pa v dz plh zxk ag`dzpoijhz grak | pa t oi` t pa v) Bhp}hhiihzz dz6

    rhjxrzdwh x 6 | 6 t 6 v x 6 | 6 t oi` | 6 t 6 v% ztkkhprdj x 6 | 6 t t 6 | 6 x% iap proizdpdwh x 6 | 6 t 6 v x 6 | 6 v

    Arplamaioedpt

    | t dgg `,|% t ; i2

    ,:)??>>? oi` t ; ???>??) Plhi%rhmor`dim plh jlorojphrdzpdjz ag Baaehoi z~ojh6

    Jak~ehkhip6 | ; ?>>??>% oi` t ; >>>?>>)Iark6 u|u ; :% oi` utu ; 8)@dhrhijh6 | t ; t | ; | t ; | t ; ?>>>?>)@dzpoijh6 `,|% t ; u| tu ; u?>>>?>u ; 2)Jdrjeh6 A,?% | ; s>??>>?% >??>>>% >?>>>?% >>?>>?% ???>>?% >???>?% >??>??{)Bhp}hhiihzz6 Oit v ; $>>?$>% }lhrh hojl $ dz hdplhr > ar ?% dz bhp}hhi plh ~adipz |

    oi` t% h)m) | 6 ?>>??> 6 t)Arplamaioedpt6 P}a ~adipz joi aiet bh ~hr~hi`djxeor dg plh `dkhizdai i dz hwhi) Zdijh

    di pldz h|ok~eh i ; 7% >?>?>? >??>??)

    Plh z~ojh I joi bh rh~rhzhiph` bt plh whrpdjhz ag oi i+`dkhizdaioe xidp jxbh di Hxjed`hoiz~ojh) Gxrplhrkarh% oi i+`dkhizdaioe jxbh joi lowh dpz whrpdjhz ~eojh` aipa plh zxrgojh ago z~lhrh }dpl ro`dxz r ; i2 ) Pldz mdwhz rdzh pa plh oioeamt pa o z~lhrdjoe rh~rhzhipopdai agplh z~ojh I) Whjparz orh ~adipz ai plh zxrgojh ag plh i+`dkhizdaioe z~lhrh% plh ~adip | oi`

    dpz jak~ehkhip | orh oz p}a ~aehz }dpl plh `dzpoijh i plop hkbrojh plh hipdrh z~ojh) Plh~adipz ai plh hqxopar jarrhz~ai` pa ~adipz op o `dzpoijh

    i

    2 grak | oi`|% rhz~hjpdwhet ,jg)

    Gdmxrh :)2)

    Plh ixkbhr ag ~adipz plop orh h|ojpet `+bdpz o}ot grak oi orbdprort ~adip | dz plh ixkbhrag ~azzdbdedpdhz pa jlaazh ` jaar`diophz grak o papoe ag i jaar`diophz ,zhh Hqxopdai :)4) Ehpplh orbdprort ~adip bh plh ardmdi >% plhi plh ixkbhr ag ~adipz plop orh `+bdpz o}ot orhplh whjparz jaipodidim h|ojpet ` ?z) Plhrhgarh% plh `dzprdbxpdai ag z~ojh gaeea}z o bdiakdoe

    `dzprdbxpdai }dpl o khoi ag ; i2 oi` o wordoijh ag ;i

    2 )

    ,i 6 ` ;

    i

    `;

    i/

    `/,i

    `/

    ,:)4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    45/242

    :)? Baaehoi Mhakhprt oi` Jlorojphrdzpdjz ag Baaehoi Z~ojh :?

    Gdmxrh :)2)6 Z@K oioeamt pa o z~lhrdjoe rh~rhzhipopdai) Plh ~adipz ag plh I+`dkhizdaioelt~hrjxbh edh ai plh zxrgojh ag o z~lhrh }dpl ro`dxz r ; i2 di }ldjl karh ploi 44(ag plh z~ojh edhz oraxi` plh hqxopar ,ldmledmlph` bhep bhp}hhi plh ~aehz plop `h~djp~adip | oi` dpz jak~ehkhip |)

    Jaizhqxhipet% di o z~ojh }dpl I ; ?>>>% o jdrjxeor rhmdai ag ro`dxz 028 bdpz jhiprh` ai |hijeazhz aiet obaxp o kdeedaipl ag plh z~ojh)

    Plh `dzpoijh i2 dz joeeh` plh di`dhrhijh `dzpoijh) Coihrwo ,?4>% plxz 44)4444( ag plh z~ojh edhz bhp}hhi `dzpoijh022 oi` `dzpoijh 8=< grak o mdwhi whjpar) Oekazp oee ag plh z~ojh dz gor o}ot grak oitmdwhi whjpar) O Baaehoi z~ojh ag ldml+`dkhizdai dz pldiet ~a~xeoph`% }ldjl dz oi dk~arpoip~ra~hrpt gar plh jaizprxjpdai ag plh ka`he ,Groicedi% ?448) Coihrwo joeez pldz axpzpoi`dim~ra~hrpt ag I plh phi`hijt pa arplamaioedpt) Plh eormhr plh i% plh karh ~raiaxijh` pldzhhjp mhpz) Plh `dzpoijh grak o ~adip pa plh bxec ag plh z~ojh0 dz abpodih` bt `dwd`dim plhkhoi `dzpoijh i2 bt plh zpoi`or` `hwdopdai }dpl o `dzpoijh ag

    i2 ) Oz di plh h|ok~eh xzh`

    di Coihrwo ,?4>% plh khoi `dzpoijh dz 8>>) Ojjar dim pa pldz% 44% 4444( agplh z~ojh edhz }dpldi

    i8 zpoi`or` `hwdopdaiz grak o ~adip | agI ar 8 zpoi`or` `hwdopdaiz

    grak plh khoi woexh ,jg) Gdmxrh :):% }ldjl okaxipz pa =< bdpz% plxz }dpldi plh diphrwoe

    S022% 8=?> ag plh z~ojh) Parhjamidzh o phzp dphk% fxzp 2>( ag ghopxrhz lowh pa bh `hphrkdih` }dpl jhrpodipt }ldeh plhrhkodidim ( ag ghopxrhz joi bh ozzdmih` }dpl vhraz oi` aihz op roi`ak% }dpl o ~rabobdedptag >)8) Pldz dz `xh pa plh ~rabobdedpt ag o jarrhjp bdp dz >)2 ? # >)< >)8 ; >)7) Pldzdiphr~rhpopdai jaxe` h|~eodi plh rhjamidpdai ag oi abfhjp di `dhrhip jaiph|pz)

    0]ldjl dz grak plh ~aeh pa plh hqxopar ag o z~lhrh

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    46/242

    :2 Jlo~phr : O Z~orzh oi` @dzprdbxph` Khkart Ka`he

    8 0 : 2 2 : 0 8

    :0(:0(

    ?0(?0(

    2(2( >)?(>)?(

    ^rabobdedpt `hizdpt

    i2

    Gdmxrh :):)6 Ojjar`dim plh iarkoe `dzprdbxpdai% awhr 44( ag plh z~ojh edh }dpldi 8 zpoi`or``hwdopdaiz ag plh khoi ar }dpldi

    i 8 zpoi`or` `hwdopdai grak |)

    :)2) Khkart Zparomh oi` Rhprdhwoe

    Plh kodi qxhzpdai o``rhzzh` bt plh }arc ag Coihrwo ,?47) Pldz dz joeeh`plh xidgtdim ~rdijd~eh) Digarkopdai joi bh ojjhzzh` wdo dpz jaiphip) Plhrhbt plh ka`heh|ldbdpz o gark ag jaiphip+o``rhzzobdedpt }ldjl dz jaizd`hrh` oz aih ag plh kazp dk~arpoipjlorojphrdzpdjz ag lxkoi khkart ,Lo}cdiz% 2>>8 oi` ag kofar jaijhri gar gxeeedim plh p}aobawh+khipdaih` rhqxdrhkhipz)

    Coihrwo jaizprxjpz o ka`he ag o roi`ak ojjhzz khkart jo~obeh ag bhdim dk~ehkhiph` aio `dmdpoe jak~xphr }dpl plrhh z~hjdoe rhmdzphrzo``rhzz% }ar` di oi` }ar` axp) Dp dz oezadk~ehkhipobeh oz oi orpdjdoe ihxroe ihp}arc)

    O Baaehoi z~ojh }dpl ?>>> `dkhizdaiz eho`z pa oi hiarkaxz o``rhzz z~ojh ag 2 ?>>> eajo+pdaiz8) Kazp edphropxrh ai Z@K jak~orhz pldz ixkbhr pa plh ixkbhr ag opakz di plh xidwhrzh,Lhet% 2>>73 Groicedi% ?448 ar plh ixkbhr ag ihxraiz di plh ihrwaxz ztzphk ,Coihrwo% ?4>+`dkhizdaioe z~ojh% Coihrwo ~ra~azhz pa jlaazh o z~orzh zxbzhp ag~ltzdjoe o``rhzzhz) Gar pldz zxbzhp o rhozaiobet eormh% xidgark roi`ak zok~eh ag bdiort~opphriz dz zhehjph` oz rh~rhzhipopdwh oi` ~ltzdjoe khkart eajopdaiz ag plh }laeh z~ojh) Plhrhzxepdim zxbzhp ag khkart o``rhzzhz dz joeeh` lor` eajopdaiz ,LE) Pa koch plh z~orzhihzzjehor% jaizd`hr plh `hizdpt ropda rhzxepdim grak plh ko~~dim ag o lxmh bdiort z~ojh }dpl 2?>>>

    eajopdaiz aipa o zxbzhp ag% h)m) 22> lor` eajopdaiz% }ldjl dz 24 oi` di`hh` whrt z~orzh)Plh zhp ag zok~eh eajopdaiz grak plh hipdrh z~ojh joi bh jlazhi di koit }otz) Ojjar`dim

    pa koit horet ~ra~azoez% plh lor` eajopdaiz orh jlazhi o ~rdard `xrdim plh didpdoedzopdai

    8Plop dz ?)>=?8>:>?

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    47/242

    :)2 Khkart Zparomh oi` Rhprdhwoe ::

    ag plh khkart) Plh khkart o``rhzzhz orh `dzprdbxph` roi`aket di plh o``rhzz z~ojh 2i

    oi` joiiap bh ka`dh` `xrdim iarkoe a~hropdai% h|jh~p gar plhdr jaiphip) ]dpl rhmor` paCoihrwo% plh zxbzhp ag plh o``rhzz z~ojh }dee bh `hiaph` oz I ag I% oi` o whjpar pa o lor`

    eajopdai oz |% rhz~hjpdwhet) Plxz% hwhrt lor` eajopdai | ojjaxipz gar o zkoee ~arpdai ag I)O roi`akdzh rhoeeajopdai oemardplk gar `tiokdj aiedih oeeajopdai oi` o`fxzpkhip ag khk+

    art rhzaxrjhz }ldjl hedkdiophz plh ihh` gar jlaazdim plh Z@K zdvh oi` zprxjpxrh o ~rdard dzxzh` di pldz }arc) Plh `tiokdj oeeajopdai oemardplk bt Ropdpjl oi` ^rhjx~ ,2>>0 zporpz}dpl oi hk~pt khkart% oi` eajopdaiz orh o``h` bozh` ai plh abzhrwh` `opo) Ih} eajopdaizorh oeeajoph` roi`aket di plh ihdmlbaxrlaa` ag o eajopdai }lhi plhrh dz o ih} `opxk }ldjljoiiap bh zparh` di plh h|dzpdim aihz oitkarh) Pldz o~~raojl dz xzh` di pldz }arc oi }deebh h|~eodih` di karh `hpode di Zhjpdai :)8): oi` 8)?)?)

    Di jaiwhipdaioe khkardhz% o `opxk dz zparh` dipa o zdimeh khkart eajopdai) Di Coihrwozpt~h ag khkart% koit lor` eajopdaiz ~orpdjd~oph di zpardim oi` rhprdhwdim hojl `opxk)Ojjar`dimet% o zdimeh lor` eajopdai dz diwaewh` di plh zparomh oi` rhprdhwoe ag koit `opo

    dphkz) Pldz dz }lop kochz o iarkoe khkart o `dzprdbxph` khkart)Plh Z@K ozzajdophz p}a bdiort whjparz | oi` t bt ~rafhjpdim | dipa o whrt ldml+`dkhizdaioe

    diphrkh`doph }ar`+edih whjpar x% oi` plhi ozzajdopdim | x oi` x t) Plraxml dpz oioeamt}dpl o jaiwhipdaioe jak~xphr roi`ak ojjhzz khkart% plh ozzajdopdai ag | x dz o cdi` ago``rhzz `hja`hr khkart% oi` plh ozzajdopdai ag x t `h~djpz plh `opo khkart)

    Plh Z@K dz o ghh`+gar}or` ozzajdopdwh khkart orjldphjpxrh plop loz p}a eothrz ag di~xpjahjdhipz ar }hdmlpz plop orh rh~rhzhiph` bt plh koprdjhz O oi` J) Plh koprd| O dzjaizpoip% oi` plh koprd| J dz wordobeh) Plh ra}z ag koprd| O orh diphr~rhph` oz o roi`akzok~eh ag plh lor`+o``rhzz z~ojh% oi` plh ra}z ag J orh diphr~rhph` oz plh jaiphipz ag plazhkhkart eajopdaiz)

    :)2)?) Zparomh

    Ojjar`dim pa plh obawh+khipdaih` oioeamt% o }rdph ~rajhzz jaizdzpz ag ozzajdopdim o whjpar| pa o whjpar x% oi` plhi ozzajdopdim plh whjpar x pa o whjpar t) O `opxk dz }rdpphi pa plhkhkart op oee plazh lor` eajopdaiz plop edh zxjdhipet jeazh pa plh di~xp o``rhzz whjpar |)

    Di plh didpdoe Z@K ~ra~azoe% oee lor` eajopdaiz jaizdzp ag o zhp ag diphmhr jaxiphrz ploporh didpdoeet zhp pa vhra% za ia digarkopdai dz zparh ) @xrdim plh }rdph ~rajhzz oi ojjhzzro`dxz ,r ; : di Gdmxrh :)0 dz xzh` pa zhehjp plh lor` eajopdaiz jeazhzp pa plh di~xp jxh)Plh Lokkdim `dzpoijh `,|% | bhp}hhi plh di~xp o``rhzz | oi` o lor` eajopdai | kxzp bhehzz ar hqxoe ploi r) Hojl jaxiphr ag plh zhp ag ojpdwh lor` eajopdaiz ,zlo`h` ra}z di Gdmxrh:)0 }dee bh x~`oph` bt o``dim o ? dg plh jarrhz~ai`dim ~azdpdai ag plh di~xp `opo whjpar

    jaipodiz o ? oi` zxbprojpdim ? grak hojl jaxiphr dg plh jarrhz~ai`dim ~azdpdai di plh di~xp`opo whjpar jaipodiz o >) La}hwhr% oiaplhr zparomh khjloidzk dz pa rh~eojh plh jaiphipz ago whjpar dizpho` ag xzdim `h+ oi` dijrhozdim jaxiphrz)

    Oi di~xp ~opphri dz zparh` dipa rhmdaiz ag khkart }lhrh zdkdeor digarkopdai loz ~rhwdaxzetbhhi zparh`) Dg o }rdph a~hropdai dz rh~hoph` zhwhroe pdkhz% plh jaiphipz ag o ~orpdjxeoretlor` eajopdai }dee jaizdzp ag plh zxk ag oee ~rhwdaxz di~xpz) Ih} `opo }dee zdk~et bh o``h`pa plh h|dzpdim aih) Pldz kochz jehor plop hwhrt `opo ~opphri ~rhzhiph` pa oi Z@K }dee bhzparh % ae` ~opphriz orh iap rhkawh`) Ihwhrplhehzz% aiet edppeh digarkopdai ag o aijh+zparh`~orpdjxeor `opxk kot rhzd`h di o grhqxhipet ka`dh` lor` eajopdai)

    Plh ~rabobdedpt ag dijrhozdim ar `hjrhozdim o jaxiphr woexh dz hqxoe dg roi`ak bdiort`opo dz zparh` dipa plh khkart) Rhmor`ehzz ag la} koit ~opphriz orh zparh`% plh zpopdzpdjoe

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    48/242

    :0 Jlo~phr : O Z~orzh oi` @dzprdbxph` Khkart Ka`he

    Gdmxrh :)0)6 ]rdph o `opo+dphk dipa Z@K ,oxpaozzajdopdwh jozh6 ,o Plh di~xp o``rhzz~opphri | dz ~rhzhiph` pa plh khkart) ,b Eajopdaiz |d }dpl o Lokkdim `dzpoijh`,|% |d r ; : orh zhehjph` ,zlo`h` orhoz) Plh ojpdwopdai ro`dxz r dz zhp o ~rdard),j @opo ~opphriz ag plh zhehjph` eajopdaiz orh x~`oph` bt o``dim ? pa hojl jaxiphrdi plh orrot jarrhz~ai`dim pa ?% oi` zxbprojpdim ? grak hojl jaxiphr jarrhz~ai`dimpa > di plh di~xp `opo ~opphri)

    h|~hjpopdai ag hojl jaxiphr }dee bh ?2 ) Dg plh di~xp o``rhzz ~opphri dz `dhrhip grak plh di~xp`opo ~opphri% di plh zhizh plop plhdr ehimplz ar plhdr jaiphipz `dhr% plh Z@K dz joeeh` paa~hroph lhphraozzajdopdwhet) Di jozh ag d`hipdjoe di~xp o``rhzz oi` di~xp `opo ~opphriz% plh

    Z@K }arcz oz oi oxpaozzajdopdwh khkart)]lhrhoz o lhphraozzajdopdwh ka`h dz xzh` pa zparh ozzajdopdaiz aiet% oi oxpaozzajdopdwh

    ka`h dz xzh` pa jrhoph o jaiphip+o``rhzzobeh khkart% zpardim di`dwd`xoe dphkz plop joi bhrhprdhwh` }lhi mdwhi o ~orpdoe di~xp jxh) Bxp plhrh dz ia rhozai }lt oi oxpaozzajdopdwhka`h joiiap bh xzh` pa zparh ozzajdopdaiz bhp}hhi dphkz , Coloio% 2>>2) Dp joi bh zhhioz o z~hjdoe jozh ag plh lhphraozzajdopdwh ka`h }lhrh plh ixkbhr ag di~xpz dz hqxoe pa plhixkbhr ag axp~xpz)

    :)2)2) Rhprdhwoe

    Ojjar`dim pa plh obawh+khipdaih` oioeamt% o rho` ~rajhzz dz zdk~et plh ~rhzhipopdai ag o

    whjpar |% rhzxepdim di o }ar`+edih whjpar x% }ldjl dz plhi xzh` pa rho` o woexh t axp ag plh`opo khkart)

    ^rhzhipdim oi di~xp o``rhzz pa plh khkart }dee jaeehjp plh jaiphipz ag hojl jaxiphr ag plhlor` eajopdaiz }dpldi o jrdpdjoe `dzpoijh% plh ojpdwopdai z~lhrh% oi` rhjaizprxjp plh axp~xpwhjpar t bozh` ai o kofardpt rxeh) Di`hh % pldz kofardpt rxeh joi oerho`t bh gaxi` diplh rh`xi`oip lozldim o``rhzzdim khpla` ag Calaihi ,?4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    49/242

    :)2 Khkart Zparomh oi` Rhprdhwoe :8

    Gdmxrh :)8)6 Rhprdhwh o `opo dphk6 ,o Mdwhi oi i+hehkhip bdiort o``rhzz whjpar |) ,bZhehjp oee zparomh eajopdaiz |d }lazh o``rhzzhz edh }dpldi o Lokkdim `dzpoijh ag`,|% |d ; r ; 2) ,j O`` plh woexhz ag plhzh zhehjph` eajopdaiz di ~oroeehe ,d)h) whjparo``dpdai pa tdhe` o zxk whjpar zxk,| plop jaipodiz c zxkz) ,` Plrhzlae` plhzh czxkz op > pa abpodi plh `opo whjpar t }dpl td ; ? dgzxkd > oi` ? aplhr}dzh)

    bt ~aeedim plh jaiphipz ag oee zparomh eajopdaiz }dpl o Lokkdim `dzpoijh zkoeehr ar hqxoeploi r ; 2 oi` i`dim gar hojl bdp }lhplhr plh vhraz oi` aihz orh di kofardpt ,zhh Gdmxrh:)8) Plh zhehjpdai ag ojpdwh lor` eajopdaiz dz plh zokh oz di plh zparomh ~rajh`xrh% la}hwhr%

    plh jaxiphrz orh iap oephrh` `xrdim pldz ~rajh`xrh) Gdmxrh :)7 deexzprophz oi oephriopdwhrh~rhzhipopdai ai la} `opo dz zparh` dipa oi` rho` grak o khkart }dpl rhz~hjp pa plh ojjhzzro`dxz r)

    Wordaxz aplhr khpla`z pa ~aee `opo grak plh khkart orh oeza `hzjrdbh` di Coihrwo ,?4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    50/242

    :7 Jlo~phr : O Z~orzh oi` @dzprdbxph` Khkart Ka`he

    Di~xp o``rhzz R

    r

    Di~xp o``rhzz ]O``rhzz z~ojh I

    Lor` eajopdaiz I

    Gdmxrh :)7)6 Plh axphr jdrjeh rh~rhzhipz plh baxi`ort ag plh hipdrh khkart z~ojh I% hojl

    beojc `ap dz o ~ltzdjoeet h|dzpdim lor` eajopdai ag plh z~orzh rh~rhzhipopdai I ag plhkhkart z~ojh I) Plaxml plh prdmmhr jxhz ] oi` R kot iap jarrhz~ai` pa oit~ltzdjoe khkart eajopdai% plht }dee }rdph khkart jaiphipz dipa oi` rho` jaiphipzgrak zaxrraxi`dim lor` eajopdaiz }dpl rhz~hjp pa oi orbdprort ojjhzz ro`dxz r)

    `dzpoijh ag |% dp }dee gode pa jaiwhrmh)

    Ihwhrplhehzz% dphropdwh rho`dim }dpldi plh jrdpdjoe `dzpoijh }dee jaiwhrmh qxdph gozp pa ojehoi whrzdai ag plh bhzp+kopjl }ar ) Pldz rhprdhwoe ag plh pormhp ~opphri }dee iap }arc dgplh khkart dz zopxroph` ar dg koit oekazp d`hipdjoe ja~dhz ag o ~opphri lowh ~rhwdaxzet bhhizparh` ,Lhet% 2>>7) O gozp jaiwhrmhijh jaxe` di`djoph plh ~lhiakhiai ag cia}dim plop

    aih cia}z ar pd~ ag plh paimxh oi` loz bhhi `hzjrdbh` bt Coihrwo oz zheg+~ra~omopdimzhorjl)

    :)2)0) Jo~ojdpt

    Wordaxz zpx`dhz zxjl oz Coihrwo ,?4

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    51/242

  • 8/8/2019 Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory by

    52/242

    :< Jlo~phr : O Z~orzh oi` @dzprdbxph` Khkart Ka`he

    |?

    |2

    )))

    |i

    x?

    x2

    x:

    x0

    x8

    )))

    xk

    t?

    t2

    )))

    ti

    Ld``hi eothr,Zhehjph` eajopdaiz$

    Di~xp eothr,Rhghrhijh o``rhzz$

    Axp~xp eothr,@opo di~xp!axp~xp$

    Eajopdai o``rhzzhz%|h` }hdmlpz

    @opo jaxiphrz%wordobeh }hdmlpz

    Gdmxrh :)=)6 Zjlhkopdj `domrok ag oi Z@K oz o plrhh+eothr ghh`+gar}or` orpdjdoe ihxroeihp}arc ,OII) Gar o rhozaiobet eormh khkart% plhrh kdmlp bh ?>>> ia`hz di plh dioi` axp~xp eothr% ?>>>>>> di plh ld``hi eothr)

    oeaimzd`h plh plharhpdjoe ka`hez ag plh jhrhbheexk bt Korr ,?474 oi` Oebxz ,?4=? ozkhipdaih` di Zhjpdai 2):)0)? oi` 2):)0)2% oi` rh~rhzhipz plh bdaeamdjoe diz~dropdai gar plhZ@K ka`he)

    Coihrwo ,?4

  • 8/8/2019 Crossmodal Learning and Prediction of