bab6 model hopfield dan hoppensteadt

5/10/2018 Bab6 Model Hopfield Dan Hoppensteadt

1/79

8ab6

Model Hopfield danHoppensteadt6.1 Pendahuluan6.2 Model Hopfield-Tank6.3 Model Hoppensteadt6.4 Beberapa Tanggapan Umum mengenai Pencarian

dengan Metode Relaksasi (Relaxation Searches)6.5 Algoritma Belajar Mesin Boltzmann6.6 Tinjauan Pustaka

15 1


2/79

152 Pengantar Jaringan Neural

6.1 PendahuluanBab ini membahas dua pendekatan umum untuk jaringan besar. MenuHoppensteadt (1986), pendekatan pertama yaitu jaringan Hopfielddasarkan pada penentuan apakah suatu sel saraf melakukan 'penembak '(firing) atau tidak, sedangkan yang kedua lebih bergantung pada sinkro -isasi frekuensi 'penembakan'. Bagian pertama dari bab ini membahjaringan Hopfield serta menjelaskan bahwa jaringan ini tidak hanya dap tdigunakan sebagai memori asosiatif, tetapi dapat pula digunakan unmenyelesaikan masalah optimisasi. Suatu pembahasan mengenai kerangkerja konseptual baru untuk perhitunqan yang dikembangkan oleh Hopfledan Tank akan menyertai pengembangan teori memori asosiatif dan repr -sentasi infonnasi secara terdistribusi yang dibahas dalarn Bab 2. Meskipmateri yang dibahas bukan merupakan bahan mendasar untuk memaha imekanisme penyusun aplikasi yang akan dibahas selanjutnya, ulasan te -tang jaringan Hopfield ini bersama teori memori asosiatif akan sang tmembantu. Dalarn bab ini diberikan pula secara cukup terperinci dcontoh aplikasi jaringan Hopfield, yaitu solusi masalah penjual keliling (tr -veling salesman problem) dan masalah pengolahan citra. Diberikan ppengantar kepada usaha yang dilakukan untuk mengembangkan impleme -tasi optik dari jaringan Hopfield, Kemudian akan dibahas perbedaan pe -ting yang hams dibuat antara kompleksitas komputasional dan kompleksitpemrograman, yang dibahas dalam konteks solusi traveling salesmaproblem.Bagian selanjutnya dari bab ini membahas hasil karya Hoppenstea t

dalam pengendalian jaringan besar dengan sinkronisasi frekuensi 'pene -bakan'. Pendekatan pennukaan energi yang dirintis dalam jaringan Hopfiejuga diterapkan dalam jaringan Hoppensteadt. Secara khusus, Hoppe -steadt (1986) menunjukkan kemungkinan untuk mengasosiasikan suafungsi energi dengan penguncian fasa (phase-locking) dari suatu jaringosilator elektronik. Untuk itu diberikan pembahasan mengenai penguncifasa serta bagaimana penerapannya pada jaringan Hoppensteadt dalaneuron osilator terkontrol tegangan (voltage controlled oscillator neuro s. VCONs).Jaringan Hopfield menggunakan teknik relaksasi untuk melakukan pe -

carian dengan banyak batas (multiple-constraint search). Untuk itu dibe -


3/79

Model Hopjield dan Hoppensteadt 153

kan penjelasan umum mengenai search dengan metode relaksasi sertapembahasan penerapan simulated annealing pada jaringan Hopfield untukmenghindari konvergensi ke minimum loka!. Ini kemudian menuntun kepembahasan algoritma belajar pada mesin Boltzmann.

6.2 Model Hopfield- Tank6.2.1 Latar Belakang Biologis

Hopfield (1986) memperkenalkan suatu rangkaian yang terdiri dari neuron(model sel saraf) dengan model respons yang bertingkat dan tak linear, yangdisusun menjadi jaringan dengan hubungan sinapsis yang simetrik. Rang-kaian ini dapat diimplementasikan dengan komponen elektronik, dan me-mungkinkan penyelesaian dari masalah kompleks (seperti yang dijumpaidalam bidang biologi)tanpa harus mengikuti aspek dinamika rangkaian. Padadasarnya, sekumpulan penguat!ampli!ier (ciri-ciri rangkaian yang palingmendasar akan dibahas kemudian) menirukan sekumpulan neuron dengankepadatan tinggi. Hambatan (resistansi) dan kapasitansi digunakan untukmemodelkan hubungan antara sel-sel saraf {neuron}. Tujuan utama daripenelitian yang dilakukan ini adalah untuk mempelajari perubahan padahubungan antar neuron tersebut, dalam menirukan suatu sistem dinamik yangsederhana.Dalam pembahasan teoritis mula-mula, model neuron biologis dari Me-Culloch-Pitts dipandang sebagai elemen pengambil keputusan logika yang

dinyatakan sebagai variabel keadaan {state-variable} yang mempunyai duanilai. Elemen ini kemudian disusun dalam jaringan pengambil keputusanlogika yang dapat mengolah fungsi Boolean sederhana. Secara umum,model dari McCulloch-Pitts ini tidak mempunyai dua aspek penting darineuron/rangkaian neuron biologis, yaitu pengolahan secara analog dantingkat antarhubungan yang tinggi.Kita mengasumsikan bahwa arus masukan dari semua jalur ke tiap unit

dalam jaringan, berinteraksi secara sederhana dalam bentuk penjumlahanarus masukan. Bentuk interaksi yang lebih kompleks diabaikan. Penyeder-hanaan lain yang dilakukan adalah dengan hanya menangani peristiwa(event) sinapsis yang cepat; maksudnya adalah, pada saat suatu f1uktuasitegangan (potensial) terjadi pada ujung presinaptik dari suatu sinapsis


4/79


kimiawi, maka suatu perubahan konsentrasi neurotransmitter akan diiku(dengan sedikit terlambat) oleh timbulnya suatu arus pada sel berikutnyyang terhubung pada sinapsis tersebut (postsynaptic). Diasumsikan bahwketerlambatan ini jauh lebih kecil daripada konstanta waktu dari membraneuronnya. Karena itu, suatu perubahan potensial dalam sel j menimbulkasuatu perubahan konduktansi sesaat dalam sel postsinaptik i. Besamyperubahan konduktansi ini bergantung pada sifat dan kekuatan sinapsis dasel j ke sel i. Laju penembakan (firing rate) dari sel i dapat dinyatakadengan fungsi f i { u ; ) . Dalam pemodelan, dua variabel menyatakan keadaadari neuron i: potensial masukan efektif U i dan laju penembakan keluarafi(ui). Kekuatan arus sinapsis yang memasuki suatu neuron postsinaptik .yang ditimbulkan oleh suatu neuron presinaptik i adalah sebanding dengahasil kali antara keluaran sel presinaptik (f i(Ui)) dan kekuatan sinapsis dari Iike sel j (Ti)' Bentuk ini sangat mirip dengan aturan Hebb.

6.2.2 Implementasi Elektronik.Hopfteld (1985) memberikan beberapa ciri rangkaian elektronik yang dignakan untuk mengimplementasikan jaringan ini. Terdapat tiga sumber parlelisme yang inheren dalam sistem ini, yaitu: (1) jalur masukan paralcl, (jalur keluaran paralel; dan (3) tingkat antarhubungan yang tinggi antaneuron atau amplifier.Penguat (amplifier) yang digunakan untuk memodelkan neuron, me -

punyai hubungan masukan-keluaran yang sigmoid dan monotonik V ,gj(U,) , di mana Vi dan Uj masing-masing adalah tegangan keluaran dan t -gangan masukan. Konstanta waktu dari sel saraf tidak dimodelkan dengakonstanta waktu dari penguat (diabaikan) melainkan dengan suatu resistan imasukan spesifik Pi (terhubung ke suatu ground referensi) dan suatu kapa -tansi masukan c; Suatu sinapsis antar sel saraf didefinisikan oleh suakonduktansi Til (yang diimplementasikan dengan suatu resistansi bemil i1/ I Tu I) yang menghubungkan salah satu dari kedua keluaran penguat jmasukan dari penguat i (tiap penguat mempunyai dua keluaran, a + dan a ;untuk suatu sinapsis pembangkit/excitatory, keluaran diambil dari termin I+, sedangkan untuk sinapsis penghambat/inhibitory, keluaran diambil d .terminal - ). Dalam banyak kasus, masukan ke suatu sel saraf berasal d ikeluaran dari seluruh sellain dalam sistem, Untuk memodelkan sifat sel sar fyang melakukan perhitungan dengan fungsi nonlinear terhadap sejuml

I , I ,


5/79

Model Hopfield dan Hoppensteadt 155

besar masukan dengan dipengaruhi oleh tingkat aktivasinya sendiri, modelelektronik ini menyediakan suatu arus pembias I , untuk tiap sel saraf. Pada,dasarnya, ini semua memberikan tingkat umum eksitabilitas jaringan terse-but (Gambar 6.1).Persamaan-persamaan diferensial non-linear berikut ini menyatakan di-

namika dari suatu sistem dengan N neuron yang berinteraksi, dengan me-nunjukkan bagaimana variabel keadaan neuronal berubah menurut waktu dibawah pengaruh arus sinapsis,

du\' UC i -d ' = L T ij V ; - _.!. + t.,t j~1 R ,di mana

Di sini, R , adalah suatu kombinasi paralel dari resistansi masukan dan re-sistansi yang digunakan untuk memodelkan konektivitas sinapsis:1 1 .'1 1-=-+2:-.R , p, i~l R;

Jika untuk penyederhanaan diasumsikan nilai R, dan Cikonstan, dan jikasemua fungsi sigmoid g j adalah identik, maka persamaan geraknya menjadi:

du , 11 , ~- = - - + L.. T " V : + I "dt t J~ I

di manat = RedanVj = g(uJ }.Perlu diperhatikan bahwa untuk memudahkan, dilakukan redefinisi T;jC danIIC menjadi t;dan t;Jika nilai awal dari neuron (dalam hal ini, keadaan/state dan penguat)

diberikan, sistem persamaan ini mampu memodelkan sepenuhnya prosesevolusi kumpulan penguat tersebut terhadap waktu. Sifat biologisdasar yang


6/79


r~ = = = = = = = = ~ = I N = ' = = = = = = = = + = I N = 2 = = = 4 I m n.; =s=r=r.,

V 2. . . . . . . . . . .

V , v,

Keluaran t iap neuron dapat menjadi masukan ke neuron lainnya. Si fat pembangki t dan penghambat dari hu-bungan tersebut ditentukan dari terminal penguat yang menjadi masukan ke penguat lain, apakah terminal nor-mal atau terminal pembalik (invertinfilDari Hopf ield, "Comput ing with Neural Circuits: A Model. " Science, Vol. 233, 625-633. (c) 1986. Dicetak ulangseifin penerbit.

Gambar 6.1 Model rangkaian saraf dengan komponen elelctronik.

dipertahankan pada model ini meliputi: konsep neuron sebagai transdusemasukan ke keluaran dengan respons sigmoid yang mulus hingga suatingkat keluaran maksimum, perilaku integratif dari membran sel, sejumlabesar hubungan pembangkitan dan penghambatan, sifat umpan-balik dahubungan antar neuron, dan kemampuan untuk bekerja dengan neurodengan respons bertahap maupun neuron yang menghasilkan potensiaksi. Perlu diperhatikan bahwa model tersebut mempertahankan dua aspekomputasi yang penting, yaitu dinamika dan nonlinearitas.


7/79


6.2.3 Elemen Neural Nilai-Diskrit lawan Nilai-KontinuHopfield (1984) menunjukkan bahwa neuron dengan respons bertahapmerniliki sifat komputasional kolektif seperti pada neuron kondisi ganda(two-state). Semua sifat dari model neuron McCulloch-Pitts dipertahankandalam model analog; hal ini dapat dtlihat sebagai suatu maksud untukmenggunakan sistem neural analog untuk menangani masalah kombinato-rial. Jika sistem analog menggunakan rangkaian penguat operasional, resis-tor, dan kapasitor - misalkan untuk membangun suatu memori yang dapatdialamati berdasarkan isinya (content-addressable), model stokastik awaltetap lebih efisien untuk keperluan simulasi pada komputer digital.Kembali kepada jaringan yang dideskripsikan sebelumnya, mengguna-

kan neuron McCulloch-Pitts keadaan-ganda. Masukan total ke neuron iadalah

H i = L t; V J + t..I'"Tiap neuron mencuplik masukannya secara stokastik (dan independen tar-hadap semua neuron lainnya). Hal ini menghasilkan suatu modus operasiasinkron (keasinkronan dimaksudkan untuk merepresentasikan suatu kom-binasi antara waktu tunda pada propagasi, jitter, dan derau dalam sistemneural nyata). Aturan untuk perubahan keadaan (state) dalam sistem inidapat dinyatakan sebagai:

V i - V ? if L t: \ 'f + t, < Vij~i

- V/ if Ii j \ I i + I, > Vi,1'"

di mana U; adalah tingkat ambang (threshold) dan V P dan v t adalah keduakeadaan/state dari neuron McCulloch-Pitts.Selama sistem ini dikarakterisasi oleh sekumpulan keadaan stabil, sede-

mikian sehingga jika sistem diinisialisasi pada suatu posisi yang mendekatisalah satu keadaan tersebut sistem akan bergerak ke keadaan tersebut,maka sistem ini herfungsi sebagai suatu memori asosiatif/dapat dialamatiberdasarkan isinya. Dapat diperlihatkan bahwa aliran konvergen ke keada-


8/79


an-keadaan stabil pasti terjadi jika matriks konduktivitas sinapsis T bersifatsimetris dengan elemen diagonalnya nol. Misalkan suatu fungsi 'energi' :

Setiap perubahan dalam sebarang V i membawa akibat perubahan dalam E,sebagai berikut:

.1 = - [ I T, I V i + I, - u , ] . 1 \ 1 , .1-'Karena t1V i memiliki tanda (+/-) yang sarna dengan suku dalam kurung, t1 Esenantiasa negatif. Lebih jauh lagi, karena E dibatasi, iterasi secukupnyaakan menghasilkan keadaan-keadaan stabil.Untuk melihat bahwa kasus deterministik memiliki sifat yang sarna dalam

aliran ruang-kontinu seperti halnya kasus stokastik dalam aliran ruang-disk-rit, perhatikan fungsi energi berikut ini:

Turunannya terhadap waktu adalah:

dE = _ "'. dV,(" ~v _ Uj + I )dT ~ dt -;- II I R, I= _IcdVidui

I 'dt dt" _I' (dV,) l= - ~ C ,g , (V , ) dt .


9/79


Oi sini C, bemilai positif dan g jl(V) monotonik naik. Karena itu, dE/dt ~ O .dE/dt = 1 berakibat dV / dt = 0 untuk semua i.Karena itu, pergerakan yangterjadi mencari nilai minimum dari E dan berhenti pada titik tersebut.Terdapat suatu korespondensi yang sangat dekat antara keadaan stabil

pada model stokastik dan deterministik. Berikut ini diasumsikan beberapahal untuk kasus kontinu. Ambil V? < 0 < V f , maka nilai nol dari teganganuntuk tiap V i dipilih sedemikian sehingga g ; {O) = 0 untuk semua i.Diasumsi-kan bahwa untuk semua nilai i, terdapat asimptot pada +1 dan -1. Keduasuku pada fungsi energi untuk kasus kontinu akan dibahas terpisah.Karena E adalah suatu fungsi linear dari suatu V i tunggal sepanjang sisi

suatu kubus, maka nilai ekstrim energi untuk suku1E=--o;;' ....TVV2 L.. L.. ., '.: .. . /

untuk ruang diskrit V i = +1, -1 adalah sudut-sudut yang sama seperti nilaiekstrim energi untuk kasus kontinu V P < 0 < V 1 .Untuk mempelajari pengaruh kecuraman hubungan sigmoid antara rna-

sukan dan keluaran dalam hubungannya dengan keadaan stabil dari keduamodel tersebut, dilakukan penyesuaian skala sebagai berikut:

menjadi V i = g ;{ f"Uj)dan

menjadi

Suku kedua dalam E (kasus kontinu) sekarang menjadi:

1 1 f " "R g,-I(V) dV .J\ j I 0Jika V i mendekati +1 atau -1, nilai integral dalam rumus tersebut menjadi

sangat besar. Meskipun demikian, dalam kasus penguatan yang sangantinggi ( A . sangat besarl, pengaruh keseluruhan dari suku ini dapat diabaikan.Karena itu, nilai ekstrim hanya disebabkan oleh suku pertama. Demikian


10/79


pula, titik stabil untuk sistem kontinu-deterministik dengan penguatan sa-ngat tinggi berkorespondensi dengan titik stabil pada sistem stokastik. JikaJ l tidak mendekati tak-berhingga tetapi masih cukup besar, suku kedua inimenyebabkan permukaan energi memiliki nilai maksimLim pada sudut dannilai minimum yang sedikit bergeser ke arah bagian dalam dari suatuhypercube. Jika 1 menjadi semakin kectl, nilai minimum bergerak lebih kedalam (masih terdapat satu minimum yang berkorespondensi dengan tiapmaksimum). Jikal terus diperkecil, nilai minimum mulai menghilang karenamenyatu dengan suatu titik pelana (saddle point), hingga untuk c = 0 hanyaterdapat satu minimum pada Vi = o .

6.2.4 Konsep Energi Minimal: Motivasi di belakangDinamika JaringanSuatu bentuk umum rangkaian dideskripsikan oleh nilai sinapsis Tij dan arusmasukan I; Keadaan/state dari sistem neuron dinyatakan oleh nilai keluar-an Vi (yaitu keluaran dari penguat yang digunakan untuk memodelkan suatuneuron). Dalam suatu ruang geometris dengan sumbu kartesian untuk tiapkeluaran neuron, keadaan sesaat dinyatakan oleh suatu titik. Untuk suaturangkaian dengan nilai hubungan sinapsis sebarang, trayektori (ialurgerak}dari titik ini dapat sangat kompleks. Suatu rangkaian simetris didefinisikanmemiliki kekuatan/bobot serta tanda (+/-, pembangkit atau penghambat)sinapsis pada hubungan antara neuron i ke j yang sarna dengan padahubungan antara neuron j ke i. Sifat simetri dari hubungan tersebut meng-hasilkan suatu teorema tentang perilaku sistem, yang menunjukkan bahwasuatu besaran matematis E , yang dapat dipandang sebagai energi komputa-sional, mengalami penurunan selama perubahan keadaan neuron terhadapwaktu dan dinyatakan dengan persamaan sebelumnya. Energi ini adalahsuatu besaran global yang tidak hanya dialami oleh suatu neuron tunggal,dan dapat digunakan untuk memahami mengapa sistem berperi-laku sede-mikian. Konsep besaran ini mempunyai kemiripan dengan konsep entropidalam gas sederhana.Karena secara urnum E diminimisasi sejalan dengan perhitungan yang

dilakukan rangkaian, dinamika sistem menghasilkan suatu jalur dalamruang, yang cenderung meminimisasi- energi dan dengan demikian jugameminimisasi fungsi harga (cost-function) . Suatu saat, suatu konfigurasi ke-adaan stabil yang berkorespondensi dengan suatu minimum lokal dari fungsi


11/79


E, akan tercapai. Solusi permasalahan kemudian didekodekan dari konfigu-ras ini. Dalam kasus penguatan-tinggi (high-gain) yaitu di mana hubungansigmoid masukan-keluaran sangat curam, fungsi energinya adalah:

1 'E = - - I T . . , v ; V j - I f / V i.2 I., i

6.2.5 Penerapan Jaringan Hopfield: Masalah Penjual Keliling(Traveling Salesman Problem - TSP)Hopfield (1985, 1986) menggunakan jaringan neural dan prinsip minimis-asi energi yang berhubungan dengan jaringan tersebut - sehagaimanadiberikan sebelumnya - untuk menghasilkan suatu solusi bagi masalahpenjual keliling 'NP-Iengkap'. Masalah tersehut adalah sebagai berikut: suatuhimpunan yang terdiri dari n kota A, B, C, memiliki nilai yang menyatakanjarak pemisah antara dua kota dAB , dA c, ... , dec, .... Tujuan pemecahanmasalah adalah untuk mencari jalur/rute tertutup yang terpendek yangmelalui tiap kota hanya satu kali dan akhimya kembali ke kota tempat ruteterse but dimulai. Masalah ini kemudian dipetakan pada jaringan neuralsebagai berikut. .Suatu vektor baris dengan panjang n digunakan untuk menunjukkan

letak dari suatu kota tertentu selama perjalanan. Jadi, jika kota x adalah kotaketiga dalam perjalanan tersebut, maka en try ketiga dalam vektor tersebutbernilai 1 sedangkan yang lainnya bernilai O. Dengan demikian, tiap kotamemiliki satu vektor baris sendiri. Jika digabungkan, kita peroleh suatumatriks berukuran n * n, sehingga masalah penjual keliling dengan n kota inijika dipetakan ke jaringan neural akan memerlukan n2 neuron. Perlu diper-hatikan bahwa sebarang matriks permutasi merepresentasikan suatu per-jalanan melalui kota-kota tersebut (satu-satunya persyaratan untuk suatuperjalanan, jika dipandang dari -entry matriks tersehut, adalah bahwa tiapbaris dan tiap kolom harus berisi satu dan hanya satu entry 1 dan entrylainnya harus 0).Setiap matriks dari sejumlah n 1 permutasi matriks berkorespondensi

dengan suatu trayek perjalanan yang dapat dilakukan, di mana terdapatbeberapa yang mempunyai jarak yang sarna. Terdapat n1/2n jalur yangberbeda (distinct) untuk rute tertutup dari masalah penjual keliling ini.Dalam pembahasan berikut, digunakan simbol dengan bentuk VX,j di mana


12/79

16 2 Pengantar Jaringan Neural

X adalah nama kota dan j adalah posisi kota tersebut dalam perjalanan yangdilakukan.Pertimbangan berikut ini penting dalam menurunkan fungsi energi yang

akan diminimisasi dalam perhitungan. Keadaan (state) yang merepresenta-sikan matriks permutasi harus stabil, 'Lebih jauh lagi, sejumlah n !/2n keada-an yang berkorespondensi dengan perjalanan terpendek harus merupakankeadaan yang 'disukai' (favored). Fungsi energi diminimisasi terhadap 2Ntitik-titik sudut dari hypercube berdimensi N yang didefinisikan oleh tiap Vi= 0 atau 1. Jika fungsi terse but mempunyai bentuk sebagai berikut:

A BE=-"" "v,v,+-"" "v:.v:2 f -;:-;:;.I XI 2 ~ f x : y X.I X.I

di manaA, B, C> 0;

maka, masing-masing suku dari keempat suku dalam ekspresi untuk E diatas mempunyai arti fisis Iangsung:1. Suku pertama bemilai 0 jika dan hanya jika tiap baris berisl tidak

lebih dari satu entry 1.2. Suku kedua bemilai 0 jika dan hanya jika tiap kolom berisi tidak

lebih dari satu en try 1.Perhatikan bahwa kedua kondisi di atas mendefinisikan suatu matriks per-mutasi.3. Suku ketiga bemilai 0 jika dan hanya jika terdapat n buah entry

bemilai 1 dalam seluruh matriks.4. Suku keempat diminimisasi jika jarak tempuh dalam perjalanantersebut diminimisasi.Dengan menggabungkan hal-hal di atas, clapat dilihat bahwa jika A, B,

dan C memiliki nilai cukup besar, keadaan berenergi rendah (low-energystates) dari suatu jaringan akan membentuk suatu perjalanan yang val id.Energi total dari suatu keadaan yang valid merupakan jarak tempuh dalam


13/79


perjalanan tersebut, dan keadaan dengan jalur terpendek adalah keadaandengan tingkat energiterendah.Konektivitas sinapsis sekarang dapat dinyatakan dalam pengerlian fungsi

energi, sebagai berikut:TX i,Yj = -AOxy{-o i ) hubungan penghambat dalam suatu

barishubungan penghambat dalam suatukolom

= -C penghambatan secara keseluruhan= -DdxY{O"1+0 '1) suku data,,1+ ),1

di manaOij bemilai 1 jika i = j, selain itu bemilai O.

Akhimya, arus pembias masukan diberikan oleh hubungan:IXi = Cn.Perlu pula diperlimbangkan keuntungan yang diperoleh dengan beralih

dari model neuron diskrit McCulloch-Pitts kepada fungsi masukan-keluaransigmoid. Suatu pengamatan yang dilakukan terhadap keadaan dari n2neuron tersebut pada suatu waktu sebarang, tidak perlu menghasilkan suatumatriks permutasi. Sebagaimana dijelaskan oleh Hopfield (1985), domainsebenamya dan fungsi jarinqan tersebut adalah seluruh hypercube (ter-masuk interior dan bukan hanya titik sudut). Jika fungsi tersebut tidak beradapada salah satu titik sudut, terdapat paling tidak satu neuron yang nilaikeluarannya bukan 0 atau 1 melainkan suatu nilai di antaranya. Neurondengan keadaan tak jelas ini menunjukkan kemungkinan dari suatu kotauntuk berada pada suatu posisi tertentu dalam perjalanan yang dilakukan.Karena itu, jika neuron (2,3) dan (2,6) memiliki keluaran di antara 0 dan 1,maka sistem tersebut secara simultan membuat anggapan untuk kemung-kinan kota ke-2 dikunjungi pada posisi ke-3 atau ke-6. Adanya pertim-bangan beberapa rute perjalanan secara simultan ini membuat sistemterse but efisien. Proses pengambilan keputusan ini berisl suatu pergerakanyang mulus dan suatu titik awal dalam interior hypercube berdimensi n


14/79


tersebut ke suatu titik yang cukup dekat dengan suatu titik sudut darihypercube tersebut, cukup dekat untuk diidentifikasikan ke titik suduttersebut. Pada sebarang titik interior {dimana konsep dari suatu perjalanantidak terdefinisi), paling tidak satu kota dapat berada dalam lebih dari satuposisi dalam perjalanan tersebut dengan kemungkinan yang berbeda-beda.Pembahasan yang lebih lengkap mengenai penggunaan neuron respons-bertahap lawan neuron dwikeadaan diberikan dalam Sub-bab 6.2.4.Perlu disebutkan pula beberapa karya dart Platt (1987) dalam bidang

optimisasi diferensial berkendala (constrained). Kriteria ekstemal kadang-kadang membatasi ruang keluaran yang clapat diterima dalam masalahoptirnisasi. Karena itu, versi tanpa batasan kendala (unconstrained) darimasalah penjual keliling ini bertujuan agar jarak tempuh total diminimisasi.Batasan yang terdapat dalam versi yang kita bahas adalah bahwa si penjualhanya sekali saja mengunjungi tiap kota. Secara umum, masalah optimisasiberkendala clapat dinyatakan sebagai berikut: minimisasi f{x) dengan g{x ) =o di mana x menyatakan keadaan dari jaringan neural. Evolusidari keadaanjaringan selama optimisasi berkendala ini hams sedemikian sehingga keada-an tersebut ditarik ke sub-ruang (subspace) kendala, dan kemudian bergerakmenyusurinya hingga sampai pada suatu nilai terendah lokal dari fungsi f.Pendekatan konvensional terhadap optimisasi berkendala meJiputi me-

tode hukuman (penalty) dan metode pengali Lagrange. Kedua metode inimengubah suatu masalah berkenclala menjadi masalah tanpa kendala.Dalam metoda pertama, bentuk tanpa kendala adalah sebagai berikut:

Jika c menjadi sangat besar, metode ini akan menghasilkan konvergensisecara global ke minimum yang diinginkan dari fungsi f. Dalam metodepengaJi Lagrange, perhatikan hubungan:

Di sini, suatu solusi dari fungsi mula-mula merupakan suatu titik kritis dariSlagrange.Metode yang disarankan oleh Platt (1987) yaitu metode pengaJi diferen-

sial dasar (Basic Differential Multiplier Method - BDMM) merupakansuatu altematif hagi penurunan gradien diferensial yang mengestimasi pengali


15/79


Lagrange. Teknik penurunan gradien (gradient descent) jika diterapkanpada Clagrange akan menghasilkan:, B e I.~r'n.., ~f 5gX,=- , =---A-,-ox, 5Xi DXi

x = - 8ela~r.n. = _a(x)8A o .Sayang sekali bahwa karena suatu titik kritis dari Clagrange tidak harus merupa-kan suatu penarik {attractor} bagi sistem ini, teknik penurunan gradien tidakdapat digunakan dengan pengali Lagrange. Meskipun demikian, suatu per-ubahan sederhana yang mengijinkan penaikan gradien pada A menjaminbahwa titik kritis dari lagrange merupakan attractor dari persamaan diferen-sial berikut (yang juga menyelesaikan masalah optimisasi berkendala yangmula-mula);

. i f 8~x;=---A"-iix, ()X,

Persamaan ini merupakan penyusun dari BDMM. Untuk melihat bahwasistem ini sebenamya mengalami osilasi teredam, persamaan diferensialtersebut digabungkan sehingga diperoleh:

( l/f lj2a ) 8gx"+~ ---+A--O-x'+o-=O.I ~........ ...... I 0I ox, ox, ox, ox, 5x,

Matriks redaman dalam sistem ini adalah:

Tanpa perlu melalui penjelasan secara lebih mendetail, dapat diperlihatkanbahwa BDMM senantiasa konvergen jika masalah optimisasi berkendalaterse but mempunyai suatu fungsi kuadrat I , dan fungsi kendala g merupakan


16/79


suatu fungsi piecewise linear yang kontinu. Hal ini telah memunculkannama quadratic programming. .BDMM telah digunakan untuk menemukan solusi yang memuaskan

untuk masalah penjual kelilingyang planar (dua dimensi). Elemen dart suatukurva 'ular' yang telah didiskritkan adalah titik (X i, V i ) pada suatu bidang.Tujuan yang akan dicapai adalah untuk.:

minimize L (X,_I - xy - (1',.1 - VI)~. -dengan batasan

Di sini (x,y * ) adalah koordinat kota dan (xc,Yc) adalah titik pada kurva 'ular'yang paling dekat dengan kota tersebut. Hal yang penting diperhatikan adalahbahwa ini merupakan suatu program kuadratis, dan dengan demikianBDMMdapat diterapkan dengan efektif.Masalah penjual kelilingmerupakan suatu contoh yang balk untuk meng-

gambarkan penggunaan teknik jartngan neural untuk memecahkan masalahoptimisasi yang sulit. Dalam hal tertentu dart masalah ini, perlu diingatbahwa terdapat heuristik yang sangat baik yang melampaui kinerja dartjaringan neural. Sebaga i contoh adalah hal di mana kota dalam masalah inimengikuti suatu ketidaksamaan segitiga, yaitu di mana jarak langsung antaradua kota sebarang lebih kecil dart jarak antara keduanya tetapi melalui suatukota ketiga. Masalah ini dapat dipandang sebagai suatu graph di mana kotaterse but merupakan titik ujung (vertex) dan jalur penghubung titik tersebutdibertkan nilai jarak antar kota. Terdapat algorttma polinomial waktu (poly-nomial time algorithm) untuk menemukan suatu spanning tree minimumdart graph tersebut (dalam istilah teart graph, suatu spanning tree dansuatu graph adalah suatu subgraph yang memiliki semua titik vertex dartgraph asalnya serta jalur penghubung (edge) secukupnya sedemikian se-hingga semua titik terse but terhubung dan hanya ada satu jalur di antarasepasang titik sebarang). Heurtstik yang dianjurkan untuk mengubah suatuspanning tree minimum menjadi suatu solusi yang memuaskan untuk.masalah penjuaJ keliling ini meliputi pengunjungan semua kota denganmerunut dua kali sekeliling tree tersebut dan menggunakan beberapa jalanpintas yang dimungkinkan oleh ketidaksamaan segitiga tersebut untuk mem-


17/79


peroleh suatu trayek perjalanan yang tidak lebih panjang dari dua kali daritrayek yang diberikan oleh suatu solusi optimal untuk masalah ini. Heuristikini telah diperbaiki dengan pemakaian teknik pencocokan (matching) olehChristofides, dan dengan trayek Euler, sehingga menghasilkan suatu trayekyang tidak lebih panjang dari 1.5 kali yang diberikan oleh solusi optimal.Hasil karya Garey (1979) dapat digunakan untuk bahan penjelasan lebihlanjut untuk hal ini dan heuristik-heuristik lainnya.

6.2.6 Penerapan Jaringan Hopfield - Masalah Pengolahan CitraKoch (1986) mempelajari kemungkinan penerapan jaringan Hopfield untukmasalah dalam pengolahan citra. Penghitungan kedalaman dari citra stereo-skopik, rekonstruksi dan penghalusan citra dari data yang tidak lengkap, danpenghitungan pergerakan adalah masalah dalam pengolahan citra yangdapat diselesaikan dengan menggunakan teori regularisasi standard. Teknikini menyelesaikan masalah terse but dalam bentuk fungsi energi kuadratisyang harus diminimisasi. Suatu contoh masalah yang sesuai dengan met odeini adalah rekonstruksi permukaan yang halus (smooth surface reconstruc-tion). Umumnya nilai kedalaman dari suatu obyek hanya diberikan pada titiktertentu (secara altematif, dapat pula diketahui nilai kedalaman dalam jum-lah yang cukup, namun datanya sendiri penuh dengan derau). Padadasarnya, permukaan dari obyek harus diinterpolasi di antara titik yang tidakdiperoleh datanya. Ini berhubungan dengan tugas untuk menemukan suatupermukaan yang 'paling cocok' antara titik tersebut. Energi atau fungsibiaya yang akan diminimisasi E(j) yang diturunkan dari masalah invers,Bf = d + n

di manad = data,n = derau (noise), danB = operator linear

diberikan olehE(j) = II Bf - d I 1 2 + a I ISfi 1 2 .


18/79


B dan d diketahui, sedangkan j akan dihitung. Suku pertama dalarn Emenunjukkan jarak dari solusi ke data, dan suku kedua berkorespondensdengan suatu peregu]arisasi yang diperlukan untuk membuat masaJah tersebuteratur dengan baik. Untuk interpolasi perrnukaan, B adalah suatu matridiagonal yang elemennya sarna dengan 1 pada lokasi dl mana kedalamdiketahui, selain itu O. Koch (1986) menunjukkan bahwa E dapat diredefinisikan sebagai:

1L(V} = - LTil v, V ; + 2 : ViIi.2 i.1 iRedefinisi ini membutuhkan penggantian:T dengan 2(BTB + c x . S T S ) ,V dengan i.t, dengan -2BTd,

dan pembuangan suku konstan dTd. (simbol ini memiliki am yang samdengan artinya daJam solusi jaringan saraf untuk masalah penjual keliling).Tiap neuron di-ground dengan suatu susunan paralel resistansi dan kapasitansi. Ekspresi untuk L dapat diartikan sebagai funqsi lyapunov dari jaringan tersebut. Perubahan potensial diberikan oleh:

c. dV ; = _ aLI dt a V ; "

Prinsip variasional kuadratis yang dapat dinyatakan dalam bentuk sebagaimana E(f}dinyatakan di atas dan dapat diselesaikan dengan suatu jaringan elektronik yang sesuai, di mana hubungan dapat diimplementasikadengan resistansi ohmik linear dan data direpresentasikan dengan arus yangdiinjeksikan.Teori regularisasi standard hanya dapat diterapkan pada fungsi energi

yang konveks. Dengan demikian, cara yang dijelaskan di atas tidak dapadigunakan jika terdapat diskontinuitas (metoda interpolasi permukaan yangdigunakan dalarn rekonstruksi permukaan halus tidak dapat berfungsi jikterdapat ketidak-kontinuan). Koch (1986) memberikan suatu perluasan dari


19/79


teknik Hopfield dalam bentuk proses-proses garis (line processes). Gagasandari proses ini adalah sebagai berikut. Untuk rekonstruksi perrnukaan,sebagai contoh, dua field acak Markov yang bergandengan (coupled) digu-nakan untuk memodelkan perrnukaan. Salah satunya adalah suatu fieldbemilai kontinu yang berkorespondensi dengan kedalaman fi pada lokasi i.Yang lainnya adalah suatu field biner (proses garis) yang variabelnya (terletakpada tempat di antara kisi-kisi kedalaman/depth lattice) menunjukkanapakah terdapat suatu diskontinuitas di antara dua kisi-kisi kedalaman atautidak. Teori Bayes memperlihatkan bahwa perkiraan terbaik untuk permu-kaan tersebut berkorespondensi dengan minimisasi global dari suatu fungsienergi yang bentuk satu dimensinya diberikan oleh hubungan:

Ei], h) :; L (j, - !Y(1 - h,) + Co L (I, - d,)~ + CL L h,, "di mana hi adalah proses garis biner.Faktor h i ini memasukkan minimum lokal ke dalam fungsi energi danmenyebabkan fungsi tersebut tidak kuadratis. Mengikuti Hopfield (1984),Koch (1986) memetakan proses garis biner tersebut kepada variabel kon-tinu yang dibatasi antara 0 dan 1. Fungsi energi yang dihasilkan terrninimis-asi pada titik sudut dari hypercube (meskipun fungsi energi tersebutmengandung suku-suku berderajat tiga).

6.2.7 Reduksi Fenomena Pergetaran dalam Jaringan HopjieldDi atas telah kita bahas implementasi elektronik suatu jaringan neural olehHopfield dan Tank. Cukup menarik pula untuk memperhatikan bagaimanapara peneliti menangani hal-hal praktis yang muncul dalam implementasimodel tersebut. Sebagai contoh, masalah dunia nyata banyak berurusandengan angka, sehingga harus ada cara untuk menyatakan angka-angkadalam suatu jaringan neural (hal ini akan dibahas dalam sub-bab berikut).Contoh lain diberikan oleh Takeda (1986) yang menunjukkan bahwadalam model waktu-diskrit yang mereka pergunakan timbul perilaku per-getaran (oscillatory) jika Tiitidak nol. Hal ini dapat menghalangi konver-gensi ke arah minimum dalam ruang-keadaan. Mereka menggunakan em-pat modus transisi waktu-diskrit dalam upaya mengurangi osilasi ini (lihatGambar 6.2).


20/79


r - - - - - - - - - - - - - - - - - ~ ~ ~ - - - - - - - - - - - - - - - - - - ~.____.j 5W.~-----~;___j sw.

v .

V i dan Vimasing-masing adalah potensial masukan dan potensial keluaran. J ; adalah arus pembias. Pola penutupan saklar-saklar SWi menentukan modus transisi yang digunakan dalam model .Diambi l dari Takeda, "Neural Networks for Computat ion: Number Representat ions and Programming Complexity," Applied Optics, 25, No. 18, 3033-3046. (c) 1986 American Institute of Physics. Dicetak uJang sei jin penerb .

Gambar 6.2 Suatu Model Jaringan Neural

Modus Transisi Sinkron Langsung. Saklar SW terhubung secara si -kron sehingga menyebabkan transisi simultan pada waktu diskrit k. Suafungsi nonlinear kontinu g(x) memungkinkan neuron mempunyai nilaiantara 0 dan 1.

.\"U, (k) = L T " V,(k) + I,

I~l

V;(k+ 1) = g[U;(k)] .Modus Transisi Sinkron Diferensial. Transisi terjadi secara sinkro ,tetapi dalam hal ini diatur oleh persamaan perbedaan (difference equctic ).Implikasi bagi perangkat keras untuk metode ini adalah perlunya suatu Imemori untuk tiap neuron, untuk menyimpan masukan sebelumnya.


21/79


. . . .U ,(k) - U ,(k - 1) = L T ,; \ I ;(k) + I,}=IVj(k+ 1) = g[U;(k)].

Modus Transisi Asinkron Langsung (Penundaan Acak). Satu-satunyaperbedaan antara modus ini dengan modus transisi sinkron langsung adalahbahwa dalam modus ini saklar terhubung dan terputus (on dan off) secaraasinkron (yaitu dengan penundaan acak).

"U ,(k - .It,) = L T. , \I ;(k - ~t,) + l,,- IV,(k - .It, + E} = g [ l',(k - .I t,)] ,

di manaM = penyimpangan yang ditimbulkan oleh waktu tunda (kurang darisatu siklus clock) , dane = konstanta positif yang kecil,

Di sini suatu neuron tertentu tidak periu menunggu neuron lainnya diperba-harui sebelum melakukan pembaharuan terhadap dirinya sendiri. Suatuneuron juga dapat memanfaatkan informasi mengenai keadaan yang barudart neuron lain yang telah memperbaharui keadaan masing-masing.Modus Transisi Asinkron Diferensial (Penundaan Acak). Ini adalahversi asinkron dati modus transisi sinkron diferensial .

.1U,(k - .It,) - U,(k - .It, - 1) - = L T ,J \tj(k - .It,) + I,

/=1

V ;(k - .li, + f) - = g [U i(k - .li,) - U ,(k - .It, - 1)].Oalam kasus di mana T tidak nol, metode-metode sinkron tidak mem-

berikan solusi untuk masalah osilasi. Karena itu, suatu pilihan yang sesuaiharus bergantung pada aplikasinya dan harus disusun (secara ideal) datimodus transisi asinkron langsung maupun diferensial.


22/79


6.1 PendahuluanBab ini membahas dua pendekatan umum untuk jaringan besar. MenuHoppensteadt (1986), pendekatan pertama yaitu jaringan Hopfielddasarkan pada penentuan apakah suatu sel saraf melakukan 'penembak '(firing) atau tidak, sedangkan yang kedua lebih bergantung pada sinkro -isasi frekuensi 'penembakan'. Bagian pertama dari bab ini membahjaringan Hopfield serta menjelaskan bahwa jaringan ini tidak hanya dap tdigunakan sebagai memori asosiatif, tetapi dapat pula digunakan unmenyelesaikan masalah optimisasi. Suatu pembahasan mengenai kerangkerja konseptual baru untuk perhitunqan yang dikembangkan oleh Hopfledan Tank akan menyertai pengembangan teori memori asosiatif dan repr -sentasi infonnasi secara terdistribusi yang dibahas dalarn Bab 2. Meskipmateri yang dibahas bukan merupakan bahan mendasar untuk memaha imekanisme penyusun aplikasi yang akan dibahas selanjutnya, ulasan te -tang jaringan Hopfield ini bersama teori memori asosiatif akan sang tmembantu. Dalarn bab ini diberikan pula secara cukup terperinci dcontoh aplikasi jaringan Hopfield, yaitu solusi masalah penjual keliling (tr -veling salesman problem) dan masalah pengolahan citra. Diberikan ppengantar kepada usaha yang dilakukan untuk mengembangkan impleme -tasi optik dari jaringan Hopfield, Kemudian akan dibahas perbedaan pe -ting yang hams dibuat antara kompleksitas komputasional dan kompleksitpemrograman, yang dibahas dalam konteks solusi traveling salesmaproblem.Bagian selanjutnya dari bab ini membahas hasil karya Hoppenstea t

dalam pengendalian jaringan besar dengan sinkronisasi frekuensi 'pene -bakan'. Pendekatan pennukaan energi yang dirintis dalam jaringan Hopfiejuga diterapkan dalam jaringan Hoppensteadt. Secara khusus, Hoppe -steadt (1986) menunjukkan kemungkinan untuk mengasosiasikan suafungsi energi dengan penguncian fasa (phase-locking) dari suatu jaringosilator elektronik. Untuk itu diberikan pembahasan mengenai penguncifasa serta bagaimana penerapannya pada jaringan Hoppensteadt dalaneuron osilator terkontrol tegangan (voltage controlled oscillator neuro s. VCONs).Jaringan Hopfield menggunakan teknik relaksasi untuk melakukan pe -

carian dengan banyak batas (multiple-constraint search). Untuk itu dibe -


23/79


kan penjelasan umum mengenai search dengan metode relaksasi sertapembahasan penerapan simulated annealing pada jaringan Hopfield untukmenghindari konvergensi ke minimum loka!. Ini kemudian menuntun kepembahasan algoritma belajar pada mesin Boltzmann.

6.2 Model Hopfield- Tank6.2.1 Latar Belakang Biologis

Hopfield (1986) memperkenalkan suatu rangkaian yang terdiri dari neuron(model sel saraf) dengan model respons yang bertingkat dan tak linear, yangdisusun menjadi jaringan dengan hubungan sinapsis yang simetrik. Rang-kaian ini dapat diimplementasikan dengan komponen elektronik, dan me-mungkinkan penyelesaian dari masalah kompleks (seperti yang dijumpaidalam bidang biologi)tanpa harus mengikuti aspek dinamika rangkaian. Padadasarnya, sekumpulan penguat!ampli!ier (ciri-ciri rangkaian yang palingmendasar akan dibahas kemudian) menirukan sekumpulan neuron dengankepadatan tinggi. Hambatan (resistansi) dan kapasitansi digunakan untukmemodelkan hubungan antara sel-sel saraf {neuron}. Tujuan utama daripenelitian yang dilakukan ini adalah untuk mempelajari perubahan padahubungan antar neuron tersebut, dalam menirukan suatu sistem dinamik yangsederhana.Dalam pembahasan teoritis mula-mula, model neuron biologis dari Me-

Culloch-Pitts dipandang sebagai elemen pengambil keputusan logika yangdinyatakan sebagai variabel keadaan {state-variable} yang mempunyai duanilai. Elemen ini kemudian disusun dalam jaringan pengambil keputusanlogika yang dapat mengolah fungsi Boolean sederhana. Secara umum,model dari McCulloch-Pitts ini tidak mempunyai dua aspek penting darineuron/rangkaian neuron biologis, yaitu pengolahan secara analog dantingkat antarhubungan yang tinggi.Kita mengasumsikan bahwa arus masukan dari semua jalur ke tiap unitdalam jaringan, berinteraksi secara sederhana dalam bentuk penjumlahan

arus masukan. Bentuk interaksi yang lebih kompleks diabaikan. Penyeder-hanaan lain yang dilakukan adalah dengan hanya menangani peristiwa(event) sinapsis yang cepat; maksudnya adalah, pada saat suatu f1uktuasitegangan (potensial) terjadi pada ujung presinaptik dari suatu sinapsis


24/79


kimiawi, maka suatu perubahan konsentrasi neurotransmitter akan diiku(dengan sedikit terlambat) oleh timbulnya suatu arus pada sel berikutnyyang terhubung pada sinapsis tersebut (postsynaptic). Diasumsikan bahwketerlambatan ini jauh lebih kecil daripada konstanta waktu dari membraneuronnya. Karena itu, suatu perubahan potensial dalam sel j menimbulkasuatu perubahan konduktansi sesaat dalam sel postsinaptik i. Besamyperubahan konduktansi ini bergantung pada sifat dan kekuatan sinapsis dasel j ke sel i. Laju penembakan (firing rate) dari sel i dapat dinyatakadengan fungsi f i { u ; ) . Dalam pemodelan, dua variabel menyatakan keadaadari neuron i: potensial masukan efektif U i dan laju penembakan keluarafi(ui). Kekuatan arus sinapsis yang memasuki suatu neuron postsinaptik .yang ditimbulkan oleh suatu neuron presinaptik i adalah sebanding dengahasil kali antara keluaran sel presinaptik (f i(Ui)) dan kekuatan sinapsis dari Iike sel j (Ti)' Bentuk ini sangat mirip dengan aturan Hebb.

6.2.2 Implementasi Elektronik.Hopfteld (1985) memberikan beberapa ciri rangkaian elektronik yang dignakan untuk mengimplementasikan jaringan ini. Terdapat tiga sumber parlelisme yang inheren dalam sistem ini, yaitu: (1) jalur masukan paralcl, (jalur keluaran paralel; dan (3) tingkat antarhubungan yang tinggi antaneuron atau amplifier.Penguat (amplifier) yang digunakan untuk memodelkan neuron, me -

punyai hubungan masukan-keluaran yang sigmoid dan monotonik V ,gj(U,) , di mana Vi dan Uj masing-masing adalah tegangan keluaran dan t -gangan masukan. Konstanta waktu dari sel saraf tidak dimodelkan dengakonstanta waktu dari penguat (diabaikan) melainkan dengan suatu resistan imasukan spesifik Pi (terhubung ke suatu ground referensi) dan suatu kapa -tansi masukan c; Suatu sinapsis antar sel saraf didefinisikan oleh suakonduktansi Til (yang diimplementasikan dengan suatu resistansi bemil i1/ I Tu I) yang menghubungkan salah satu dari kedua keluaran penguat jmasukan dari penguat i (tiap penguat mempunyai dua keluaran, a + dan a ;untuk suatu sinapsis pembangkit/excitatory, keluaran diambil dari termin I+, sedangkan untuk sinapsis penghambat/inhibitory, keluaran diambil d .terminal - ). Dalam banyak kasus, masukan ke suatu sel saraf berasal d ikeluaran dari seluruh sellain dalam sistem, Untuk memodelkan sifat sel sar fyang melakukan perhitungan dengan fungsi nonlinear terhadap sejuml

I , I ,


25/79


besar masukan dengan dipengaruhi oleh tingkat aktivasinya sendiri, modelelektronik ini menyediakan suatu arus pembias I , untuk tiap sel saraf. Pada,dasarnya, ini semua memberikan tingkat umum eksitabilitas jaringan terse-but (Gambar 6.1).Persamaan-persamaan diferensial non-linear berikut ini menyatakan di-

namika dari suatu sistem dengan N neuron yang berinteraksi, dengan me-nunjukkan bagaimana variabel keadaan neuronal berubah menurut waktu dibawah pengaruh arus sinapsis,

du\' UC i -d ' = L T ij V ; - _.!. + t.,t j~1 R ,di mana

Di sini, R , adalah suatu kombinasi paralel dari resistansi masukan dan re-sistansi yang digunakan untuk memodelkan konektivitas sinapsis:

1 1 .'1 1-=-+2:-.R , p, i~l R;Jika untuk penyederhanaan diasumsikan nilai R, dan Cikonstan, dan jikasemua fungsi sigmoid g j adalah identik, maka persamaan geraknya menjadi:

du , 11 , ~- = - - + L.. T " V : + I "dt t J~ I

di manat = RedanVj = g(uJ }.Perlu diperhatikan bahwa untuk memudahkan, dilakukan redefinisi T;jC danIIC menjadi t;dan t;Jika nilai awal dari neuron (dalam hal ini, keadaan/state dan penguat)

diberikan, sistem persamaan ini mampu memodelkan sepenuhnya prosesevolusi kumpulan penguat tersebut terhadap waktu. Sifat biologisdasar yang


26/79


r~ = = = = = = = = ~ = I N = ' = = = = = = = = + = I N = 2 = = = 4 I m n.; =s=r=r.,

V 2. . . . . . . . . . .

V , v,

Keluaran t iap neuron dapat menjadi masukan ke neuron lainnya. Si fat pembangki t dan penghambat dari hu-bungan tersebut ditentukan dari terminal penguat yang menjadi masukan ke penguat lain, apakah terminal nor-mal atau terminal pembalik (invertinfilDari Hopf ield, "Comput ing with Neural Circuits: A Model. " Science, Vol. 233, 625-633. (c) 1986. Dicetak ulangseifin penerbit.

Gambar 6.1 Model rangkaian saraf dengan komponen elelctronik.

dipertahankan pada model ini meliputi: konsep neuron sebagai transdusemasukan ke keluaran dengan respons sigmoid yang mulus hingga suatingkat keluaran maksimum, perilaku integratif dari membran sel, sejumlabesar hubungan pembangkitan dan penghambatan, sifat umpan-balik dahubungan antar neuron, dan kemampuan untuk bekerja dengan neurodengan respons bertahap maupun neuron yang menghasilkan potensiaksi. Perlu diperhatikan bahwa model tersebut mempertahankan dua aspekomputasi yang penting, yaitu dinamika dan nonlinearitas.


27/79


6.2.3 Elemen Neural Nilai-Diskrit lawan Nilai-KontinuHopfield (1984) menunjukkan bahwa neuron dengan respons bertahapmerniliki sifat komputasional kolektif seperti pada neuron kondisi ganda(two-state). Semua sifat dari model neuron McCulloch-Pitts dipertahankandalam model analog; hal ini dapat dtlihat sebagai suatu maksud untukmenggunakan sistem neural analog untuk menangani masalah kombinato-rial. Jika sistem analog menggunakan rangkaian penguat operasional, resis-tor, dan kapasitor - misalkan untuk membangun suatu memori yang dapatdialamati berdasarkan isinya (content-addressable), model stokastik awaltetap lebih efisien untuk keperluan simulasi pada komputer digital.Kembali kepada jaringan yang dideskripsikan sebelumnya, mengguna-

kan neuron McCulloch-Pitts keadaan-ganda. Masukan total ke neuron iadalah

H i = L t; V J + t..I'"

Tiap neuron mencuplik masukannya secara stokastik (dan independen tar-hadap semua neuron lainnya). Hal ini menghasilkan suatu modus operasiasinkron (keasinkronan dimaksudkan untuk merepresentasikan suatu kom-binasi antara waktu tunda pada propagasi, jitter, dan derau dalam sistemneural nyata). Aturan untuk perubahan keadaan (state) dalam sistem inidapat dinyatakan sebagai:

V i - V ? if L t: \ 'f + t, < Vij~i

- V/ if Ii j \ I i + I, > Vi,1'"

di mana U; adalah tingkat ambang (threshold) dan V P dan v t adalah keduakeadaan/state dari neuron McCulloch-Pitts.Selama sistem ini dikarakterisasi oleh sekumpulan keadaan stabil, sede-mikian sehingga jika sistem diinisialisasi pada suatu posisi yang mendekatisalah satu keadaan tersebut sistem akan bergerak ke keadaan tersebut,maka sistem ini herfungsi sebagai suatu memori asosiatif/dapat dialamatiberdasarkan isinya. Dapat diperlihatkan bahwa aliran konvergen ke keada-


28/79


an-keadaan stabil pasti terjadi jika matriks konduktivitas sinapsis T bersifatsimetris dengan elemen diagonalnya nol. Misalkan suatu fungsi 'energi' :

Setiap perubahan dalam sebarang V i membawa akibat perubahan dalam E,sebagai berikut:

.1 = - [ I T, I V i + I, - u , ] . 1 \ 1 , .1-'Karena t1V i memiliki tanda (+/-) yang sarna dengan suku dalam kurung, t1 Esenantiasa negatif. Lebih jauh lagi, karena E dibatasi, iterasi secukupnyaakan menghasilkan keadaan-keadaan stabil.Untuk melihat bahwa kasus deterministik memiliki sifat yang sarna dalam

aliran ruang-kontinu seperti halnya kasus stokastik dalam aliran ruang-disk-rit, perhatikan fungsi energi berikut ini:

Turunannya terhadap waktu adalah:dE = _~. dV, (" r.v _ Uj + I )dT ~ dt -;- II I R, I

= _IcdViduiI 'dt dt

" _I' (dV,)l= - ~ C ,g , (V,) dt .


29/79


Oi sini C, bemilai positif dan g jl(V) monotonik naik. Karena itu, dE/dt ~ O .dE/dt = 1 berakibat dV / dt = 0 untuk semua i.Karena itu, pergerakan yangterjadi mencari nilai minimum dari E dan berhenti pada titik tersebut.Terdapat suatu korespondensi yang sangat dekat antara keadaan stabil

pada model stokastik dan deterministik. Berikut ini diasumsikan beberapahal untuk kasus kontinu. Ambil V? < 0 < V f , maka nilai nol dari teganganuntuk tiap V i dipilih sedemikian sehingga g ; {O) = 0 untuk semua i.Diasumsi-kan bahwa untuk semua nilai i, terdapat asimptot pada +1 dan -1. Keduasuku pada fungsi energi untuk kasus kontinu akan dibahas terpisah.Karena E adalah suatu fungsi linear dari suatu V i tunggal sepanjang sisi

suatu kubus, maka nilai ekstrim energi untuk suku1E=--o;;' ....TVV2 L.. L.. ., '.: .. . /

untuk ruang diskrit V i = +1, -1 adalah sudut-sudut yang sama seperti nilaiekstrim energi untuk kasus kontinu V P < 0 < V 1 .Untuk mempelajari pengaruh kecuraman hubungan sigmoid antara rna-

sukan dan keluaran dalam hubungannya dengan keadaan stabil dari keduamodel tersebut, dilakukan penyesuaian skala sebagai berikut:

menjadi V i = g ;{ f"Uj)dan

menjadi

Suku kedua dalam E (kasus kontinu) sekarang menjadi:

1 1 f " "R g,-I(V) dV .J\ j I 0

Jika V i mendekati +1 atau -1, nilai integral dalam rumus tersebut menjadisangat besar. Meskipun demikian, dalam kasus penguatan yang sangantinggi ( A . sangat besarl, pengaruh keseluruhan dari suku ini dapat diabaikan.Karena itu, nilai ekstrim hanya disebabkan oleh suku pertama. Demikian


30/79


pula, titik stabil untuk sistem kontinu-deterministik dengan penguatan sa-ngat tinggi berkorespondensi dengan titik stabil pada sistem stokastik. JikaJ l tidak mendekati tak-berhingga tetapi masih cukup besar, suku kedua inimenyebabkan permukaan energi memiliki nilai maksimLim pada sudut dannilai minimum yang sedikit bergeser ke arah bagian dalam dari suatuhypercube. Jika 1 menjadi semakin kectl, nilai minimum bergerak lebih kedalam (masih terdapat satu minimum yang berkorespondensi dengan tiapmaksimum). Jikal terus diperkecil, nilai minimum mulai menghilang karenamenyatu dengan suatu titik pelana (saddle point), hingga untuk c = 0 hanyaterdapat satu minimum pada Vi = o .

6.2.4 Konsep Energi Minimal: Motivasi di belakangDinamika JaringanSuatu bentuk umum rangkaian dideskripsikan oleh nilai sinapsis Tij dan arusmasukan I; Keadaan/state dari sistem neuron dinyatakan oleh nilai keluar-an Vi (yaitu keluaran dari penguat yang digunakan untuk memodelkan suatuneuron). Dalam suatu ruang geometris dengan sumbu kartesian untuk tiapkeluaran neuron, keadaan sesaat dinyatakan oleh suatu titik. Untuk suaturangkaian dengan nilai hubungan sinapsis sebarang, trayektori (ialurgerak}dari titik ini dapat sangat kompleks. Suatu rangkaian simetris didefinisikanmemiliki kekuatan/bobot serta tanda (+/-, pembangkit atau penghambat)sinapsis pada hubungan antara neuron i ke j yang sarna dengan padahubungan antara neuron j ke i. Sifat simetri dari hubungan tersebut meng-hasilkan suatu teorema tentang perilaku sistem, yang menunjukkan bahwasuatu besaran matematis E , yang dapat dipandang sebagai energi komputa-sional, mengalami penurunan selama perubahan keadaan neuron terhadapwaktu dan dinyatakan dengan persamaan sebelumnya. Energi ini adalahsuatu besaran global yang tidak hanya dialami oleh suatu neuron tunggal,dan dapat digunakan untuk memahami mengapa sistem berperi-laku sede-mikian. Konsep besaran ini mempunyai kemiripan dengan konsep entropidalam gas sederhana.Karena secara urnum E diminimisasi sejalan dengan perhitungan yang

dilakukan rangkaian, dinamika sistem menghasilkan suatu jalur dalamruang, yang cenderung meminimisasi- energi dan dengan demikian jugameminimisasi fungsi harga (cost-function) . Suatu saat, suatu konfigurasi ke-adaan stabil yang berkorespondensi dengan suatu minimum lokal dari fungsi


31/79


E, akan tercapai. Solusi permasalahan kemudian didekodekan dari konfigu-ras ini. Dalam kasus penguatan-tinggi (high-gain) yaitu di mana hubungansigmoid masukan-keluaran sangat curam, fungsi energinya adalah:

1 'E = - - I T . . , v ; V j - I f / V i.2 I., i

6.2.5 Penerapan Jaringan Hopfield: Masalah Penjual Keliling(Traveling Salesman Problem - TSP)Hopfield (1985, 1986) menggunakan jaringan neural dan prinsip minimis-asi energi yang berhubungan dengan jaringan tersebut - sehagaimanadiberikan sebelumnya - untuk menghasilkan suatu solusi bagi masalahpenjual keliling 'NP-Iengkap'. Masalah tersehut adalah sebagai berikut: suatuhimpunan yang terdiri dari n kota A, B, C, memiliki nilai yang menyatakanjarak pemisah antara dua kota dAB , dA c, ... , dec, .... Tujuan pemecahanmasalah adalah untuk mencari jalur/rute tertutup yang terpendek yangmelalui tiap kota hanya satu kali dan akhimya kembali ke kota tempat ruteterse but dimulai. Masalah ini kemudian dipetakan pada jaringan neuralsebagai berikut. .Suatu vektor baris dengan panjang n digunakan untuk menunjukkan

letak dari suatu kota tertentu selama perjalanan. Jadi, jika kota x adalah kotaketiga dalam perjalanan tersebut, maka en try ketiga dalam vektor tersebutbernilai 1 sedangkan yang lainnya bernilai O. Dengan demikian, tiap kotamemiliki satu vektor baris sendiri. Jika digabungkan, kita peroleh suatumatriks berukuran n * n, sehingga masalah penjual keliling dengan n kota inijika dipetakan ke jaringan neural akan memerlukan n2 neuron. Perlu diper-hatikan bahwa sebarang matriks permutasi merepresentasikan suatu per-jalanan melalui kota-kota tersebut (satu-satunya persyaratan untuk suatuperjalanan, jika dipandang dari -entry matriks tersehut, adalah bahwa tiapbaris dan tiap kolom harus berisi satu dan hanya satu entry 1 dan entrylainnya harus 0).Setiap matriks dari sejumlah n 1 permutasi matriks berkorespondensidengan suatu trayek perjalanan yang dapat dilakukan, di mana terdapatbeberapa yang mempunyai jarak yang sarna. Terdapat n1/2n jalur yangberbeda (distinct) untuk rute tertutup dari masalah penjual keliling ini.Dalam pembahasan berikut, digunakan simbol dengan bentuk VX,j di mana


32/79

16 2 Pengantar Jaringan Neural

X adalah nama kota dan j adalah posisi kota tersebut dalam perjalanan yangdilakukan.Pertimbangan berikut ini penting dalam menurunkan fungsi energi yang

akan diminimisasi dalam perhitungan. Keadaan (state) yang merepresenta-sikan matriks permutasi harus stabil, 'Lebih jauh lagi, sejumlah n !/2n keada-an yang berkorespondensi dengan perjalanan terpendek harus merupakankeadaan yang 'disukai' (favored). Fungsi energi diminimisasi terhadap 2Ntitik-titik sudut dari hypercube berdimensi N yang didefinisikan oleh tiap Vi= 0 atau 1. Jika fungsi terse but mempunyai bentuk sebagai berikut:

A BE=-"" "v,v,+-"" "v:.v:2 f -;:-;:;.I XI 2 ~ f x : y X.I X.I

di manaA, B, C> 0;

maka, masing-masing suku dari keempat suku dalam ekspresi untuk E diatas mempunyai arti fisis Iangsung:1. Suku pertama bemilai 0 jika dan hanya jika tiap baris berisl tidak

lebih dari satu entry 1.2. Suku kedua bemilai 0 jika dan hanya jika tiap kolom berisi tidaklebih dari satu en try 1.

Perhatikan bahwa kedua kondisi di atas mendefinisikan suatu matriks per-mutasi.3. Suku ketiga bemilai 0 jika dan hanya jika terdapat n buah entry

bemilai 1 dalam seluruh matriks.4. Suku keempat diminimisasi jika jarak tempuh dalam perjalanantersebut diminimisasi.Dengan menggabungkan hal-hal di atas, clapat dilihat bahwa jika A, B,

dan C memiliki nilai cukup besar, keadaan berenergi rendah (low-energystates) dari suatu jaringan akan membentuk suatu perjalanan yang val id.Energi total dari suatu keadaan yang valid merupakan jarak tempuh dalam



33/79










34/79









35/79

Lagrange. Teknik penurunan gradien (gradient descent) jika diterapkanpada Clagrange akan menghasilkan:

, B e I.~r'n.., ~f 5gX,=- , =---A-,-ox, 5Xi DXix = - 8ela~r.n. = _a(x)8A o .

Sayang sekali bahwa karena suatu titik kritis dari Clagrange tidak harus merupa-kan suatu penarik {attractor} bagi sistem ini, teknik penurunan gradien tidakdapat digunakan dengan pengali Lagrange. Meskipun demikian, suatu per-ubahan sederhana yang mengijinkan penaikan gradien pada A menjaminbahwa titik kritis dari lagrange merupakan attractor dari persamaan diferen-sial berikut (yang juga menyelesaikan masalah optimisasi berkendala yangmula-mula);

. i f 8~x;=---A"-iix, ()X,







36/79








37/79







38/79


1L(V} = - LTil v, V ; + 2 : ViIi.2 i.1 iRedefinisi ini membutuhkan penggantian:T dengan 2(BTB + c x . S T S ) ,V dengan i.t, dengan -2BTd,


c. dV ; = _ aLI dt a V ; "

Prinsip variasional kuadratis yang dapat dinyatakan dalam bentuk sebagaimana E(f}dinyatakan di atas dan dapat diselesaikan dengan suatu jaringan elektronik yang sesuai, di mana hubungan dapat diimplementasikadengan resistansi ohmik linear dan data direpresentasikan dengan arus yangdiinjeksikan.Teori regularisasi standard hanya dapat diterapkan pada fungsi energiyang konveks. Dengan demikian, cara yang dijelaskan di atas tidak dapadigunakan jika terdapat diskontinuitas (metoda interpolasi permukaan yangdigunakan dalarn rekonstruksi permukaan halus tidak dapat berfungsi jikterdapat ketidak-kontinuan). Koch (1986) memberikan suatu perluasan dari



39/79


Ei], h) :; L (j, - !Y(1 - h,) + Co L (I, - d,)~ + CL L h,, "di mana hi adalah proses garis biner.Faktor h i ini memasukkan minimum lokal ke dalam fungsi energi danmenyebabkan fungsi tersebut tidak kuadratis. Mengikuti Hopfield (1984),Koch (1986) memetakan proses garis biner tersebut kepada variabel kon-tinu yang dibatasi antara 0 dan 1. Fungsi energi yang dihasilkan terrninimis-asi pada titik sudut dari hypercube (meskipun fungsi energi tersebutmengandung suku-suku berderajat tiga).




40/79

r - - - - - - - - - - - - - - - - - ~ ~ ~ - - - - - - - - - - - - - - - - - - ~.____.j 5W.~-----~;___j sw.

v .


Gambar 6.2 Suatu Model Jaringan NeuralModus Transisi Sinkron Langsung. Saklar SW terhubung secara si -kron sehingga menyebabkan transisi simultan pada waktu diskrit k. Suafungsi nonlinear kontinu g(x) memungkinkan neuron mempunyai nilaiantara 0 dan 1.

.\"U, (k) = L T " V,(k) + I,

I~l




41/79










42/79









43/79

Lagrange. Teknik penurunan gradien (gradient descent) jika diterapkanpada Clagrange akan menghasilkan:

, B e I.~r'n.., ~f 5gX,=- , =---A-,-ox, 5Xi DXix = - 8ela~r.n. = _a(x)8A o .

Sayang sekali bahwa karena suatu titik kritis dari Clagrange tidak harus merupa-kan suatu penarik {attractor} bagi sistem ini, teknik penurunan gradien tidakdapat digunakan dengan pengali Lagrange. Meskipun demikian, suatu per-ubahan sederhana yang mengijinkan penaikan gradien pada A menjaminbahwa titik kritis dari lagrange merupakan attractor dari persamaan diferen-sial berikut (yang juga menyelesaikan masalah optimisasi berkendala yangmula-mula);

. i f 8~x;=---A"-iix, ()X,







44/79








45/79







46/79


1L(V} = - LTil v, V ; + 2 : ViIi.2 i.1 i

Redefinisi ini membutuhkan penggantian:T dengan 2(BTB + c x . S T S ) ,V dengan i.t, dengan -2BTd,


c. dV ; = _ aLI dt a V ; "

Prinsip variasional kuadratis yang dapat dinyatakan dalam bentuk sebagaimana E(f}dinyatakan di atas dan dapat diselesaikan dengan suatu jaringan elektronik yang sesuai, di mana hubungan dapat diimplementasikadengan resistansi ohmik linear dan data direpresentasikan dengan arus yangdiinjeksikan.Teori regularisasi standard hanya dapat diterapkan pada fungsi energiyang konveks. Dengan demikian, cara yang dijelaskan di atas tidak dapadigunakan jika terdapat diskontinuitas (metoda interpolasi permukaan yangdigunakan dalarn rekonstruksi permukaan halus tidak dapat berfungsi jikterdapat ketidak-kontinuan). Koch (1986) memberikan suatu perluasan dari



47/79


Ei], h) :; L (j, - !Y(1 - h,) + Co L (I, - d,)~ + CL L h,, "di mana hi adalah proses garis biner.Faktor h i ini memasukkan minimum lokal ke dalam fungsi energi dan

menyebabkan fungsi tersebut tidak kuadratis. Mengikuti Hopfield (1984),Koch (1986) memetakan proses garis biner tersebut kepada variabel kon-tinu yang dibatasi antara 0 dan 1. Fungsi energi yang dihasilkan terrninimis-asi pada titik sudut dari hypercube (meskipun fungsi energi tersebutmengandung suku-suku berderajat tiga).




48/79

r - - - - - - - - - - - - - - - - - ~ ~ ~ - - - - - - - - - - - - - - - - - - ~.____.j 5W.~-----~;___j sw.

v .


Gambar 6.2 Suatu Model Jaringan NeuralModus Transisi Sinkron Langsung. Saklar SW terhubung secara si -kron sehingga menyebabkan transisi simultan pada waktu diskrit k. Suafungsi nonlinear kontinu g(x) memungkinkan neuron mempunyai nilaiantara 0 dan 1.

.\"U, (k) = L T " V,(k) + I,

I~l




49/79

. . . .U ,(k) - U ,(k - 1) = L T ,; \ I ;(k) + I,}=IVj(k+ 1) = g[U;(k)].

Modus Transisi Asinkron Langsung (Penundaan Acak). Satu-satunyaperbedaan antara modus ini dengan modus transisi sinkron langsung adalahbahwa dalam modus ini saklar terhubung dan terputus (on dan off) secaraasinkron (yaitu dengan penundaan acak).

"U ,(k - .It,) = L T. , \I ;(k - ~t,) + l,,- IV,(k - .It, + E} = g [ l',(k - .I t,)] ,

di manaM = penyimpangan yang ditimbulkan oleh waktu tunda (kurang dari

satu siklus clock) , dane = konstanta positif yang kecil,

Di sini suatu neuron tertentu tidak periu menunggu neuron lainnya diperba-harui sebelum melakukan pembaharuan terhadap dirinya sendiri. Suatuneuron juga dapat memanfaatkan informasi mengenai keadaan yang barudart neuron lain yang telah memperbaharui keadaan masing-masing.Modus Transisi Asinkron Diferensial (Penundaan Acak). Ini adalahversi asinkron dati modus transisi sinkron diferensial .

.1U,(k - .It,) - U,(k - .It, - 1) - = L T ,J \tj(k - .It,) + I,

/=1

V ;(k - .li, + f) - = g [U i(k - .li,) - U ,(k - .It, - 1)].

Oalam kasus di mana T tidak nol, metode-metode sinkron tidak mem-berikan solusi untuk masalah osilasi. Karena itu, suatu pilihan yang sesuaiharus bergantung pada aplikasinya dan harus disusun (secara ideal) datimodus transisi asinkron langsung maupun diferensial.



50/79

6.2.8 Representasi Bilangan dalam Ruang Neural (Neural Space)Takeda (1986) mengusulkan tiga cara yang berbeda imtuk memetaruang integer positif z : pada ruang keadaan ( st ate s pa ce ) neuron V. Dalketiga cara tersebut, kombinasi linear dari variabeI keadaan neuron di -nakan untuk merepresentasikan bilangan. Perlu diperhatikan bahwa fun sienergi Hopfield adalah kuadratis terhadap variabel keadaan neuron.meta an nonlinear dari ruang-bilangan kepada ruang keadaan neuron tiddapat membentuk fungsi energi Hopfield karena ekspresi titik-amb 9( floating po int) mempunyai variabel keadaan neuron sebagai ekspon n(pangkat).Cara Bi

bab6 model hopfield dan hoppensteadt

Documents

model hopfieldtank6

model hopfield tank6

yang mempunyai duanilai

model neuron biologis

pengantar jaringan neural6

model hoppensteadt6

secara umum

suatu perubahan potensi