teoria e informacionit dhe kodimi

7/23/2019 Teoria e Informacionit Dhe Kodimi

http://slidepdf.com/reader/full/teoria-e-informacionit-dhe-kodimi 1/79

TEORIA E INFORMACIONIT DHE KODIMI

Literatura

1. ESSENTIALS OF ERROR-CONTROL CODING, Jorge CastiñeiraMoreira, Patrick Guy Farrell, 2006 John Wiley & Sons Ltd.

2. Telecommunications Demystified, Carl Nassar, by LLH TechnologyPublishing, 2001.

3. Uvod u teoriju informacije i kodiranje, Alen Bažant ..., 2007 Zagreb.

4. DATA COMMUNICATIONS AND NETWORKING, FOURTH EDITION,- ,



HYRJE

• Informacioni është nocion abstrakt që ndërlidhet.

• Bartës fizik i informacionit është sinjali.

• Ndërmjet sinjalit në hyrje dhe atij në dalje ështëmediumi transmetues.

• Nëse mediumi i tillë është pjesërisht ose në tërësi,

atëherë kemi të bëjmë me kanalin transmetues.

SISTEMI KOMUNIKUES

• Detyra themelore e sistemit komunikues

– Transmetimi i informacionit n a n ë vend në n ë vend t etër meefikasitet dhe siguri sa më të madhe.

Burimi i informacionit Marrësi i informac.Mediumi transmetues

• Shtrohen et et lo ike:

- Çka e pengon transmetimin e informacionit

- Çka duhet ndërmarrë në mënyrë që informacioni t’i dërgohetmarrësit pa humbe të përmbajtjes



Komunikimi ndërmjet njerëzve

Personi A Personi B Ajri

Zhurma

• Çka do të bënin bashkëbiseduesit në një situatë të këtillë?

- Personi A i cili është burim i informacionit mund të flasë me zëmë të lartë, më n adalë dhe duke ërsëritur të n ë tat f alë

- Personi B mund të koncentrohet më tepër për detektimin e

informacioneve të arritura, të lidh përmbajtjet për të konkluduarse çka ka thënë personi A kur zhurma ka tejkaluar plotësisht tëfolurit dhe mund të kërkojë që informacioni të dërgohet përsëri.

Transmetimi i sinjaleve elektrike ose optike si bartës tëinformacioneve nëpër sistemin komunikues

Edhe këtu kemi situatë të ngjashme!

Burimi i informacioneve Mediumi transmetues Marrësi i informacioneve




Burimi i informacionitDhënësi Mediumi transmetues

Shfrytëzuesi i informacioneveMarrësi

• Te burimi i informacionit, përkatësisht te dhënësi në sistemetelektronike komunikuese, mund të:

- rrisim fuqinë e sinjalit në dhënës;

- shpejtësia e transmetimit është e ndërlidhur me brezin frekuencor - fusim redundancë ose tepricë në sinjalin në dhënie


• Te shfrytëzuesi i informacionit, përkatësisht te marrësi në sistemetelektronike komunikuese, mund të:

Burimi i informacionitDhënësi Mediumi transmetues

Shfrytëzuesi i informacioneveMarrësi

– përpunojmë sinjalin me qëllim të eliminimit të zhurmës – shfrytëzojmë redundancën e sinjalit të dërguar për të eliminuar

gabimet e shkaktuara nga zhurma – kërkojmë transmetimin e sërishëm të pjesës së informacionit, e

cila nuk ka mundur të korrigjohet



Modeli i sistemit komunikues përtransmetim digjital të informacionit

• Qasja klasike: bënë sinjalin në pranim sa më të

TEORIA E INFORMACIONIT

,mediumet transmetuese dhe duke përpunuar sinjalin epranuar.

• Qasja e teorisë së informacionit: realizon sistemin e tillëpër bartje që, përkundër degradimit të konsiderueshëmtë sinjalit gjatë kalimit nëpër kanal komunikues, vetëinformacioni i dobishëm të mos dëmtohet.Teoria e informacionit merret me: – përcaktimin e madhësisë së sasisë së

informacionit;

– studimin e burimit të informacionit; – studimin e kanalit; – analizën e kufijve të gjasës së gabimit dhe të

shpejtësive të transmetimit që mund t’i arrijë sistemioptimal transmetues;



– realizimin e sistemit transmetues (përpunimi i


,transmetues) me performansa sa më afër sistemitoptimal;

– analizën e mundësisë së mbrojtjes së fshehtësisëdhe të memorizimit të informacionit;

– analizën e sistemit me më tepër shfrytëzues tëcilët bashkëpunojnë ose jo ndërmjet veti.

Teoria e informacionit është nënlëmi e teorisë sëgjasës, ndërsa rezultatet e saj shfrytëzohen nëteorinë e telekomunikacionit, kompjuterikë,ekonomi, linguistikë, psikologji, gjenetikë. Disarezultate të fituara në teorinë e informacionit kanë

avancuar matematikën (teorinë e gjasës, algjebrënlineare, kombinatorikën etj.).

• Teoria e informacionit është rezultat i punimit epokal tëShanonit (Claude Shannon) “ A Mathematical Theory ofCommunication”. Në atë punim Shanoni ka vërtetuar


disa fakte kyçe: – Të gjitha komunikimet teknike janë në të vërtetë

diskrete (Teorema e mostrimit); – Informacioni i burimit është proces i rastit, kështu

që bartja e informacionit duhet të analizohet meanë të teorisë së gjasës;

– Ekziston mundësia që barta e informacionit tëshpejtohet në masë të konsiderueshme pa kurrfarëdëmtimesh, pa marrë parasysh kanalin.

–një kanal të dhënë të bëhet me gjasë pakufi tëvogël të gabimit, nëse shpejtësia e bartjes ështëmë e vogël se madhësia e quajtur kapacitet ikanalit.



MATJA E SASISË SË INFORMACIONIT

• Cili prej dy pohimeve të mëposhtme sjellë mëtepër informacion?

– Më 12 janar ra borë në Prishtinë. – Më 2 shtator ra borë në Prishtinë.

→ Ngjarja me gjasë më të vogël, sjellë informacionmë të madh. (1)

të plotësojë vetinë e aditivitetit, sipas të cilës

→ Informacioni që e sjellin dy burime statistikisht të pavarur është i barabartë me shumën einformacioneve që e sjellin secili prej tyre. (2)

MATJA E SASISË SË INFORMACIONIT

• Aksiomat (1) dhe (2) i plotëson barazimi:

“ ”

)(log)( aPa I

• Me zvogëlimin e gjasës P (a), rritet sasia e informacionit I (a)

• Gjasa për dy ngjarje statistikisht të pavarura a dhe b është:

• Së këndejmi sasia e informacionit në këtë rast është:

)()(),( bPaPbaP

)()()(log)(log),(log),( b I a I bPaPbaPba I



Njësia për sasinë e informacionit, nëse bazë elogaritmit është 2 quhet bit (disa autorë përdorinn ësinë shanon

NJËSITË PËR SASINË E INFORMACIONIT

Në rastin kur baza e logartimit është 10, njësia

quhet hartley, Në rast se baza e logaritmit është e, njësiaquhet nat

Shndërrimi prej njerës në njësinë tjetër bëhetthjeshtë duke shfrytëzuar shprehjen:

Nëse është atëherë:

2log

log

2ln

lnlog 2

aaa

5.021 xP xP

bit ld x I x I 1221

Burimet diskrete – burimi gjeneron numër tëfundmë të simboleve

BURIMET E INFORMACIONIT

Burimet kontinuale – numri i simboleve është ipanumrueshëm Burimet gjithashtu ndahen në: Burimet pa memorje – emetimi i mesazheveështë statistiksht i pavarur Burimet me memorje – ekziston varësistatistikore ndërrmjet mesazheve të emituar

su ses v s



Nuk ka varësi statistikore ndërmjet simbolevesuksesive

PËRSHKRIMI I BURIMIT DISKRETPA MEMORIE

ur m s re pa memor e p rca o e p o s sme listën e simboleve (alfabetit):

Dhe bashkësinë e gjasave përkatëse

Në ç’rast simbolet paraqesin bashkësi të plotë tën ar eve ër ashtuese ndërm et veti, ra vlen:

m x x x x ,....,, 321

mi xP i ,....2,1,

m

i

i xP

1

1)(

Në sistemet komunikuese rëndom kemi të bëjmë

ENTROPIA OSE MESATARIZIMI IINFORMACIONIT

simboleve nga burimi i informacionit deri në cak.Për këtë arsye është shumë me rëndësi tëanalizohet informacioni i mesatarizuar që egjeneron burimi sesa atë të një simboli.Vlera mesatare e sasisë së informacionit tënjë alfabeti me m simbole të ndryshme me të cilatkarakterizohet ndonjë burim i caktuar X mund të

i x I

përkufizohet në këtë mënyrë:

m

i

iii

m

i

iisimbol

bit xPld xP x I xP x I E X H

11



H X uhet entro i e burimit X .

ENTROPIA OSE MESATARIZIMI IINFORMACIONIT

Paraqet informacionin e mesatarizuar që egjeneron burimi për një simbol. Entropia e burimit H(X) mund të konsiderohetedhe si sasi mesatare e pasigurisë (uncertainty )brenda burimit X e caktuar për alfabetin e dhënë tëburimit. Shpejtësia mesatare ose debiti me të cilënur m eme on mesaz e mun paraq e n

formën:

quhet fluks i informacionit, ndërsa ështënumri i simboleve në njësi të kohës

s

bit

simbol

bit

s

simbols H s

s

Kontinualiteti – entropia është funksion iandër rerë i ar umenteve të ti asës së simboleve

QASJA AKSIOMATIKE E PËRKUFIZIMITTË ENTROPISË

veç e veç), sepse ndryshimi i vogël i gjasave kandikim të vogël në entropi. Simetria – entropia nuk ndryshon nëse ndryshonrenditja e simboleve Vlera ekstreme – në rast se të gjitha gjasat eparaqitjes së simboleve janë të barabarta, entropiaka vlerë maksimale (pra shkalla e pasigurisë është

m e ar Aditiviteti – entropia e unionit të dy ngjarje tëpavarura është e barabartë me shumën e entropive tëtyre.



Nëse një simbol ka gjasë të paraqitjes tëbarabartë me një, atëherë gjasa e të gjithasimboleve tjera është zero, kështu që entropia

VETITË E ENTROPISË

është zero, sepse:

Vlera e entropisë është e kufizuar nga ana eepërme, dhe nuk mund të jetë më e madhe selogaritmi i numrit të simboleve:

,011 ld 01

lim0

x

xld x

qld s H 0

Shenja e barazimit nga ana e epërme arrihetkur të gjithë simbolet kanë gjasë të barabartë tëparaqitjes.

Në rastin më të thjeshtë të analizojmë burimin binar X i cili gjeneron simbole statistikisht të pavarur 0

dhe 1 me gjasë të barabartë të paraqitjes.

Shembulli 1

Pra për identifikimin e simboleve në dalje të

burimit b inar është i nevojshëm vetëm një bit.

simbol

bit ld ld x H 1

2

1

2

1

2

1

2

1



Shembulli 2

Zgjerojmë analizën në përcaktimin e entropisë së

burimit i cili në dalje gjeneron 32 simbole tëndryshme, gjithashtu me gjasë të barabartë tëparaqitjes:

5

2

Ndërsa në këtë rast shihet se për identifikimin esimboleve të burimit nevojiten 5 bita.

32

1

32

1

53232

1

32

1

ii simbol

bit ld ld i pld i p X H

Shembulli 3

Analizojmë në vazhdim burimin i cili gjeneron nëdalje të tij 8 simbole me gjasat përkatëse të

Entropia e burimi të këtillë (pas llogaritjes) është:

64

1,64

1,64

1,64

1,16

1,8

1,4

1,2

1

bit X H 2

simb



Nga numri i simboleve që gjeneron burimi dihet se janë të nevojshëm tre bita për paraqitjen e çdosimboli (000, 001, ..., 111).Por ekziston edhe mën ra t etër e ara it es së

Vazhdim i shembullit 3

simboleve të burimit të këtillë, duke pas parasysh segjasa e paraqitjes së simboleve nuk është enjëtrajtshme. Në këtë kuptim do të bëjmë paraqitjen esimboleve që kanë gjasë më të madhe të paraqitjes,me numër më të vogël të bitëve, në krahasim mesimbolet që kanë gjasë më të vogël të paraqitjes..s . paraq en e ç o s m o me:

(0, 10, 110, 1110,111100, 111101, 111110, 111111)

që ka gjatësi mesatare të paraqitjes së simboleve tëbarabartë me:


264

16

64

16

64

16

64

16

16

14

8

13

4

12

2

11

• Shihet se gjatësia mesatare e fjalëve është 2dhe është e barabartë me entropinë e burimit tëdhënë.

Së këndejmi përfundojmë se entropia jep

kufirin e poshtëm të gjatësisë mesatare të

burimit.



ENTROPIA E BURIMIT BINAR TËINFORMACIONIT

• Në shembullin 1 kemi caktuar entropinë e burimitbinar në rastin e gjasës së barabartë të paraqitjes.• Do të cakto më dhe do të ara esim në vazhdimentropinë në rastin kur gjasa e paraqitjes së zerosështë është e qartë se gjasa e paraqitjes sënjëshit është

;0 PP

PP 11

Pld P

PPld X H

1

11

1

Kur njëri prej mesazheve ka gjasë më të madhe setjetri, entropia zvogëlohet, shih figurën lartë.

ZGJERIMI I BURIMIT DISKRET

• Le të jetë dhënë burimi diskret X me msimbole, entropia e të cilit është H(X). Nëse nëven të s m o eve veç e veç s qyrto ensekuencat prej 2, 3,….,(n) simbolevesuksesive, atëherë thuhet se shqyrtohetzgjerimi i dytë, tretë,…,n-të i burimit. Zgjerimi itillë i burimit shënohet me ndërsa numripërkatës i simboleve• Entropia e burimit të zgjeruar të fituar në këtëmën rë është:

,nS

.nq

S nH S H n



Shembulli 4

• Për burimin diskret me gjasat përkatëse ,,, 321 x x x X

111 xP ,,

simb

bit ld ld X H 5.14

4

122

2

1

• Le të bëhet zgjerimi i dytë 2n

111111111

16,

16,

8,

16,

16,

8,

8,

8,

4 ji x x

S H simb

bit ld ld ld S H 2316

16

148

8

144

4

112

PËRSHKRIMI I BURIMIT DISKRET ME MEMORIE

• Te burimi diskret me memorie emetimi isimboleve varet nga sekuenca e simboleve të

,statistikore ndërmjet simboleve të emetuarsuksesivisht.

• Nëse gjatësia e sekuencës së simboleve prejtë cilëve varet simboli aktual është e barabartëme m, atëherë themi se kemi të bëjmë meburimin me memorie të rendit m.

• Burimet e tilla quhen edhe burime të Markovit

të rendit m.

• Burimi pa memorie quhet edhe burim iMarkovit i rendit zero.



• Burimi diskret me memorie gjeneron njëproces të rastit me memorie.• Burimi i rendit m paraqitet me listën e


gjasave me kusht të emetimit të një simboli, kurdihet sekuenca e emetuar paraprakisht megjatësi m, pra:

q x x x ,....,, 21

imik ii j x x x x xP ,...,,...,,/ ,21 q j ,...,2,1

qik ,...,2.1 mk ,...,2,1

ku është simboli më i vjetër, ndërsasimboli më i ri.

1i x im x


• Sekuenca konkrete paraprakisht e emetuarme gjatësi m quhet gjendje e burimit.

• umr g en eve a sbarabartë me numrin e kombinacioneve mepërsëritje prej q simboleve në m vende, pra

• Nga çdo gjendje duhet të emetohet ndonjësimbol, kështu që për gjasat paraprake mekusht vlen:

mq

q

j

imik ii j x x x x xP1

21 1,...,,...,,/

qik ,...,2,1 mk ,...,2,1



DIAGRAMI I GJENDJEVE

• Pasi që nga çdo gjendje, në parim, mund të emetohetcili do prej q simboleve, numri i përgjithshëm i gjasaveme kusht (disa prej të cilave mund të jenë zero) është:

• Një formë e zakonshme për paraqitjen e burimit tëMarkovit, e cila mundëson një pasqyrë më të qartë tëkarakteristikave të burimit të këtillë, është diagrami i

gjendjeve (state diagram).

• Në diagramin e tillë, çdo gjendje paraqitet me rreth,

1 mmqqq

tjetër me shigjetë; numrat pranë degëve të diagramitparaqesin gjasën përkatëse kalimtare.

Diagrami i gjendjeve: Shembulli 5P(0/00)=P(1/11)=0.7P(1/00)=P(0/11)=0.3P(0/01)=P(0/10)=P(1/01)

00

0.7

.

01 10

11

0.3

0.5

0.5

0.3

0.5

0.5

0.7



DIAGRAMI I GJENDJEVE

Simbolet paraprake qëgjithashtu paraqitenedhe në rrathë

Simboli i ri Gjendja e ardhshme

BURIMET ERGODIKE

• Procesi diskret i rastit është ergodik nëse pas njëkohe mjaftë të gjatë kalon nëpër të gjitha gjendjet;shembulli ara rak është roces er odik.

• Rast i procesit që nuk është ergodik nëshembullin paraprak fitohet me ndryshimin egjasave me kusht në: P(0/00) = 1 (pra P(1/00) = 0).Në këtë rast sistemi pas një kohe do të kalojë nëgjendjen 00, dhe aty do të mbetet deri në fund (shihshembullin në vazhdim)



Diagrami i gjendjeve: shembulli 6

P(0/00) = 1, P(1/11) = 0.7P(1/00) = 0, P(0/11) = 0.3P(0/01) = P(0/10) = P(1/01)= P(1/10) = 0.500

1

01 10

11

0.3

0.5

0.5

0

0.5

0.5

0.7

GJASA STACIONARE E GJENDJEVE• Procesi diskret i rastit duhet të jetë ergodik dhe përshembullin paraprak gjasat stacionare të gjendjeve ifitojmë nga sistemi i ekuacioneve:

P(00) = 0.7 P(00) + 0.5 P(10)

P(01) = 0.3 P(00) + 0.5 P(10)

P(11) = 0.7 P(11) + 0.5 P(01)

P(00) + P(01) + P(10) + P(11) = 1

P(00) = P(11) = 5/16

P(01) = P(10) = 3/16

• Duke as aras sh simetrinë e dia ramit të end eve,

do të duhej pritur që gjendjet simetrike të jenë me gjasë tëbarabartë të paraqitjes.• Gjasat stacionare të simboleve (në këtë rast të 1 dhe 0):Pasi që gjendjet janë përjashtuese ndërmjet veti, gjasa qënë sekuencë të hasim në 1 është:P(1) = P(11)+0.5(P(01)+P(10)) = 5/16+0.5(3/16+3/16) = 0.5Ndërsa në 0: P(0) = 1- P(1) = 0.5



BURIMI I LIDHUR ME BURIMIN EMARKOVIT

• Për cilin do burim ergodik të Markovit mund të njehsohengjasat stacionare të gjendjeve dhe gjasat stacionare tësimboleve veç e veç (sikurse në rastin paraprak)

• Burimi i lidhur me burimin e Markovit është burimi që kasimbole të njëjta me atë të Markovit dhe gjasa të njëjtastacionare të simboleve veç e veç, por i cili është burim pamemorie.• Te burimi i Markovit ekziston varësi plotësuese esimboleve (që shprehet me gjasën me kusht), e cilazvogëlon pasigurinë e paraqitjes së simboleve dhe, nëkëtë mënyrë, edhe sasinë mesatare të informacionit përn s m oShembull : Teksti në një libër mund të konsiderohet varg iMarkovit; ndërsa teksti i ri i fituar me permutimin arbitrar tëtekstit paraprak do të ketë të njëjtat gjasa të paraqitjes sësimboleve, por varësia statistikore në të do të prishet, dhekështu do të shndërrohet në burim pa memorie, pra nëburim të lidhur me burimin e Markovit.

INFORMACIONI I BURIMIT ME MEMORIE

• Një pjesë e madhe e burimeve të botës reale janë burime mememorie, që rezultojnë me sinjale të korreluara të burimit; veti e

• Kjo lë të kuptohet se sinjali tregon njëfarë shkalle tëredundancës, e cila do të duhej shfrytëzuar gjatë kodimit

• Mostrat e sinjalit të të folurit, për shembull, janë të korreluara,dhe, siç mund të pritet, së pari hiqet redundanca në mostra;mbetjet që fitohen, gati pa memorie ose të pakorreluara, pastajmund të kodohen me numër shumë më të vogël të bitëve• Në shembullin e këtillë memoria mund të modelohet si njëproces i Markovit

• Proces i Markovit i rendit të parë: simboli aktual varet vetëmnga simboli paraprak• Proces i Markovit i rendit N : simboli aktual varet nga N

simbole paraprake



PROCES I MARKOVIT I RENDIT TË PARËME DY GJENDJE

• Në këtë rast burimi gjeneron vetëm dy simbole: 11 X

2

• Kemi gjasat e thjeshta të paraqitjes (gjasat paraprake) përgjendjet dhe dhe si dhe gjasat

kalimtare• Gjasat kalimtare nga gjendja janë dhënë me gjasatkalimtare dhe 121111 /1/ X X P X X P p

1 X )(: 112 X PP X 22 X PP

1 X

1212 / X X P p

ENTROPIA PËR PROCESIN E MARKOVITTË RENDIT TË PARË ME DY GJENDJE

• Entropia për gjendjeti H :2,1, i X i

Kjo paraqet informacionin mesatar të bartur nga simbolet eemetuara prej gjendjes• Entropia e përgjithshme përfshin gjasat të

simbolbit ldp p pld pldp p H iii

j

iijiji /221

2

1

1

i X H

21 , PP

• Për burim me korrelacion të lartë, gjasat janë më të mëdhaqë ai të mbetet në një gjendje se sa të ndryshojë, dhe entropiazvogëlohet me rritjen e e korrelacionit

,21

2

1

2

1

2

1

/i i j

ijijiii simbolbit ldp pP H P H



ENTROPIA PËR PROCESIN E MARKOVIT TËRENDIT TË PARË ME N GJENDJE

• Një burim i Markovit me N gjendje (jo i rendit N ) mund të gjenerojë N

simbole kështu që entropia e simboleve për,i X i ,1 N i i H gjendjet

ku është gjasa kalimtare nga në• Entropia e tillë e simboleve quhet entropi parciale

:i X

N

j

ijiji simbolbit ldp p H 1

/

ij pi X j X

ENTROPIA PËR PROCESIN E MARKOVIT TËRENDIT TË PARË ME N GJENDJE

• Entropia e burimit fitohet me mesatarizimin e entropiveparciale sipas të gjitha gjendjeve të mundshme (mecaktimin paraprak të gjasave të thjeshta të paraqitjes tëgjendjes pra:),

i X

iP

N

i

N

j

ijij

N

i

iii simbolbit ldp pP H P H 1 11

/

• Nëse shpejtësia e simboleve ështëshpejtësia mesatare e informacionit është

,/ sek simbol Rs

sek bit H R R s /



Shembulli 7: Burim i Markovit i rendit të parë medy gjendje

• Për diagramin e gjendjeve në vazhdim me gjasat përkatëse, tënjehsohet entropia e burimit si dhe sasia mesatare e informacionitpër sekuencat e mesazhit me gjatësi 1, 2, dhe 3 simbole, tërealizuar nga një sekuencë e gjendjeve dhe1 X .2 X


• Entropia e burimit është:

• Sasia mesatare e informacionit për sekuencën me 1 simbol është:

• Për sekuencën me 2 simbole, pra: “11”, “12”, “21”, ose “22”

sim oit H /469.01.01.09.09.02.01.01.09.09.08.0

simbbit ld ld H /7219.02.02.08.08.01

;72.0'11' 111 pPP ;08.0'12' pPP 18.0'21' PP

Kështu që për sekuencën me 2 simbole,

bitemesatarja pPP 190924.102.0'22' 222

simbolbit H /5955.02/190924.1)2(




• Për sekuencën me tre simbole:

• Nëse merret në shqyrtim një sekuencë me gjatësi më të madhe tësimboleve, e cila tregon më shumë varësi memoruese të burimit,sasia mesatare e informacionit ose entropia zvogëlohet ; p.sh.

;.11 p

simbolbit H pPP /5533.0;...072.0'11''112' 3

12

• Për rastin kufitar: për mesazhin me gjatësi

simbolbit H /4816.020

H H k k

Sqarim i zgjidhjes së shembullit 7

• Për sekuenca me një simbol: “1” ose “2” me P(“1”) = 0.8 dhe P (“2”) = 0.2 , sasia mesatare einformacionit (bite ose bite/simbol pasi që është

−P (“1”) ld P (“1”) − P (“2”) ld P (“2”) =−0.8 ld 0.8 − 0.2 ld2 0.2 = 0.7219 (bite/simbol)

• Në rastin e sekuencës me dy simbole: “11”,“12”, “21” ose “22”, le të marrim në shqyrtim“11” (shih fig): P (“11”) = 0.8 × 0.9 = 0.72 – Sasia mesatare e informacionit (në bite) për

−P (“11”) ld P (“11”)−P (“12”) ld P (“12”)−P (“21”)ld P (“21”) − P (“22”) ld P (“22”) = −0.72 ld 0.72− 0.08 ld 0.08 − 0.18 ld 0.18 − 0.02 ld 0.02 =0.3412304 + 0.2915084 + 0.4453076 +0.1128771 = 1.1909235 (bite)



DISA KOMENTE MBI MODELIN E BURIMIT TËMARKOVIT

• Procesi i Markovit, si një model probabilistik, është modeli më ikompletuar që përshkruan burimet me memorie.

• ,ku:

- është gjasa paraprake e paraqitjes së gjendjesLe të supozohet fillimi i një eksperimenti në momentin kohorose në mund të gjendet se procesi fillon nga gjendjame gjasën së këndejmi është gjasë paraprake

- Gjasa kalimtare paraqet gjasën e ndryshimit të procesit ngagjendja në dhe së këndejmi është gjasë me kusht

• Për paraqitjen e burimit me memorie më të gjatë se 1, duhet të përdoret

ii X PP ;i X

,t ,1t

i X

;iPiP

ij p

i X ,

j X

procesi i Markovit i rendit më të lartë, i cili, si i tillë, është shumë më ikomlikuar për përdorim

• Në praktikë, për përshkrimin e burimit të rendit më të lartë të memories,shpesh përdoret modeli parametrik i thjeshtuar (fig. në vazhdim).

MODELI AUTOREGRESIV

• Një proces i Markovit i rendit N mund të paraqitet (në formë të thjeshtuar)si një model autoregresiv i rendit N (autoregressive model - AR).

• Procesi në hyrje është i pakorreluar, me mesatare zero; procesi nëdalje y(n) është sekuencë e simboleve, e emetuar nga burimi i paraqiturme procesin e Markovit të rendit N (me parametrat përkatës); n ështëindeksi kohor për sekuencën e simboleve

• Modeli i tillë parametrik ka përdorim të gjerë, për shembull, në kodiminburimor të të folurit (transmetohen dhe në vend të y(n)) n k a

n



LLOJET E GJENDJEVE TE PROCESI I MARKOVIT

• Kalimtare - (S2,S3,S4 dhe S5 ); procesi vjen dhe nuk ka mundësi të mbetjesnë atë gjendje• Rekurentne – (S1,S6 dhe S7 ); me mundësi të mbetjes në atë gjendje• - ,

pas hapave. Për d = 1, gjendja është aperiodike.• Absorbuese – (S1) me ardhjen në atë gjendje, burimi nuk mund të dali nga

ajo

d k

MATRICA TRANSITORE

• Gjasat kalimtare mund tëparaqiten përmes matricës

rans ore n p r a .Supozohet se burimi ka q gjendje,ndërsa me shënohen gjasa ekalimit nga gjendja në

• Shuma e elementeve të çdorreshti duhet të jetë e barabartëme një:

ij p

iS jS

ij p

q

jij q p1 .,...,,



MATRICA TRANSITORE

• Në matricën transitore mund tëfutet koha, kështu që është k pij

g asa a m are n momen nndaj momentit fillestar. Matrica etillë fitohet duke ngritë në fuqinë k matricën paraprake

• Elementet e matricës janëgjasat që procesi pas k-1 hapashtë jetë në gjendjen j, nëse në fillim,pra k=1, ka qenë në gjendjen i .

k pij

k pij

• ementet e matr cës estaremund të shënohen me 1

ij p

DIAGRAMI I GJENDJEVE NË FORMË RRJETE• Një formë shumë e përshtatshme e diagramit të gjendjeve është diagrami

dinamik i gjendjes në formë rrjete (trellis), fig. me gjendjet nga shembulli 5

• Gjatë paraqitjes së formës së këtillë, për çdo hap ose simbol të emetuar.

• Me kalimet e tilla mund të jepen edhe simbolet që emetohen si dhe gjasatkalimtare. Përcaktimi i shtegut me gjasë më të madhe, shpesh bëhet me të

ashtuquajturin algoritëm të Viterbit



DIAGRAMI I GJENDJEVE NË FORMË RRJETE

• Me diagramin e tillë përcillet se si sillet burimi

• Struktura e tillë është periodike, dhe është e mjaftueshme paraqitjapër një hap, kështu që figura pastaj përsëritet periodikisht

• Paraqitja më e lehtë e zhvillimit të gjendjeve bëhet nëpër më tepërhapa, duke filluar nga ndonjë gjendje, (shih fig. në slajdin që pason)

• Me rrjetën e këtillë mund të paraqiten procese joergodike dhe

• Përdoren te kodimi për kontrollin e gabimeve gjatë transmetimit

ZHVILLIMI I DIAGRAMIT TË GJENDJEVE NË FORMËRRJETE DUKE FILLUAR NGA NDONJË GJENDJE

0

1



KODIMI STATISTIKOR - Hyrje

• Kodimi statistikor, i cili ndryshe quhet edhe kodim entropik, është paraqitjeekonomike (optimale) e simboleve që i emeton burimi

• Disa autorë e quajnë edhe komprimim i të dhënave. Komprimimi mund të jetë:- pa humbje të informacionit (lossless data compression), ku edhe do tëpërqendrohemi në vazhdim- me humbje të informacionit (lossy data kompression)

• Deri sa në rastin e burimeve diskrete mund të përdoren të dy metodat , te,

shkak të A/D konvertimit), është evidente se mund të përdoret vetëmmënyra e dytë e komprimimit, pra komprimimi me humbje

PËRKUFIZIMI I KODIMIT

r x x x X ,....,, 21KODUESI

qsssS ,....,, 21

• Në bllok-skemën e koduesit statistikor me numër të fundmë (q) të simboleve,kemi:

- Listën e simboleve burimore ose alfabetin e burimi S{s1,s2 ,…,sq }

- Listën e simboleve koduese X{x 1,x 2 ,…,x r }

• Kodimi paraqet pasqyrimin ose transformimin e sekuencës së simboleve të

.• Numri i simboleve koduese të fjalës së kodit quhet gjatësi e fjalës së kodit

• Marrë në përgjithësi kodimi statistikor është kodim në blloqe, të cilat zakonishtkanë gjatësi fikse të fjalës, por mund të jetë edhe e ndryshueshme.

• Fjala e kodit që i përgjigjet simbolit shënohet meisi X



KODI JOSINGULAR

• Kodi është josingular nëse të gjitha fjalët e kodit ndryshojnë ndërmjet

veti.

• Kodi binar (r = 2 ) me katër simbole (q = 4) i dhënë në formë tabelare(marrë në përgjithësi mund të jepet edhe në ndonjë formë tjetër, p.sh.me disa rregulla matematikore), edhe pse plotëson përkufizimin për tëqenë kod, shfrytëzimi i tij nuk do të kishte kuptim praktik sepse ështëkod singular , i cili lehtë mund të bëhet josingular, nëse p.sh.ndryshojmë fjalën e katërt të kodit në “00”

01 x 12 xdhe

KODI NJËVLERËSISHT I DEKODUESHËM

• Kodi josingular i fituar me këtë ndryshim (shih tabelën poshtë) përsëri nuk ështëi përdorshëm në praktikë, sepse nuk është njëvlerësisht i dekodueshëm, pasi

,përkatëse do të emetohen dhe pranohen nga dekoduesi në varg

• Kjo për arsye se nëse p.sh. në pranim kemi sekuencën 0011, dekoduesi, qëkryen punën e kundërt nga koduesi, ka në disponim dy sekuenca të simbolevetë burimit që japin këtë sekuencë: dhe

• Kodi është njëvlerësisht i dekodueshëm vetëm nëse plotësohet kushti qëzgjerimi i n-të i kodit është josingular për çdo n të fundme, ose, thënë ndryshe,që kodi të jetë njëvlerësisht i dekodueshëm sekuenca e fjalëve të kodit me tëcilën është koduar cilado sekuencë e simboleve të burimit me gjatësi të fundme

311 sss34 ss

-



SHEMBUJ TË KODEVE NJËVLERËSISHT TËDEKODUESHËM

• Kodet e mëposhtme (a,b,c) janë njëvlerësisht të dekodueshëm. Kodi (a)është josingular dhe ka fjalët e kodit me gjatësi të njëjtë, që në marrëspranohen në dyshe (çift)

• Kodi (b) është gjithashtu kod josingular dhe “0” luan rolin e presjes, sepsendihmon që saktë të përcaktohet përfundimi i fjalës së kodit

• Kodi (c) është gjithashtu njëvlerësish i dekodueshëm, por fjala e kodit nukmund të dekodohet pa arritur edhe simboli i parë (që në këtë rast është bit ifjalës së ardhshme). P. sh., pas ardhjes së simboleve 01, dekoduesi e “di”se nuk është por akoma nuk “di” a është simboli apo simboli pambërri simboli i ardhshëm i kodit. Pra kodi nuk mundet të dekodohetmomentalisht, por duhet pritur simbolin e ardhshëm

1s 32 , ss ,4s

KODI PARASHTESOR (MOMENTAL)• Kodi njëvlerësisht i dekodueshëm është parashetsor ose momental nëse

çdo fjalë e kodit në sekuencë mund të dekodohet pa u bazuar në simbolet eardhshme të kodit

• Kusht i nevojshëm dhe i mjaftueshëm që kodi të jetë momental është qëasnjë fjalë (e plotë) e kodit të mos jetë parashtesë ose prefiks e ndonjë fjaletjetër të kodit . Tash është e qartë se pse kodi (c) nuk është momental

• Pra kodet momentale formojnë një nëngrup të kodeve njëvlerësisht tëdekodueshëm. Në fig. e mëposhtme është treguar një ndarje e mundshmee kodeve



DIAGRAMI PEMË I KODIT

• Është një prej formave vizuale të përshtatshme të paraqitjes dhe ndërtimit

(pra të shënimit të fjalëve të kodit)• Kjo formë mundëson edhe përcjelljen e mënyrës së punës së dekoduesit, i

cili fillon nga rrënja e pemës, dhe varësisht nga simboli i pranuar shkon nënjërën prej degëve

• Për kodet (a), (b) dhe (c) nga shembulli paraprak, janë dhënë diagrametpemë, duke përvetësuar sipas dëshirës që me paraqitjen e zeros në fjalën ekodit të shkohet në të majtë të pemës, ndërsa me paraqitjen e njëshit – nëtë djathtë

(a) (b) (c)


• Kodet (a) dhe (b), siç u tha më lartë, janë kode momentale, ndërsa kodi(c) nuk është dhe, siç shihet nga figura, diagrami pemë për këtë rast

• Pra, tash është e qartë se kodi te i cili një fjalë e koduar është prefiks endonjë fjale tjetër shpie deri te diagrami i degjeneruar pemë i kodit

• Prandaj, mund të përfundojmë se shfrytëzimi i diagramit të padegjeneruarpemë për ndërtimin e kodit garanton fitimin e kodit momental.

• Gjithashtu nga figura për kodin (b) shihet se për simbolin biti i fundit ifjalës së kodit është i tepërt sepse dekoduesi mund të merr vendim edhenë mungesë të tij

• Në rastin e kodit binar , për çdo numër natyror q, mund të ndërtohet

4s

diagrami pemë i cili ka saktësisht q nyje përfundimtare, pra q fjalë tëkodit. Për baza të kodit mund të tregohet se në rastin epërgjithshëm kjo, siç shihet në shembullin në vazhdim, nuk është emundur

3r




• Le të jetë dhënë kodi ternar (r = 3), simbolet e të cilit janë 0, 1 dhe 2.Diagrami pemë për burimin me tre simbole (q = 3) duket si në fig. (a),ndërsa diagrami i parë i ardhshëm jep pesë fjalë të kodit, fig. (b).

s1 s2 s3

0 1 2

s1 s1s2

0 1

(a) (b)

s3 s4 s5

20 21 22

• Është e qartë se me kodin ternar nuk mund të ndërtohet diagrami pemëme 4 simbole, sepse diagrami jep pesë fjalë të mundshme, prej të cilave gjatëformimit të kodit momental zgjidhen 4 fjalë, kështu që, siç shihet nga fig. (b),një fjalë e koduar mbetet e pashfrytëzuar

JOBARAZIMI I KRAFT-IT

• Mund të vërtetohet se kusht i nevojshëm dhe i mjaftueshëm përekzistimin e kodit momental me gjatësi të fjalëve të koditështë plotësimi i jobarazimit të Kraft-it:

,,...,2,1 qlll

ku r është baza e kodit (numri i simboleve të listës koduese), kështuqë për kodin binar (r = 2 ), jobarazimi ka formën

11

q

i

l ir

121

q

i

l i

-momental duke shfrytëzuar fjalë kodi me gjatësi të caktuar, por nuk jep përgjigje edhe për atë si duhet ndërtuar atë kod, shih shembullinnë vazhdim



SHEMBULL: Kodet binare për burimin me 4 simbole

• Jobarazimin e Kraft-it e plotësojnë kodet: a, b, c, d , ndërsa kodi d nuk është

momental sepse s4 është prefiks i s3, por me fjalët e kodit më këtë gjatësi(1) mund të ndërtohet kod momental (c)• Me gjatësitë e dhëna të fjalëve të kodit e, nuk mund të ndërtohet kod

momental, sepse nuk plotësohet jobarazimi i Kraft-it (9/8 >1)

JOBARAZIMI I MAKMILAN-IT

• Deri sa paraprakisht është treguar se jobarazimi i Kraft-it jep kushtin enevojshëm dhe të mjaftueshëm për ekzistimin e kodit momental me fjalë me

- ,përcakton kushtin e nevojshëm dhe të mjaftueshëm për ekzistimin e koditnjëvlerësisht të dekodueshëm.

• Pasi që, siç u tha, kodet momentale janë nëngrup i kodeve njëvlerësisht tëdekodueshëm, nuk është e nevojshme që të vërtetohet se jobarazimi iKraft-it është kusht i mjaftueshëm.

• Për kodet njëvlerësisht të dekodueshëm, të cilët nuk është e thënë të jenë

momental, vlen jobarazimi i Kraft-it, kështu që nuk ka kurrfarë nevojepraktike që t‘u iket kodeve momentale dhe të përdoret klasa e përgjithshmee kodeve njëvlerësisht të dekodueshëm, sepse për secilin rast gjatësia efjalëve të koduara duhet të plotësojnë jobarazimin e Kraft-it.



GJATËSIA MESATARE E FJALËS SË KODIT

• Pasi që për burimin me një listë të dhënë të simboleve, mund të ndërtohenmë tepër kode momentale, shtrohet pyetja cilin prej tyre është optimal,dhe sipas cilave kritere duhet zgjedhur.

• Në rastin e kodimit statistikor është e qartë se kriter themelor duhet të jetëgjatësia e fjalëve të kodit, që nuk është rast i njëjtë kur bëhet shifrimi

• Le të jetë dhënë burimi me gjasat përkatëse të paraqitjessë simboleve dhe lista e simboleve koduese

Nëse fjala e kodit me të cilën kodohet simboli kagjatësi atëherë gjatësia mesatare e fjalës së koduar është

qsssS ,....,, 21

),..,2,1( qisPP ii .,...,, 21 r x x x X

i X is,il

q

i

ii lP Ll1

të vogël të fjalës së kodit.

• Një kod statistikor është optimal nëse gjatësia mesatare e fjalës së kodit

është më e vogël se gjatësitë mesatare të fjalëve të të gjitha kodeve tjeramomentale për të njëjtin burim dhe të njëjtën listë të simboleve koduese

Qëllimi i kodimit statistikor

• Qëllimi i kodimit statistikor është gjetja e kodit optimal, sepse, marrë nëpërgjithësi, mund të ekzistojnë më tepër kode optimale

• Në rastin e kodit binar, komplementi i kodit optimal është gjithashtu kod

optimal (madje edhe komplementimi i bitëve vetëm në pozicione të caktuarnë fjalën e kodit nuk e ndryshon gjatësinë e fjalëve të kodit)

• Prandaj, shtrohet pyetja si duhet vlerësuar se a është apo jo një kodoptimal, dhe cili është kufiri i poshtëm i gjatësisë mesatare të fjalës së koditnën të cilin nuk duhet zbritur.

• Në vazhdim do të caktohet gjatësia mesatare e fjalës së kodit për buriminpa memorie



Caktimi i gjatësisë mesatare të fjalëve të kodit përburimin pa memorie

• Entropia e burimit pa memorie është

• Në vazhdim do të shfrytëzojmë jobarazimin i cili vlen nëse x i dhe y i mund tëkonsiderohen elemente të bashkësisë së plotë të gjasave që plotësojnëkushtet:

:

ku shenja e barazimit në jobarazim vlen vetëm nëse plotësohet kushti x i = y i për çdo i .


• Nga sa u tha më lartë, mund të shkruhet që:

ku shenja e barazimit vlen vetëm nëse është P i = y i , për çdo i.

• Duke pas parasysh jobarazimin e Kraft-it mund të zgjedhim

q l

l

i j

i

r

r y

1

• Nëse zëvendësojmë në jobarazimin paraprak, kemi:




• Për kodin momental duhet të plotësohet jobarazimi i Kraft-it, kështu që

madhësia e cila logaritmohet në anëtarin e dytë të shprehjes së fundit

duhet të jetë më e vogël ose e barabartë me një, ndërsa

logaritmi është më i vogël (ose i barabartë) se zero

• Prandaj është:

• Për rastin e kodit binar r = 2 është

q

j

l jr 1

ose

Caktimi i gjatësisë mesatare të fjalëve të kodit për

burimin pa memorie• Rezultati i fituar ka edhe “interpretimin fizik” duke u nis nga fakti se entropia

është sasia mesatare e informacionit për simbol, prandaj, mesatarisht duhettransmetuar aq sasi të informacionit për simbol sa është edhe entropia.

• Pasi që çdo bit, për rastin kur të dy gjendjet mund të paraqiten me gjasë tëbarabartë, mund të “bart” një bit të informacionit, për bartje të simboleve tëburimit është i nevojshëm së paku aq bita sa është entropia.

• Te kodi me bazë r çdo simbol i kanalit mund të bart më së tepërmi ld·r bitetë informacionit, kështu që me pjesëtimin e H(s) me ld·r, fitohet numrimesatar më i vogël i simboleve për fjalë të koduar në rastin e kodit mesimbole r -are.

• Nga analiza paraprake del edhe një përfundim. Pasi që jobarazimi i fituarkalon në barazim vetëm kur është

caktimi i gjatësisë së fjalëve të koduara sipas kësaj shprehjeje garanton që

gjatësia mesatare dhe entropia të jenë të barabarta.

• Por, gjatësitë e fjalëve të koduara janë numra të plotë, ndërsa logaritmi ivlerës reciproke të gjasës nuk është e thënë të jetë numër i plotë, kështu qëkufiri i poshtëm për gjatësinë mesatare të fjalëve të koduara mund të arrihetvetëm në raste të veçanta.



SHEMBULL

• Burimin me q = 4 simbole e kodojmë me kod binar (r = 2 ), ku janë tëmundshme dy bashkësi të gjasave:

simbolbit ld S H a /24 simbolbit La /2225.04

simbolbit ld ld ld S H b /75.18125.02425.025.0 simbolbit L

b /75.13125.02225.015.0

TEOREMA E PARË E SHANONIT

• Të analizojmë në vazhdim burimin diskret pa memorie.• Deri tash kemi analizuar si zgjidhet problemi i gjetjes së kodit optimal në

rastin kur asat e simboleve të burimit anë të formës i cili ështëik ,rast i veçantë.

• Shtrohet pyetja si të veprohet në rastin e përgjithshëm.• Kur logaritmi i vlerës reciproke të gjasës nuk është numër i plotë, është e

logjikshme që për çdo fjalë të merret gjatësia sipas kësaj zgjedhjeje oserregulle

•

është e qartë se jobarazimi i Kraft-it do të plotësohet, kështu qëbashkësia e fjalëve të koduara me gjatësitë e zgjedhura do tëmundësojnë fitimin e kodit optimal.

• Në rastin konkret shqyrtohet kodi binar, por kjo vlen edhe për kodin r-ar,me kusht që të merret logaritmi me bazë r.




• Me shumëzimin e çdo jobarazimi q në shprehjen paraprake me numrinpërkatës jonegativ P i (pra nuk ndryshon edhe kahu i jobarazimit), kemi:

• Me mbledhjen e këtyre q jobarazimeve fitojmë

përkatësisht:


• Pra, me zgjedhjen e gjatësisë së fjalëve të koduara sipas rregullës sëpërvetësuar, mund të fitohet gjithmonë kod momental gjatësia mesatare ea ve o uara e c p o son o araz m n e n .

• Jobarazimi i përmendur mund të zgjerohet edhe në rastin e zgjerimit të n-të

të burimit

ku Ln është gjatësia mesatare e fjalëve të koduara për simbolet e burimit tëzgjeruar, që është sekuencë prej n simbolesh të burimit fillestar. Pasi që përentro i, si dihet, vlen , sh reh a ara rake mund të shkruhetS nH S H n

në formën

• Nga jobarazimi i fundit shihet se kur n rritet në pambarim, kemi

ose




• Madhësia Ln /n paraqet gjatësinë mesatare të fjalëve të koduara për simboltë burimit fillestar (paraprak) S.

• Nga ajo që u tha paraprakisht mund të përfundojmë se gjatësia mesatare efjalëve të koduara mund të bëhet arbitrarisht afër vlerës së entropisë sëburimit.

• Ky është pikërisht formulimi i teoremës së parë të Shanonit ose “teoremëspër kodim pa zhurma”.

• Kur kodi nuk është binar kemi:

Teorema e parë e Shanonit për burimet mememorie

• Për burimin me memorie të rendit të parë dhe për burimin që lidhet me te (icili është pa memorie) jepen shprehje të ngjashme për gjatësinë mesataretë fjalëve të koduara, dhe mandej procedura përsëritet për zgjerimin e n-tëtë burimit të këtillë dhe për burimin e lidhur me këtë zgjerim.

• Me kombinimin e këtyre katër shprehjeve, duke marrë parasysh faktin se:

ku burimet e lidhur me burimet e Markovit shënohen me vizë mbi simboletpër burimin përkatës, fitohet:

• Kështu që, me zgjedhjen e n mjaftë të madhe, gjatësia ekuivalentemesatare e fjalëve të koduara mund të bëhet arbitrarisht afër vlerës sëentropisë.

• Pasi që çdo burim me memorie i rendit të lartë,me zgjerimin e tij, kalon nëburim të rendit të parë, lehtë mundet të tregohet se teorema vlen edhe përburimet me memorie të rendit të lartë.



SHEMBULL

• Përdorimi i drejtpërdrejtë i rregullave paraprake për zgjedhjen e gjatësisëmesatare të fjalëve të koduara nuk shpie gjithmonë tek kodi optimal.

• , ,

• Pra, kodi (b), edhe pse nuk është caktuar sipas rregullës së Shanonit, kagjatësi më të vogël. Simboli shënon numrin e parë më të madh të plotë.

simbolbit S H /22.1 simbolbit La /78.1 simbolbit Lb /33.1

x

SHEMBULL: Zgjerimi i burimit

• Zgjerimi i burimit është shumë efikas, gjë që shihet nga ky shembull iburimit binar pa memorie (q = r = 2 ) me gjatësi të çfarëdoshme të fjalëve

o uara, me us q o e o momen a

• Nëse bëjmë zgjerimin e dytë të burimit, pra (n = 2 ), kemi

simbolbit S H /54.0

simbolbit L /1

2

2 /36.1 S simbbit L

simbolbit L /68.02/2



SHEMBULL: Zgjerimi i burimit

• Me zgjerimin e burimit është fituar gjatësi mesatare ekuivalente e fjalës sëkoduar, e cila është shumë afër entropisë (në vend të 1bit/simbol është

. .

• Me zgjerimin e mëtutjeshëm do të fitoheshin vlera edhe më të afër vleravetë entropisë, por në këtë rast rritet numri i simboleve të listës së kodimit,dhe për vlera të mëdha të q dhe n, mund të kemi lista të mëdha të kodimit(me qn elemente).

Efikasiteti dhe redundanca

• Efikasiteti i kodit përkufizohet për të caktuar kuntitativisht se sa i afrohetentropisë gjatësia mesatare e fjalës së koduar për kodin e fituar, dhe jepetn orm n

• Gjithashtu mund të përkufizohet edhe redundanca ose teprica si:

• Në shembullin paraprak, vlerat përkatëse të këtyre madhësive janë:η1=54% (R 1=46%) pa zgjerim, dhe η2 =79.4% (R 2 =20.6%) kur bëhet zgjerimi iburimit.

• Për kodin binar efikasiteti (kuptohet jo në %) paraqet në të vërtetë numrin ebitëve që transmetohen për simbol të kodit.



Kodimi pa zgjerim të burimit

• Teorema e parë e Shanonit jep përgjigje se çfarë performancash mund tëarrihen me kodim statistikor, dhe si (me zgjerim të mjaftueshëm të burimit)

,optimal nga një burim i caktuar (pa zgjerime të mëtutjeshme)

• Për zgjidhjen e këtij problemi do të analizohen dy algoritme:1. Shanon-Fano-s, dhe i2. Hafman-it (Huffman)

Algoritmi i Shanon-Fano-s

• Simbolet e listës së burimit renditen sipas vlerave në rënie, pra (P 1 ≥ P 2

≥…≥ P q). Nëse simbolet kanë gjasa të barabarta, radhitja e tyre në kuadërsa proce ure nu s e r n s s me.

• Pastaj grupi i simboleve ndahet në dy pjesë me gjasa të barabarta (osepërafërsisht të barabarta të paraqitjes.

• Fjalët e koduara të njërit nëngrup do të fillojnë me zero, ndërsa ato tënëngrupit tjetër me 1.

• Çdo njëri prej nëngrupeve ndahet në dy nëngrupe tjera me gjasa tëbarabarta duke shtuar në vendin përkatës të fjalës së koduar 0 ose 1.

• Kur në të gjitha nëngrupet mbetet nga një simbol, kodimi ka përfunduar.



SHEMBULLI a

• Kodi i fituar (në kolonën e tretë): 0, 10, 110, 111 është kod optimal, dhe

gjatësia mesatare e fjalës së koduar është e barabartë me entropinë.

SHEMBULLI b



SHEMBULLI c

SHEMBULLI d

• Detyrë: Të provohet nëse kodi është më efikas kur ndarja e parë bëhetndërmjet s1 dhe s2, në vend të ndarjes nga tabela paraprake (ndërmjet s2

dhe s3).



Diagrami pemë për shembujt b dhe c

• Përdorimi i njëfishtë i kësaj metodenuk garanton fitimin e kodit optimal,kështu që një pasqyrë më e qartëmund të fitohet me paraqitjen endërtimit të kodit me diagramin pemë,të propozuar nga Fano (së këndejmiedhe emri i algoritmit), në ç’rast ecjanë të majtë i përgjigjet “0 ”, ndërsa nëtë djathtë “1”, ose e kundërta.Diagrami mund të paraqitet edhehorizontalisht, në ç’rast do të kishimecjen lartë (“0”) dhe poshtë (“1”).

• Pra, duhet zgjedhur diagramin pemëe ny a për un m are u et

shoqëruar me simbole, duke synuarqë gjasat e degëzimit në çdo nyje të

jetë e njëjta ose përafërsisht të njëjta.

Algoritmi i Shanon-Fano-s• Në mënyrë që me shfrytëzimin e këtij algoritmi të gjendet kod optimal është e

nevojshme që për burimin e dhënë (me q simbole) dhe për kodin e dhënë(me r simbole të kodit) të shqyrtohen të gjitha diagramet pemë të kodimit (që janë numër i fundmë), dhe pastaj, sipas shpërndarjes së gjasave të

,mesatare të fjalës së koduar.

• Është evidente se simboleve me gjasë më të madhe u dedikohen fjalë më tëshkurtra të kodimit, ndërsa disa variante ku gjasat e degëzimit ndryshojnëshumë ndërmjet veti, (intuitivisht, pa provuar) nuk duhet marrë në konsiderim.

• Kështu, është e qartë se për q = 2 ekziston një diagram pemë për kodimbinar (r = 2), ndërsa për q = 3, përsëri kemi një diagram, duke pas parasyshfaktin e theksuar më parë se me komplementimimin e bitëve të caktuar (që ipërgjigjen rrotullimit të degëve të diagramit rreth boshtit të simetrisë nëpërnyjat përkatëse) fitojmë diagram ekuivalent, në ç’rast gjatësia e fjalës nuk

.• Në figurat në vazhdim janë treguar diagramet (me ngjyra të ndryshme) për q

= 2, për q = 3, një diagram i mundshëm, ose dy diagrame të mundshmeekuivalente, për q = 4, dy diagrame të ndryshme të mundshëm dhe për q = 5,tre diagrame të ndryshme të mundshëm.

• Për q = 6 , ekzistojnë 5 diagrame te ndryshëm, ndërsa për q = 7, ka 9diagrame të ndryshëm.



Forma të ndryshme të diagramit pemë për kodimbinar dhe vlera të ndryshme të q

SHEMBULL• Është dhënë burimi me q = 5 simbole (shih slajdin paraprak). Pra, nga fig.

shihet se janë të mundur tri kode të ndryshme binare, dhe është elogjikshme të pritet që kodet a dhe b të japin rezultate më të mira (shih

,madhe u është caktuar kod më i shkurtër. Por, në rast të numrit më të madhtë simboleve, situata nuk është e thënë të jetë edhe aq e thjeshtë.

simbolbit S H /659.1 simbbit Lsimbolbit Lsimbolbit L cba /1.2/8.1/7.1



SHEMBULL (Burimi me 6 simbole)

simbolbit S H /6597.1

simbolbit La /74.1

simbolbit Lb /75.1

• Siç shihet nga shembulli i fundit, dallimi i gjatësive është shumë i vogël, kështuqë nuk është lehtë që paraprakisht të zgjidhet diagrami më i përshtatshëm, por përkëtë nuk ka edhe nevojë, sepse kodi i Hafmanit që pason jep sigurisht kod kompakt.

• Prandaj kodi i Shanon-Fano-s si hyrje në kodim për shkak se është i thjeshtë.

Algoritmi i Shanon-Fano-s

• Ky algoritëm mund të shfrytëzohet edhe për kodimin e burimit të zgjeruar.

• ër ç o zge rm të mëtut es ëm rr tet numr s m oeve që u et o uar,dhe paraqiten mundësi të shumta për kodim.

• Teorema e parë e Shanonit e vërteton pikërisht faktin e afrimin drejtëentropisë me rritjen e n, që në të vërtetë është edhe “interpretimi fizik” iteoremës (vetia e ekuiparticionit asimtotik).

• Në rastin e kodeve ternare (r = 3) ose më të larta, simbolet do të ndaheshin

barabarta të paraqitjes.

• Grupet e tilla ndahen më tutje sipas procedurës së njëjtë, duke pasparasysh se në rastin e kodit ternar i kemi tre simbole për kodim (p.sh. 0, 1,2 ).



ALGORITMI I HAFMANIT

• Ky algoritëm mundëson gjetjen e drejtpërdrejtë të kodit optimal.• Le të jetë dhënë burimi S me simbolet si (i = 1,2,…,q), me gjasat përkatëse

i , ,…, .• Simbolet duhet renditur ashtu që të vlejë: P 1 ≥ P 2 ≥…≥ P q.• Dy simbolet me gjasë më të vogël (sq-1 dhe sq) kombinohen në një simbol të

ri sq-1, gjasa e të cilit është e barabartë me shumën e gjasave të paraqitjessë dy simboleve prej të cilëve është fituar, dhe duke zvogëluar në këtëmënyrë burimin nga q në q-1 simbole.

• Përsëri bashkojmë dy simbole me gjasë më të vogël dhe fitojmë burim meq-2 simbole.

• Këtë e ërsërisim deri sa nuk bëhen - 1 zvo ëlime dhe deri sa nuk fitohet burim Sq-1 me vetëm dy simbole.

• Duke filluar nga burimi i zvogëluar në dy simbole shënojmë fjalët e koduara

në atë mënyrë që njërit prej simboleve i dedikojmë bitin 1, ndërsa tjetrit, bitin0. Procedura vazhdon hap pas hapi në kahun e kundërt.

Kodimi i Hafmanit



Kodimi i Hafmanit

Kodimi i Hafmanit



SHEMBULL

Gjatësia mesatare e fjalëve të koduara është L = 1.74 bit/simbol.

SHEMBULL

Gjatësia mesatare e fjalëve të koduara është L = 2.1 bit/simbol

(H(S) = 2.0502 bit/simbol )



SHEMBULL

• Gjatësia mesatare e fjalëve të koduara është L = 2.1 bit/simbol , por strukturae gjatësive të fjalëve të koduara ndryshon.• Por, kjo nuk është pengesë sepse kod optimal është ai i cili ka gjatësi

mesatare të fjalëve të koduara më të vogël ose të barabartë me gjatësitëmesatare të të të gjitha kodeve tjera momental që mund të konstruktohen nënkushtet e dhëna.• Ky është shembull jotrivial i ekzistimit të më tepër kodeve kompakte për tënjëjtin burim dhe të njëjtën listë të kodimit.

Algoritmi i Hafmanit për r > 2

• Gjatë përdorimit të kodit të Hamanit bëhet zvogëlimi i r simboleve me gjasëmë të vogël dhe kështu shkohet deri në fund. Në procesin e kthimit fitohen

-, ,…, .

• Në rastin e përgjithshëm, pas zvogëlimit të fundit nuk është e thënë tëmbeten saktësisht r simbole, por mund të jenë edhe më pak.

• Atëherë do të mbeteshin të pashfrytëzuar fjalët më të shkurtra të kodimit.

• Që t’i iket kësaj shtohen simbole të rremë me gjasë zero.

• Ky numër zgjidhet ashtu që pas zvogëlimit të fundit të mbesin r simbole.

• Gjatë kthimit mbas simbolet e rremë do të kenë fjalë më të gjata të kodimit,kështu që pa dëmtim do të lehen pas dore.



SHEMBULL

L = 1.5 shifra ternare/simbol

SHEMBULL

L = 1.7 shifra ternare/simbol



Algoritmi i Hafmanit jep kod optimal

• a) Simbolet me gjasë më të vogël duhet të kenë fjalë më të gjata të kodimit(për p j > pk duhet të jetë l j < l k )

• b) Fjalët e kodimit për dy simbolet me gjasë më të vogël duhet të kenëgjatësi të njëjtë të fjalës së koduar (l q-1 = l q)

• c) Në mesin e fjalëve të koduara me gjatësi më të madhe, që mund të jenëmë tepër se dy, duhet të jenë dy fjalë që kanë të gjitha bitët identik, përveçtë fundit

Të metat e algoritmit të Hafmanit

• Një kohë të gjatë algoritmi i Hafmanit është përdorur si i vetmi algoritëm përkodim statistikor

• Por mund të thuhet se ky algoritëm i ka disa të meta qenësore si:

- Kërkon njohjen e gjasave të paraqitjes së simboleve, dhe nëse bëhet fjalëpër ndonjë tekst këto gjasa kryesisht njihen, edhe pse varen nga natyra etekstit. Por, pasi që përveç teksteve transmetohen edhe lloje të tjera tëprogrameve dhe të të dhënave multimediale për të cilat nuk dihen gjasat esimboleve në fillim.

- E metë tjetër është se burimi trajtohet si burim pa memorie.



KODET E LEMPEL-ZIV-it (LZ)

• Problemet paraprake kanë nxitur përpjekjet për të fituar kod universal nëkuadër të të cilit nuk ekziston model eksplicit, dhe i cili bënë komprimimin esekuencës që transmetohet pa njohjen paraprake të vetive statistikore.Duhet theksuar se sekuenca gjithashtu mund të jetë edhe jostacionare.

• Në kodues, në bazë të pjesës së njohur të mesazhit, e cila veç ka hy nëkodues, formohet modeli, në bazë të të cilit bëhet komprimimi. Modeli i kodittë këtillë është adaptiv dhe gjithmonë përcjellë vetitë statistikore të mesazhitqë kodohet

• Në kuadër të algoritmit LZ sekuenca hyrëse ndahet në segmente më tëshkurtra që akoma nuk janë paraqitur në pjesën e sekuencës të pranuarparaprakisht

• Segmentet që janë pranuar paraprakisht janë memorizuar nga koduesi (në,

segmentit të ri të plotë dërgon vetëm adresën ose treguesin ( pointer ) esegmentit paraprak të memorizuar dhe bitin (në rastin e përgjithshëm

simbolin) e ri ose adresën e tij, e cila mund të përcaktohet në fillim.• Në këtë mënyrë përkufizohet segmenti i ri më i gjatë për një bit kundruallsegmentit të memorizuar paraprakisht, dhe segmenti i tillë i ri tash fitonadresën e tij të re. Biti (simboli) i ri mund të quhet bit ose simbol përtëritës(innovation symbol )

SHEMBULL

• Le të jetë dhënë sekuenca 00101100001001 të cilën duhet koduar memetodën e LZ-së, dhe në kodues le të jenë memorizuar paraprakisht bitët 0(me adresë 1) dhe 1 (me adresën 2), me ngjyrë të kuqe në tabelë.

• Segmenti i parë më i shkurtër, i cili nuk është paraqitur paraprakisht është, e a o o et me om nm n , që mun të nterpreto et as tu që

merret sekuenca që ka adresën 1 (pra biti 0 me të kuqe) dhe asaj i shtohet biti0 (që ka adresën 1). Sekuencës 11 i caktohet (ndahet) adresa 3.

• Në vend të adresës së bitit përtëritës (1 ose 2) mund të shtohet vetë biti,kështu që atëherë kombinacioni 00 kodohet me 10.



SHEMBULL• Segmenti i ardhshëm më i shkurtër, i cili nuk është paraqitur paraprakisht,është 10 që kodohet me 21 (sepse 1 ka adresën 2, ndërsa 0 adresën 1) dhe i

caktohet adresa 4. Por nëse shtohet vlera e bitit përtëritës, kombinimi do tëkodohej me 20.

• Segmenti i ardhshëm është 11, i cili kodohet me 22 (21) dhe i caktohetadresa 5, pas të cilit pason segmenti 000, i cili kodohet me adresën esegmentit 00 (3), të cilës i shtohet 1 (ose 0) dhe i caktohet adresa 6.

• Pason segmenti 100, i cili kodohet me 41 (40) dhe i caktohet adresa 7, dheprocesi vazhdon më tutje.

• Dekoduesi, i cili në fillim ka memorizuar segmentet 0 dhe 1 në adresat 1dhe 2, ka elemente të mjaftueshme për të rikonstruktuar vargun paraprak.

Metodat e shkurtimit të vargut

• Metodat e shkurtimit të vargut bazohen në faktin se të dhënat shpeshparaqiten në vargje të simboleve të njëjta. Kjo vlen sidomos për zerot (p.sh.,es a, e s n a z r , zona e zeza, e gura , e . .

• Metoda më e thjeshtë që shfrytëzon këtë fakt është metoda e ngjeshjes së

zerove, ku vargu i tërë i zerove zëvendësohet me një simbol të veçantë, tëashtuquajtur flamur, dhe me numrin e zerove në varg.

Shembulli 24: Ngjeshja e zerove

• Kodojmë vargun e simboleve: 7860000000000000000000000000 nëformën 786f25 , ku “f ” është flamuri që shënon fillimin e vargut të zerove,ndërsa numri pran flamurit tregon numrin e zerove në varg, në këtë rast 25 .

• Është e qartë se flamuri duhet të jetë simbol i veçantë që shërben vetëmpër këtë qëllim, dhe nuk mund të shfrytëzohet për kodim të simboleve tjeratë mesazhit.



Metodat e shkurtimit të vargut

• Metodë më e përgjithësuar është metoda e kodimit vargor , ku kodohetvargu i cilit do simbol që paraqitet, pra jo vetëm i zerove. Simbolet e tilla nëvarg zëvendësohen me vetëm një simbol , i cili përsëritet në varg, dhe pastajason shen a s eciale ër ërsërit e si dhe numri i ërsërit eve ra ithse

tri shenja.Shembulli 25: Kodimi vargor

• Do të kodojmë mesazhin: AECCCCCCCCCEFFFABC me kodin vargor si: AEC!9EFFFABC .

• Vargu prej 9 përsëritjesh të simbolit C zëvendësohet me një simbol C ,flamurin !, që paraqet përsëritjen, dhe numrin e përsëritjeve, në këtë rast 9.

• Vërejmë se vargu FFF nuk është zëvendësuar me F!3 sepse me këtë nukdo të arrihej kurrfarë kursimi, dhe në këtë rast (C përsëritet si numërn s ror, pra , por o m z ven s m o arsye o e p r p rs r ene 4 ose më tepër shenjave.

• Shihet gjithashtu se kufiri i arsyeshëm varet edhe nga ajo se sa simboleduhen për kodimin e numrit të përsëritjes.• Përdorimi i kësaj metode paraqitet në kuadër të algoritmeve më të

ndërlikuar, siç është p.sh., norma JPEG për kodimin e figurës fikse, porkodimi vargor ka qenë në përdorim edhe te gjenerata e parë e telefakseve.

MODELIMI I KANALIT DISKRET

• Sipas bllok skemës së dhënë në fillim, koduesi që pason është ai i sigurisë,i cili vendoset për shkak të kanalit , në mënyrë që të zbulohen dheeventualisht të korrigjohen gabimet që ndodhin në kanal.

informacionit, e pastaj edhe vetë kodet për kontroll të gabimeve (errorcontrol codes).

• Njësoj sikurse te burimet e informacionit, edhe kanalet ndahen në kanalediskrete dhe kontinuale. Kanalet diskrete ndahen më tutje në kanale pamemorie dhe ato me memorie. Në mënyrë që të thellohemi në vetë ndarjene kanaleve, duhet vështruar fig. me të cilën është treguar koncepti i njëkanali diskret.



MODELIMI I KANALIT DISKRET

• Nëse burimi emeton vargun e bitëve të cilët duhet dërguar në destinacion , në rast senuk do të përdorej kodimi për kontroll të gabimit, nga burimi, përmes ndonjë elementi përndërmjetësim (interfejsi), do të arrihej në modulator.

• Kuptohet se transmetimi mund të bëhet edhe në brezin themelor , ndërsa pas kalimitnëpër kanal dhe demodulator (ku bëhet vendosja), bitët e informacionit do të arrijnë nëdestinacion.

• Në rast se përdoret kodimi për kontroll të gabimeve, në sistem paraqiten blloqetpërkatës: koduesi i kanalit, ku bitëve të informacionit u shtohen bitët për kontroll , qënga pikëvështrimi i informacionit janë të tepërt, por që mundësojnë zbulimin dheeventualisht korrigjimin e gabimeve në dekoduesin e kanalit.

• Nga pikëpamja e kodimit për kontroll të gabimeve, modulatori, kanali (në kuptimin engushtë) dhe demodulatori mund të zëvendësohen me një bllok që paraqet kanalindiskret, i cili me arsye shpesh quhet kanal kodues.

• Marrë në përgjithësi, mund të konsiderohet që në hyrje dhe në dalje të kanalit diskretekzistojnë bite, ndërsa në hyrje dhe në dalje të kanalit modulues – sinjale. Është e qartëse në rastin e përgjithshëm, në hyrje dhe në dalje të kanalit diskret nuk është e thënë tëekzistojnë bite, por simbole.

PËRSHKRIMI MATEMATIK I KANALIT DISKRET

PA MEMORIE

Lista e simboleve në hyrje Lisat e simboleve në dalje

• Nëse gjasat me kusht janë të pavarura nga simbolet paraprakisht të emetuar nëkanal, ose nga ato që do të emitohen pastaj (te kanali me anticipim), thuhet se kemitë bëjmë me kanal pa memorie.

• Vendosja në dekodues mund të jetë e tillë që numri i simboleve në dalje të jetë i

Gjasa me kusht që në dalje të kanalit do të

paraqitet simboli y j , nëse është dërguar simboli x i

n ë ë me atë në yr e, por nu ës të e t ënë të etë g t monë y rast.• Kështu p. sh., kanali te i cili dekoduesi që për hyrje binare (0 dhe 1) jep në dalje tresimbole të ndryshme (0,1 dhe E ), ku E është biti që shqyrtohet e që sigurisht ështëbit i gabuar, quhet kanal binar me fshirje (Binary Erasure Channel – BEC ).

• Kur në demodulator merret vendim definitiv për simbolin që shqyrtohet, thuhet semerret vendim i fortë (hard decision). Por, në rastin e vendimit të butë (soft decision),është e mundur që, përveç vendimit për simbol, dekoduesit t’i dërgohet edhe një llojvlerësimi për vendimin e marrë, p. sh., gjasën që vendimi i marrë është i saktë, qërëndom kodohet me disa bite.



Matrica e kanalit

• Bashkësinë e gjasave me kusht P(y j /x i ), që shkurtimisht do ta shënojmëme P ij,, mund ta paraqesim në formë të matricës së kanalit , ku indeksi itregon numrin rendor të rreshtit, gjegjësisht të simboleve hyrëse, ndërsaindeksi j, numrin rendor të kolonës gjegjësisht të simboleve në dalje.

• Shuma e gjasave sipas rreshtave është e barabartë me 1, pra matrica Pduhet të jetë stohastike, sepse pas pranimit të sinjalit duhet të vendoset ciliprej simboleve të pranuara y j është pranuar, kur është dërguar simboli xi .

• Te disa autorë P ij.është gjasa e pranimit të simboleve y i, kur është emetuar x j , dhe në atë rast shuma e gjasave sipas kolonave duhet të jetë ebarabartë me 1.

Kanali binar

• Kanali me numër më të vogël të simboleve është kanali binar (Binary

Channel - BC ), matrica e të cilit është:

dhe janë “gjasat kalimtare për transmetim pa gabim”,ndërsa dhe janë “gjasat kalimtare për transmetimi të

gabuar” .

• Në vend të matricës së kanalit, kanali shpesh paraqitet edhe me graf , i cilipër kanalin binar është treguar në f ig.

1/11 Pv 0/02 Pv 1/01 P p 0/12 P p

ku është,

• Një formë e veçantë e kanalit binar është kanali binar simetrik (Binary

Symmetric Channel – BSC ), matrica e kanalit e të cilit është:



Gjasa e gabimit te kanali binar

• Simetria ndërlidhet me faktin që gjasat e kalimit nga 0 në 1 dhe nga 1 në 0 janë të barabarta ndërmjet veti.

• Ky është rasti i kanalit më të thjeshtë të mundshëm që përcaktohet vetëmme arametrin v ër të cilin n ëkohësisht tre ohet se e ka vlerën e ,barabartë me gjasën e gabimit (P e ). Në këtë rast gjasa e gabimit nuk varetnga gjasa e paraqitjes së simboleve në hyrje të kanalit .

• Por, te kanali i rëndomtë binar gjasa e gabimit është• Për sa i takon kanalit real, për të cilin mund të shfrytëzohet modeli i kanalit

BSC, ai do të ishte kanal pa interferencë të simboleve dhe me zhurmë qëka shpërndarje simetrike të dendësisë së gjasës rreth vlerës së sajmesatare (gjasë të njëjtë të kalimit nga 0 në 1 dhe nga 1 në 0 ), ndërsaamplitudat në momentet e vendosjes janë statistikisht të pavarura, sepsegabimet në kanal paraqiten në mënyrë statistikisht të pavarur.

interferencë të simboleve, i cili në praktikë nuk haset aq shpesh, por BSCshfrytëzohen shpesh si model .

Kanali binar me fshirje

• Në fig. është dhënë kanali binar me fshirje (BEC), matrica e të cilit është:

• Shembull i kanalit diskret, i cili mund të paraqitet me modelin kanalit BEC,është sistemi që ka mundësi të lidhjes së kundërt , kështu që marrësi kainformacionin se a është simboli që është dërguar paraprakisht i gabuar ose jo.

• Te kanalet BEC, strategjia e punës optimale është e qartë – nëse në pranimdetektohet simboli i cili i përgjigjet fshirjes (rëndom shënohet me E ), dhënësiduhet përsëri të emetojë simbolin e tillë deri sa nuk pranohet njëri prej simboleve0 ose 1.



Lidhja kaskadë e kanaleve binare simetrike

• Pasi që kanali për transmetimin e të dhënave në mënyrë shumë tëidealizuar mund të paraqitet si kanal BSC, edhe linja me më tepërreg enera or p r ransme m n g a , g as u n orm s umidealizuar, mund të paraqitet si lidhje kaskadë e më tepër BC-ve ose BSC-ve (dy në rastin në fig.)

• Matrica e lidhjes kaskadë e më tepër kanaleve BSC fitohet me shumëzimin

e matricave të kanalit binar bazë.

• Kur numri i kanaleve të lidhur kaskadë rritet, elementet e matricës së kanalitekuivalent BSC tentojnë në vlerën 0.5 .

Zgjerimi i kanalit

• Sikurse zgjerimi i burimeve, po ashtu edhe kanalet mund të zgjerohen duketrajtuar sekuencën e n simboleve të kanalit fillestar si simbole të zgjerimit tën- .

• P.sh., kur shqyrtohet zgjerimi i dytë i kanalit binar simetrik, pra (BCS)2,matrica përkatëse është produkti i Kronekerit i matricës BSC.



RAPORTET E GJASAVE NË KANAL

• Le të jetë dhënë kanali diskret pa memorie i përcaktuar me matricën P,me dimensione r x s.

•dalje, kur është emetuar ndonjë simbol në kanal - - qëndryshe quhen edhe gjasë kalimtare ose gjasë aposteriore esimboleve në dalje.

• Nëse dihen edhe gjasat e simboleve në hyrje (gjasat hyrëse ose gjasatapriore) , atëherë mund të njehsohen gjasat esimboleve në dalje (gjasat dalëse) si:

i jij x yPP /

r i xPi ,...,2,1

r

i

iji j s jP xP yP1

.,...,2,1

• Pra, në bazë të gjasave hyrëse dhe atyre kalimtare gjithmonë mund tënjehsohen gjasat dalëse. Kuptohet se gjasat hyrëse dhe dalëse duhet të

plotësojnë edhe relacionet:

• Por, në rastin e përgjithshëm, nuk është e thënë të mund të njehsohengjasat hyrëse në bazë të gjasave kalimtare dhe atyre dalëse.

SHEMBULL

• Për Kanalin BSC ku është: dhe , nëbazë të shprehjes paraprake kemi:

,5.0 v p a xP 1 12 bab xP

• Pra, pa marrë parasysh se sa janë gjasat në hyrje.

• Duhet theksuar se ky është megjithatë rast ekstrem i kanalit kur 1 ba



RAPORTET E GJASAVE NË KANAL

• Përveç gjasave të përmendura, ekziston edhe bashkësia e gjasave

aposteriore e simboleve në hyrje të kanalit , kur dihet se cili simbol ështëpranuar n a e, c a ogar en u e u n sur nga rregu a e a es p rgjasën e përbashkët ( joint probability) të dy ngjarjeve të dhënë me shprehjen:

• Gjasat aposteriore llogariten sipas shprehjes:

• Është e qartë se duhet të vlejë:

SHEMBULL

• Është dhënë kanali binar (BC), i përcaktuar me matricën:

• Duhet njehsuar gjasat në dalje, nëse gjasat në hyrje janë: dhe 4/31 xP

4/12 xP

• Kuptohet se duhet të vlejë:



SHEMBULL - vazhdim

• Gjasat aposteriore e simboleve në hyrje të kanalit janë:

SHEMBULL - vazhdim

• Lehtë mund të llogariten edhe gjasat e përbashkëta:



ENTROPIA APRIORE DHE APOSTERIORE

• Në fillim, kur është trajtuar entropia, ajo është përkufizuar me shprehjen:

Kjo entropi mund të quhet entropi apriore sepse llogaritet në bazë tëgjasave apriore, dhe paraqet masën e pasigurisë apriore për atë se cilisimbol do të dërgohet.

• Por, kur pranohet ndonjë simbol konkret y j nga lista e simboleve Y, në këtërast mund të flasim për entropinë aposteriore, që shprehet si:

Madhësia e tillë paraqet masën e pasigurisë së mbetur aposteriore për atëse cili simbol është dërguar, dhe mund të quhet entropi aposteriore parciale.

SHEMBULL – vazhdim i shembullit paraprak

• Për shembullin numerik të dhënë paraprakisht, për entropinë apriore dheaposteriore fitojmë:

simb

bit ld ld X H 811.04

4

1

3

4

4

3)(

bit ld ld y X H 998.0

1910199/ 2

simb

bit ld ld y X H 276.021

21

1

20

21

21

20/ 1

s m



Entropia aposteriore

• Entropinë aposteriore parciale duhet mesatarizuar sipas të gjitha simbolevedalëse, në ç’rast fitojmë entropinë aposteriore në formën:

• Entropia e tillë aposteriore mesatare quhet edhe ekuivokacion (equivocation)i X në lidhje me Y , dhe paraqet masën e pasigurisë aposteriore për atë seçka është emetuar, nëse dihet se çka është pranuar.

•

Pra, pasiguria për atë se çka është dërguar, nëse dihet se çka është pranuar,megjithatë në mesatare është zvogëluar ndaj asaj të fituar paraprakisht(0.998 bit/simb).

bit/simb

INFORMACIONI RECIPROK

• Le të marrim në shqyrtim vrojtuesin ideal i cili mund të përcjellë hyrjen osedaljen e kanalit, ose hyrjen dhe daljen njëkohësisht. Vrojtuesi i tillë le tën e n n momen ve m s m o n x i ana . as a e n ormac on qe merr nga pranimi i këtij simboli është ld(1/p(x i )).

• Nëse është pranuar simboli y j , masa e pasigurisë mbi simbolin x i tashndryshon, dhe është ld(1/p(x i /y j )).

• Sasia e informacionit të transmetuar me çiftin ( x i ,y j ) është e barabartë mendryshimin e pasigurisë fillestare dhe asaj përfundimtare

• Vlerën e tillë duhet mesatarizuar sipas të gjitha çifteve të simboleve (x i ,y j ).

Vlerat e tilla mesatare janë në të vërtetë entropia apriore dhe aposteriore,kështu që sasia mesatare e informacionit të përcjellur për një simbol është ebarabartë me ndryshimin e entropisë mesatare (pasigurisë) apriore dheaposteriore në pranim: bit/simb



INFORMACIONI RECIPROK

• I(X,Y) paraqet sasinë e informacionit të transmetuar (për simbol), për të cilëndo të përdorim emrin informacion reciprok (mutual information), që në formëmë kompakte mund të shkruhet, duke përdor rregullën e Bajesit:

• Për shembullin paraprak: = 0.194 bit/simb.

Vetitë e informacionit reciprok

• Nga shprehja e fundit për informacion reciprok lehtë mund të përfundojmëse , nëse simbolet hyrëse dhe dalëse në çifte janë statistikisht tëpavarur, pra n se .

• Përfundimi i tillë edhe një herë intuitivisht vërteton qasjen e drejtë gjatëpërkufizimit të sasisë së informacionit, sepse kur simbolet e pranuar nuk

varen nga simbolet e dërguar, atëherë edhe nuk kemi kurrfarë dërgimi të

informacionit.

• Gjithashtu mund të vërtetohet se informacioni reciprok është madhësi më emadhe ose e barabartë me zero, pra , ku shenja e barazimit vlenvetëm për rastin paraprak të pavarësisë statistikore.

• Informacioni reciprok është maksimal nëse entropia aposteriore është ebarabartë me zero, sepse atëherë përcillen të gjitha informacionet qëemetohen, pra H(X) bit/simb. Kështu që vlen: .

• Nga përkufizimi shihet se informacionit reciprok është simetrik ndaj listëshyrëse dhe dalëse, pra:



Llojet tjera të entropive

• Entropia e përbashkët ( joint entropy ) e listës X dhe Y të simboleve, e cilaparaqet masën e pasigurisë të ngjarjes së çiftit ( X i,Y j) dhe duhet të jetës me r e n a s s e , s :

• Entropia (apriore) e listës dalëse, që është masë e pasigurisë apriore përatë se cili simbol do të pranohet, është:

• Entropia (aposteriore) me kusht e listës dalëse, që përmban gjasatkalimtare me kusht, dhe është masë e pasigurisë se çka do të pranohetnëse dihet se çka është dërguar, është:

Raporti i informacionit reciprok dhe entropive të

ndryshme - rekapitulim• H(X) – entropia apriore e listës hyrëse, që është masë e pasigurisë apriore për atë se cili

simbol do të emetohet;

• H(X/Y) – entropia aposteriore e listës hyrëse (ekuivokacioni) ose, siç e quajnë disa,entropia e zhurmës, që është masë e pasigurisë aposteriore për atë se çka është emetuar,nëse dihet se çka është pranuar;

• H(X,Y) – entropia e bashkuar e çiftit të simboleve të listës hyrëse dhe dalëse, që ështëmasë e pasigurisë së sistemit telekomunikues në përgjithësi;

• H(Y) – entropia (apriore) e listës dalëse ose entropi e marrësit, që është masë e pasigurisëapriore për atë se cili simbol do të pranohet;

• H(Y/X) – entropia aposteriore me kusht e listës dalëse, që është masë e pasigurisëaposteriore për atë se cili simbol do të pranohet, nëse dihet cili simbol është emetuar.

I(X,Y)

H(X,Y)

H(Y)H(X)

H(X/Y)

H(Y/X)



Raporti i informacionit reciprok dhe entropive tëndryshme - rekapitulim

• Duke u nisur nga simetritë evidente në shprehjet paraprake dhe dukeshfrytëzuar veprime të ngjashme si në rastet paraprake, mund tëp rca o en e e sa rapor e ose marr n e ma s ve parapra e, s :

• H(X,Y) = H(X) + H(Y) - I(X,Y), ose

• H(X,Y) = H(X) + H(Y/X), ose

• H(X,Y) = H(Y) + H(X/Y).

Transmetimi i informacioneve nëpër kanal• Duke pas parasysh simetrinë e përmendur, mund të shkruhet gjithashtu edhe shprehja

I(X,Y) = H(Y) – H(Y/X).

• Tash mund të shtohet pyetja a duhet interpretuar shprehjen sikur informacioni tëransme o e n re m un r . or, n e e omun ac on sqar m e me vro ues n

cili në rastin paraprak ishte në pranim, tash ai është në hyrje dhe “sheh” simbolet në hyrjetë kanalit por jo edhe në dalje.

• H(Y) është masa apriore e pasigurisë së vrojtuesit se çka do të pranohet, ndërsa H(Y/X),

është masë e pasigurisë për atë se çka do të pranohet, kur dihet se çka është dërguar.

• Gjithashtu formalisht mund të shkruhet se I(X,Y) = H(X) – H(X/X) = H(X), pra qëinformacioni reciprok i ndryshoreve të rastit me vetveten është në të vërtetë entropi endryshores së rastit, prandaj entropia quhet edhe vetinformacion (selfinformation).

Informacione të padëshirueshmepër shkak të zhurmës – H(X/Y)

Informacione të humburanë kanal – H(Y/X)

Inform. hyrëse – H(X) Inform. dalëse - H(Y)



SHEMBULL

• Për kanalin BSC të përcaktuar me të dhënat e mëposhtme, duhet njehsuarinformacionin reciprok I(X,Y).

• H - funksion i entropisë, i përkufizuar më herët:

SHEMBULL - vazhdim

• Për , del: ndërsa për kemi: ,kështu që

• Kur , kemi

kështu që vlera maksimale e informacionit reciprok në rastin e përgjithshëmështë:

• Për a=0 (dmth. a=1), informacioni reciprok është i barabartë me zero, sepse

bit/simb,

, .se nuk emetohet kurrfarë sasie e informacionit, ndërsa cili simbol emetohetështë e njohur edhe në pranim.



KAPACITETI I KANALIT

• Duke u nisur nga fakti se rëndom dihen gjasat hyrëse dhe ato kalimtare,Informacioni reciprok përmes së cilave shprehen edhe llojet tjera të gjasave,

• Që të caktohet vlera e informacionit reciprok duhet të njihen gjasat hyrësedhe ato kalimtare.

• Informacioni reciprok nuk varet vetëm nga kanali por edhe nga burimi i.

• Në një kanal mund të kyçen burime të ndryshme, kështu që paraqitetnevoja që të përkufizohet madhësia e cila përshkruan vetëm kanalin.

• Pasi që numri i simboleve në hyrje (r) është i fiksuar, atëherë burimet eveçanta që paraqiten në hyrje të kanalit mund të dallohen vetë për ngagjasat e simboleve veç e veç, por jo edhe për nga numri i tyre


• Për nga ana praktike, është e natyrshme të zgjidhen gjasat hyrëse të tilla qëinformacioni reciprok të jetë maksimal. Në atë rast mund të përkufizojmën ormac on n rec pro ma s ma :

• Maksimalizimi bëhet me ndryshimin e bashkësisë së gjasave hyrëse, dukepas parasysh që gjasat e tilla të jenë jonegative dhe shuma e tyre të jetë ebarabartë me një.

• Në këtë mënyrë fitohet madhësia I max e cila varet vetëm nga gjasatkalimtare dhe ara et karakteristikën e vetë kanalit.

• Njësia për informacionin reciprok maksimal është bit/simb, dhe paraqetsasinë maksimale të informacionit që mesatarisht mund të transmetohet përnjë simbol nëpër kanal (kur gjasat hyrëse të jenë zgjedhur “me arsye”).




• Le të emetojë burimi simbole me shpejtësi v m(X,Y) simb/s, dhe le të jetë kjoshpejtësia maksimale me të cilën mund të transmetojmë nëpër kanal.

•transmetohen nëpër kanal fitohet si produkt i shpejtësisë së emetimit tësimboleve dhe informacionit reciprok maksimal.

• Kjo madhësi quhet kapacitet i kanali ose aftësi lëshimi e kanalit.• Disa autorë, madhësia I max e quajnë edhe kapacitet të kanalit, pra mund të

s

bit

simb

bit

s

simb I Y X vC maxmax ),(

simb/s.

Fluksi i vërtetë i informacioneve

• Në realitet edhe shpejtësia e punës edhe informacioni reciprok ose itransmetuar mund të kenë vlera më të vogla se ajo maksimale, dhe në atëras em m me u s n e v r e n ormac oneve, c s :

ku dhe janë vlerat reale nga kanali.

• Duke pas parasysh fluksin e informacioneve dhe kapacitetin e kanalit, mundtë përkufizohet koeficienti i shfrytëzimit të kanalit, i cili mund të shprehet

s

bit Y X I Y X vY X ),(),(),(

),( Y X v ),( Y X I

C

Y X c

),(



Kapaciteti i kanalit pa humbje

• Kanali është pa humbje nëse matrica e kanalit ka nga një element në çdokolonë, shih grafin dhe matricën përkatëse të kanalit.

• Për këtë kanal (pa humbje) është e qartë se H(X/Y) = 0, kështu që:

ndërsa informacioni reciprok maksimal është:

Kanali deterministik

• Kanali është deterministik nëse matrica e kanalit ka vetëm nga një element jozero në çdo rresht (kuptohet se elementi i tillë është i barabartë me një),

.

• Është e qartë se këtu H(Y/X) = 0, sepse pas dërgimit të simboleve, saktëdihet se cili simbol do të pranohet, prandaj informacioni reciprok është:

ndërsa informacioni reciprok maksimal është:



Kanali ideal

• Kanali është ideal nëse matrica e kanalit ka nga një element jozero nësecilin rresht dhe kolonë, i cili është zero, dhe me paranumrimin es m o eve o ma r c a on n ma r c agona e, s gra n e ma r c npërkatëse të kanalit.

• Kanali i tillë është njëkohësisht deterministik dhe ideal.

Kanali uniform

• Te kanali uniform elementet e çdo rreshti dhe çdo kolone të matricës sëkanalit paraqesin permutim të elementeve të klasit të parë të elementeve tën a.

• Nëse matrica nuk është katrore, kanali është uniform nëse elementet e çdorreshti paraqesin permutim të elementeve të njëjta dhe elementet e çdokolone paraqesin permutim të elementeve të njëjta.

• Informacioni reciprok për kanalin uniform mund të llogaritet lehtë:

• ,

tjetër, shuma e dytë në shprehjen paraprake nuk varet nga indeksi i, dhe sie tillë mund të dali para shumës së parë, ndërsa ajo shumë është ebarabartë me një, pra:



Kanali uniform

• Pasi që anëtari i dytë i shprehjes paraprake nuk varet nga gjasat hyrëse,por vetëm nga kanali, informacioni reciprok maksimalizohet me gjetjen e

.• Nëse matrica e kanalit është katrore (s = r ), atëherë është H(Y)max= ld r, dhe

arrihet nëse të gjitha simbolet dalëse kanë gjasa të barabartë.• Në rastin e kanalit uniform mund të tregohet se simbolet dalëse kanë gjasa

të barabarta nëse simbolet hyrëse kanë gjasa të barabarta. Në atë rastinformacioni reciprok maksimal është:

Kanali binar simetrik (BSC)

• Pasi që matrica për kanalin BSC është:

është e qartë se ky kanal është uniform, kështu që, me zëvendësimin edrejtpërdrejtë në shprehjen paraprake, kemi:



Kanali simetri r-ar

• Ky kanal mund të përkufizohet si zgjerim logjik i kanalit BSC. Është kanaluniform, matrica e kanalit e të cilit është:

• Në bazë të shprehjes së përgjithshme për informacionit reciprok maksimalte kanali uniform, fitohet drejtpërdrejtë:

Kanali binar me fshirje (BEC)

• Për kanalin e këtillë, matrica e kanalit e të cilët është:

mund të tregohet se:

• Duke pas parasysh se burimi është binar, vlera maksimale e H(X) është ebarabartë me një dhe paraqitet atëherë kur të dy simbolet kanë gjasa të

ara ar a, pra a er ur g asa e sec s pre yre s . .• Në atë rast kemi:



Kanali diskret pa zhurma

• Do të analizojmë kanalin pa zhurma funksioni transmetues i të cilit ipërgjigjet filtrit të frekuencave të ulëta, me frekuencë kufitare f g .

• Sipas kriterit të parë të Nikuistit, shpejtësia (rate) e emetimit të simboleveështë v m( X,Y ) = 2f g .

• Pasi që në kanal nuk ka zhurma, marrësi do të përcaktojë saktë cilatsimbole janë dërguar, gjegjësisht:

• Informacioni reciprok do të jetë maksimal atëherë kur entropia e listës së

sepse është

,barabarta të paraqitjes. Atëherë është:

• Kapaciteti i kanalit të këtillë është:

KANALET DISKRETE ME MEMORIE

• e ana e s re e me memor e s m o e n a e varen nga s m o a ua(current ) i hyrjes si dhe simboleve paraprake hyrëse dhe dalëse.

• Kanali diskret me memorie karakterizohet me:

• bashkësinë e simboleve hyrëse dhe dalëse,

• bashkësinë e gjendjeve,

• bashkësinë e gjasave me kusht të paraqitjes së simbolit dalës dhe i kalimitnë gjendje të re, kur dihet simboli aktual dhe gjendja paraprake.

• ,

gjasat me kusht nuk ndryshojnë me kohën.• Në vazhdim do të trajtohen kanalet me numër të fundmë të gjendjeve, që

quhen kanale diskrete të fundmë (Finite State Channels - FSC ), duke upërqendruar në modelet që si bazë kanë kanalet e caktuar reale



Kanali me zhurmë impulsive

• Në kanal përveç zhurmës së Gausit paraqitet edhe zhurma impulsive,kështu që mund të konsiderohet si kanal jostacionar sepse gjatë kohësndryshon gjasa e gabimit.

• Zhurma impulsive paraqitet kohë pas kohe në paketa të impulseve kështuqë mund të konsiderohet se kanali për një kohë punon si kanal i rëndomtëme zhurmë të Gausit ndërsa kohë pas kohe paraqiten “paketat” e zhurmësimpulsive.

• Në ato dy raste kemi gjasa të ndryshme të gabimit, sepse kanali praktikishtndodhet në njërën prej dy gjendjeve (me dhe pa pengesa impulsive).

• Modelin e kanalit të këtillë e ka propozuar Gilbert-i dhe ai përbëhet prej dygjendjeve – E MIRË (M) dhe E KEQE (K).

• Në çdo gjendje kanali sillet si kanal BSC i cili, siç dihet, përshkruhet vetëm, e.

KODET E KONTROLLIN TË GABIMIT - Hyrje

• Në transmetimet digjitale për masën e sigurisë (reliability ) së sistemit nëpërdorim të gjerë është gjasa e gabimit (error probability ).

• Për pyetjet në lidhje me transmetimit të sigurt të informacionit për shpejtësitë caktuar të transmetimit (bite rate) nëpër një kanal me kapacitet të dhënë,përgjigje jep teorema e dytë e Shanonit.

• Pra, deri sa teorema e parë e Shanonit është bazë për komprimimin osekodimin statistikor të të dhënave, kjo e dyta është teoremë bazë për kodet ekontrollit të abimit.



Gjasa e gabimit

• Le të marrim në shqyrtim kanalin binar të përcaktuar me matricën:

• Gabimi në transmetim do të ndodh nëse dërgohet x 1 ndërsa detektohet y 2

ose dërgohet x 2 ndërsa pranohet y 1.

• Gjasa mesatare e gabimit (e ky është mu ai nocion që nënkuptohet kurthuhet “gjasa e gabimit”) është:

• Në rastin e gjasave të barabarta hyrëse , kemi

• Nëse kanali është binar simetrik (BSC), atëherë

A KA PYETJE?

teoria e informacionit dhe kodimi

Documents