Universitatea Transilvania Brasov

Facultatea de Inginerie Electrica siStiinta Calculatoarelor

ing. Zoltan Gaspar

Metode statistice pentru determinarea calitatii apelurilorVoIP

VoIP Connection Quality: A Statistical Approach

Rezumatul tezei de doctoratPhD thesis summary

Conducator stiintificProf. dr. ing. Gheorghe Toacse

BRASOV - 2011

MINISTERUL EDUCATIEI, CERCETARII, TINERETULUI SISPORTULUI

UNIVERSITATEA TRANSILVANIA DIN BRASOV500036 BRASOV, B-DUL EROILOR NR. 29,

TEL. 0040-410300, FAX 0040-0268-410525

RECTORAT

Catre

Va aducem la cunostinta ca ın ziua de vineri, 08.07.2011, ora 12 ın sala NII 1, la Facultatea Inginerie Electrica si Stiinta Calculatoarelor va avea locsustinerea publica a tezei de doctorat intitulata

” METODE STATISTICE PENTRU DETERMINAREACALITATII APELURILOR VOIP ”

elaborata de ing. Zoltan-Tibor GASPAR, ın vederea obtinerii titluluistiintific de DOCTOR, ın domeniul fundamental STIINTE INGINERESTI,domeniul INGINERIE ELECTRONICA SI TELECOMUNICATII

COMISIA DE DOCTORAT

Presedinte: - Prof.univ.dr.ing Sorin Aurel MORARU

Decanul Facultatii I.E.S.C

Conducator stiintific: - Prof.univ.dr.ing Gheorghe TOACSE

Universitatea ”Transilvania” din Brasov

Referenti: - Prof.univ.dr.ing Mircea C. BODEA

Universitatea Politehnica Bucuresti

- Conf.univ.dr.ing.mat Ion Bebe BUCUR

Universitatea Politehnica Bucuresti

- Prof.univ.dr.ing Dan NICULA

Universitatea ”Transilvania” din Brasov

Va invitam sa luati parte la sedinta publica de sustinere a tezei de doctorat.Aprecierile dvs. asupra rezumatului tezei de doctorat va rugam sa le trimitetipana cel tarziu cu o zi ınainte de data sustinerii, la unul din numerele de fax:RECTORAT UNIVERSITATE: 0268-410525CATEDRA DE ELECTRONICA SI CALCULATOARE: 0268-478705

Cuprins

Obiectivul tezei 5

1 Determinarea calitatii convorbirilor telefonice 8

1.1 Metode auditorii . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.2 Metode instrumentale . . . . . . . . . . . . . . . . . . . . . . . 9

1.3 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2 Modele statistice si Bayesiene 14

2.1 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3 Modele statistice pentru VoIP 18

3.1 Distributia lungimii apelurilor . . . . . . . . . . . . . . . . . . . 18

3.2 Determinarea testului Z pentru VoIP . . . . . . . . . . . . . . . 19

3.3 Determinarea testului Erlang pentru VoIP . . . . . . . . . . . . 21

3.4 Analiza testelor Z si Erlang folosind date sintetizate . . . . . . 22

3.5 Studiu de caz . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4 Modele Bayesiene pentru VoIP 27

4.1 Modelarea matematica a timpului dintre apelurilerepetate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.2 Determinarea modelelor Bayesiene pentru VoIP . . . . . . . . . 30

4.3 Studiu de caz: determinarea calitatii apelurilor pentru un oper-ator de telefonie preplatita prin VoIP . . . . . . . . . . . . . . . 32

4.4 Rutarea optima . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

5 Implementarea metodelor de testare statistica 38

5.1 Instalarea aplicatiei . . . . . . . . . . . . . . . . . . . . . . . . . 38

5.2 Folosirea aplicatiei . . . . . . . . . . . . . . . . . . . . . . . . . 39

5.3 Vizualizarea rezultatelor . . . . . . . . . . . . . . . . . . . . . . 40

3

5.4 Performantele implementarii . . . . . . . . . . . . . . . . . . . . 40

6 Concluzii finale 42

6.1 Contributii originale . . . . . . . . . . . . . . . . . . . . . . . . 45

6.2 Directii viitoare de cercetare . . . . . . . . . . . . . . . . . . . . 47

4

Cuvant ınainte

Civilizatia noastra de azi nu ar putea exista fara comunicatii eficiente; ne estegreu sa ne imaginam o vreme ın care a durat o luna sa transmitem un mesajpeste Atlantic si ınca o luna (daca vanturile erau favorabile) sa primim unraspuns. Stirile din regiuni ındepartate ale lumii erau mai degraba ca informatiaadusa de astronomi despre stele ındepartate, ceva ce s-a ıntamplat cu mult timpın urma si ın privinta careia nu se poate face nimic, ... ”Era pe cand nu s-azarit, Azi o vedem, si nu e. ”1

Evolutia continua a serviciilor de telefonie aduce o schimbare a modului defolosire a acestora, o tranzitie de la apelurile ıntr-o retea (apeluri intra urbane)la apeluri ıntre retele (inter-urbane sau internationale). Pentru a facilita in-terconectarea ıntre retele costul interconectarii a fost redus prin trecerea dela o retea de voce dedicata (PSTN - Public Switched Telephone Network) lafolosirea Internetului pentru transferul de date (VoIP - Voice over InternetProtocol). Aceasta schimbare de mediu de transmitere a vocii este una de lamediul garantat PSTN la cea de tip ”best effort” al VoIP, avand ca principalaconsecinta posibilitatea degradarii calitatii convorbirii datorita unor factoriprecum, ıntarzierea excesiva a unor pachete sau chiar pierderile de pachete.Masurarea si evitarea degradarii convorbirii au deschis capitole noi ale cercetariicunoscut ın literatura sub numele de QoS (Quality of Service) si QoE (Qualityof Experience).

Obiectivul tezei

Aceasta teza are ca principal obiectiv dezvoltarea unor noi metode statisticecare sa permita evaluarea globala a calitatii unei conversatii, care nu necesitafolosirea persoanelor si nici analiza fluxului vocal de date, avand ca principalavantaj posibilitatea de a evalua un numar mare de apeluri (sute, mii) simultanefara costuri computationale semnificative.

Conform acestui mod de abordare, ın consecinta, un operator de servicii detelefonie, care pentru un anumit numar de destinatie are posibilitatea de aconecta apelul prin echipamentele si cu ajutorul serviciilor puse la dispozitiede mai multi furnizori, va putea, ın consecinta, selecta o metoda statistica pebaza careia se obtine o rutare optima catre furnizori, metoda care garanteazamaximizarea parametrului calitate-pret. Astfel operatorul de servicii poate sagaranteze clientiilor un anumit grad de calitate, dar ın acelasi timp sa-si si

1Mihai Eminescu - La Steaua

maximizeze profitul.

Eforturile de cercetare pentru atingerea obiectivului principal al tezei, auacoperit mai multe directii de cercetare, ın care s-au identificat si rezolvatprobleme specifice ale caror solutii converg catre:

• Modelarea matematica a duratei apelurilor si a timpului dintre apelurilerepetate. Comportamentul apelantului cauzat de o convorbire necore-spunzatoare din punct de vedere calitativ se manifesta fie prin reduc-erea duratei convorbirii fie prin reducerea duratei si repetarea acesteia.Acest comportament determina o anumita distributie a duratei apelurilorrspectiv o anumita distributie a duratei reapelarilor. In consecinta, dinidentificarea acestor distributii si analiza statistica, cu o anumita precizie,se poate evalua calitatea convorbirii.

• Constructia de teste statistice frecventiste: testul Z si testul Erlang. Acesteteste determina, cu un anumit grad de ıncredere, daca exista sau nuo modificare semnificativa ın distributia duratei apelurilor, deci a uneicalitati nesatisfacatoare. Pentru efectuarea acestor teste, se determinamedia aritmetica din modelul matematic al distributiei duratei apelurilor,apoi se calculeaza probabilitatea acestor ipoteze care stau la baza mod-elului matematic.

• Constructia de teste bazate pe modele Bayesiene. Aceste modele permitevaluarea exacta a probabilitatii ca un apel sa fie de slaba calitate. Seelaboreaza metode si algoritmi pentru a determina parametrii folositiın aceste modele, de asemenea dupa implementarea acestor algoritmi secompara rezultatele cu cele ale testelor statistice frecventiste.

• Folosirea reclamatiilor clientilor pentru validarea, evaluarea si comparareaalgoritmilor propusi ın cadrul tezei. Metodele existente pentru evaluareaalgoritmilor de determinare a calitatii convorbirilor telefonice nu pot fifolosite si pentru evaluarea algoritmilor propusi ın cadrul tezei, motivpentru care s-au identificat alte date larg disponibile la operatorii detelefonie, cu ajutorul carora se poate evalua calitatea apelurilor. Astfelde date sunt reclamatiile clientilor ınregistrate de operator ın legaturacu calitatea nesatisfacatoare a apelurilor care vor sta la baza evaluarii sicompararii algoritmilor propusi ın cadrul acestei teze.

• Implementarea metodelor statistice ıntr-un pachet software. Algoritmiidezvoltati ın cadrul tezei sunt implementati ıntr-un pachet software carepermite o evaluare usoara, de catre orice operator de servicii de telefonieVoIP, a noilor metode propuse. Pentru o validare de ıncredere, folosind

6

acest pachet software, au fost procesate doua seturi de date reale, dateleprovenind de la un operator de telefonie preplatita, peste 450 000 deapeluri pentru primul set de date si peste 1 500 000 de apeluri pentru aldoilea, avand ca destinatie numere de pe ıntreaga planeta.

7

1 Determinarea calitatii convorbirilor telefonice

Metodele de masurare a calitatii vocale se pot clasifica dupa metodologiade masurare aplicata ın metode auditorii si instrumentale. Deoarece calita-tea perceputa este interna utilizatorului, testele de calitate auditorii sunt ıncele din urma singurele mijloace de a aprecia calitatea ıntr-un mod valid sifiabil. Deoarece testele auditorii de derminare a calitatii vocale fiind mariconsumatoare de timp, subiective si costisitoare, au fost dezvoltate metodeinstrumentale de masurare a calitatii. In categoriile de retele pentru care acesteteste au fost proiectate si verificate ca furnizeaza predictii ale calitatii valide sifiabile, metodele instrumentale pot fi folosite ca un ınlocuitor sau complemental testelor auditorii.

In literatura metodele de masurare instrumentala sunt cateodata mentionateca ”obiective” si metodele auditorii ca ”subiective”. Cu toate acestea, subiectuleste cel care percepe si judeca sistemul de masurare [7, 26, 28, 34, 37]; subiectuleste implicat ın procesul de dezvoltare al modelului instrumental si modelulıncearca sa mimeze subiectul. In plus, experimentatorul este cel care ın cele dinurma (”subiectiv”) interpreteaza rezultatele masuratorii. Astfel diferentierea”subiectiv”/”obiectiv” este nepotrivita.

1.1 Metode auditorii

In telecomunicatii testele ACR (Absolute Category Rating) sunt cel mai desfolosite pentru evalaurea calitati integrale [23, 27, 38]. Depinzand de scopultestului (calitatea de ascultare, efortul de ascultare) sunt recomandate scalediferite (vezi [23]). Scala folosita cel mai des este scala ACR din 5 puncteprezentata ın Tabelul 1-1. Aceasta este mentionata ın general ca scala MOS(Mean Opinion Score), datorita faptului ca media evaluarilor dupa aceasta scalase numeste scorul mediu al opiniilor (MOS). Scala este adesea interpretata ca oscala de intervale (se calculeaza media si dispersia), dar dupa o analiza strictase poate observa ca doar caracteristicile unei scale ordinale sunt ındeplinite (ex.calcularea frecventei voturilor pe categorie si a valorii mediane).

Tabelul 1-1: Scala MOS

Calitatea vorbirii excelent good fair poor badScala Mos 5 4 3 2 1

Metodologia pentru realizarea de teste presupune respectarea anumitor conditiicum ar folosirea ıntre doua si cinci propozitii independente, scurte, semnifica-

8

tive si simple. Durata fiecarei propozitii sa fie de 2-3 secunde iar durata totalasub 10 secunde. Alegerea textului si a interfetei prin care se face prezentareastimulilor pot sa aiba efecte semnificative asupra realismului contextului detelefonie simulat ıntr-un mediu de laborator.

Numarul vorbitorilor diferiti folositi pentru ınregistrarea semnalelor vocalesi tipurile de degradari care sunt introduse determina generalizarile care pot fiextrase din teste: de exemplu, calitatea asociata unei configuratii a traseelorpoate sa depinda semnificativ de vorbitor. Motiv pentru care numarul vorbito-rilor trebuie sa fie ales ın conformitate cu sistemul de testat [37, 42, 43, 46, 47].

Pentru cazul degradariilor dependente de timp, ca si ın cazul pierderii depachete, este cautata o informatie mai bogata de diagnosticare pentru relatiaıntre evenimentele de calitate instantanee si calitatea integrala. Gros si Chateuın [16, 44, 31, 48] au propus o metoda de test de ascultare care extinde metodade evaluarea a calitatii video variabile ın timp [25, 3, 35]. In principiu, aceastaprocedura de evaluare continua este similara cu tipul ACR, dar ın loc sa ıntrebeun singur scor global, subiectii sunt rugati sa evalueze calitatea sunetului ınmod continu cu ajutorul unui cursor. In timpul testului pozitia cursoruluieste esantionata cel putin la jumatate de secunda, pentru a captura chiarsi modificarile relativ rapide. Deoarece metoda este folosita pentru a evaluacalitatea sunetului variabila ın timp, este recomandata folosirea ınregistrarilorlungi de aproximativ 45-180 de secunde.

1.2 Metode instrumentale

Pentru a evita folosirea testelor de perceptie costisitoare si consumatoarede timp pentru determinarea calitatii retelelor si sistemelor, s-a investit multefort ın gasirea unor metode alternative, metode instrumentale. S-a constatatca gradul de calitate al sistemlelor de telecomunicatii din prezent nu se poateevalua folosind doar metrici de baza cum ar fi raportul de semnal/zgomot, darpoate sa fie corelat cu diferite caracteristici masurabile instrumental. In generalnu este posibil sa se gaseasca o relatie simpla ıntre aceste valori masurabileinstrumental si calitatea perceputa de utilizatorul sistemului.

Pentru a se tine cont de interdependentele complexe au fost dezvoltate urmatoareletipuri de modele de estimare a calitatii [39]: modele bazate pe analiza semnalelorvocale si modele parametrice. Fiecare model are un domeniu de aplicare si ogama de situatii pentru care a fost construit.

9

Modele bazate pe analiza semnalului vocal

Masurarile bazate pe semnale au fost dezvoltate initial pentru evaluareacalitatii unei singure componente a lantului de transmisie, cum ar fi de exemplucodecurile. Modelele disponibile ın prezent pot fi aplicate pe segmente de reteamai mari si includ degradari ca transmiterea zgomotului de fundal, sau erori detransmisie ca pierderea de pachete [24]. Daca asemenea modele sunt folosite ıngama de aplicatii pentru care au fost dezvoltate, ele furnizeaza estimate valide sifiabile ale calitatii. Aceste estimari rezulta ın urma folosirii unor modele relativprecise (comparativ cu alte tipuri de modele) ale procesarii de semnal efectuatede sistemul auditiv uman. Deoarece iesirea modelelor bazate pe semnal esteun index de calitate unidimensional, iar intrarea este semnalul audio, nu se potobtine direct informatii de diagnosticare referitoare la sursele de degradare.Cele mai multe modele bazate pe analiza semnalelor pot fi deci considerate a fimodele de tip ”cutie neagra”. Extensii pentru modele permitand obtinerea maimultor informatii de diagnosticare sunt dezvoltate ın prezent de ITU-T StudyGroup 12.

Modelele ”clasice” bazate pe analiza semnalelor simuleaza o comparare ca latestele de calitatea ascultarii a metodelor utilitare. Ele ısi bazeaza estimatelede calitate pe compararea dintre un semnal original sursa curat ca si referintacu semnalul sursa procesat de sistemul de testat. Dupa egalizarea intensitatiisi alinierea ın timp, cele doua semnale sunt transformate ıntr-o reprezentareinterna psiho-acustica. In pasii care urmeaza, sunt determinati vectori dediferenta sau similitudine din cele doua reprezentari, ele fiind mediate ın timpsi mapate pe un estimat de calitate final conform Fig. 1-1.

Figura 1-1: Procesul de analiza a semnalelor.

Deoarece acest tip de masuratori de semnal opereaza pe diferentele dintre

10

esantioanele procesate si neprocesate, ele pot fi considerate modele de deteri-orare sau degradare. In timp ce reprezentarea interna implica, ın mod tipic,informatii despre procesarea audio, functia de mapare finala este determinatapur empiric, pe baza analizei unui numar mare de teste de ascultare.

Exemple de modele bazate pe analiza semnalelor folosind semnal de referintasunt:

• PESQ (Perceptual Evaluation of Speech Quality [24])

• PSQM (Perceptual Speech Quality Measure [22])

• TOSQA (Telekom Objective Speech Quality Measure [4])

• modelele propuse de Hauenstein [18] si Hansen si Kollmeier[17].

Metode parametrice

Modelul recomandat ın prezent de ITU-T pentru planificarea retelelor esteasa numitul model E [20]. Acest model, ın mare masura, este empiric si afost dezvoltat pe baza unui mare numar de date de test (atat conversationalecat si doar de ascultare). Modelul E ia ın considerare deficientele datorateecoului vorbitorului si ıntarzierile de transmisie si prin urmare, poate fi folositla predictia de calitate ıntr-un mediu conversational. Acest model este o com-binare a mai multor modele de predictie diferite si este utilizat pe scara larga ınetapa de planificare a retelelor, dar si ın etapa de monitorizare. Modelul a fostsupus unui proces extins de validare, constatandu-se ca furnizeaza estimari decalitate realiste pentru degradari individuale sau combinate, conform [39, 21].

Principiul factorilor de degradare

Presupunerea care sta la baza modelului E este ca, pe o scara corespunzatoare,degradarea datorata unor factori individuali este aditiva. Ideea aditivitatiipierderii de calitate datorate unor factori individuali nu a fost introdusa demodelul E, ci observata de Allnat prin studierea modului de percepere a de-gradarii secventelor video [2]. El a aratat ca aditivitatea degradarilor studiateeste adevarata daca este folosita o scala perceptuala.

In modelul E este folosita scala R (Transmission Rating Scale) pentru expri-marea calitatii. Parametrii scalari prezentati anterior sunt grupati ın diferiteclase de degradare si transformate pe scala R ca factori de degradare (Impair-ment Factors) aditivi.

R = Ro− Is− Id− Ie, eff +A (1-1)

11

Scala R are valori ıntre 0 si 100, 100 fiind calitatea optima iar 0 calitatea ceamai slaba. Clasele de degradare sunt prezentate ın cele ce urmeaza:

- Ro descrie calitatea semnalului ca si raport semnal zgomot, dupa cum rezultadin nivelul semnalului vocal si nivelele diferitelor surse de zgomot, fie ca estevorba de zgomotul de pe linia de transmisie sau de zgomotul din camera lasursa sau la destinatie.

- Is (Simultaneous Impairment Factor) reprezinta efectele degradarilor simul-tane cu semnalul vocal transmis, cum ar fi zgomotul corelat cu semnal saunivele excesive ale semnalului vocal.

- Id (Delayed Impairment Factor) reprezinta efectele degradarilor care suntıntarziate cu semnalul vocal transmis, cum ar fi ıntarzierea si ecoul.

- Ie,eff (Equipment Impairment Factor) provine din factorul Ie, care cuantificadegradarea cauzata de codarea semnalului vocal cu un codec de bit-rate redus.Pentru a include efectele pierderii de pachete Ie a fost extins recent ın Ie,eff.

- A (Advantage Factor) cuantifica avantajele accesului la un anumit tip desistem: de exemplu, un utilizator de telefonie mobila este mai tolerant laun canal de transmisiune cu degradari decat un utilizator de telefonie fixadatorita avantajului mobilitatii.

Conversia scalei R calculata conform modelului E catre scala ACR esteprezentata ın Fig. 1-2.

Figura 1-2: Corespondenta dintre scala R si cea MOS.

12

1.3 Concluzii

Pentru metodele prezentate, ın cadrul acestui capitol, privite din punctulde vedere al aplicarii lor pe scara larga ıntr-un mediu VoIP se pot trageurmatoarele concluzii:

• Metodele auditorii nu se pot folosi ın sisteme de productie. Aceste metode,data fiind folosirea unui grup de persoane pentru evaluarea calitatii fiecaruiapel, se lovesc de problema asigurarii confidentialitatii convorbirilor.

• Nu este disponibil un semnal de referinta pentru metodele instrumentale.Pentru metodele instrumentale bazate pe analiza semnalelor care necesitaun semnal de referinta nedistorsionat acest semnal de referinta nu estedisponibil pe scara larga. Pentru a transmite semnalul de referinta,sau semnalul distorsionat ınapoi la sursa, este nevoie de modificari aleinfrastructurii sau a tuturor echipamentelor folosite de utilizator.

• Metodele instrumentale care nu necesita semnal de referinta au cerintecomputationale ridicate. Algoritmi folositi pentru estimarea scorului MOSfara un semnal de referinta au o complexitate ridicata, ceea ce face caevaluarea unui numar mare de apeluri simultane sa fie nefezabila. Deasemenea costul licentei pentru aplicatiile software care implementeazametode instrumentale fara semnal de referinta este unul ridicat.

• Metodele parametrice nu pot da o estimare globala (end-to-end) a calitatiiconvorbirilor telefonice. Parametrii retelei de transport sunt transmisidoar ıntre doua puncte ale lantului de transmisie. Odata cu o trecerede la VoIP la PSTN sau transcodare a semnalului, informatia referitoarela parametrii retelei de transmisie se pierde, iar estimatul scorului MOScalculat va doar unul local.

• Metodele de monitorizare sunt folosite doar ın combinatie cu metodeleauditorii sau cu metodele instrumentale. Necesitatea folosirii metodelorauditorii sau instrumentale ımpreuna cu metodele de monitorizare rezultaın dezavantejele prezentate anterior.

• Este nevoie de o noua categorie de metode instrumentale. Aceste noimetode instrumentale trebuie sa poata sa estimeze calitatea globala acnvorbirii avand cerinte computationale reduse.

13

2 Modele statistice si Bayesiene

O ipoteza statistica este o presupunere asupra valorii unuia sau a mai mul-tor parametri ai unui model statistic. Testarea ipotezelor este un proces deverificare a validitatii unei ipoteze. Acest subiect este fundamental pentruo varietate de aplicatii: este o valoare a unui parametru dintr-o investigarestiintifica egala cu o anumita constanta? sunt doua evenimente independente?si asa mai departe.

Principalele concepte ale testarii ipotezelor se vor introduce ın contextulurmatoarei probleme: Probabilitatea unei variablie aleatoare x este o functie derepartitie cunoscuta F (x, θ) care depinde de parametrul θ. Se doreste testareapresupunerii ca θ = θ0 ımpotriva presupunerii θ 6= θ0. Presupunerea ca θ = θ0este notata cu H0 si se numeste ipoteza nula. Presupunerea θ 6= θ0 este notatacu H1 si se numeste ipoteza alternativa. Valorile pe care θ poate sa le ia subipoteza alternativa formeaza multimea Θ1 ın spatiul parametrilor. Daca Θ1

este format dintr-un singur punct θ = θ1, ipoteza H1 este numita simpla, altfeleste numita complexa. Ipoteza nula este de cele mai multe ori simpla.

Scopul testarii ipotezelor este sa stabileasca daca dovezile experimentalesprijina sau resping ipoteza nula. Decizia este bazata pe locatia esantioanelor Xale lui x. Sa presupunem ca sub ipoteza nula densitatea f(X, θ0) a vectorului deesantioane este neglijabila ıntr-o anumita regiune Dc a spatiului de esantioane,luand valori semnificative doar ın complementul Dc al lui Dc. Atunci esterezonabil sa respingem H0 daca X este ın Dc si sa o acceptam daca X este ınDc. Multimea Dc este numita regiunea critica a testului iar multimea Dc estenumita multimea de acceptare a lui H0. Testul este deci specificat folosindmultimea Dc.

Trebuie sa se accentueze faptul ca scopul testului nu este sa determine dacaH0 sau H1 este adevarata, ci sa se stabileasca daca dovezile sprijina rejectarealui H0. Termenii acceptare si respingere trebuie deci sa fie interpretati core-spunzator. Sa presupunem, de exemplu, ca dorim sa stabilim daca ipotezaH0, ca o moneda este corecta, este adevarata. Pentru a face asta se arunca omoneda de 100 de ori si se observa ca stema apare de k ori. Daca k = 15, serespinge H0, altfel spus pe baza dovezilor prezentate asupra monezii ipotezade corectitudine ar trebui respinsa. Daca k = 49, se accepta H0, mai exactdovezile nu sprijina rejectarea ipotezei H0.

In testarea ipotezelor pot aparea doua tipuri de erori ın functie de pozitialui X:

• Sa presupunem ca H0 este adevarata. Daca X ∈ Dc, se rejecta H0 chiar

14

daca este adevarata. Acest lucru se numeste comiterea unei erori de TipI. Probabilitatea acestei erori este notata cu α si este numit nivelul desemnificatie a testului. Astfel

α = P{X ∈ Dc|H0} (2-2)

Diferenta 1 − α = P{X /∈ Dc|H0} este egala cu probabilitatea sa seaccepte H0 cand ea este adevarata. In aceasta notatie P{...|H0} nu esteo probabilitate conditionata. SimbolulH0 este doar pentru a indica faptulca H0 este adevarat.

• Se presupune ca H0 este falsa. Daca X /∈ Dc, se accepta H0 chiardaca este falsa. In acest caz spunem ca s-a comis o eroare de Tipul II.Probabilitatea pentru o astfel de eroare este o functie β(θ) de θ care estenumita caracteristica operativa (OC Operating Characteristic) a testului.Astfel

β(θ) = P{X /∈ Dc|H1} (2-3)

Diferenta 1 − β(θ) este probabilitatea sa rejectam H0 cand este falsa.Aceasta este notata cu P (θ) si este numita puterea testului. Astfel

P (θ) = 1− β(θ) = P{X ∈ Dc|H1} (2-4)

Testarea ipotezelor nu face parte din statistica, este parte a teoriei decizilorbazate pe statistica. Consideratiile statistice singure nu pot duce la luarea uneidecizii. Ele doar duc la urmatoarele enunturi statistice:

Daca H0 este adevarat, atunci {X ∈ Dc} = α (2-5)

Daca H0 este fals, atunci {X /∈ Dc} = β(θ) (2-6)

Deciziile nu se bazeaza doar pe formule de mai sus, ele iau ın considerare altifactori, adesea subiectivi, ca de exemplu informatia a priori referitoare la H0

sau consecintele unei decizii eronate.

Testarea unei ipoteze este specificata ın functie de regiunea critica. RegiuneaDc este aleasa astfel ıncat probabilitatiile ambelor tipuri de erori sa fie mici. Cutoate acestea ambele probabilitati nu pot fi arbitrar de mici pentru ca o scaderea lui α implica o crestere a lui β. In cele mai multe aplicatii este mai importantsa controlam α. Selectarea regiunii Dc este descrisa ın cele ce urmeaza.

Se da o valoare erorii de Tip I α si se cauta o regiune Dc a spatiului deesantioane astfel ıncat sa minimizeze eroarea de Tip II pentru un θ specific.Daca valoarea β(θ) este prea mare, se creste α la valoare maxim admisibila,daca β(θ) este tot prea mare, se creste numarul n de esantioane.

15

Un test este numit cel mai puternic daca β(θ) este minima. In general,regiunea critica a testului cel mai puternic depinde de θ. Daca este constantapentru θ ∈ Θ1 testul este uniform cel mai puternic. Determinarea regiuniicritice pentru testul cel mai puternic implica o cautare ın spatiul n dimensionalal esantioanelor. Metode simplificate sunt prezentate ın [41, 1, 10, 36, 9].

Retele Bayesiene

Orice spatiu de evenimente probabilistice poate fi complet descris prin definireatuturor variabilelor aleatoare si a probabilitatilor conditionate ıntre ele. Cunoscandrezultatul unui experiment (valoarea unei variabile aleatoare) se pot recal-cula probabilitatile a posteriori ale celorlalte variabile, deci se poate raspundela orice ıntrebare de genul: care este probabilitatea evenimentului x dacacunoastem evenimentul y. Totusi daca spatiul probabilistic este unul complexdin cauza numarului de variabile si de probabilitati conditionate problemadevine netratabila. Mai mult decat atat, specificarea de probabilitati pentruevenimente atomice este nenaturala si este foarte dificila daca nu avem ladispozitie o cantitate foarte mare de date cu ajutorul careia sa putem realizaestimari statistice.

Conditia de independenta si conditia de independenta conditionata ıntrediferite variabile poate sa simplifice ıntr-un mod semnificativ numarul de prob-abilitati care trebuie specificate pentru a defini complet spatiul probabilistic. Oretea Bayesiana (BN - sau, Bayesian Network) reprezinta dependentele dintrevariabile si sa se poata elabora o specificare concisa si completa asupra oricaruispatiu de evenimente probabilistice. BN este un graf directionat ın care fiecarenod contine o informatie de probabilitate. Specificatiile complete sunt dupacum urmeaza:

• O multime de variabile aleatoare formeza nodurile retelei Bayesiene. Vari-abilele pot fi discrete sau continue.

• O multime de legaturi directionate (arce) conecteaza perechi de noduri.Daca este un arc din nodul X catre nodul Y, X este numit parintele luiY.

• Fiecare nod Xi are o distributie de probabilitati conditionateP (Xi|Parintii(Xi)) care cuantizeaza efectul pe care ıl au parintii asupranodului respectiv.

• Graful nu are cicluri directionate, motiv pentru care se numeste grafdirectionat aciclic (DAG - Directed Acyclic Graph).

16

2.1 Concluzii

• Apelurile VoIP pot fi modelate cu ajutorul variabilelor aleatorii. Durata,frecventa si calitatea apelurilor pot fi considerate variabile aleatoare,variabile ale caror proprietati vor fi studiate ın capitolele ce urmeazaconform metodologiei introduse ın acest capitol.

• Determinarea tipului distributiei unei variabile aleatoare se face prin testareastatistica. Metodologia testarii statistice ofera posibilitatea evaluarii rig-uroase daca un set de date provine dintr-o distributie teoretica cunoscutasau nu, motiv pentru care aceasta metodologie poate fi folosita pentruconstructia de teste statistice pentru VoIP.

• Calculul testelor statistice sunt relativ scurte si simple. Desi aparatulmatematic care sta la baza acestor teste este unul complex, odata deduseteoretic, calculele necesare pentru aplicarea testelor sunt relativ simple sirapide. Avantajul folosirii testelor statistice pentru determinarea calitatiiapelurilor VoIP consta ın evaluarea rapida a datelor de catre un programcare poate rula ın timp real.

• Modelul Bayesian permite modelarea globala a apelurilor VoIP. ModelulBayesian permite folosirea unei game foarte largi de date de intrare: prob-abilitati a priori, rezultatele unor experimente, teste asupra diferitelordipuri de distributii etc. pentru determinarea unui rezultat cat mai exactsi robust. Aceste retele pot modelea ındeaproape modul de rationamentuman, facilitand interpretarea rezultatelor de catre operatori.

• Timpul de calcul al probabilitatii a posteriori ıntr-o retea Bayesiana este,pentru cazul general, exponential. [45, 40] Structura retelelor Bayesienetrebuie sa fie de tipul polytree pentru a putea efectua calcule numerice ıntimp polinomial. In retelele Bayesiene care nu sunt de tipul polytree sepot efectua calcule aproximative Markov Chain Monte Carlo (MCMC)pentru determinarea probabilitatiilor a posteriori. Calculele aproximativeMCMC ruleaza ın timp polinomial, dar cum le spune si numele, suntaproximative.

17

3 Modele statistice pentru VoIP

In acest capitol voi analiza distributia lungimii apelurilor, pentru care mod-elul matematic potrivit este distributia exponentiala si voi realiza doua testestatistice ın scopul determinarii calitatii apelurilor VoIP.

3.1 Distributia lungimii apelurilor

Pentru o mai buna ıntelegere a caracteristicilor distributiei lungimii apelurilor,ın cele ce urmeaza, voi prezenta date preluate dintr-un sistem VoIP de cartelepreplatite. Aceste date sunt o sinteza a mai mult de 5.5 milioane apeluridesfasurate ın decursul unui an si jumatate. Apelurile au ca origine ın generaldin Statele Unite ale Americii iar destinatia lor sunt persoane aflate ın alte tari.Fiind un sistem de cartele preplatite costul pe minut al serviciului este multinferior fata de alte servicii de telefonie interantionala, dar are dezavantajulunei folosiri mai greoaie.

Figura 3-3: Distributia lungimii apelurilor

Fig. 3-3 este o reprezentare grafica a distributiei lungimii apelurilor. Sepot observa mici diferente dintre distributile construite din datele provenitede la destinatii diferite fata de distributia contruita din toate datele. Fiind odistributie din lumea reala se pot observa o serie de diferente fata de distributiateoretica folosita ın aceasta teza: distributia exponentiala. In Fig. 3-3 sepot observa trei spike-uri importante: la valori foarte mici sub 10 secunde, laexact 1 minut si la exact 2 minute. Numarul mai ridicat de apeluri avand o

18

durata multiplu de 60 de secunde este o caracteristica a sistemului de cartelepreplatite: creditul unei persoane trebuie sa fie suficient pentru a vorbi unnumar ıntreg de minute. In cazul ın care creditul nu este suficent apelul esteıntrerupt automat la exact 60, 120, ... secunde. Spike-ul de la duratele deapeluri ıntre 2 si 10 secunde reprezinta o deviatie majora fata de distributiaexponentiala, motiv pentru care unii autori folosesc distributia log-normalapentru a modela distributia lungimii apelurilor. Totusi ın conditiile de telefoniepreplatita ın care utilizarea sistemului este mai dificila (20-40 secunde pentruaccesarea sistemului) nu se explica de ce oamenii ar vrea sa vorbeasca doar2-10 secunde ıntr-un procentaj atat de mare. Acesta este motivul pentru careconsider acest spike ca fiind datorat, ın principal, de apeluri avand o calitatefoarte slaba, comunicarea este imposibila si deci ıncheie apelul.

3.2 Determinarea testului Z pentru VoIP

Prima data voi analiza cazul ın care numarul de esantioane este ridicat, cazın care se poate face prezumtia de normalitate a mediei esantioanelor, ın cazulnostru durata apelurilor. Testarea pentru o diferenta statistic semnificativadintre mediile calculate pe o durata lunga si cele calculate pe o durata scurtase poate face folosind testul Z.

Testul Z este un test care determina daca media unor variabile aleatoarecoincide sau nu cu o valoare teoretica sau o medie determinata a priori. Incazul calitatii apelurilor VoIP problema se traduce ın a determina daca mediacelor mai recente n apeluri este sau nu semnificativ mai redusa decat o valoaremedie dedusa pe un termen lung (ex. media duratei tuturor apelurilor dinanul anterior). Identificam deci doua distributii, distributia apelurilor recente(pe termen scurt) CLDS (CLD - Call Length Distribution) si o distributieasteptata (pe termen lung) CLDL, iar scopul nostru este sa determinam dacaele coincid.

Dupa cum s-a prezentat ın capitolul 2 ın cadrul unui test statistic se real-izeaza o verificare a ipotezei de nul H0 si a ipotezei alternative H1. Pentrudurata apelurilor se vor formula urmatoarele definitii pentru ipoteza nula sicea alternativa:

H0 : µ < µ0 (3-7)

H1 : µ ≥ µ0 (3-8)

unde:µ este media distributiei necunoscuteµ0 este media distributiei teoretice asteptate

19

Daca µ este distribuita normal si σµ este varianta lui µ , forma generala atestului Z este data de:

ZX =µ− µ0

σµ(3-9)

In cadrul acestui test trebuie sa comparam doua valori medii: valoarea mediea ultimelor n apeluri µS si o valoare medie calculata pe un termen lung (µL).Ne punem ıntrebarea daca aceste doua medii pot fi considerate egale sau maiexact care este probabilitatea ca valoriile duratei ultimelor apeluri sa fie numerealeatoare dintr-o distributie avand media µL.

Daca ZX este mai mic dacat valoarea critica ( ZX < Zcrit), se spune ca,pe baza datelor, nu se poate rejecta ipoteza nula H0. Reamintim ca valoareacritica (Zcrit) reprezinta valoarea pentru care functia de masa de probabilitatea distributiei normale atinge o anumita probabilitate, de exemplu 0.05 sau 0.01.

Ipoteza noastra de test este :

H0 : µS < µL (3-10)

unde:

µL =1

n

n∑i=1

CDi -media esantioanelor pentru CLDL (corespunde lui µ0)

(3-11)

µS =1

k

k∑i=1

CDi -media esantioanelor pentru CLDS (corespunde lui µ)

(3-12)iar

CDi este durata apelului i.

Consideram ca distributia X este CLDS , deci trebuie sa definim variatiavalorii medii CLDS . Dar perioada de lunga durata este alcatuita din mai multedurate scurte, si prin calcularea mediilor esantioanelor pentru aceste perioade(µS), putem sa spunem:

µL =1

l

l∑i=1

µS (µL este media a mai multor µS) (3-13)

unde l este numarul de durate scurte luate ın considerare pentru a construi operioada de lunga durata.

20

Deci ın formula de mai sus σµSdevine σL (varianta lui CLDL), calculata

folosind valoriile medii din CLDS :

σL = (σµS) =

√√√√ 1

n

n∑i=1

(µSi− µL)2 (3-14)

unde n este numarul de lungimi de apeluri folosite ın calcularea mediei pedurata lunga.

Numarul de apeluri pentru construirea statisticii pe durata lunga (n) estedeterminat de numarul de apeluri ın cele 4 luni luate ın considerare pentrufiecare destinatie. Acest numar (n) poate fi considerat ca un numar aleator darsuficient de mare (de ordinul miilor) pentru a satisface cerintele din teoremalimitei centrale.

Aprecierea diferentei dintre cele doua medii se poate face folosind testul Z,pe care ın cazul nostru ıl putem scrie:

Z =µS − µLσL

(3-15)

3.3 Determinarea testului Erlang pentru VoIP

Pentru a putea construi un test statistic care functioneaza pentru numarmic de esantioane (apeluri), vom folosi distributia Erlang, care este suma ak variabile aleatorii exponentiale (x) identic distribuite cu acelasi λ (rata dedescrestere).

E(x) =

k∑i=1

x(λ) (3-16)

Deci suma a k durate de apeluri va avea o distributie Erlang si se poatecalcula probabilitatea de a observa o anumita valoare, sau o valoare mai mica,folosind:

α =

∫ Ex

0

fErlang(x, k, λ)dx (3-17)

Prezumtia pentru un eveniment de degradare a calitatii vocii este scadereamediei lungimii apelurilor pe termen scurt, ın consecinta ipoteza nula si ceaalternativa se vor defini conform (3-7) si respectiv (3-8).

21

Variabila de test Ex va fi calculata folosind formula:

Ex =

k∑i=1

CDi (3-18)

Unde CDi este lungimea apelului i (un esantion din distributia exponentiala).

Daca variabila aleatoare, durata apelului, are o distributie exponentiala,Ex va urma distributia Erlang. Comparand valoarea Ex cu valorile critice(valori pentru care functia de probabilitate, α, are valorile 0.001, 0.002, 0.005,0.01, si asa mai departe) ale distributiei Erlang vom determina daca putem sarejectam ipoteza nula. Ipoteza (H0) este adevarata daca valoarea Ex este maimica decat Ecrit (pentru un interval de ıncredere α) altfel ipoteza alternativa(H1) este adevarata. Calculam valorile critice din Ecrit din inversa functiei deprobabilitate Erlang (Gama) pentru parametrii: k - numarul de esantioane siλ - rata de descrestere.

3.4 Analiza testelor Z si Erlang folosind date sintetizate

In vederea determinarii performatelor testelor Z si Erlang am conceput douateste folosind date sintetizate. In primul set de date duratele apelurilor auvalori constante pe intervale de 50 de apleluri, iar ın cel de al doilea set de datedurata apelurilor este o variabila aleatoare exponentiala avand media constantape intervale de 50 de apeluri. Folosind primul set de date se poate determinaraspunsul testului la semnale de tip treapta, iar al doilea caz este mai apropiatunui caz real. In datele sintetice toate apelurile generate ıncep la 10 secundeunul fata de celalalt si au numere sursa si destinatie diferite.

Figura 3-4: Durate de apeluri sintetizate avand valori constante pe grupuri decate 50.

Orice sistem poate fi complet caracterizat daca stim raspunsul sau la un

22

semnal de tip treapta, motiv pentru care ın primul set de date sintetizate amgenerat durate de apeluri care formeaza un semnal dreptunghiular (o serie detrepte pozitive si negative) avand latimea palierelor (intervalelor) de 50 deapeluri. Valoarea palierului inferior se modifica la fiecare iteratie luand valorile1, 10, 20, 30, 40, 50, 60, 70, 80 si 90, iar valoarea palierului superior ramaneconstanta la valoarea de 100, semnal prezentat ın Fig. 3-4.

Figura 3-5: Definirea parametrilorSNFALL, SNRISE , SNDHL siSNDLH .

Pentru caracterizarea raspunsuluitestelor statistice la semnalul detip treapta voi defini urmatoriiparametri asemanatori cu timpii decrestere (scadere) la propagarea sem-nalului prin porti din electronica dig-itala: SNFALL si SNRISE (SN -Sample Number) numarul de apeluridupa care raspunsul testului scade dela 90% la 10% respectiv creste de la10% la 90%. Analog cu timpul de propagare al portilor din electonica digitalaputem defini parametrii SNDHL si SNDLH ca numarul de esantioane dupacare valoarea testului atinge valoarea de 50% din valoarea maxima dupa unfront descrescator, respectiv crescator. O prezentare grafica a acestor parametrieste realizata ın Fig. 3-5.

In Fig. 3-6 este prezentat raspunsul testului Z si Erlang pentru succesiuneaapelurilor de testare generate ca ın Fig. 3-4. Ambele teste calculeaza rezultatulfolosind o fereastra de 20 de durate de apeluri si au valoarea media a apelurilorsetata la 100 si dispersia la 10.

Figura 3-6: Raspunsul testelor Z si Erlang la semnal de tip treapta.

Se poate observa ca raspunsul testelor este similar avand doar mici diferentepentru parametrii SNFALL, SNRISE , SNDHL si SNDLH . Parametrul SNFALLeste mai mic pentru testul Z fata de testul Erlang dar parametrul SNRISE este

23

mai mic pentru testul Erlang. Probabilitatea de 0.5 a testului Z pentru duratede apeluri avand valoarea de 100 se datoreaza faptului ca distributia Gausianaeste simetrica fata de valoarea medie. Distributia Erlang nu este una simetricafata de valoarea medie motiv pentru care raspunsul testului pentru valoareamedie nu este exact 0.5.

Pentru al doilea scenariu duratele de apel au o lungime aleatoare dintr-odistributie cu medie constanta pentru 50 de apeluri. Media apelurilor are oforma similara cu durata apelurilor din Fig. 3-4. Dupa rularea de 500 de ori atestelor Z si Erlang, pe diferite date generate, s-au masurat urmatoarele valoriprezentate ın Tabelul 3-2. Aceste valori confirma prezumtia unei performantemai bune pentru testul Erlang fata de testul Z.

Tabelul 3-2: Rezultatele testelor Z si Erlang cu date sintetice.

Test SNFALL SNRISE SNDHL SNDLH

Tesult Z 5.7 14.9 2.5 21.3Testul Erlang 2.5 9 1.9 23.7

3.5 Studiu de caz

In simularea noastra am folosit date din viata reala ımpreuna cu rapoarteprivind plangerile clientilor de la un furnizor de servicii de telefonie preplatita.Pentru calcularea lui CLDL am ales un interval de patru luni ıntre mai siaugust 2007. In aceasta perioada au fost 460000 de apeluri realiyate, iardepartamentul de relatii cu clientii a primit un numar de 387 de plangeri dela clienti. Datele CLDS sunt luate din aceeasi perioada, ınsa doar un numarde k apeluri raspunse consecutiv sunt luate ın considerare (de ex. 20, 30 si 40pentru testul Z) si definim durata unui esantion ca fiind timpul de la primulpana la ultimul apel.

Cand testul nostru a confirmat o diferenta statistic semnificativa ıntre µS siµL pentru un interval de ıncredere, ıl numim un eveniment de detectie.Cand, ın durata esantionului corespunzator am gasit o plangere de la celputin un client pentru o destinatie, numim acel eveniment de degradarea calitatii confirmat, altfel ıl numim neconfirmat. Daca un client a avutun apel de slaba calitate, nu este necesar sa sune imediat serviciul de relatiiclienti. Din acest motiv am adaugat o perioada de 7 zile duratei esantionuluicand cautam o plangere a unui client.

Rezultatele simularii sunt prezentate ın Fig. 3-7, Fig. 3-8 si Fig. 3-9.Global, datorita faptului ca testul Erlang se bazeaza pe un model mai exact al

24

determinarii lungimii apelurilor, performantele acestui test sunt mai bune.

(a) Testul Z (b) Testul Erlang

Figura 3-7: Procentajul cazurilor de reclamatii ale clientilor gasite (PCF).

(a) Testul Z (b) Testul Erlang

Figura 3-8: Procentajul evenimentelor de detectie confirmate din totalulevenimentelor de detectie (PCDE)

Pentru testul Z, se poate observa un procentaj de detectie mai bun pentrumedii calculate din mai putine apeluri. Acest fapt face testul mai sensibil,dar cu o rata de detectii fals pozitive mai ridicata dupa cum se poate observaın Fig. 3-8. Folosind testul Z nu se pot atinge niveluri de ıncredere foartemari, pentru valori de peste 95% testul practic nu mai gaseste un procentsemnificativ din cazurile de reclamatii ale clientilor. Concluzia, pe baza datelordin simulari, este ca daca se foloseste testul Z nivelul de incredere optim este de90% (α = 0.1), nivel la care procentajul evenimentelor de detectie confirmatedin totalul evenimentelor de detectie atinge un maxim.

25

(a) Testul Z (b) Testul Erlang

Figura 3-9: Procentajul evenimentelor de detectie din totalul apelurilor (PC).

Pentru testul Erlang se poate observa un grad ridicat de detectie al cazurilorde reclamatii ale clientilor pe ıntreaga scala a nivelelor de ıncredere, chiarpentru nivelul maxim se ınregistreaza valori apropiate de 50%. Numarul deapeluri folosite ın cadrul acestui test fiind redus, se poate observa o crestere aperformantelor (PCF, PCDE si PC) odata cu cresterea numarului de apeluriluate ın considerare. Zona optima a folosirii acestui algoritm este ıntre nivelelede ıncredere de 95-99.5% unde procentajul de detectie a cazurilor de reclamatiiale clientilor este ridicat (ıntre 60-70%) dar procentajul cazurilor de detectiedin total apelurilor este redus (10-20%).

Rezultate numerice pentru timpii de rulare a testelor Z si Erlang sunt prezen-tate ın tabelul 3-3 pentru implementarea ın C ruland pe un procesor Intel T93002.5 GHz.

Tabelul 3-3: Timpii de rulare al testelor Z si Erlang.

Test Numar de esantioane Timp de rulare/apel [µs]Tesult Z 20 198.5Testul Z 30 273.4

Tesult Erlang 10 538.9Testul Erlang 5 560.9

26

4 Modele Bayesiene pentru VoIP

4.1 Modelarea matematica a timpului dintre apelurilerepetate

Durata apelurilor si timpul dintre diferite apeluri la o centrala telefonica afost studiat ın profunzime ın literatura de specialitate [13, 19, 49]. In studiilenoastre nu am putut gasi nici o lucrare care sa studieze informatia obtinutadin analiza timpului dintre apeluri repetate (TBRC). TBRC este un parametrucare ıntr-un fel completeaza informatia data de durata apelurilor si combinareacelor doi parametri ofera posibilitatea unei mai bune ıntelegeri a valorii (catde mult si cat de des) comunicarii dintre doua persoane. Importata TBRCconsta ın faptul ca reprezinta o metrica strans legata de modul de gandire alcelui care suna, ın consecinta o reflectare a modului de comportare a apelan-tului telefonic care este determinat de calitatea conexiunii (convorbirii); deciexista o corespondenta ıntre comportamentul uman (determinat de calitatealiniei/convorbirii) si parametrii distributiei variabilei aleatoare TBRC. Aceastacorespondenta va fi folosita pentru determinarea unor noi modele statisticepentru determinarea calitatii apelurilor VoIP.

Studiul are la baza analiza desfasuratorului de convorbiri dintr-un mediu real(5.5 milioane de apeluri din mai 2007 pana ın septembrie 2008) de telefonie VoIPpreplatita internationala. Majoritatea apelurilor sunt efectuate din StateleUnite ale Americii, avand ca destinatie persoane din tari de pe tot globul.Acest mediu de utilizare are un impact semnificativ asupra duratei apelurilorsi TBRC, dar autorul crede ca aceeasi metodologie prezentata ın aceasta lucrarepoate fi refacuta pe date provenite din orice alt mediu de folosire a telefonieiVoIP, iar concluziile oferite sunt de o natura generala.

Definim TBRCD pentru un interval i ca fiind frecventa relativa pe un inter-val, calculata conform relatiei:

TBRCDi =n(i)

TCP(4-19)

unde: - n(i) numarul de apeluri reıncercate ın intervalul i, - TCP numarultotal de apeluri reıncercate

Pentru a avea o buna ıntelegere a propietatilor globale ale variabilei aleatoareTBRC ın Fig. 4-10a se prezinta distributia TBRC pe trei intervale de baza: 1)mai putin de o ora, 2) ıntre 1-180 de ore si 3) peste 180 de ore. Sunt prezentatetrei cazuri: probabilitatea reıncercarii unui apel dupa un apel conectat, dupa

27

unul neconectat si cazul general cand nu se ia ın considerare daca primul apela fost conectat sau nu. Primele doua intervale (apelurile reıncercate ıntr-untimp mai scurt de 180 de ore) contin mai mult de 90% din totalul cazurilor siproprietatile lor vor fi analizate ın detaliu.

(a) Probabilitatea apelurilor reıncercatedefinita pe trei intervale.

(b) TBRCD ın intervalul de 1-180 de ore.

Figura 4-10: Distributia timpului dintre apelurile repetate.

O valoare ridicata a probabilitatii se poate observa pentru apeluri reıncercatedupa un apel neconectat ın prima ora. Acest lucru se poate explica prin obiceiulpersoanelor de a ıncerca de cateva ori, daca apelul nu se conecteaza, ınainte dea renunta.

Intervalul ıntre 1 si 180 de ore

In intervalul ıntre 1 si 180 de ore, se poate observa o tendinta generala dedescrestere a probabilitatii reıncercarii odata cu trecerea timpului prezentataın Fig. 4-10b. Sunt prezentate trei cazuri: reıncercarea unui apel dupa un apelconectat, dupa unul neconectat si cazul general. Pe langa tendinta generala descadere se pot observa varfuri la 24 de ore, fapt explicabil prin obiceiul per-soanelor de a suna la aceeasi ora dupa una sau mai multe zile. Urmatoarele treiaspecte reprezinta exceptii de la tendinta generala de scadere a probabilitatiireıncercarii apelurilor:

• Varfuri la multipli de 24 de ore cu o amplitudine descrescatoare. Pen-tru orice diferenta de fus orar pentru care doua persoane gasesc o oraconvenabila de a vorbi, dupa 24 de ore va fi tot o ora convenabila.

• Un varf mic dupa 8-10 ore. Aceasta durata poate corespunde timpuluide repaus (somn) sau a perioadei de lucru. Daca un apel nu s-a putut

28

conecta seara, se va reıncerca dimineata, respectiv daca apelul nu s-aputut conecta ınainte de orele de munca se va reıncerca dupa acestea.

• Varful dupa 7 zile (7x24 ore=168 ore) este mai mare decat dupa 5 sau 6zile, facand o exceptie de la tendinta de descrestere generala. Acest faptne arata ca exista un obicei de a suna dupa o saptamana.

Intervalul ıntre 0-60 minute

Dupa cum se poate observa ın Fig. 4-11. TBRCD are un varf la valori foartemici (<5 min), urmat de o portiune monoton descrescatoare ın intervalul 5-60de minute.

Din datele intervalului 5-60 de minute, prezentate ın Fig. 4-11a se poateobserva ca liniile urmeaza o distributie de tip exponential. Aceste date aufost analizate pentru a estima potrivirea lor cu distributii de probabilitatecunoscute. Procesul de potrivire a gasit un numar mare de distributii (peste40) pe care datele nu le-au rejectat, printre care: lognormala, invers Gausiana siexponentiala. Nu se pot observa varfuri sau inversiuni ıntre cazurile prezentateın acest interval selectat.

(a) TBRCD ın intervalul de 5-60 de minute. (b) TBRCD ın intervalul de 0 – 5 minute.

Figura 4-11: TBRCD ın intervalul de 0 – 60 minute.

Intervalul ıntre 0-5 minute

Analiza datelor ın intervalul de 0-5 minute a fost facuta folosind cea maimica granularitate: intervale de 1 secunda, prezentate ın Figura 4-11b. Catevaaspecte interesante se pot observa ın acest interval:

- Aproape ca nu exista apeluri ın intervalul de la 0 la 15 secunde. Acest

29

timp poate fi definit ca timpul minim pentru folosirea sistemului de cartelepreplatite: Formarea numarului de acces, introducerea numarului PIN (Per-sonal Identification Number), introducerea numarului de destinatie si conectareaapelului.

- Maximele pentru varfurile apelurilor dupa apeluri conectate si neconectate nuse ating ın acelasi timp. Din acesta proprietate se poate vedea ca o persoanava astepta mai mult, ınainte sa sune din nou, dupa un apel neconectat decatdupa un apel conectat. Dupa un apel conectat persoana care suna este sigurade prezenta si disponibilitatea persoanei sunate, deci nu exista niciun motivpentru care sa astepte.

- Probabilitatea sa sune ınapoi ın primele 5 minute este mai mare dupa un apelneconectat decat pentru un apel conectat. Se poate observa ca este aproapede doua ori mai probabil sa sune ınapoi dupa 60 de secunde dupa un apelneconectat decat dupa unul conectat.

- Se presupune ca prezenta varfului de reıncercari ın primele 5 minute dupaun apel conectat se poate explica prin faptul ca primul apel a fost de slabacalitate.

4.2 Determinarea modelelor Bayesiene pentru VoIP

O retea Bayesiana (BN), dupa cum este definita ın [30] si prezentata ıncaptolul 2, este o structura grafica ce permite o reprezentare si inferenta ıntr-un domeniu incert. Nodurile dintr-o BN reprezinta o multime de variabilealeatoare dintr-un domeniu. Multimea arcelor directionate conecteaza perechide noduri, reprezentand o dependeta directa ıntre variabilele aleatoare. Pre-supunand variabile aleatoare discrete puterea relatiei dintre variabile este cuan-tifiata de distributia probabilitatii conditionale asociata fiecarui nod. Singuraconstrangere la arce este ca nu au voie sa formeze cicluri directionate: nu sepoate reajunge ıntr-un nod urmand doar arcele directionate.

Modelul BN folosind durata dintre apelurile repetate

In cadrul acestui model constructia porneste de la urmatoarele caracteristicide baza:

- Calitatea vocii (TQ - Transmission Quality) este persistenta pentru un furni-zor pentru un anumit timp pe o anumita destinatie, ceea ce este prezentata ın

30

Figura 4-12: Modelarea Bayesiana a determinarii calitatii apelurilor. TQ- Calitatea apelului, TBRC - timpul dintre apelurile repetate, CL - durataapelului.

Fig. 4-12 a). Daca apare o defectiune sau supraıncarcare a unui echipamentaceasta va afectea toate apelurile, nu numai unul.

- Calitatea vocii influenteaza timpul dintre apelurile reıncercate, cu o reprezentaregrafica ın Fig. 4-12 c).

Modelul obtinut pentru reteaua Bayesiana folosind durata dintre apelurilerepetate este prezentat ın Fig. 4-12 d).

Modelul BN folosind durata apelurilor

Similar cu structura care foloseste durata dintre apelurile reıncercate, mod-elul BN folosind durata apelurilor pleaca de la urmatoarele caracteristici de

31

baza:

- Calitatea vocii (TQ) este persistenta pentru un furnizor pentru un anumittimp pe o anumita destinatie, ceea ce este prezentata ın Fig. 4-12 a). Dacaapare o defectiune sau supraıncarcare a unui echipament aceasta va afectatoate apelurile, nu doar unul.

- Calitatea vocii influenteaza durata apelurilor, cu o reprezentare grafica ınFig. 4-12 b).

In Fig. 4-12 e) este prezentata structura modelului obtinut.

Prin combinarea informatiei provenite din durata apelurilor si din timpuldintre apelurile repetate, Fig. 4-12 d) si e), se ajunge la modelul prezentatın Fig. 4-12 f), ın care se integraza ambele tipuri de informatii, pentru o maiexacta deducere a calitatii oferite de furnizorul de telefonie VoIP.

4.3 Studiu de caz: determinarea calitatii apelurilor pen-tru un operator de telefonie preplatita prin VoIP

In acest studiu au fost folosite date din lumea reala ımpreuna cu rapoarte dereclamatii de la clienti de la un operator de telefonie preplatita. Un interval depatru luni ıncepand cu mai 2007 pana ın august 2007 (inclusiv) a fost selectatpentru analiza. In aceasta perioada a fost ınregistrat un numar de 460000apeluri conectate, iar departamentul de relatii cu clienti a primit un numar de371 de reclamatii de la clienti asupra calitatii apelurilor.

Rezultatele obtinute folosind combinat atat durata dintre apelurile repetatecat si durata apelurilor sunt prezentate ın Fig. 4-13. Desi procentajul dedetectie pentru cazul mediu este ıntre 40% si 60%, scenariul cel mai bun arevalori peste 70%. Procentajul de evenimente confirmate este putin peste 2.5%,cu cel mai bun scenariu avand valori peste 3.5%.

Totodata s-a observat ca pentru scenariul cu cel mai mare procentaj dedetectie a cazurilor de reclamatii ale clientilor unul dintre cele mai slabe rezul-tate a fost obtinut pentru procentajul de evenimente de detectie confirmate.Pentru procentajul de cazuri detectate si procentajul evenimentelor de detectiedin totalul apelurilor, diferenta dintre cazul cel mai bun si cel mai nefavor-abil este semnificativa, iar pentru procentul evenimentelor detectate aceastadiferenta este mai mica. Selectarea parametrilor optimi depinde de costulasociat unui eveniment de slaba calitate nedetectat si costul unei false detectiide slaba calitate.

32

(a) Procentul de cazuri detectate (b) Procentul evenimentelor confirmate

(c) Procentul evenimentelor de detectie dintotalul apelurilor

Figura 4-13: Performanta metodei Bayesiene folosind durata dintre apelurilerepetate si durata apelurilor.

Din datele analizate consideram ca un set de parametri foarte buni se poateobtine accentuand puternic performata de detectie a cazurilor de reclamatii aleclientilor (un scenariu din 15-20% cu performantele cele mai bune) va avea operformanta globala acceptabila. Deasemena performantele globale ale acestuicaz care foloseste ambele tipuri de informatii: durata apelurilor si durata dintreapelurile repetate sunt mai bune decat a cazurilor ın care se foloseste un singurtip de informatie.

4.4 Rutarea optima

Odata cu tranzitia de la telefonia PSTN la cea VoIP numarul si inter-conectarile dintre furnizori de telefonie au crescut exponential. Rutarea catreo destinatie, care ın trecut era definita de o tabela de rutare statica avand

33

furnizorul preferat si cel de rezerva, acum trebuie sa ia ın considerare un numarmare de furnizori. O alta diferenta introdusa de sistemele VoIP este aparitiafluctuatiilor ın calitatea vocii provocate de congestii ın reteaua IP. Asemeneafluctuatii erau imposibile ın reteaua PSTN datorita faptului ca fiecare apel aveaun circuit sau un slot de timp dedicat odata cu conectarea apelului. Din cauzaacestor diferente fundamentale metodele de rutare trebuie regandite avand ınvedere provocarile aduse de conexiunile bazate pe pachete.

Operatorul de telefonie poate sa aleaga dintre n furnizori pentru a conectaapelul, prezentat ın Fig. 4-14. Daca dintr-un motiv apelul nu poate fi conectatcu un furnizor, urmatorul furnizor va fi ales si asa mai departe pana cand apelula fost conectat sau toti furnizorii au fost ıncercati.

Figura 4-14: Reprezentarea problemei rutarii ın cazul furnizorilor multipli.

Definirea problemei

Pentru cazul operatorului VoIP care are o multime C (Carriers) avand nfurnizori (indexati de la 0 la n-1)

C = {ci|i = 0..n− 1} (4-20)

fiecare avand un tarif de cumparare (bri) (Buy Rate - BR)

BR = {bri|i = 0..n− 1} (4-21)

si operatorul VoIP ofera o rata de vanzare (Sell Rate - SR) pentru clienti.Fiecare furnizor ofera o anumita calitate (cqi) pentru o destinatie (Call Quality- CQ)

CQ = {cqi|i = 0..n− 1} (4-22)

care poate varia ın timp. In fiecare sistem VoIP oricare din furnizori poate sarefuze conectarea apelului (ex. ın retele care folosesc protocolul SIP pentrusemnalizari, un furnizor poate raspunde cu mesajul 503 Service Unavailable

34

la mesajul initial de Invite), creand o situatie ın care operatorul trebuie saconecteze apelul folosind furnizori alternativi. Pentru a rezolva aceasta prob-lema rutarea va deveni o operatie de sortare a furnizorilor bazata pe definireaunui operator de ordine. In teoria deciziilor [8, 33, 32] optimalitatea estedefinita ca procesul de alegere a cazului care are cel mai mare profit asteptat(EP) astfel ıncat furnizorii o sa fie ordonati dupa profitul lor asteptat.

Se poate defini functia ordinea furnizorilor (CO) care returneza pozitia unuifurnizor ın lista sortata, care va fi ıncercat pentru conectarea apelului. Ceamai ınalta prioritate pentru CO este 0 si cea mai mica este n-1. Deci, ordineafinala a furnizorilor trebuie sa respecte

∀i, j ∈ 0..n− 1; EP (ci) > EP (cj) =⇒ CO(ci) < CO(cj) (4-23)

Profitul asteptat poate fi exprimat ca o suma a profitului pe termen scurt (ST),a profitului pe termen lung pozitiv (LTP) si a profitului pe termen lung negativ(LTN)

EP (ci) = ST + LTP − LTN (4-24)

undeST = profit apel = (SR− bri) ∗ durata apel(cqi) (4-25)

Dupa sudiile efectuate ın [19] durata apel este o functie a calitatii furnizoruluisi pentru cazul general nu se poate considera ca durata asteptata a apelului safie aceeasi daca apelul este conectat de furnizori diferiti.

Efectele pozitive de lunga durata, cum ar fi valoarea adaugata data declientii care povestesc despre calitatea produselor operatorului VoIP la prietenisi cresterea utilizarii produsului, pot fi considerate ca o functie a satisfactieiclientilor (CS), exprimata ca:

LTP = α ∗ CS (4-26)

unde α este o constanta care ınsumeaza si scaleaza valoarea efectelor pozitive.Determinarea valorii exacte a acestei constante este ın afara tematicii acesteiteze.

%labelexpected profit

Nivelul satisfactiei clientului (CS) este pentru clientul care efectueaza apelulcurent (aceasta valoare se modifica de la client la client), iar modelul matematiceste prezentat ın sectiunea urmatoare. Consideratii similare pot fi aplicate sipentru LTN, unde costurile aferente unui grad scazut de satisfactie a clientului,cum ar fi costul de a pierde clientul si publicitatea negativa, sunt ınsumate ınfactorul β.

LTN = (ST + CCS) ∗ P (refund|cqi) + β ∗ CS (4-27)

35

unde P (refund|cqi) exprima probabilitatea conditionata ca un client sa ceararambursarea sumei platite pentru un apel de slaba calitate conectat de furni-zorul i si CCS este costul de relatii cu clientii.

Ambele efecte, pozitive si negative, ale satisfactiei clientului se pot ınsumaıntr-un singur termen (LT):

EP (ci) = ST − (ST + CCS) ∗ P (refund|cqi) + LT (4-28)

Modelarea rutarii optimale ın conditii de incertitudine

O extensie naturala pentru o BN este adaugarea de decizie, fapt prin carese creeaza o retea de decizie (DN). DN pentru determinarea profitului asteptatprin rutarea unui apel printr-un furnizor este prezentat ın Fig. 4-12 unde calita-tea furnizorilor si satisfactia clientilor sunt deduse ıntr-un submodel prezentatın Fig. 4-15. Calitatea furnizorilor se poate determina din durata apelurilor(CL). Din considerente de simplificare cazul prezentat ın Fig. 4-15 presupune caacelasi client a efectuat toate apelurile si acestea au fost rutate printr-un singurfurnizor. Pentru cazul general, satisfactia clientilor depinde de apelurile pe carele-a efectuat un client, ın general rutate prin furnizori diferiti si apelurile pentruun furnizor care vin de la clienti diferiti. Determinarea statistica a calitatiiunui furnizor a fost introdusa si implementata ın conformitate cu [11, 29, 5, 6].Un avantaj al modelului Bayesian prezentat anterior este faptul ca permiteadaugarea de informatie la fiecare nod colectata prin una din urmatoarelemodalitati:

• Apeluri de test. Cand un tehnician efectueaza un apel de test, calitateaapelului poate fi adaugata direct ın BN, ca dovada si profitul asteptat prinrutarea apelurilor prin acel furnizor este recalculat automat, schimband(sau nu) ordinea de rutare.

• Reclamatii la serviciul de relatii cu clientii. Cand un client suna laserviciul de relatii cu clientii si reclama calitatea unora din apelurile efec-tuate, nivelul de satisfactie al clientului poate fi setat. Corect configurat,algoritmul va ıncerca sa evite rutarea apelurilor acestui client folosindfurnizori de calitate ındoielnica ın viitorul apropiat. Mai mult decat atat,prin identificarea apelurilor de slaba calitate avute de acest client, se potdetermina apeluri (apropiate ın timp) efectuate de alti clienti care au fostrutate prin acelasi furnizor. Se poate spune, cu o probabilitate mare, casi acei clienti au fost afectati de aceeasi problema, deci sistemul de rutaretrebuie sa ia ın considerare si acest aspect pentru apeluri viitoare.

36

Figura 4-15: Modelarea satisfactiei clientilor.

• Studii prin chestionare. Este o practica curenta pentru companii saefectueze studii folosind chestionare pentru clienti, dar folosind acestmodel informatia referitoare la satisfactia clientilor poate fi folosita directpentru rutarea apelurilor viitoare.

Un alt avantaj al folosirii retelei de decizie este posibilitatea de a calculavaloarea informatiei VoI (Value of Information) de a cunoaste mai multe desprecalitatea unui furnizor sau despre nivelul de satisfactie al unui client, definitaca o diferenta din profitul asteptat.

V oI = EP information− EP no information (4-29)

Daca se calculeaza aceasta valoare pentru fiecare furnizor pentru fiecare destinatie,se poate determina destinatia si furnizorul cu cea mai mare crestere potentiala,deci daca numarul de apeluri de test care se pot efectua ıntr-o zi este limitat,se pot efectua cele cu cel mai mare impact. In plus, ın cazul evaluarii statisticea calitatii furnizorilor, VoI poate fi considerata ca un alt factor ın profitul petermen scurt si adaugata ın formula generala (4-18) a profitului asteptat. Prinaceasta, metoda de rutare va ruta automat un mic procent al apelurilor catrefurnizori cu profit crescut (SR - BR mare), dar cu un profit asteptat scazut.Astfel o testare automata si periodica este realizata, permitand operatoruluide servicii folosirea furnizorilor cu profit crescut cand calitatea lor este bunasi schimbarea lor automata cand calitatea lor este scazuta ıncercand sa maxi-mizeze profitul pe termen scurt si lung.

37

5 Implementarea metodelor de testare statis-tica

Obiectivul principal urmarit ın dezvoltarea acestei aplicatii a fost gener-area unui suport software utilizabil de catre un operator de telefonie VoIPpentru facilitarea accesului la simulari folosind metode statistice frecventialesi Bayesiene. Arhitectural aplicatia contine doua nivele: 1) un pachet defunctii API (Application Programming Interface) care implementeaza metodelestatistice si 2) o interfata grafica (GUI) care faciliteaza crearea si setareaparametriilor pentru testele statistice.

Volumul de date fiind considerabil am ales, pentru stocarea lor, folosirea uneibaze de date. Pentru ca aceasta aplicatie sa poata fi distribuita fara licentesuplimentare am optat pentru folosirea bazei de date MySQL. Aceasta bazade date ofera performante ridicate, are o larga acceptare ın comunitatea opensource, numarul de persoane familiarizate cu aceasta baza de date este ridicatsi sunt disponibile o serie de aplicatii pentru vizualizarea si portarea datelor.

5.1 Instalarea aplicatiei

Aplicatia pentru folosirea metodelor statistice a fost dezvoltata pentru sis-temul de operare Windows, iar ın cadrul dezoltarii am ıncercat folosirea unorcomponente standard, independente de platforma pentru a facilita o ulterioaraportare catre alte sisteme de operare.

Pentru a putea rula aceasta aplicatie este nevoie de urmatoarele aplicatiideja instalate si configurate:

• Server de baza de date MySQL. Aplicatia si descrierea procesului deinstalare se poate gasi pe site-ul MySQL http://www.mysql.com

• Server de Web cu modul PHP. O gama larga de aplicatii existente pot fifolosite pentru acest scop, dar ın cadrul implementarii de fata am folositserverul Apache.

O alta varianta este folosirea unei aplicatii (WinLAMP) care instaleaza siconfigureaza ıntreaga gama de aplicatii necesare pentru aplicatiile web, frame-work pe care s-a implementat si aceasta aplicatie.

Odata instalate aceste aplicatii se poate trece la instalarea specifica a aplicatieipentru testarea statistica. Aceasta instalare consta din urmatorii pasi:

38

1. Crearea unei noi baze de date.

2. Crearea tabelelor necesare aplicatiei. Acest pas se poate executa automatprin rularea comezilor SQL din fisierul install.sql.

3. Copierea interfatei GUI ıntr-o locatie specifica sau configurarea serveruluiWeb pentru a o putea rula

4. Copierea API-ului ın locatia dorita

5. Setarea configurarilor ın fisierul config.inc.php dupa cum urmeaza

- Specificarea numelui si locatia bazei de date care urmeaza sa fie folosita

- Specificarea utilizatorului cu care programul se poate conecta la bazade date

- Specificarea locatiei executabilului API

Ultimul pas este popularea tabelelor destination, calls, cases si daca esteposibil cases calls. Acest ultim pas este specific pentru fiecare furnizor deservicii VoIP si este dependent de felul ın care sunt salvate datele de furnizorulde servicii VoIP. Descrierea detaliata a structurii tabelelor sus amintite esteprezentata ıntr-o sectiunea Organizarea Datelor.

5.2 Folosirea aplicatiei

Scopul aplicatiei este acela de a evalua metodele statistice, de cautare aparametrilor care se potrivesc cel mai bine cu scenariul de utilizare al furnizoru-lui de servicii. Pentru a facilita atingerea acestui scop aplicatia ofera metodepentru a procesa aceleasi date cu diferite scenarii.

Un raport privind datele din baza de date care urmeaza a fi analizate se poateaccesa ın pagina Data, avand un link din meniul fiecarei pagini. Informatiiaditionale privind utilizarea aplicatiei se pot accesa din pagina de Help.

Aplicatia este construita ın jurul conceptului de test, care reprezinta definireaunei metode statistice cu toti parametrii aferenti, adica un scenariu de utilizare.Metodele statistice implementate ın cadrul aplicatiei sunt cele prezentate ıncapitolele anterioare.

Dupa rularea unui test urmeaza faza de analizare a rezultatelor, comunapentru fiecare test. Aceasta analiza se initiaza prin apasarea butonului Analyzecases. In cadrul acestei etape sunt identificate evenimentele de detectie, daca elesunt confirmate sau nu si sunt calculate: procentajul cazurilor gasite din totalul

39

cazurilor (PCF), procentajul evenimentelor de detectie confirmate din totalulevenimentelor de detectie (PCDE) si procentajul evenimentelor de detectie dintotalul apelurilor (PC).

In cazul ın care se doreste determinarea rutarii optime la fiecare momentdat se va apasa butonul Compute routing. Pentru aceasta optiune ın afara deinformatia de calitate este nevoie si de informatia de cost. Motiv pentru careınainte de rularea acestei optiuni trebuie populate datele de pret de vanzarepentru fiecare destinatie si pret de cumparare pentru fiecare destinatie si fiecarefurnizor de servicii.

5.3 Vizualizarea rezultatelor

Dupa rularea unui scenariu de testare si analizarea cazurilor de reclamatiiale clientilor rezultatele se pot vizualiza prin optiunea See test performance.Rezultatele analizei sunt prezentate cu ajutorul a trei grafice, ca cele prezentateın Fig. 5-16

5.4 Performantele implementarii

Timpii de rulare pentru metodele implementate ın cadrul aplicatiei suntprezentate ın Tabelul 5-4.

Tabelul 5-4: Timpii de rulare pentru metodele statistice.

Testul Zsample number=20 198.5 us pe apelsample number=30 273.4 us pe apelTestul Erlangsample number=10 538.9 us pe apelsample number=5 560.9 us pe apel

Reteaua Bayesiana folosind durataapelurilor

19.8 ms pe apel

Reteaua Bayesiana folosind timpuldintre apelurile repetate

19.5 ms pe apel

Reteaua Bayesiana folosind durataapelurilor si timpul dintre apelurilerepetate

19.2 ms pe apel

40

(a) Procentajul de cazuri gasite din totalul cazurilor de reclamatii ale clientilor

(b) Procentajul de evenimente de detectie confirmate din totalul evenimentelor de detectie

(c) Procentajul de evenimente de detectie din totalul numarului de apeluri conectate

Figura 5-16: Vizualizarea rezultatelor pentru un scenariu de simulare.

Acesti timpi de rulare au fost masurati pe un laptop lenovo T61 avand unprocesor T9300 la frecventa de 2.5GHz si o memorie principala de 2 GB. Server-ul MySQL este versiunea 5.0.22 Community Edition iar toate tabelele suntsalvate ın formatul MyISAM.

41

6 Concluzii finale

• Metodele curente pentru evaluarea calitatii apelurilor telefonice nu pot fiaplicate pe scara larga ın telefonia VoIP. Aceste metode sufera de o seriede neajunsuri, dupa cum urmeaza:

– Metodele auditorii nu se pot folosi ın sisteme de productie. Acestemetode, data fiind folosirea unui grup de persoane pentru evaluareacalitatii fiecarui apel, se lovesc de problema asigurarii confidentialitatiiconvorbirilor.

– Nu este disponibil un semnal de referinta pentru metodele instrumen-tale. Pentru metodele instrumentale bazate pe analiza semnalelorcare necesita un semnal de referinta nedistorsionat acest semnal dereferinta nu este de regula disponibil. Pentru a transmite semnalulde referinta, sau semnalul distorsionat ınapoi la sursa, este nevoiede modificari ale infrastructurii sau a tuturor echipamentelor folositede utilizator.

– Metodele instrumentale care nu necesita semnal de referinta au cerintecomputationale ridicate. Algoritmi folositi pentru estimarea scoruluiMOS fara un semnal de referinta au o complexitate ridicata, ceeace face ca evaluarea unui numar mare de apeluri simultane sa fienefezabila. De asemenea costul licentei pentru aplicatiile softwarecare implementeaza metode instrumentale fara semnal de referintaeste unul ridicat.

– Metodele parametrice nu pot da o estimare globala (end-to-end) acalitatii convorbirilor telefonice. Parametrii retelei de transport sunttransmisi doar ıntre doua puncte ale lantului de transmisie. Odatacu o trecere de la VoIP la PSTN sau transcodare a semnaluluiinformatia referitoare la parametrii retelei de transmisie se pierde,iar estimatul scorului MOS calculat va fi doar unul local.

– Metodele de monitorizare sunt folosite doar ın combinatie cu metodeleauditorii sau cu metodele instrumentale. Necesitatea folosirii metode-lor auditorii sau instrumentale ımpreuna cu metodele de monitor-izare este de asemenea un dezavantaj, care se adauga la neajunsurileenumerate anterior, pentru metodele curente de evaluare a calitatiiın telefonia VoIP.

• Metodele de testare statistice, frecventiale si Bayesiene, sunt aplicabilepentru VoIP. Metodologia testarii statistice ofera posibilitatea evaluariiriguroase daca un set de date provine dintr-o distributie teoretica cunos-cuta, motiv pentru care aceasta metodologie poate fi folosita pentru

42

constructia de teste statistice pentru VoIP. Avantajele testelor statisticesunt:

– Complexitate redusa a calculelor. Desi aparatul matematic caresta la baza acestor teste este unul complex, odata deduse teoretic,calculele necesare pentru aplicarea testelor sunt relativ simple siusoare. Avantajul folosirii testelor statistice pentru determinareacalitatii apelurilor VoIP consta ın evaluarea rapida a datelor de catreun program care poate rula ın timp real.

– Evaluarea calitatii globale a apelurilor VoIP. Modelul Bayesian per-mite folosirea unei game foarte largi de date de intrare: probabilitatia priori, rezultatele unor experimente, teste asupra diferitelor tipuride distributii etc. pentru determinarea unui rezultat cat mai exact sirobust. Aceste retele pot modela ındeaproape modul de rationamentuman, facilitand interpretarea rezultatelor de catre operatori.

• Necesitatea de identificare de noi metrici de calitate ın VoIP. Folosireatimpului dintre apelurile repetate (TBRC) prezinta o serie de avataje:

– TBRC este o metrica ce reflecta calitatea unei conexiuni. Prinstudierea distributiei frecventei apelurilor repetate (TBCRD) ın in-tervalul de 0-5 minute se poate considera TBRCD un instrumentstatistic important pentru caracterizarea timpului necesar folosiriisistemului telefonic. Efectele ımbunatatirii modului de folosire a sis-temului (ın cazul nostru sistemul de telefonie preplatita internationala),cum ar fi accesul fara PIN, apelare rapida si asa mai departe se potobserva ın TBRCD ca o reducere a perioadei de la ınceput unde aparfoarte putine apeluri (0-15 secunde ın cazul nostru).

– Pentru distributia TBRC pot exista mai multe modele teoretice dedistributii de probabilitate potrivite. Pentru ca apare ın toate cazurilesi datorita naturii TBRC consideram ca distributia lognormala si ceainvers Gausiana sunt cele mai potrivite tipuri de distributie care potmodela distributile reale studiate.

– Distributia TBRC prezinta mai multe varfuri. Din cauza aplitudiniiconsiderabile si aparitiei periodice a varfurilor (la multipli de 24 deore), se poate rejecta prezumtia ca aparitia lor e cauzata doar dezgomotul aleator. O explicatie mai plauzibila este obiceiul uman dea suna la aceeasi ora dupa una sau mai multe zile. Varful crescutde dupa o saptamana confirma acesta presupunere.

– Metrica TBRC poate fi utilizata si ın marketing. Pe baza acestorrezultate se pot dezvolta sisteme avansate pentru masurarea calitatii

43

VoIP si a sistemelor automate de rutare ca acelea definite ın [14,12, 11]. Impactul promotiilor poate fi masurat prin monitorizareamodificarii frecventei de apelare a clientilor observabile ca modificariale TBRCD.

• Testele statistice frecventiale pot determina calitatea apelurilor VoIP. Avan-tajelor testelor Z si Erlang sunt:

– Testul Z si testul Erlang au o complexitate computationala multredusa fata de PESQ si 3SQM Acesta concluzie este confirmata deanaliza teoretica si prin rezultatele rularii pe un volum mare de dateprezentat ın tablelul 3-3.

– Testele Z si Erlang pot fi folosite pe o gama larga de tipuri deconexiuni. Rata de apeluri poate varia de la volum mare de apeluripana la un volum redus de apeluri cu o rata detectare a cazurilor dereclamatii ale clientilor de peste 80%, vezi Fig. 3-7.

• Testele statistice Bayesiene pot determina calitatea apelurilor VoIP. Avan-tajele testelor Bayesiene sunt:

– Metodele bazate pe retele Bayesiene dezvoltate nu necesita analizafluxului de voce. Deoarece este folosita doar informatia din desfasuratorulde convorbiri, complexitatea computationala nu mai este depen-denta de lungimea apelurilor, fapt ce ımbunatateste performantelemetodelor propuse. Pentru ca necesarul de resurse computationaleeste accesibil, metodele Bayesiene sunt scalabile pentru a satisfacenevoile de timp real al operatorilor de telefonie VoIP cu un numarfoarte mare de apeluri simultane.

– Modelul Bayesian poate combina informatii din mai multe surse.Modelul matematic (retele Bayesiene) folosit ın acest cadru generaleste o expresie naturala a modului de rationament uman. Acestaare avantajul folosirii datelor exprimate ın cantitati usor de ıntelessi de aproximat de catre persoane fara o ınalta instruire ın domeniu.

– Cu ajutorul testelor Bayesiene se poate realiza o metoda de rutareautomata bazata pe calitatea apelurilor si costul de conectare. Acestametoda face o tranzitie de la tabelele actuale de rutare statice,definite de angajati, catre o rutare automata care aplica politici alefirmei referitoare la profit, calitatea apelurilor, valoarea si satisfactiaclientilor. Rutarea nu se mai modifica o data la luna, cand noi ratesunt primite de la furnizori, ci de fiecare data cand un nou apel esterealizat. Rezulta astfel un serviciu personalizat, prietenos, potrivitfiecarui client ın parte.

44

• Testele statistice pot determina calitatea apelurilor VoIP ın timp real.Conform datelor prezentate ın tabelul 5-4 testele statisitce frecventiale autimpul de rulare de ordinul sutelor de microsecunde pe apel, iar testeleBayesien au timpul de rulare de ordinul zecilor de milisecunde pe apel.

• Testarea statistica a calitatii apelurilor poate sa fie folosita de orice oper-ator VoIP. Cu ajutorul aplicatiei dezvoltate ın cadrul tezei orice operatorde telefonie VoIP poate folosi metodele statistice de determinare a calitatiiapelurilor. Datele de intrare si rezultatele sunt usor accesibile folosindbaza de date MySQL.

6.1 Contributii originale

• Investigarea posibilitatii de corelare a nivelului de calitate a convorbiriicu comportamentul apelantului [13]. Orice persoana initiatoare a uneiconvorbiri telefonice ın care nu poate sa se ınteleaga cu persoana apelatava termina apelul si, eventual, ıncearca din nou. La o problema datoratadefectarii sau supraıncarcarii unui echipament, toate apelurile care trecpe aceea ruta vor fi afectate, motiv pentru care ıntr-un timp scurt foartemulti clienti vor ınchide si vor reıncerca apelul, deci exista o cerespondentaıntre calitatea unei convorbiri telefonice si modul de reactie ın comporta-mentul apelantului. In conditiile unei calitati necorespunzatoare a con-vorbirii comportamentul uman determina, ın consecinta, apeluri de du-rata scurta si /sau apelurui reıncercate. Identificarea acestei corespondenteıntre durata apelurilor si a apelurilor reapelate a constituit idea care ainitiat abordarea cercetarii din prezenta lucrare.

• Investigarea gasirii de modele matematice potrivite pentru comportamen-tul apelantului. Pe langa durata apelurilor, larg analizata ın literatura,distributia duratei dintre apelurile repetate, introdusa de autor [13], esteanalizata ın detaliu si se determina portiuni ale distributiei care arataaspecte ale sistemului telefonic VoIP si ale modului ın care se comportapersoanele. Cea mai importanta concluzie a acestui studiu este ca unapel repetat ın mai putin de 180 de secunde, ın cazul telefoniei preplatiteinternationale, este un puternic indicator al unei posibile probleme decalitate.

• Adaptarea testelor frecventiale pentru VoIP [11]. In functie de numarulde apeluri care este luat ın calcul pentru determinarea mediei lungimiiapelurilor, ın cadrul tezei am dedus doua teste statistice, testul Z sitestul Erlang. Testul Z are ca fundament teorema limitei centrale caregaranteaza o distributie Gausiana pentru media duratei apelurilor, daca

45

aceasta medie este calculata pentru un numar relativ mare de apeluri.Testul Erlang foloseste modelul exponential cu care poate fi descrisadurata apelurilor, iar media lor este modelata ca o suma de variabilealeatorii cu distributie exponentiala, reprezentata prin distributia Erlang.

• Introducerea unor teste Baysiene [12, 14]. Pentru o modelare exacta aprobabilitatii ca un apel sa fie de slaba calitate am dezvoltat o serie demodele Bayesiane bazate pe durata apelurilor si durata dintre apelurilerepetate. Timpul dintre apelurile provenite de la clienti nu este unulconstant, motiv pentru care aceste retele Bayesiene, desi se desfasoaraın timp, nu pot fi considerate retele Bayesiene dinamice ın sensul clasic.Am dezvoltat o metodologie prin care se poate descrie probabilitateaconditionata dintre apeluri, putand astfel folosi modelul Bayesian pentrudescrierea problemei.

• Realizarea de teste statistice pentru determinarea calitatii. In cadrulcercetarii aplicative, am implementat metodele deduse teoretic ın cadrulcercetarii fundamentale si le-am aplicat pe doua seturi de date provenitdin mediul real al unui operator de servicii de telefonie internationalapreplatita [11, 12, 14]. Primul set de date contine 5.5 milioane de apeluridin mai 2007 pana ın septembrie 2008, iar perioada mai 2007 - august2007 450000 de apeluri corelate cu 381 de cazuri de reclamatii clienti.Al doilea set de date contine 2.3 milioane de apeluri ıntre iulie 2010pana ın septembrie 2010 din care mai mult de 1.5 milioane de apeluriau fost corelate cu 886 de cazuri de reclamatii clienti. Am aratat cafolosind testele statistice se pot determina peste 70% din apelurile deslaba calitate.

• Rutarea optima. Am definit o metodologie pentru rutarea optima aapelurilor pentru un operator VoIP avand mai multi furnizori de apeluripentru aceeasi destinatie [15]. Criteriul de optimalitate este definit deprofitul mediu asteptat care depinde de calitatea furnizata si pretul cerut.

• Dezvoltarea unei platforme software pentru determinarea calitatii apelurilor[11, 12, 14]. Conform analizei teoretice si rezultatelor rularii algoritmilorpe date din mediul real metodele statistice deduse si implementate deautor, metodele statistice pot fi folosite ın sisteme de timp real. Analizacalitatii apelurilor folosind testele frecventiale este de ordinul sutelor demicrosecunde (200 µs pentru testul Z si 500 µs pentru testul Erlang) sizecilor de milisecunde pentru retelele Bayesiene (20 ms).

46

6.2 Directii viitoare de cercetare

Una din marile provocari adresate furnizorilor de servicii VoIP este creareaunui model integrat pentru comportamentul clientilor, nu doar pentru deter-minarea calitatii apelurilor, dar si pentru determinarea satisfactiei lor. Aceastateza ofera raspunsurile si chiar o parte din acest mediu integrat dar aspectelede marketing si studierea satisfactiei clientilor nu au fost incluse ın aceastalucrare urmand a fi studiate ulterior. Aceste modificari presupun cresterea com-plexitatii modelelor Bayesiene folosite si trecerea de la calculul exact utilizat lacalcul aproximativ folosind metode Marcov Chain Monte Carlo (MCMC).

O alta directie de cercetare care se va aborda ın viitor este modelarea du-ratei apelurilor folosind o suma de distributii log-normale ın loc de distributiaexponentiala. Folosind acest model se pot construi teste statistice, posibilmai performante, decat cele prezentate ın aceasta teza. Problema determinariisumei unor variabile aleatoare avand o distributie lognormala avand o corelarenetriviala este momentan nerezolvata. Conform unui studiu recent, prezentatın [50], s-a determinat comportamentul asimptotic spre 0 si∞ al acestei sume.

47

VoIP connection quality: A Statistical Approach

Abstract

This thesis presents a new statistical approach for assessing the transmissionquality of a VoIP carrier at a given time. The main difference from thesignal based methods (e.g. PESQ) is that the voice stream analysis is nolonger required. The parameter based methods (e.g. ITU-T Rec. P.564)cannot provide a comprehensive end-to-end evaluation of transmission quality,while these statistical methods can. The statistical methods determine theprobability of a call being in a normal user calling pattern, result that cannotbe directly mapped to the MOS scale. But the methods introduced allowmedium to large scale VoIP providers to monitor the transmission quality of allthe connected calls. Frequentist and Bayesian statistical methods are derivedand tested on both synthetic and real life datasets. The evaluation of real lifedatasets show that a large percent of the user complaints (above 70%) can befound using the statistical methods.

The main advantage of the statistical methods rely in their low computationalrequirements (compared to signal based and parameter based methods) andthere ability to assess the end-to-end transmission quality (TQ) in (near) realtime. Similar to the parameter-based methods, the voice payload of the RTPstream is not analyzed, only CDR (Call Detail Record) information, like sourcenumber, destination number, start time, call duration and call status (Answer,Cancel, Busy etc.) is required. Because of this, they are particularly feasiblefor production VoIP deployments that connect a high number of calls. Thestatistical methods determine the probability of a call being in a normal usercalling pattern or in a not normal pattern (calling pattern of users experiencingpoor transmission quality).

No informationis required for the structure, characteristics (packet loss, jit-ter, delay) or for the processing (transcoding, analog to digital, digital to analogconversions) of the inbound and outbound networks. The service provider canmake the decision to which outbound network to connect the call, if the sourceof the transmission quality degradation is in one of the outbound networks,the service provider can modify the routing and stop connecting the calls withthe low quality outbound network. The statistical methods presented in thisthesis provide exactly this insight needed to make the change of routing: ifan outbound network (probably) provides good or poor transmission quality.This evaluation has low computational requirements so it is suitable for usagein large scale VoIP deployments requiring near real time performance.

CURRICULUM VITAE

Name: Zoltan-Tibor GASPAR

Date of birth: 20.09.1982

Address: B-dul Garii nr. 38, bl. 227, sc. D, ap. 1, Brasov,500227

Education:

2007- 2011 Faculty of Electrical Engineering and Computer Science

Transilvania University of Brasov

PhD Student

2006- 2008 Faculty of Electrical Engineering and Computer Science

Transilvania University of Brasov

M.Sc in Computers

2001- 2006 Faculty of Electrical Engineering and Computer Science

Transilvania University of Brasov

B.Sc in Electronics

Profesional activity:

2006- 2011 Teaching assistant

Faculty of Electrical Engineering and Computer Science

Transilvania University of Brasov

2007- 2009 Director of Information Technology

Miron Enterprises LLC

2004- 2007 Software developer

Miron Enterprises LLC

Scientific activity:

5 international publication, all indexed by IEEE Xploreand 2 indexed by ISI Web of science1 journal (CNCSIS rank B) as first author

Bibliografie selectiva

[1] Arnold O. Allen. Probabilitym Statistics, and Queueing Theory withComputer Science Applications. Academic Press, 1990.

[2] J. Allnatt. Subjective rating and apparent magnitude. InternationalJournal of Man-Machine Studies, 7(6):801–816, 1975.

[3] V. Bappert and J. Blauert. Auditory quality evaluation of speech-codingsystems. acta acustica, 2:49–58, 1994.

[4] J. Berger. Instrumentelle Verfahren zur Sprachqualitatsschatzung–Modelleauditiver Tests. PhD thesis.

[5] R. Beuran and M. Ivanovici. User-perceived quality assessment for VoIPapplications. rapport technique delivre a U4EA Technologies, pages 2004–007.

[6] R. Beuran, M. Ivanovici, B. Dobinson, and P. Thompson. Network qualityof service measurement system for application requirements evaluation.SIMULATION SERIES, 35(4):380–387, 2003.

[7] J. Blauert. Spatial hearing: the psychophysics of human sound localization.The MIT Press, 1997.

[8] F. Carmichael. A guide to game theory. Financial Times/Prentice Hall,2005.

[9] M. Ciuc and C. Vertan. Prelucrarea statistica a semnalelor. EdituraMatrixRom, 2005.

[10] H. Frank. Introduction to probability and statistics: concepts and princi-ples. John Wiley & Sons, 1974.

[11] Gaspar, Z. and I. Gocza. Voice quality degradation recognition usingthe call lengths. In Optimization of Electrical and Electronic Equipment(OPTIM), 2010 12th International Conference on, pages 1034–1039.IEEE, 2010, Cheile Gradistei, Romania.

[12] Gaspar, Z. and I. Gocza. Assessment of VoIP quality using Bayesiannetworks. In MELECON 2010-2010 15th IEEE Mediterranean Electrotech-nical Conference, pages 1389–1393. IEEE, 2010, Malta, Malta.

50

[13] Gaspar, Z. and I. Gocza. A study of time between retried calls in voiceover internet protocol networks. In Digital Society, 2010. ICDS ’10. FourthInternational Conference on, pages 60 –65, feb. 2010, St. Maarten, AntileleOlandeze.

[14] Gaspar, Z., I. Gocza, and G. Toacse. Bayesian voip quality evaluationusing the time between retried calls. In Advances in Mesh Networks(MESH), 2010 Third International Conference on, pages 53 –58, 2010,Venetia, Italia.

[15] Gaspar, Z. and G. Toacse. Optimal routing in multiple carrier voipnetworks. In Eurocon 2011 International Conference on Computer as aTool, 2011, Lisabona, Portugalia.

[16] L. Gros and N. Chateau. Instantaneous and overall judgements for time-varying speech quality: assessments and relationships. Acta Acusticaunited with Acustica, 87(3):367–377, 2001.

[17] M. Hansen and B. Kollmeier. Objective modeling of speech qualitywith a psychoacoustically validated auditory model. JOURNAL-AUDIOENGINEERING SOCIETY, 48(5):395–409, 2000.

[18] M. Hauenstein. Psychoakustisch motivierte Masse zur instrumentellenSprachgutebeurteilung. PhD thesis, Ph. D. thesis, Universitat Kiel. 15,1997.

[19] J. Holub, JG Beerends, and R. Smid. A dependence between average callduration and voice transmission quality: measurement and applications.In Wireless Telecommunications Symposium, 2004, pages 75–81, 2004.

[20] Itu-T. G.107 The E-model, a computational model for use in transmissionplanning. International Telecommunication Union-TelecommunicationStandardisation Sector (ITU-T).

[21] Itu-T. P. 562 Analysis and interpretation of INMD voice-service mea-surements. International Telecommunication Union-TelecommunicationStandardisation Sector (ITU-T).

[22] Itu-T. P. 861 Objective Quality Measurement of Telephone - Band(300 - 3400 Hz) Speech. International Telecommunication Union-Telecommunication Standardisation Sector (ITU-T).

[23] Itu-T. 800, Methods for subjective determination of transmission quality.International Telecommunication Union-Telecommunication Standardisa-tion Sector (ITU-T), 1996.

51

[24] Itu-T. P. 862 Perceptual evaluation of speech quality (PESQ): an objectivemethod for end-to-end speech quality assessment of narrow-band telephonenetworks and speech codecs. International Telecommunication Union-Telecommunication Standardisation Sector (ITU-T), 2001.

[25] Itu-T. Continuous Evaluation of Time-Varying Speech Quality. Inter-national Telecommunication Union-Telecommunication StandardisationSector (ITU-T), 2004.

[26] U. Jekosch. Sprache horen und beurteilen: Ein Ansatz zur Grundlegungder Sprachqualit”atsbeurteilung. Inaugural diss (habilitation), University of Essen, Essen,2000.

[27] U. Jekosch. Assigning Meaning to Sounds Semiotics in the Context ofProduct - Sound Design. Communication Acoustics, pages 193–221, 2005.

[28] U. Jekosch. Voice and speech quality perception: assessment and evalua-tion. Springer-Verlag New York Inc, 2005.

[29] W. Jiang and H. Schulzrinne. Assessment of voip service availability inthe current internet. In Proceedings of the 4th International Workshop onPassive and Active Network Measurement (PAM 2003). Citeseer.

[30] K.B. Korb and A.E. Nicholson. Bayesian artificial intelligence. CRC Pr ILlc, 2004.

[31] J.B. Kruskal and M. Wish. Multidimensional scaling (quantitativeapplications in the social sciences), 1978.

[32] W. Kuo and M.J. Zuo. Optimal reliability modeling: principles andapplications. Wiley, 2003.

[33] DM Louit, R. Pascual, and AKS Jardine. A practical procedurefor the selection of time-to-failure models based on the assessment oftrends in maintenance data. Reliability Engineering and System Safety,94(10):1618–1628, 2009.

[34] VV Mattila. Perceptual analysis of speech quality in mobile communi-cations. PhD thesis, PhD thesis, Tampere University of Technology,Tampere, 2001.

[35] V.V. Mattila. Ideal point modelling of the quality of noisy speech in mobilecommunications based on multidimensional scaling. PREPRINTS-AUDIOENGINEERING SOCIETY, 2003.

52

[36] Gh. Mihoc and N. Micu. Teoria Probabilitatilor si Statistica Matematica.Editura Didactica si Pedagogica, 1980.

[37] S. Moller. Assessment and prediction of speech quality in telecommunica-tions. Springer Netherlands, 2000.

[38] S. Moller. Quality of telephone-based spoken dialogue systems. SpringerVerlag, 2005.

[39] S. Moller and A. Raake. Telephone speech quality prediction: towardsnetwork planning and monitoring models for modern network scenarios.Speech Communication, 38(1-2):47–75, 2002.

[40] R.E. Neapolitan. Learning bayesian networks. Pearson Prentice Hall UpperSaddle River, NJ, 2004.

[41] A. Papoulis, S.U. Pillai, and S. Unnikrishna. Probability, random variables,and stochastic processes. McGraw-Hill New York, 2002.

[42] G. Parisi. Statistical field theory. Westview Press, 1998.

[43] C. Peterson and J.R. Anderson. A mean field theory learning algorithmfor neural networks. Complex systems, 1(5):995–1019, 1987.

[44] S.R. Quackenbush, T.P. Barnwell, and M.A. Clements. Objective measuresof speech quality. Prentice Hall, 1988.

[45] S.J. Russell and P. Norvig. Artificial intelligence: a modern approach.Prentice hall, 2009.

[46] J.S. Rustagi. Variational methods in statistics. Academic Press, 1976.

[47] L.K. Saul, T. Jaakkola, and M.I. Jordan. Mean field theory for sigmoidbelief networks. Arxiv preprint cs/9603102, 1996.

[48] R.N. Shepard, A.K. Romney, and S.B. Nerlove. Multidimensional scaling:Theory and applications in the behavioral sciences. Seminar Press NewYork, 1972.

[49] W. Willinger and V. Paxson. Where mathematics meets the Internet.Notices of the American Mathematical Society, 45(8):961–971, 1998.

[50] G. Xin, X. Hong, and Y. Dong. Asymptotic Behavior of Tail Densityfor Sum of Correlated Lognormal Variables. International Journal ofMathematics and Mathematical Sciences, 2009.

53