application of genetic algorithms for neural network learning - srdjan mladjenović

Srđan MlađenovićComTrade System Integration, Analytics/Big Data Business Development Manager at Comtrade System Integration

Application of Genetic Algorthms for Neural Network Learning in Credit Scoring Domain

Application of Genetic Algorthms for Neural Network Learning in Credit Scoring Domain

BIO

Comtrade System Integration, BDM

Preko 13 korporativnog godina rada u IT-u• Poslovni razvoj – analitika, BI, Big Data• Predavač – MS Sinergija, IBM Sprint• PM, Rukovodilac tima BI/ERP

Akademsko obrazovanje• Informatika, PMF• Bioinženjering, Mašinski fakultet

Srđan MlađenovićAnalytics/Big Data

Business Development

Manager

1. Motivacija

2. Neuronske mreže (NM)

3. Genetski algoritmi (GA)

4. GA za obučavanje NM (GANM)

5. Problem kreditne klasifikacije

6. Rezultati

7. Zaključak

AGENDA

Motivacija

Biološki inspirisani algoritmi

Komparacija klasifikacionih

modela

Biološka inspiracijaNervni sistemi Teorija evolucije

Genetika

Neuronske mreže – model neurona

. . . . . .

u1

ui

un

u0=1

x v

w0 w1

wi

wn

g( )

Višeslojna neuronska mreža

Obučavanje neuronskih mreža

Nadgledajuće obučavanje: Backpropagation (BPNM)

Prirodna selekcija VarijabilitetHromozom

• Prilagođenost jedinke

• Najprilagođenije jedinke daju najviše potomaka

• Fenotip• Genotip• Hromozomi

• Rekombinacije u mejozi

• Genske mutacije

Selekcija (funkcija pogodnosti)

Krosover; Mutacija (operatori)

Hromozom – genotip (reprezentacija)

Simple Genetic Algorithm (SGA)

Genetski algoritam – osnovni elementi

GA - algoritam

Genetski operatori

Mutacije

GA za obučavanje NM (GANM) - reprezentacija

Krosover

Mutacija

Problem kreditne klasifikacije

Dve klase – „dobri“ i „loši“ aplikanti

Podrška kreditnom odlučivanju – smanjenje rizika

Povezan problem – kreditni rejting

Benčmark problemi (Retail)• Australijski kreditni podaci• Nemački kreditni podaci

Komparacija GANM i BPNM

Parametri algoritamaGA Parametar Vrednost

Veličina populacije N 50

Broj generacija 250Tip selekcije RULETElitizam DARangiranje DA

Selektivni pritisak 10

Tip krosovera Dvotačkasti standardni

Verovatnoća krosovera 0.8

Verovatnoća mutacije 0.6

Raspodela mutacije N(0,1)

Raspodela inicijalne populacije N(0,5)

BP Parametar Vrednost

Broj epoha 2000 ili 6000

Varijanta BP Lokalna – Silvia i Almeida

Početna vrednost lokalnih koeficijenata brzine obučavanja

0.001

Stepen uvećanja u 1.1Stepen umanjenja d 0.909

Momenat 0.1Raspodela inicijalnih težina U(-1,1)

Rezultati – zavisnost od arhitekture NM

Rezultati – Australijski kreditni podaci

Australijski - prosek

0.00

0.02

0.04

0.06

0.08

0.10

0.12

0.14

0.16

Dobar kredit Loš kredit Ukupno

Gre

ška

klas

ifikac

ije

GA BP

Australijski - najbolji

0.00

0.02

0.04

0.06

0.08

0.10

0.12

0.14

0.16

Dobar kredit Loš kredit Ukupno

Gre

ška

klas

ifikac

ije

GA BP

Rezultati – Nemački kreditni podaci

0.00

0.05

0.10

0.15

0.20

0.25

0.30

Particija

Gre

ška

klas

ifika

cije

BP GA

1 2 3 4 5 6 7 8 9 10

Pretraživački karakter algoritama

BPNM brži

Zaključci

GANM statistički bolji za Australijske

podatke

Greške koštanja mogu se ubaciti u GANM

obučavanje

GA gobalno pretražuje; BP

lokalno

BPNM – zavisnost

od arhitekture i incijalnog

izbora težina

Pitanja

?

Copyright © 2016 Comtrade. All rights reserved.The content of this presentation is copyright protected.

Any reproduction, distribution, or modification is not allowed.The information, solutions, and opinions contained in this presentation are of

informative nature only and are not intended to be a comprehensive study, nor should they be relied on or treated as a means to provide a complete solution

or advice, since we may not be aware of all specific circumstances of the case. We try to provide quality information, but we make no claims, promises,

or guaranties about the accuracy, completeness, or adequacy of the information contained herein.

www.comtradeintegration.com