DATA REDUCTION

DIMENSIONS OF LARGE DATA SETS Pemilihan representasi data, seleksi, reduksi atau

transformasi fitur adalah mungkin isu yang penting menentukan kualitas solusi data-mining.

Selain pengaruh alami dari algoritma data-mining, dia dapat menentukan apakah masalah dapat dipecahkan seluruhnya, atau bagaimana kekuatan model hasil dari data mining.

Dalam praktek, jumlah fitur dapat sebanyak beberapa ratus. Jika kita mempunyai sedikitnya ratusan contoh untuk analisis, reduksi dimensi dibutuhkan supaya model dapat diandalkan untuk digali atau menjadi beberapa penggunaan dalam praktek.

Di lain pihak, data yg berlebih, sebab dimensi yg tinggi , dapat membuat beberapa algoritma data-mining tidak dapat diaplikasikan, solusinya reduksi dimensi data.

Tiga dimensi utama dari data set yg diproses di awal, biasanya direpresentasikan dalam bentuk plain files yaitu kolom (fitur), baris (kasus atau contoh-contoh), dan nilai dari fitur.

Oleh karena itu, tiga operasi dasar dari proses reduksi data yaitu delete kolom, delete baris, dan kurangi jumlah nilai di suatu kolom (penghalusan suatu fitur). Operasi-operasi ini berusaha memelihara karakteristik data asal dengan penghapusan data yg nonesensial.

Ada operasi lain yg mereduksi dimensi-dimensi, tetapi data baru tidak dapat mengenali ketika dibandingkan ke data set asal.

Satu pendekatan adalah menggantikan sekumpulan fitur awal dengan fitur campuran yg baru. Sebagai contoh, jika contoh-contoh dalam data set mempunyai 2 fitur, tinggi-orang dan berat-orang, memungkinkan untuk beberapa aplikasi di domain kedokteran untuk menggantikan 2 fitur ini, dengan hanya satu, BMI (body-mass-index), yg mana adalah proporsi hasil bagi dari 2 fitur awal.

Perbandingan keseluruhan didasarkan atas parameter-parameter berikut untuk analisis:1. Computing time

Data yang lebih sederhana diharapkan mereduksi waktu yang diambil untuk data mining.

2. Predictive/ descriptive accuracy Ukuran ini mendominasi bagi kebanyakan model datamining,

oleh karena mengukur seberapa baik data disimpulkan dan digeneralisir ke dalam suatu model.

3. Representation of the data mining model. Kesederhanaan representasi, biasanya diperoleh dengan reduksi data, sering berakibat bahwasannya suatu model dapat lebih baik dimengerti. Kesederhanaan dari pemodelan dan hasil lain bergantung pada representasinya. Oleh karena itu, jika kesederhanaan dari representasi meningkat, penurunan akurasi relatif kecil mungkin dapat ditoleransi.

Hal yang ideal adalah jika dapat mereduksi waktu, meningkatkan akurasi dan representasi sederhana pada waktu yg sama, menggunakan reduksi dimensi. Namun tidak ada metode reduksi data yg tunggal dapat paling cocok untuk semua aplikasi.

Keputusan tentang pemilihan metode seleksi didasarkan atas pengetahuan yg ada tentang suatu aplikasi (relevant data, noise data, meta-data, fitur yg berhubungan), dan constraint waktu yg diminta untuk solusi akhir.

Feature Reduction Pada dasarnya, kita memilih fitur yg relevan pada aplikasi

data-mining agar supaya mencapai hasil yang maksimum dengan ukuran dan usaha pemrosesan minimum. Suatu proses reduksi fitur harus menghasilkan:

1. Data yang lebih kecil sehingga algoritma data-mining dapat mempelajari lebih cepat

2. Akurasi dari proses data-mining lebih tinggi sehingga model dapat mengeneralisasi lebih baik dari data

3. Hasil sederhana dari proses data-mining sehingga mereka lebih mudah untuk mengerti dan menggunakan

4. Fitur lebih kecil sehingga rentetan berikutnya dari kumpulan data, suatu penghematan dapat dibuat dengan menghilangkan redundansi atau fitur yang tidak relevan

Dua tugas standar dikaitkan dengan produksi kumpulan fitur, dan mereka diklasifikasikan sebagai: Feature selection – berdasar pada pengetahuan dari

domain aplikasi dan tujuan-tujuan dari usaha mining, human analyst mungkin memilih bagian dari fitur yg ditemukan di data set awal. Proses dari seleksi fitur dapat manual atau didukung oleh beberapa prosedure otomatis

Feature composition – transformasi data yg dapat mempunyai pengaruh yg kuat mengejutkan atas hasil metode data-mining. Dalam pengertian ini, komposisi dari fitur adalah faktor penentu yang lebih besar dalam kualitas hasil2 data-mining dari teknik mining khusus.

Feature Selection Perbedaaan metoda-metoda pemilihan fitur akan memberikan perbedaan

data set tereduksi, dan secara global mengklasifikasikan seluruh metoda ini menjadi 2: algoritma feature-rangking dan algoritma minimum subset.

Algoritma feature-rangking. Daftar fitur terurut yg disusun menurut ukuran evaluasi ukuran khusus. Suatu ukuran

dapat digunakan atas akurasi data yg tersedia, konsistensi, isi informasi, jarak antar contoh dan terakhir, secara statistik bergantung antara fitur-fitur.

Algoritma ini tidak memberitahukan apakah kumpulan fitur minimum untuk analisa lebih lanjut; mereka mengindikasikan relevansi fitur dibanding pada yang lainnya.

Algoritma subset minimum Mendapatkan subset fitur minimum dan tidak ada perbedaan dibuat diantara fitur-

fitur dalam subset semua mampunyai rangking yg sama. Fitur-fitur dalam subset relevan bagi proses mining; yg lainnya tidak relevan.

Di kedua jenis algoritma ini, penting untuk membangun skema fitur-evaluasi: cara di mana fitur dievaluasi dan kemudian dirangking, atau ditambahkan ke subset terpilih.

Seleksi fitur secara umum dapat digambarkan sebagai masalah pencarian, dengan setiap state di area pencarian khusus subset dari fitur yg mungkin. Jika, suatu data set mempunyai 3 fitur {A1, A2, A3}, dan proses seleksi fitur-fitur, keberadaan fitur dikodekan 1 dan keabsenannya dengan 0, sehingga ada 23 subset reduksi fitur dikodekan dengan {0, 0, 0}. {1, 0, 0}, { 0,1, 0}, {0, 0, 1}, {1, 1, 0}, {1, 0, 1}, {0, 1, 1}, dan {1, 1, 1}. Masalah seleksi fitur adalah relatifsepeleh jika ruang pencarian kecil, oleh karena kita dapat menganalisa seluruh subset dibeberapa perintah dan suatu pencarian akan lengkap dalam waktu singkat.

Namun pencarian biasanya 2N di mana jumlah dimensi N di aplikasi data-mining adalah besar (N>20). Exhaustive search dari seluruh subset fitur sangat sering digantikan dengan prosedur heuristic search. Penggunaan pengetahuan masalah, prosedur-prosedur ini menemukan subset fitur yang memperbaiki lebih lanjut meningkatkan kualitas proses data mining.

Tujuan seleksi fitur adalah menemukan subset fitur dengan performa data mining dapat dibandingkan pada kumpulan fitur utuh.

Aplikasi seleksi fitur dan reduksi dimensi data membantu seluruh fase proses data mining untuk penemuan pengetahuan yg berhasil dilakukan.

Dimulai pada fase preprocessing, tetapi di beberapa kesempatan, seleksi fitur dan reduksi adalah bagian dari algoritma data-mining, meskipun dia diaplikasikan di postprocessing untuk evaluasi dan konsulidasi hasil yg dicapai lebih baik.

Entropy Measure for Ranking Features Suatu metoda untuk seleksi unsupervised fitur atau merangking

berdasarkan ukuran entropy adalah teknik yg relatif sederhana; tapi dg jumlah fitur yang besar menambahkan kekomplekannya secara signifikan

. Asumsi dasar adalah semua contoh diberikan sebagai vektor

tanpa adanya klasifikasi dari output sample.

Pendekatan didasarkan atas observasi pembuangan fitur yang tidak relevan, fitur redundan, atau keduanya dari kemungkinan yg tidak mengubah karakteristik data set.

Algoritma didasarkan atas ukuran similarity S yang berbanding terbalik dengan jarak D antara dua n-dimensional sample. Ukuran jarak D kecil, dekat dengan contoh, dan yang besar untuk perbedaan pasangan.

Ada 2 formula yg dipakai untuk mengukur similarity terhadap fitur: data numerik dan non numerik (kategori).

1. Data numerik:Similarity (S) dimana: e=2.7183;Namun sering digunakan sebagai konstantaDan ukuran jarak D didapatkan:

, namun sering digunakan konstanta

2. Data non-numerik

Di mana |xij=xjk| adalah 1 jika xij=xjk, dan sebaliknya 0. Jumlah variable adalah n.

Sample F1 F2 F3

R1R2R3R4R5

ABCBC

XYYXZ

12213

R1 R2 R3 R4 R5

R1R2R3R4

0/3 0/32/3

2/31/30/3

0/30/31/30/3

Data set dgn 3 fitur kategoriTabel ukuran similarity Sij diantara samples

Nilai Entropy yang digunakan untuk rangking fitur adalah:

Kedekatan suatu fitur ditunjukan semakin kecilnya perbedaan nilai entropy.

Agenda selanjutnya

Principal Component Analysis Values Reduction Feature Discretization

PCA ,VALUES REDUCTION & FEATURE DISCRETIZATION

DATA REDUCTION

1. Principal Component Analysis (PCA) Metoda statistik yang populer untuk mereduksi

dimensi data set yang besar adalah metode Karhunen-Loeve (K-L), disebut juga Principal Component Analysis

Merupakan metoda pentranformasian data set awal yg direpresentasikan vector sample menjadi kumpulan vector sample baru dengan dimensi yg didapatkan.

Tujuannya memfokuskan informasi terhadap perbedaan-perbedaan diantara sample menjadi dimensi yang kecil.

Ide dasar, dideskripsikan sebagai berikut: sekumpulan vector sampel berdimensi n X={x1, x2, x3, …, xm} ditransformasikan ke himpunan lain Y = {y1, y2, y3, …, ym} dengan dimensi yg sama, tetapi y ,memiliki property yg paling informatif isinya disimpan dalam dimensi pertama.

Transformasi didasarkan atas asumsi bahwa informasi yg tinggi berhubungan dengan varian yg tinggi. Sehingga jika mereduksi ke satu dimensi dari matrik X ke matrik Y dapat dituliskan:Y= A ∙ X, pemilihan A sehingga Y mempunyai varian

terbesar dari data set yg diberikan. Dimensi tunggal dari Y diperoleh dari transformasi ini disebut first principal component.

Maka untuk menentukan matrix A, dihitung dahulu covariance matrix S sebagai tahap awal dari transformasi fitur.

Dimana:

Eigen values & Eigen vector Eigenvalues dari matrix covariance S : λ1 ≥ λ2 ≥… λn ≥0 Eigenvectors v1,v2,… vn berhubungan dengan

eigenvalues λ1 ≥ λ2 ≥… λn dan disebut principal axes. Kriteria untuk seleksi fitur didasarkan atas rasio

penjumlahan eigenvalue terbesar S ke nilai seluruh S, sehingga dapat dituliskan:

Ketika nilai rasio R cukup besar (lebih besar dari nilai threshold), seluruh analisa dari subset atas fitur m merepresentasikan estimasi awal yg baik dari n dimensi ruang.

Nilai eigen value diperoleh dengan mengetahui nilai covariance sehingga dituliskan: det (S – λ) = 0 ; dimana S= matrix covariance

Sedangkan nilai eigen vector (v) diperoleh dengan rumusan berikut:

λv = Sv

Sebagai ilustrasi contoh bisa dilihat berikut.

Contoh lain:Feature 1 Feature 2 Feature 3 Feature 4

Feature 1   1.0000 1.1094   0.8718   0.8180

Feature 2 −0.1094   1.0000 −0.4205 −0.3565

Feature 3   0.8718 −0.4205   1.0000   0.9628

Feature 4   0.8180 −0.3565   0.9628   1.0000

Feature EigenvalueFeature 1 2.91082Feature 2 0.92122Feature 3 0.14735Feature 4 0.02061

Eigenvalue dari data

Covariance

Dengan nilai threshold R*=0.95, maka dipilih 2 fitur pertama, sebab:R = (2.91082 + 0.92199)/(2.91082 +

0.92122 + 0.14735 + 0.02061) = 0.958 > 0.95, sehingga 2 fitur tersebur

cukup mendeskripsikan karakteristik data set.

2. Value Reduction Suatu reduksi jumlah nilai-nilai diskrit untuk figure

yg diberikan didasarkan atas teknik diskritisasi.

Tujuannnya : mendiskritisasi nilai fitur kontinu menuju sejumlah kecil interval, yg mana setiap interval dipetakkan ke symbol diskrit.

Keuntungan: diskripsi data disederhanakan sehingga data dan hasil-hasil data-mining mudah dimengerti, juga kebanyakan teknik data mining dapat diaplikasikan dengan nilai fitur diskrit.

Sebagai contoh: suatu umur seseorang, diberikan diawal proses data-mining sebagai nilai kontinu (antara 0 dan 150 tahun) mungkin diklasifikasikan menjadi segmen2 kategori: anak, remaja, dewasa, setengah tua, tua. Titik2 batas didefinisikan secara subyektif.Cut points?

                 Child      Adolescent          Adult             Middle-age               Elderly

age0 150

Pengelompokan nilai-nilai fitur Diberikan suatu fitur mempunyai suatu jarak

nilai-nilai numerik, dan nilai-nilai ini dapat diurutkan dari yg terkecil ke yg terbesar. Hal ini menjadikan konsep penempatan pembagian nilai-nilai ke dalam kelompok-kelompok dengan nilai-nilai yg dekat.

Seluruh nilai dalam kelompok akan digabung ke konsep tunggal yg direpresentasikan dengan nilai tunggal, biasanya mean atau median dari nilai-nilai tersebut.

Nilai mean/ mode biasanya efektif untuk jumlah nilai yg lumayan besar. Namun bila kecil/ sedikit, batasan dari setiap kelompok dapat menjadi kandidat untuk representasinya.

Sebagai contoh, jika diberikan fitur f {3, 2, 1, 5, 4, 3, 1, 7, 5, 3} kemudian setelah sorting didapatkan : {1, 1, 2, 3, 3, 3, 4, 5, 5, 7}

Maka sekarang, mungkin dipecah jumlah kumpulan nilai kedalam 3 bins{1, 1, 2, 3, 3, 3, 4, 5, 5, 7} BIN1 BIN2 BIN3

{1, 1, 2, 3, 3, 3, 4, 5, 5, 7} BIN1 BIN2 BIN3

Langkah berikutnya, perbedaan representasi dapat dipilih untuk setiap bin.

Berdasarkan mode dalam bin, maka nilai-nilai baru:{1, 1, 1, 3, 3, 3, 5, 5, 5, 5} BIN1 BIN2 BIN3

Berdasarkan mean{1.33, 1.33, 1.33, 3, 3, 3, 5.25, 5.25, 5.25, 5.25} BIN1 BIN2 BIN3

Berdasarkan kedekatan dengan batasan nilai dalam bin:

{1, 1, 2, 3, 3, 3, 4, 4, 4, 7}BIN1 BIN2 BIN3

Masalah utama dari metoda ini adalah menemukan batasan terbaik untuk bin. Maka prosedurenya terdiri langkah-langkah berikut: Urutkan seluruh nilai bagi fitur yg diberikan Assign dengan perkiraan sejumlah nilai-

nilai yg berdekatan setiap bin Pindahkan elemen batas dari satu bin ke

berikutnya (atau sebelumnya) ketika mereduksi error jarak keseluruhan (ER)

Contoh: Kumpulan nilai dari fitur f adalah {5, 1, 8, 2, 2, 9, 2, 1, 8, 6}. Split ke

dalam 3 bin (k=3), dimana bin2 akan direpresentasikan dengan mode-nya.

Sorted nilai2 fitur f : { 1, 1, 2, 2, 2, 5, 6, 8, 8, 9} Inisialisasi bin (k=3) BIN1 BIN2 BIN3(i) Modes untuk ketiga bin terpilih : {1, 2, 8}. Maka total error: ER = 0 + 0 + 1+ 0 + 0 + 3 + 2 + 0 + 0 + 1 = 7(ii) Setelah memindahkan 2 elemen dari BIN2 ke BIN1 dan 1 elemen

dari BIN3 ke BIN2, maka diperoleh ER yg lebih kecil dan distribusi akhir menjadi:

Final bins f= { 1, 1, 2, 2, 2, 5, 6, 8, 8, 9} BIN1 BIN2 BIN3

Modesnya: {2, 5, 8}, dan total error ER diminimisasi menjadi 4.  Distribusi akhir, dengan median-median sebagai representative akan

didaptkan masalah reduksi nilai.

3. FEATURE DISCRETIZATION ChiMerge: suatu algoritma diskritisasi yang

menganalisi kualitas interval atas fitur yg diberikan dengan menggunakan statistik X2.

Algoritma menentukan kesamaan antara distribusi data dalam interval yg berdekatan berdasarkan klasifikasi output sample.

Jika kesimpulan dari X2 test ini adalah class output yg independen maka interval harus digabungkan, sebaliknya jika perbedaannya terlalu besar maka tidak digabung.

Algoritma ChiMerge berisi 3 tahap untuk diskritisasi:

1. Sort data atas fitur yg diberikan secara urut naik

2. Definisikan inisial awal interval sehingga setiap nilai dalam interval terpisah

3. Ulangi hingga tidak ada x2 dari 2 interval yg berdekatan lebih kecil dari nilai threshold.

Dimana: k= jumlah kelas Aij=jumlah contoh dalam interval ke-i, kelas ke-j Eij =frekuensi yg diharapkan dari Aij, yg mana dihitung (Ri.Cj)/N Ri= jumlah contoh dalam interval ke –i Cj = jumlah contoh dalam kelas ke –j N= jumlah total dari contoh

Class 1 Class 2 ∑ Interval-1 A11 A12 R1 Interval-2 A21 A22 R2 ∑ C1 C2 N

Contoh ilustrasi Sample: F K

1   1 1  2   3 2  3   7 1  4   8 1  5   9 1  6 11 2  7 23 2  8 37 1  9 39 210 45 111 46 112 59 1

No Median1 5.02 7.53 8.54 10.05 17.06 30.07 38.08 42.09 45.510 52.5

K = 1 K = 2 ∑ Interval [7.5, 8.5]

A11 = 1 A12 = 0 R1 = 1

Interval [8.5, 10] A21 = 1 A22 = 0 R2 = 1∑ C1 = 2 C2 = 0 N = 2

Berdasarkan tabel di atas didapatkan:E11 = 2/2 = 1E12 0/2 ≈ 0.1 E21 = 2/2 = 1 dan E22 = 0/2 ≈ 0.1

X2 =(1-1)2/1+(0-0.1)2/0.1 +(1-1)2/1 +(0-0.1)2/0.1 = 0.2Oleh karena lebih kecil dari threshold (2.706 untuk distribusi dg α =0.1, maka dilakukan penggabungan

K = 1 K = 2 ∑ Interval [0, 7.5]

A11 = 2 A12 = 1 R1 = 3

Interval [7.5, 10]

A21 = 2 A22 = 0 R2 = 2

∑ C1 = 4 C2 = 1 N = 5

E11 = 12/5 = 2.4E12 = 3/5 = 0.6E21 = 8/5 = 1.6E22 = 2/5 = 0.4

X2 = 0.834

K = 1 K = 2 ∑ Interval [0, 10.0]

A11 = 4 A12 = 1 R1 = 5

Interval [10.0, 42.0]

A21 = 1 A22 = 3 R2 = 4

∑ C1 = 5 C2 = 4 N = 9

E11 = 2.78, E12 = 2.22, E21 = 2.22, E22 = 1.78, dan χ2 = 2.72

Oleh karena dihasilkan > dari threshold (2.706), maka tidak diperlukan lagi penggabungan