Preparing the Data

Preparing DataWhat is Data?Kumpulan obyek data dan atributnyaAtribut adalah property atau karakteristik suatu obyekContoh: warna mata, temperature, dllAtribut dikenal sebagai variable, field, ataupun karakteristikKumpulan dari atribut menggambarkan obyekObyek dikenal juga sebagai record, point, case, sample, entitas

AttributesObjectsAttribute ValuesNilai atribut adalah angka-angka atau simbol-simbol yang diassign ke suatu atributPerbedaan antara atribut dan nilai atributAtribut yg sama dapat dipetakkan ke nilai atribut yang bedaMisal: ketinggian dapat diukur dalam feet atau meterAtribut yg beda dapat dipetakan ke himpunan nilai yang samaContoh: nilai atribut untuk ID dan age adalah integerTetapi property nilai atribut dapat berbeda:ID tidak mempunyai batasan nilai maksimum dan minimum

Attribute TypesAda jenis-jenis atribut yang berbeda:NominalContoh: nomor ID, warna mata, kode posOrdinalRangking/ tingkatan (contoh rasa dari kripik kentang dalam skala 1-10), grade, tinggi dalam {tinggi, sedang, rendah}IntervalContoh: tanggal kalender, temperature dalam Celsius atau Fahrenheit RatioContoh: temperature dalam Kelvin, panjang, waktu, jumlah

Properties of Attribute Values /1Jenis atribut tergantung pada properti berikut yang mana dia milikiDistinctness: = Order: < > Addition: + - Multiplication: * /

Nominal attribute: distinctnessOrdinal attribute: distinctness & orderInterval attribute: distinctness, order & additionRatio attribute: all 4 properties

Properties of Attribute Values /2Attribute Type

Description

Examples

Operations

Nominal

The values of a nominal attribute are just different names, i.e., nominal attributes provide only enough information to distinguish one object from another. (=, )

zip codes, employee ID numbers, eye color, sex: {male, female}

mode, entropy, contingency correlation, 2 test

Ordinal

The values of an ordinal attribute provide enough information to order objects. ()

hardness of minerals, {good, better, best}, grades, street numbers

median, percentiles, rank correlation, run tests, sign tests

Interval

For interval attributes, the differences between values are meaningful, i.e., a unit of measurement exists. (+, - )

calendar dates, temperature in Celsius or Fahrenheit

mean, standard deviation, Pearson's correlation, t and F tests

Ratio

For ratio variables, both differences and ratios are meaningful. (*, /)

temperature in Kelvin, monetary quantities, counts, age, mass, length, electrical currentgeometric mean, harmonic mean, percent variation

Properties of Attribute Values / 3Attribute Level

Transformation

Comments

Nominal

Any permutation of values

If all employee ID numbers were reassigned, would it make any difference?

Ordinal

An order preserving change of values, i.e., new_value = f(old_value) where f is a monotonic function.

An attribute encompassing the notion of good, better best can be represented equally well by the values {1, 2, 3} or by { 0.5, 1, 10}.

Interval

new_value =a * old_value + b where a and b are constants

Thus, the Fahrenheit and Celsius temperature scales differ in terms of where their zero value is and the size of a unit (degree).

Ratio

new_value = a * old_value

Length can be measured in meters or feet.

Discrete and Continuous Attributes Discrete AttributeMempunyai himpunan nilai terbatas atau tak terbatasContoh: zip codes, himpunan kata dalam kumpulan dokumenSering direpresentasikan sbg variable integerNote: binary attributes special case

Continuos AttributeMemiliki angka-angka real sebagai nilai atributContoh: temperatur, tinggi atau beratDapat diukur dan direpresentasikan menggunakan sejumlah digit terbatasCiri khasnya direpresentasikan sebagai variable pecahan

Asymmetric AttributesHanya keberadaannya (non zero attribute value) diperhatikanContoh:Kata-kata muncul di dokumenItem-item muncul di transaksi customer

Types of data setsRecordData MatrixDocument DataTransaction DataGraphWorld Wide WebMolecular StructuresOrderedSpatial DataTemporal DataSequential DataGenetic Sequence Data

Important characteristics of structured dataDimensionality

SparsityHanya menghitung kemunculan

ResolutionPola-pola bergantung skalaRecord DataData yang berisi kumpulan record, yang mana masing-masing berisi suatu himpunan atribut yang ditentukan.

Data MatrixJika objek data mempunyai kumpulan atribut numerik yg ditentukan , kemudian data objek dapat dipandang sebagai titik dalam ruang multidimensional, di mana setiap dimensi merepresentasian suatu atribut yang berbeda.Seperti data set dapat direpresentasikan dengan suatu matrik m dengan n di mana ada m baris, satu dari setiap objek dan n kolom, satu untuk setiap atribut.

Document DataSetiap document menjadi suatu term vector,Setiap term adalah komponen (atribut) dari vectorNilai setiap komponen adalah banyaknya waktu yg berhubungan terms terdapat dalam document

Transaction DataJenis spesial dari data rekord , dimana setiap record (transaksi) mencangkup kumpulan item-itemContoh: Toko penjualan bahan makanan. Sejumlah produk dibeli customer selama perjalanan pembelian merupakan suatu transaksi, namun produk yg dibeli merupakan item

Graph DataContoh: Generic graph and HTML Links

Chemical DataBenzene Molecule: C6H6

Ordered Data /1Sequence of transaction

An element of the sequenceItems/EventsOrdered Data /2Genomic sequence data

Ordered Data /3Spatio-Temporal data

Average Monthly Temperature of land and oceanData QualityJenis masalah apakah kualitas data?Bagaimana kita dapat mendeteksi masalah dengan data?Apa yg dapat kita lakukan tentang masalah ini?Contoh masalah kualitas data:Noise & outliersMissing ValuesDuplicate dataNoiseMengacu pada modifikasi nilai originalContoh: distorsi suara seseorang ketika berbicara

Two Sine WavesTwo Sine Waves + NoiseOutliers /1Outliers adalah obyek data dengan karakteristik berbeda dengan kebanyakan data obyek lain dalam data set.

Outliers /2Contoh: suatu data set merepresentasikan gambaran umur dengan 20 nilai yg berbeda, Age = {3, 56, 23, 39, 156, 52, 41, 22, 9, 28, 139, 31, 55, 20, -67, 37, 11, 55, 45, 37}Maka parameter statistika yg berhubungan:Mean = 39.9Standard deviation = 45.65Jika kita memilih nilai threshold untuk distribusi normal data :Theshold = Mean 2 x Standard Deviationmaka seluruh data yg diluar range [-54.1, 131.2] adalah potential outliers. Dan oleh karena age >0, mungkin mengurangi range menjadi [0, 131.2]. Sehingga ada outlier berdasarkan kriteria yg diberikan: 156, 139dan -67 Dengan kemungkinan yg tinggi, dapat disimpulkan 3 data tersebut ada mistypo (data yg dimasukkan dengan penambahan digit atau tanda -)Missing ValuesBeberapa alasan missing values:Informasi tidak terkumpul(misal: orang2 menolak memberikan info umur dan berat mereka)Atribut mungkin tidak dapat diaplikasikan ke semua kasus(misal: pendapatan tidak dapat diaplikasikan ke anak2)

Mengatasi missing values:Eliminasi obyek dataMengestimasi missing value selama analisisMengganti dengan semua nilai kemungkinan (pembobotan oleh kemungkinannya)Duplicate DataData set mungkin terdapat obyek data yang duplikat, atau hampir duplikasi dari yg lainIsu utama dengan menggabungkan sumber yg berbeda-beda

Contoh: orang yg sama dengan berbagai email address

Data cleaningProses perlakuan dengan isu data duplikasi

Data Preprocessing: Why is Needed?Data di dunia riil cenderung kotorIncomplete: kekurangan nilai atribut, kurang atribut ttt yg menarik, atau hanya berupa kumpulan dataNoise: berisi errors atau outliersInconsistent: berisi berbeda format dalam code dan nama

Data yg tidak berkualitas, tidak ada hasil-hasil mining yg berkualitasKeputusan kualitas harus didasarkan pada data kualitasData warehouse memerlukan integritas konsisten dari data kualitas

Major task in Data PreprocessingData CleaningData IntegrationData TransformationData ReductionData DiscretizationForms of Data Preprocessing

Transformation of Raw DataNormalizationData smoothingDifferences and ratios

NormalizationsNilai yg terukur dapat diskala ke range khusus, seperti [-1, 1], atau [0,1] dengan alasan ukuran-ukuran jarak akan overweight yang dimiliki, atas rata-rata, nilai-nilai itu lebih besar.

Ada 3 tehnik normalisasi:Decimal scallingMin-max normalizationStandard deviation normalizationDecimal scalling (normalization)Menggerakkan titik desimal tetapi masih memelihara kebanyakan nilai digit asal. Skala khusus memelihara nilai dalam range -1 sampai 1. Persamaan berikut menggambarkan penskalaan desimal, dimana v(i) adalah nilai dari feature v untuk kasus i dan v(i) adalah nilai yg diskala.v(i)=v(i)/10kuntuk k terkecil sehingga max (v(i))< 1Contoh:Jika nilai terbesar data set 455 dan terkecil -834, maka nilai absolut maksimum menjadi .834, dan pembagi untuk semua v(i) adalah 1000(k=3).Min-max normalizationAndaikan data v dalam suatu range antara 150 dan 250. Maka, metode normalisasi sebelumnya akan memberikan data yg dinormalisasi antara .15 dan .25; tetapi dia akan mengakumuladi nilai dalam subinterval kecil dalam range keseluruhan. Untuk mencapai distribusi yg lebih baik dari nilai seluruhnya, intervalnya dinormalisasikan, seperti [0, 1]v(i) =(v(i)-min(v(i))) / (max(vi))-min(v(i)))dimana, nilai minimum dan maksimum v dihitung secara otomatis, atau diestimasi oleh seorang expert memberikan domain. Transformasi yg serupa mungkin digunakan untuk interval yg dinormalisasi [-1, 1].Standard deviation normalizationNormalisasi dengan standard deviasi sering bekerja baik dengan ukuran jarak, tetapi transformasi data tidak dapat dikenali data asalnya.v(i)=(v(i)-mean(v))/sd(v)Contoh:Jika himpunan nilai atribut awal v={1, 2, 3}, maka mean(v)=2, sd(v)=1, dan himpunan nilai yg dinormalisasikan adalah v* ={-1,0,1}Data SmoothingSuatu feature numerik, y, mungkin berkisar atas banyak nilai yg berbeda, terkadang sebanyak jumlah kasus pelatihan. Banyak teknik data-mining, perbedaan minor antar nilai-nilai ini tidak signifikan dan mungkin menurunkan performance metode dan hasil akhir. Oleh karena itu, dia terkadang menjadi keuntungan untuk menghaluskan nilai variable.Sebagai contoh, bilangan real dengan beberapa letak desimal, pembulatan nilai ke presisi yg diberikan dapat menjadi algoritma smoothing yg sederhana untuk sejumlah sampel yg besar, dimana setiap sampel mempunya nilai realnya sendiri.Jika diberikan F = {0.93, 1.01, 1.001, 3.02, 2.99, 5.03, 5.01, 4.98}, kemudian, nilai2 di smooth secara nyata menjadi Fsmoothed = {1.0, 1.0, 1.0, 3.0, 3.0, 5.0, 5.0, 5.0}.Tujuan : transformasi sederhana tanpa menghilangkan kualitas data set.Contoh: diskritisasi fitur kontinyu menuju fitur nilai biner true-false

Differences and ratiosMeskipun perubahan kecil feature dapat menghasilkan perbaikan yang signifikan dalam performance data-mining. Dampak transformasi dari i/o yg relative minor adalah hal yg penting dalam menspesifikasi tujuan data-mining. Transformasi kadangkala menghasilkan hasil yg lebih bagus dari tujual prediksi suatu angka semula. Contoh: tujuan menggerakkan control untuk proses manufaktur pada suatu setting optimal. Daripada mengoptimisasi spesifikasi besaran yg nyata untuk output s(t-1), dia akan lebih efektive men-set tujuan gerakan relatif dari nilai saat ini ke optimal akhir s(t+1)-s(t). Rasio adalah transformasi sederhana yg kedua. Menggunakan s(t-1)/s(t) sebagai output dari proses data-mining, dari pada nilai nyata s(t+1) yg berarti level peningkatan/ penurunan nilai dari suatu feature yg mungkin meningkatkan performance dari proses mining keseluruhan.Transformasi perbedaan dan rasio tidak hanya berguna untuk fitur output, tetapi juga untuk input. Mereka dapat digunakan sebagai perubahan dalam waktu untuk satu feature atau sebagai komposisi dari perbedaan feature input.

Contoh: data set medical, ada 2 feature dari pasien, tinggi dan berat, yg diambil sebagai parameter input untuk analisis diagnosa yg berbeda. Beberapa aplikasi menunjukkan hasil diagnosa dicapai lebih bagus ketika transformasi awal ditunjukkan menggunakan feature baru yg disebut body-mass index (BMI), yg mana rasio pembobotan antara berat dan tinggi. Fitur komposisi lebih baik dari parameter awal untuk menggambarkan beberapa karakteristik pasien, misal apakah pasien overweight atau tidak.Transforming DataCenteringMengurangi setiap data dengan rata2 dari setiap atribut

NormalizationHasil dari centering dibagi dengan standard deviasi

ScalingMerubah data sehingga berasa dalam skala tertentu

TidRefundMarital

StatusTaxable

IncomeCheat

1YesSingle125KNo

2NoMarried100KNo

3NoSingle70KNo

4YesMarried120KNo

5NoDivorced95KYes

6NoMarried60KNo

7YesDivorced220KNo

8NoSingle85KYes

9NoMarried75KNo

10NoSingle90KYes

10

Document 1seasontimeoutlostwingamescoreballplaycoachteamDocument 2Document 3305026020200702100300100122030TidRefundMarital

StatusTaxable

IncomeCheat

1YesSingle125KNo

2NoMarried100KNo

3NoSingle70KNo

4YesMarried120KNo

5NoDivorced95KYes

6NoMarried60KNo

7YesDivorced220KNo

8NoSingle85KYes

9NoMarried75KNo

10NoSingle90KYes

10

Document 1seasontimeoutlostwingamescoreballplaycoachteamDocument 2Document 3305026020200702100300100122030TIDItems

1Bread, Coke, Milk

2Beer, Bread

3Beer, Coke, Diaper, Milk

4Beer, Bread, Diaper, Milk

5Coke, Diaper, Milk