evaluation of interaction system

CHAPTER 7

EVALUATION OF

INTERACTIVE SYSTEMS

Kelompok 4

1. Ardian Webi Krida (sir201005)

2. Indri Ismayrini (sir201012)

3. Ririn Rianasari (sir201016)

4. Tangguh Tri S (sir201020)

SUMMARY

1. EVALUATION AND DESIGN PROCEDURES2. EXPERIMENTAL METHODS3. EXPERIMENTAL METHODOLOGY4. EXPERIMENTAL DESIGN5. STATISTICAL TREATMENT OF THE DATA

Evaluasi sistem interaktif dapat terjadi di stages yang beragam pada proses disain dan dapat mengakses aspek disain yang berbeda.

Aspek disain tersebut yang menjadi perhatian dari prespectiv manusia adalah usability, learnability, efficiency dan acceptability Keempat aspek disain tersebut didifinisikan dalam istilah umum

Masalah yg dihadapi disigner adalah mengetahui aspek disain apa yang mempengaruhi outcom dari ke empat aspek tersebut (usability, learnability, efficiency dan acceptability). Untuk menjawab masalah tersebut membu tuhkan operationlized dari keempat aspek tsb dapat dinilai. Salah satu pemecahan adalah menyediakan metrics (ukuran ?) sebagai bagian dari design specification, yang dapat digunakan untuk menilai hasil dari disain

Metode evaluasi beragam dalam kerumitannya dan penggunaanya. Pendekatan yang paling kurang rumit membutuhkan sedikit persiapan dan paling sedikit memakan waktu tetapi juga yan paling sedikit kemampuan diagnostiknya terhadap masalah disain yang timbul. Metode yang lebih rumit membutuhkan lebih banyak waktu dan membuthkan pengetahuan teknik mengenai metode eksperimental, tetapi metode ini lebih diagnostik untuk masalah disain

Eksperiment untuk mengevaluasi suatu disain harus secara hati-hati dibangun dan dengan sendirinya juga merupakan suatu bentuk disain. Eksperimenter harus mengidentifikasi variabel dependent, independent, control dan kondisi eksperimental, subject, metode eksperiment serta bentuk data analysis.

Tujuan evaluasi

Untuk supaya calon evaluator menyadari keguanaan, dan kompleksitas serta metode evaluasi dalam suatu disain sistem

Keinginan untuk mengevaluasi adalah mengidentifikas kekurangan dalam disain dan penyediakan kepada tim disain pengertian yang cukup mengenai kekurangan tersebut, sehingga dapat memperbaik disain.

Evaluasi harus dipandang sebagai bagian dari proses disain, merupakan bagian yang mendasar, yaitu pada bagian menulisa program (code).

The role of the evaluation in the design process is to help develop a system that has been designed rather than one that has been thrown together.

EVALUATION AND

DESIGN PROCEDURES

• There is no one design procedure• There are many different views about

what is the best or right way to design a software system, all of which are more or less equally wrong.

• Suatu metode cocok untuk tim dan project tertentu.

• Disain yang berbeda mempunyai konse kuensi untuk ketepatan metode evaluasi tertentu pula.

Meskipun demikian untuk tingkat yang umum proses disain dapat dibedakan menjadi dua stages.

1. Design-specification-stage 2. Implementation stage

EVALUATION AT THE DESIGN-

SPECIFICATION STAGE

• Masih menjadi bahan spekulasi dan penelitian.

• Menarik karena evaluasi di stage speci-fication memungkinkan mengevaluasi sebelum penulisan program.

• Belum dihasilkan metode yang baik untuk mengevaluasi disain dari suatu specifikasi.

Teknik pemodelan pada chapter 9 dan 10 dapat digunakan untuk menaksir useabilitydan learnability suatu disain.

MisalTask Action Language (TAL)- untuk mengevaluasi consistency dan learnability

Task Action Grammars (TAG)-memungkinkan consistensi command language dievaluasi.

Performanc evaluation from specifications are provided by GOMS (Goals Operations Methods Selection rules)

GOMS -> CCT (Cognitive Complexity Theory)

CCT- uses production rules to predict the learnability and complexity of user interface (Chapter 10)

GOMS dan CCT predict performance

CCT, TAL and TAG predict performance in its reliance on counting rules

While there are a growing number of approaches to evaluation of designs at the specification stage, non of the above-mentioned techniques have been applied with sufficient success to be able to make any recommendations at this stage.

Focus -- use --> CCT

One common fuature of all approaches to evaluation is that they require models of the user, the task and the design.Must be concidered the domain and the organization

EVALUATION AT THE

IMPLEMENTATION STAGE

• Pendekatan konvensional evaluasi adalah mengevaluasi disain yang memiliki program yang dapat dieksekusi. Dikenal sujumlah pendekatan yang berbeda untuk mengevaluasi disain yang diimplementasikan.

• Pendekatan tersebut berbeda dalam jumlah informasi dan waktu yang dibutuhkan untuk mengevaluasi.

• Evaluasi juga berbeda dalam kemam puan diagnostiknya

Bentuk evaluasi yang mudah dan paling lemah diagnostiknya adalah ‘expert walk-through’. Dalam pendekatan ini pakar disain interface diminta untuk mengamati sistem yang didisain dan mengiden tifikasi butir yang merupakan masalah untuk user.Pendekatan demikian sangat tergantung pada penilain pakar. Dapat diperkuat oleh pakar independet yang melakasanakan ‘walk-through’ pada sistem.

Pendekatan memungkinkan melakukan secara cepat dan mudah serta memungkinkan perbaikan disain

Tenik lain untuk menilai suatu implementasi adalah menggunakan kuesioner untuk mengidentifikasi karaktersik apa yang dianggap user sukar untuk menggunakannya atau untuk menilai sikap user terhadap disain baru.

Kritik terhadap kuesioner; bagus untuk mengidentifikasi tingkat penerimaan terhadap sistem baru tetapi tidak baik untuk tingkat penggunaan sistem tersebut.

Teknik lain adalah menggunakan pendekatan observasional, disainer mengamati tanpa mengkaitkan dengan usaha user menggunakan sistem.

Analisis yang lebih rinci atau evaluasi lebih lanjut dibutuhkan untuk mendiagnosa secara benar masalah user yang sebenarnya dengan menggunakan metode eks perimental.

EXPERIMENTAL METHODS

• Eksperimen sering digunakan dalam HCI untuk mengevaluasi disain yang diimplementasikan.

• Kekuatan eksperimen adalah me mungkinkan eksperimenter me ngontrol dan memanipulasi variabel tertentu di dalam lingkungan.

DEFINISI ISTILAH DALAM

EXPERIMENTAL METHODS

Dependentvariable

Independentvariable

Experimentalcontrol

Experimentalfactor

Sesuatu yang diukur (waktu untuk menyelesaikan tugas)

Karakteristik yang dimanipulasi (style of icon atau order of items on a menu)

Variabel yang ditetapkan konstan dan diusahakan/tidak berubah selama eksperi ment berlangsung (time of day, machine on which the program is running

Dimensi yang digunakan untuk memani pulasi variabel (interface style might be one factor and level of expertise of users might be another factor

DEFINISI ISTILAH DALAM

EXPERIMENTAL METHODS

Dependentvariable

Sesuatu yang diukur (waktu untuk menyelesaikan tugas)

DEFINISI ISTILAH DALAM

EXPERIMENTAL METHODSIn

de

pe

nd

en

tv

ari

ab

leKarakteristik yang dimanipulasi (style of icon atau order of items on a menu)

DEFINISI ISTILAH DALAM

EXPERIMENTAL METHODS

Ex

pe

rim

en

tal

co

ntr

ol

Variabel yang ditetapkan konstan dan diusahakan/tidak berubah selama eksperi ment berlangsung (time of day, machine on which the program is running)

DEFINISI ISTILAH DALAM

EXPERIMENTAL METHODS

Exp

eri

men

tal

facto

rDimensi yang digunakan untuk memanipulasi variabel (interface style might be one factor and level of expertise of users might be another factor)

Level within a factor

Between group design

Within group design

Mixed-group design

Longitudinal studyCross-sectional study

Manipulasi khusus dalam sustu dimensi(interface style might have two leves--icon and menus, while leve of expertise have three levels-nivice, partial expert, experet)

Kelompok berbeda digunakan dalam setiap kondisi eksperiment (enables asymetric transfer effects to be controlled)

Kelompok yang sama digunakan dalam semua kondisi eksperimental (where reapeted measure on different variables or levels are obtained from each)

Beberapa kondisi eksperiment diberikan pada subyek yang sama, pada kondisi lain membutuhk kelompok yang berbeda

Kelompok yang sama digunakan untuk sepanjang waktu

Kelompok berbeda diukur pada fase yang berbeda

Level within a factor

Manipulasi khusus dalam suatu dimensi(interface style might have two leves--icon and menus, while leve of expertise have three levels-nuvice, partial expert, expert)

Between group design

Kelompok berbedadigunakan dalam setiap kondisi eksperiment (enables asymetric transfer effects to be controlled)

Within group design

Kelompok yang sama digunakan dalam semua kondisi eksperimental (where reapeted measure on different variables or levels are obtained from each)

Mixed-group design

Beberapa kondisi eksperiment diberikan pada subyek yang sama, pada kondisi lain membutuhkankelompok yang berbeda

Lo

ng

itu

din

al stu

dy

Kelompok yang sama digunakan untuk sepanjang waktu

Cross-sectional study

Kelompok berbeda diukur pada fase yang berbeda

EXPERIMENTAL METHODOLOGY

What is an experiment ?

Normally, experiments are designed to test some predictions arising from an explicit hypothesis that arises out of an underlying theory.

ContohTeori mengenai working memory dihipote-siskan bahwa ada batasan kemampuan mempertahankan infor masi dalam keadaan aktif tanpa menyebabkan informasi tersebut hilang

Suatu eksperiment harus memenuhi syarat (3)

1. Eksperiment harus secara sistematik memanipulasi satu atau lebih variabel independen pada wilayah yang diamati.

2. Manipulasi tersebut harus dilakukan di bawah kondisi terkontrol, misal untuk semua variabel yang dapatmempengaruhi hasil harus dikontrol.

3. Eksperimenter harus mengukur beberapa karakteristik yang tidak dimanipulasi (variable dependen) atau diasumsikan berubah, sebagai fungsidari variabel indepent

Eksperimen berkepentingan dengan manupulasi sistematik dari satu atau lebih variabelindependen di bawah kondisi yang terkontrol, dan melibat kan rencana yang teliti mengenai pengukuran efek variabeltersebut terhadap variabel dependen.

Variabel harus memenuhi dua kondisi

1. There must be property orcharacteristic that can be manipulated.

2. The value of that property orcharacteristic must be measured.It is normal to specify the waythat the variable can bemeasured.

INDEPENDENT VARIABLES

Independen variabel adalah faktor yang secara sistematik diubah oleh eksperimenter.

Pada kasus tertentu variabel independen juga disebut sebagai experimental treatment ataumanipulation

CONTOH If an experimenter wishes to determine whether different rates of learning existfor three different type of interface (direct manupalition, form based and command based) then each of these types of interface would be a level of the idependet variable ‘type of interface’.

It also sad that in this case there were three levels of independent variable:a level is a particular value that the independent variable can take in the experiment

Learning

rate

Type of interface ( 3 levels)- direct manipulation- form based- command based

Help (2 levels)- provided- not provided

A two factor ortwo-treatment experiment(two different independentsvariables)

Perbedaan antara factor dan level adalah apabila dua atau lebih variabel dependen terdiri dari tipe yang berbeda maka dikatakan different factors, sedang level berarti sama tipe variabelnya tetapi dengan nilai yang terkait berbeda.

INDEPENDENT VARIABLES

Merupakan dimensi khusus yang diukursebagai akibat efek dari variabel independen.

ContohWe might decide to measure the rate at which people learned to use one of the three types of interface described above (direct manupalition, form based, and command based) in term of the number of trials they had on some preset tasks,before the finally managed to prform the tasks three times in succesion without makin errors.

SYARAT YG HARUS DIPENUHI

OLEH VARIABEL DEPENDENT

1. They must be readily observable2. They must be stable and reliable so

that they do vary under constant experimental conditions

3. They must be sensitive to the effects of the independent variables

4. They must be readily related to some

scale of measurement

Tujuan melakukan experimen adalah untuk memperoleh ilmu pengetahuan atau menguji beberapa penaksiran mengenai factor (variabel) yang diteliti (menarik perhatian).

Umumnya percobaan dilakukan untu menguji penaksiran dari beberap hipote-sis yang didasarkan teori tertentu.

Dapat juga percobaan dilakukan karena untuk memperoleh informasi tentang ruang lingkup masalah dan mengiden-tifikasi factor yang perlu dipertimbang-kan dalam pengembangan teori.

Dalam penelitian HCI, peneliti sering berusaha memperoleh informasi tentang user atau disain komputer dengan ongkos yang minimal berdasar waktu dan upaya proses pengembangan sistem.

Contoh Sebelum mengembangkan suatu interface, disainer mungkin ingin meneliti apakah icon dengan label lebih baik dibanding icon tanpa label, atau hanya label.

Percobaan juga memudahkan untuk menguji ide baru

Tujuan melakukan experimen dapat juga dianggap sebagai sarana untuk mengidentifikasi hubungan fungsional antara variabel independen dan dependen.

Berarti bahwa ada hubungan antar nilai variabel independen dan dependen.

Berdasar hubungan tersebut kemu dian dapat disimpulkan hubungan sebab-akibat antara variabel dependen dan idenpenden.

CONTOH variabel dependen yang sering digunakan dalam HCI

• Jumlah kesalahan yang dibuat• Tempat kesalahan dibuat (at what

point in the task)• Waktu yang dibutuhkan untuk

menyelesaikan pekerjaan yangdiberikan

• Waktu yang dibutuhkan untukkembali dari kondisi salah

CONTOH variabel dependen yang sering digunakan dalam HCI

• Kualitas hasil

• Rating preferensi

• Skor atitute

• Selang waktu sebelum mengawali respon

• Event times (inter-key time)

Variabel tersebut berbeda dalam skala pengukurannya, dapat kualitatif atau kuantitatif.

Banyak percobaan menggunakan lebih dari satu variabel dependen dan tipe variabel dependen yang berbeda.

CONTOHBiasa dilkukan untuk mengukur waktu dan jumlah kesalahan yang dilakukan dalam menyelesaiakan suatu tugas.

KLASIFIKASI DEPENDEN VARIABEL

DILALUKAN BERDASAR SKALA

MENGUKURAN

SKALA PENGUKURAN

1. Skala Nominal

2. Skala Ordinal

3. Skala Interval dan

4. Skala Ratio

SKALA PENGUKURAN

1. Skala Nominal

(nama /klasifikasi)2. Skala Ordinal

(nilai yg berbeda untuk obyek yg berbeda,

how much more tidak dapat ditunjukkan,tetapi hanya menyatakan lebih atau kurangdari)

3. Skala Interval

(jarak antara titik tetap, contoh skalasuhu)

4. Skala Ratio

(mempunyai nilai 0, dan real)

EXPERIMENTAL DESIGN

Experimental design bertalian dengan rencana umum untuk melaksanakan percobaan.

Suatu percobaan adalah suatu sarana untuk mengembangkan hubungan sebab-akibat antara event tertentu dalam suatu lingkungan dan kejadian dari suatu bentuk perilaku khusus.

Experimen dilakukan untuk

1. Menyediakan dukungan emperis(berdasar fakta)/bukti untuk suatu teori

2. Menguji hipotesis yang berdasarsuatu teori.

3. Validasi hasil pengalaman daneksperimen yang lebih dahulu

Suatu ilustrasi

Dua atau lebih kelompok diperla-kukan persis sama kecuali terhadap treatment percobaan.

Maka perbedaan yang dapat diamati pada kelompok tersebut disebabkan karena perlakuan tersebut.

Hypotheses

The research hypotheses is a succinct (compressed into few words) statement of the purpose of the experiment.

The experiment is set up to manipulate independent variableand observe their effect(s) on the dependent variable(s) which will either confirm or reject the experimental hypotheses

CONTOH

Users learn quicker with a structured rather than an unstructured interface.

Indedependent variable =type of interface

dependent variable =the number of errors made the; length of time to complete the task and users’ preference rating for the two interface

Differences in experimental

designs

Perbedaan didasarkan atas

1. Tipe dan jumlah subject yangterlibat di dalam experimen

2. Jumlah independen variabel, danjumlah level pada variabel tsb.

3. Metode meletakkan treatmentpada subject, within, betweenatau mix.

Yang perlu dipertimbangkan

dalam pemilihan subject

1. Pengalaman yg dimiliki subject

2. Tingkat ketrampilan subject

3. Jumlah subject yg diperlukan

Faktor lain yang dimiliki subject yang harus diperhatikan berhubungan dengan kontrol adalah;

umur, pengalaman (komputer dan tugas), kecakapan, seks, handeness, motivasi dan anxiety.

Desgning experiment

Designing HCI experiment involves at least the following1. Formulating the hypotheses2. Developing predictions from the hyp/3. Choosing a means to test the

predictions4. Identifying all variables that might

affect the results of the experiment5. Deciding which are the independent

variables (and levels of theindependent variable), dependentvariable and which variables needto be controlled by some means

Desgning experiment

Designing HCI experiment involves atleast the following

6. Designing the experiment task andmethod.

7. Subject selection.8. Deciding the experiment design, data

collection method and controllingconfounding variables

9. Deciding on the appropriate statisticalor other analysis.

10.Carrying out a pilot study(I.e prototype the experiment design)

Confounding

The strength of the experimental method depends on the experimenter’s ability to guarantee that only the manipulated variables are permitted to vary systematically from condition to condition.

When a second or other variables is unwittingly permitted to vary along with the itended one, we say the the variable are confounded.

Confounding

dapat cokontrol dengan cara

1. Diberikan secara sama kesemuatreatment

2. Diacak dari subject ke subject

STATISTICAL TREATMENT OF

THE DATA

1. Differences between meansof groups

2. Testing nul hypothese

3. Significance levels

Parametric and non parametric

statistics

The proper use of parametric statistics includes not only measurements but also a variety of assumptios regarding certain characteristics of both the collected data and the population from which the sample has been drawn.

Parametric and non parametric

statistics

Assumption of parametric test

Three general assumptions

1. The selection of subjects from the population was random and independent, I.e every subject in the sample has an equal chance of being chosen from the populatin and the selection of one subject in no way influenced the sampling of any other subject.

2. The observations were drawn from noramally distributed populations. The experimental data, when plotted in terms of their frequency of occurrence, shoud have the shape of a normal distribution, that is, the score would be normally distributed within the population.

3. The value of each set of scores or group of scores must be comparable; this is known as homogeneity of varince

Parametric test tend to be used for hard dependent variable

Parametric and non parametric

statistics

Assumption of non-parametric test

1. The selection of subjects from the population was random and independent.

2. If the scale of measurement is ordinal or higher then homogeneity of variance must also be assumed.

The data are more subjective or soft

CONCLUSION

Evaluasi pada HCI didiskusikan secara luas tetapi jarang dikerjakan. Waktu yang dibutuhkan untuk evaluasi sering dianggap terlalu lama. Ide evaluasi dijadikan bagian dari daur disain harus termasuk juga beberapa bentuk iterasi dari disain. Output dari suatu evaluasi harus menyediakan satu set rekomendasi untuk redisain sistem dan beberapa indikator kinerja yang mengusulkan cara desain seharusnya berkinerja dalam penggunaan hariannya. Rekomendasi disain dan redisain dapat memberi masukan pada daur hidup disain/development

Banyak solusi untuk masalah disain,

dan seharusny menjadi rekomendasi

yang muncul dari hasil, bersama-sama

dengan beberapa pertimbangan biaya

dalam mengimplementasikan atau tidak

mengimple mentasikan setiap opsi.

Kemampuan untuk menjeneralisasikan

hasil dari evaluasi untuk penggunaan

harian disain tersebut merupa kan

masalah yang sulit.

Evaluasi mungkin dilakukan pada kelompok kecil pengguna dan pada pembatas yang disiapkan di dalam laboratorium.

Lebih aman kalau menganggap bahwa evaluasi gagal mengidentifikasi semua masalah dengan disain tersebut dibandingkan dengan mengindentifikasi masalah yang sesungguhnya.