You're Reading a Free Preview
23 Nov 2013 in INTERAKSI MANUSIA DAN KOMPUTER, MATERI IMK
Evaluasi merupakan tes atas tingkat penggunaan dan fungsionalitas sistem. Evaluasi dilakukan untuk memastikan kecocokan dengan permintaan pengguna/tujuan pengguna dan untuk melihat apakah hasil rancangan dengan proses uji coba system yang telah dibuat sesuai dengan user. Proses evaluasi ini dikerjakan dalam satu fase proses perancangan tetapi melalui perancangan dengan prinsip life cycle dengan hasil dikembalikan untuk memodifikasi perancangan. Tujuan adanya evaluasi yaitu :
Jenis evaluasi dibedakan menjadi 2 yaitu :
Tempat untuk melakukan evaluasi dilakukan di laboratorium dan di lapangan/ lokasi kerja pengguna sistem. Waktu evaluasi dilakukan ketika muncul produk baru atau perbaikan dari produk sebelumnya. Mengevaluasi Perancangan Evaluasi ini terjadi setelah proses perancangan. Secara ideal, evaluasi pertama dilakukan sebelum implementasi dimulai. Jika perancangan dievaluasi, kesalahan dapat dihindari karena perancangan dapat diperbaiki sebelumnya. Cognitive Walkthrough Tujuan evaluasi ini untuk melihat seberapa besar dukungan yang diberikan pada pengguna untuk mempelajari beberapa tugas yang diberikan. Pendekatan ini dikemukakan oleh Polson, dkk. Walkthrough dilaksanakan oleh perancang atau seorang ahli dalam psikologi kognitif. Ahli bekerja melalui perancangan tugas tertentu, tahap demi tahap, mengidentifikasi masalah yang berpotensi pada kriteria psikologi. Kemudian dibandingkan ke proses dimana perancang software bekerja dengan koding pada kondisi yang berbeda.
Analisis difokuskan pada tujuan user dan pengetahuan. Untuk melakukan evaluasi cognitive walkthrough membutuhkan informasi sebagai berikut :
Dengan informasi yang sudah didapatkan maka evaluator dapat melakukan langkah dari walkthrough yaitu :
Cognitive walkthrough berbasis formulir yang disediakan untuk merujuk evaluator melalui sekumpulan pertanyaan yang berhubungan dengan tugas dan tujuan user. Heuristic Evaluation Dikemukan oleh Neilsen dan Molich, hampir sama dengan cognitive walkthrough tetapi sedikit terarah dan terstruktur. Pada evaluasi ini, sekumpulan kriteria usability atau heuristic diidentifikasi dan perancangan dilaksanakan. Dalam sistem ini terdapat beberapa kriteria yaitu :
Tujuan heuristic evaluation adalah untuk memperbaiki rancangan secara efektif. Evaluator melakukan evaluasi melalui kinerja dari serangkaian tugas dengan perancangan dan disesuaikan dengan kriteria setiap tingkatan. Jika kesalahan terdeteksi dapat ditinjau ulang untuk diperbaiki sebelum tahap implementasi. Pendekatan ini tidak seluruhnya subyektif dengan menggunakan kriteria khusus untuk merujuk evaluasi. Selain itu membutuhkan level pengetahuan tertentu untuk mengaplikasikan evaluasi ini. Misalnya untuk menentukan jika suatu perancangan melebihi memori user, perancang perlu mengetahui kemampuan memori manusia. Review Based Evaluation Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer menghasilkan hasil-hasil eksperimen yang baik dan pengalaman yang nyata. Misalnya pada usability dari tipe menu yang berbeda, pemanggilan nama perintah dan pemilihan icon. Dalam kenyataannya, hasil eksperimen ini tidak dapat dipastikan mempertahankan keadaan yang tetap. Evaluator harus memilih data secara hati-hati, menunjuk rancangan eksperimen yang dipilih, subyek masyarakat yang digunakan, analisa pelaksanaan dan asumsi yang dibuat. Misalnya: pengujian eksperimen, usability dari jenis sistem ‘bantu’ umum yang menggunakan subyek baru tidak menyediakan evaluasi yang tepat dari sistem ‘bantu’ yang dirancang bagi user ahli. Model Based Evaluation Pendekatan evaluasi ini berguna untuk mengevaluasi perancangan dengan kombinasi spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama. Contohnya: GOMS Model, Keystroke level model dan design rationale. Mengevaluasi Implementasi Evaluasi Eksperimen Evaluasi eksperimen merupakan evaluasi dengan pendekatan statistik dengan memilih hipotesis yang akan dicoba dan jumlah kondisi eksperimen. Setiap eksperimen memiliki dasar yang sama. Evaluator memilih hipotesa untuk diuji yang dapat ditentukan dengan mengukur beberapa atribut dari perilaku subyek. Sejumlah kondisi eksperimen ditentukan yang berbeda dalam hal nilai dari variabel tetap yang terkontrol. Setiap perubahan pengukuran perilaku diatributkan ke kondisi yang berbeda.
1. Between-Groups (Randomized)
2. Within-Groups
Pengukuran statistik
Contoh mengevaluasi perancangan icon Dimisalkan kita akan membuat paket pengolahan kata baru yang menggunakan icon untuk presentasinya. Ada 2 jenis perancangan icon akan digunakan yang paling mudah bagi user. Jenis pertama menggunakan gambar natural (berdasarkan metapora dari dokumen kertas), jenis yang lain menggunakan gambar abstrak seperti terlihat pada gambar di atas. Yang pertama harus dilakukan adalah membentuk hipotesis : tampilan yang seperti apa yang diinginkan? Pada kasus ini kebanyakan user akan mengambil gambar natural sebagai icon yang lebih mudah dalam pemanggilan, karena lebih familiar bagi user. Hipotesis ini mengidentifikasikan variabel independent untuk eksperimen, natural dan abstrak. Pada pertimbangan variabel dependent, pengukuran ”lebih mudah” dilihat dari jumlah kesalahan dalam memilih dan waktu yang digunakan untuk memilih sebuah icon. Kontrol ekperimen dilakukan dengan membuat interface yang identik dengan perancangan icon dan tugas pemilihan dibuat yang dapat diulang untuk setiap kondisi. Kemudian metode eksperimen dilakukan dengan menggunakan kelompok user yang dimaksud. Mengingat pembelajaran terlibat dalam eksperimen ini, maka perancangan within-groups digunakan dimana setiap user menggunakan kedua set icon tersebut. Kemudian hasil eksperimen secara detail dianalisis. Teknik Observasi Fungsi perangkat lunak yang digunakan pada teknik observasi yaitu :
Jenis-jenis teknik observasi yaitu :
Teknik Query
Tipe-tipe pertanyaan ini sangat berguna untuk tujuan yang berbeda-beda. Untuk mengurangi kesalahan dari responden, sebaiknya menggunakan pertanyaan tertutup seperti scalar, ranked atau multi-choice. Tabel Teknis Analisis Tabel Teknik Query Tabel Teknik Observasi Pendekatan Evaluasi Pendekatan evaluasi dibedakan menjadi 3 yaitu :
Perbedaan ketiga pendekatan evaluasi ditunjukkan pada tabel berikut: Kombinasi dari beberapa pendekatan seperti pada diagram berikut : Memilih Metode Evaluasi Ada 8 faktor yang membedakan teknik evaluasi yang berbeda yang membantu kita dalam memilih teknik evaluasi yang sesuai yaitu : Desain VS Implementasi Evaluasi pada tingkatan perancangan hanya membutuhkan ahlinya dan akan dianalisa sedangkan evaluasi pada tingkat implementasi membawa user sebagai subyek dari eksperimen. Laboratory VS Field studies Secara ideal proses perancangan mencakup dua jenis evaluasi ini dimana pada laboratorium merupakan awal tingkatan sedangkan field studies ditempatkan pada tingkatan implementasi.
Subyektif VS. Obyektif Pada teknik yang subyektif seperti pada cognitive walkthrough maupun think aloud mempercayakan pada evaluator atau orang yang melakukan evaluasi. Hal ini dapat menyebabkan penilaian evaluator menjadi bias sehingga diperlukan lebih dari satu orang evaluator. Sedangkan teknik obyektif seharusnya menghasilkan hasil yang berulang yang tidak tergantung pada evaluator. Eksperimen yang terkontrol merupakan contoh pengukuran obyektif. Secara ideal pengukuran secara subyektif dan obyektif seharusnya digunakan keduanya.
Qualitative VS Quantitative measures Pengukuran menggunakan numerik lebih mudah digunakan teknik statistic sedangkan non-numerik lebih sulit dilakukan akan tetapi menghasilkan sesuatu yang penting secara lengkap yang tidak dapat dilakukan secara numerik. Tingkatan informasi yang tersedia untuk evaluator pada setiap tingkat proses perancangan dimulai pada informasi yang rendah sampai dengan tingkatan yang tinggi.
Faktor lain yang membedakan teknik evaluasi adalah kesiapan mengambil tindakan yang tersedia. Seperti metode think aloud yang merekam perilaku user pada waktu interaksi. Sedangkan post task walkthrough mempercayakan pada pengumpulan kembali kegiatan user.
Intrusiveness. Merupakan teknik yang menghasilkan pengukuran segera yang dihasilkan user selama interaksi dan mempunyai resiko mempengaruhi perilaku user. Evaluator harus sensitif untuk mengurangi masalah ini tetapi tidak dapat megubah semuanya. Hal terakhir yang perlu diperhatikan dalam memilih teknik evaluasi yakni: peralatan, waktu, biaya, subyek serta evaluator yang ahli. |