Jawaban: c. Ketika konstruknya belum jelas, yang dicari adalah konstruk dan mekanisme, dan itu menuntut rancangan yang terbuka. Pilihan a menghasilkan angka yang rapi atas sesuatu yang belum tentu ada, dan tidak ada uji statistik yang dapat mendeteksi persoalan itu. Pilihan b dan d mengandaikan hubungan yang hendak diuji sudah dirumuskan, padahal justru belum.

Jawaban: b. Celah berupa kekosongan sah dijadikan dasar, sehingga pilihan a terlalu keras. Kelemahannya terletak pada pembelaan yang belum diberikan. Alasan bahwa belum ada yang meneliti bukan jawaban atas pertanyaan mengapa hal itu perlu diteliti. Cara memperkuatnya adalah menunjukkan bahwa ada sesuatu dalam konteks tersebut yang mengaktifkan mekanisme berbeda atau menonaktifkan asumsi teori aslinya.

Jawaban: b. Nilai p adalah peluang memperoleh data seekstrem yang teramati apabila hipotesis nol benar. Ia menyatakan peluang data dengan mengandaikan hipotesis, bukan peluang hipotesis dengan mengandaikan data, dan kedua hal itu berbeda. Kekeliruan ini termasuk yang secara khusus disebut dalam pernyataan American Statistical Association tahun 2016. Perbaikannya adalah melaporkan besar pengaruh beserta selang kepercayaannya.

Jawaban: a. Persoalannya terletak pada rancangan, bukan pada analisis maupun ukuran sampel. Data satu waktu tidak dapat menunjukkan mana yang lebih dahulu, dan tidak dapat menyingkirkan kemungkinan bahwa keduanya disebabkan hal ketiga. Pilihan c adalah jebakan yang paling sering diambil, sebab menambah teknik statistik tidak menaikkan rancangan satu anak tangga pun.

Jawaban: c. Perantara adalah jalan yang dilalui pengaruh, dan frasa melalui pada rumusan soal menandakannya. Kekeliruan yang berbahaya di sini adalah memperlakukan motivasi sebagai variabel kontrol, sebab mengendalikan perantara akan menghapus sebagian pengaruh yang justru hendak Anda tunjukkan, sehingga hasilnya tampak seolah tidak ada pengaruh sama sekali.

Jawaban: b. Bias berasal dari cara sampel terbentuk, bukan dari jumlahnya. Menambah responden dari sumber yang sama hanya memperkecil serakan, sehingga hasil yang bias justru terlihat lebih meyakinkan karena selang kepercayaannya menyempit. Inilah keadaan yang paling berbahaya, sebab ketelitian yang tinggi atas nilai yang keliru lebih menyesatkan daripada ketelitian yang rendah.

Jawaban: c. Ketiga syarat itu adalah kondisi penurunan rumus tersebut. Di luar itu penggunaannya tidak dapat dibenarkan, dan ketika dipakai untuk menaksir rata-rata, rumus tersebut secara diam-diam mengandaikan simpangan baku populasi sebesar setengah yang hampir tidak pernah benar. Karena rumus itu juga tidak memuat besar pengaruh maupun kekuatan uji, ia tidak dapat memberi tahu apakah penelitian Anda mampu menemukan sesuatu.

Jawaban: b. Kalimat itu memuat dua hal yang keduanya milik pembahasan, yaitu perbandingan dengan literatur dan dugaan mekanisme. Bagian hasil hanya memuat apa yang ditunjukkan data beserta ketidakpastiannya, tanpa penafsiran dan tanpa rujukan. Bagian kesimpulan hanya menjawab pertanyaan penelitian tanpa melampaui bukti.

Jawaban: b. Nomor ISSN hanya menunjukkan bahwa terbitan itu terdaftar dan tidak menyatakan apa pun tentang mutunya, sehingga pilihan d keliru. Telaah sejawat yang sungguh dilakukan menuntut penelaah membaca naskah, dan waktu satu minggu tidak memungkinkan hal itu. Biaya yang baru muncul setelah penerimaan adalah pola yang khas, sebab pada titik itu penulis sudah merasa terikat.

Jawaban: b. Taraf lima persen berarti satu dari dua puluh pengujian akan bermakna secara kebetulan meski tidak ada pengaruh apa pun. Melaporkan hanya yang bermakna membuat pembaca tidak dapat menilai hal itu. Perbaikannya adalah melaporkan seluruh pengujian yang dilakukan, atau menyesuaikan taraf untuk pengujian berganda, atau menyatakan sejak awal mana hipotesis utama dan mana yang bersifat penjajakan. Pilihan d adalah manipulasi data dan jauh lebih serius daripada persoalan aslinya.

Setiap bentuk pertanyaan menuntut jenis bukti yang berbeda, dan jenis bukti itulah yang hanya dapat dihasilkan rancangan tertentu. Pertanyaan tentang apa yang terjadi menuntut gambaran sebaran, sehingga survei deskriptif memadai. Pertanyaan tentang bagaimana dan mengapa menuntut penelusuran proses, sehingga diperlukan rancangan yang dapat mengikuti urutan kejadian dan makna bagi pelakunya. Pertanyaan tentang apakah menyebabkan menuntut perbandingan antara keadaan dengan dan tanpa perlakuan, sehingga diperlukan pengacakan atau setidaknya kelompok pembanding. Karena itu memilih rancangan sebelum merumuskan pertanyaan secara tepat akan menghasilkan ketidakcocokan yang tidak dapat diperbaiki pada tahap analisis.

Mencari celah berarti menerima kerangka yang ada apa adanya lalu mengisi bagian yang belum diteliti, misalnya konteks atau populasi yang belum tercakup. Hasilnya menambah kotak baru pada kerangka lama tanpa mengubah bentuknya. Mempersoalkan asumsi berarti memeriksa apa yang harus benar agar literatur yang ada masuk akal, lalu menunjukkan bahwa salah satu andaian itu tidak berlaku. Hasilnya mengubah bentuk kerangkanya, sebab bila asumsi itu dilepas, sebagian kesimpulan lama tidak lagi mengikuti. Kontribusinya lebih kuat karena mengubah apa yang dipahami bidang ini, bukan hanya menambah keterangan pada apa yang sudah dipahami.

Bias berasal dari cara sampel terbentuk, yaitu dari siapa yang berpeluang masuk dan siapa yang tidak, serta dari siapa yang bersedia menjawab. Menambah responden dari sumber yang sama hanya menambah lebih banyak orang dengan ciri yang sama, sehingga arah penyimpangannya tidak berubah. Yang berubah hanyalah serakan, sehingga selang kepercayaan menyempit dan hasilnya justru terlihat lebih meyakinkan. Keadaan ini lebih berbahaya daripada sampel kecil yang bias, sebab ketelitian yang tinggi atas nilai yang keliru membuat pembaca dan peneliti sama-sama lebih percaya. Perbaikannya hanya dapat dilakukan pada rancangan penarikan sampel, bukan pada jumlahnya.

Karena peran suatu variabel menentukan akibat pengendaliannya, dan peran itu bersifat teoretis bukan statistik. Mengendalikan perancu memang menghilangkan hubungan semu dan karena itu diperlukan. Mengendalikan perantara justru menghapus sebagian pengaruh yang hendak ditunjukkan, sehingga hasilnya tampak seolah tidak ada pengaruh. Pada beberapa struktur kausal, mengendalikan variabel tertentu bahkan menciptakan hubungan palsu yang sebelumnya tidak ada. Karena data tidak memberi tahu peran mana yang berlaku, keputusan pengendalian harus diambil dari penalaran tentang bagaimana dunia bekerja, dan diambil sebelum data dikumpulkan.

Nilai p menyatakan seberapa tidak cocok data yang teramati dengan sebuah model tertentu, yaitu model yang mengandaikan tidak ada pengaruh. Nilai p yang kecil berarti data seperti itu jarang muncul apabila model tersebut benar, dan hanya itu. Ia tidak menyatakan peluang bahwa hipotesis nol benar, tidak menyatakan bahwa temuan itu benar, tidak menyatakan besar maupun pentingnya pengaruh, dan tidak menjamin hasilnya akan terulang. Karena itu yang perlu dilaporkan bersamanya adalah besar pengaruh beserta selang kepercayaannya, sebab keduanya memberi tahu seberapa besar dan seberapa pasti. Perlu dilaporkan pula berapa banyak pengujian yang dilakukan, sebab menguji banyak hubungan sekaligus membuat sebagian hasil bermakna secara kebetulan.

Bagian hasil memuat apa yang ditunjukkan data beserta ketidakpastiannya, disajikan tanpa penafsiran dan tanpa rujukan ke literatur. Uji sederhananya adalah bahwa dua peneliti yang menganalisis data yang sama seharusnya menghasilkan bagian hasil yang hampir sama. Bagian pembahasan memuat apa arti hasil itu, kecocokan dan ketidakcocokannya dengan penelitian terdahulu, mekanisme yang mungkin menjelaskannya, serta keterbatasan yang paling mungkin mengubah kesimpulan. Di sinilah kedua peneliti tadi boleh berbeda pendapat. Data baru tidak boleh muncul pertama kali di bagian pembahasan, sebab pembaca tidak dapat menilai sesuatu yang belum disajikan.

Karena keputusan itu diambil sebelum pengiriman dan hampir seluruhnya menentukan apa yang terjadi sesudahnya. Jurnal yang ruang lingkupnya tidak sesuai akan menolak naskah tanpa telaah, sehingga waktu berbulan-bulan hilang tanpa memperoleh masukan apa pun. Jurnal yang mutunya diragukan akan menerbitkan naskah tanpa telaah yang sungguh dilakukan, sehingga naskah terbit tetapi tidak diakui dan tidak dapat ditarik kembali untuk dikirim ke tempat lain. Sebaliknya, jurnal yang sesuai memberi penelaah yang memahami bidangnya, dan masukan mereka kerap memperbaiki naskah secara berarti bahkan ketika naskahnya ditolak. Karena itu waktu yang dipakai memeriksa jurnal sebelum mengirim adalah waktu yang paling menguntungkan dalam seluruh proses.

Langkah pertama adalah menyesuaikan klaim dengan rancangan yang mungkin, yaitu berhenti mengejar klaim sebab akibat dan mengubah pertanyaan menjadi pertanyaan tentang mekanisme atau proses. Rancangan studi kasus dengan penelusuran proses dapat menghasilkan kontribusi yang kuat justru pada keadaan seperti ini, sebab yang ditunjukkan adalah bagaimana sesuatu terjadi dan bukan seberapa besar pengaruhnya. Langkah kedua adalah mencari perbandingan yang tersedia secara alami di dalam instansi tersebut, misalnya unit yang menerapkan kebijakan pada waktu berbeda, sebab perbedaan waktu penerapan dapat dimanfaatkan sebagai pembanding. Langkah ketiga adalah menyatakan secara terbuka ancaman kesahihan yang tersisa dan arah kemungkinan penyimpangannya. Rancangan yang keterbatasannya dinyatakan jujur lebih dapat dipertahankan daripada rancangan yang mengajukan klaim melampaui buktinya.

Persoalan pertama, dasar penentuan besar sampel. Rumus yang dipakai hanya sah untuk menaksir proporsi pada taraf kepercayaan sembilan puluh lima persen dengan proporsi mendekati setengah, dan tidak memuat besar pengaruh maupun kekuatan uji. Padahal yang hendak dikerjakan adalah pengujian delapan hipotesis hubungan, bukan penaksiran proporsi. Akibatnya tidak diketahui apakah tiga ratus responden cukup untuk mendeteksi pengaruh sebesar yang diharapkan, sehingga hasil yang tidak bermakna nanti tidak dapat ditafsirkan.

Persoalan kedua, cara sampel terbentuk. Menyebarkan kuesioner lewat grup pesan komunitas adalah sampel kemudahan, bukan sampel berpeluang. Yang terjaring hanya mereka yang aktif di grup tersebut dan bersedia menjawab, sehingga generalisasi ke seluruh dua ribu pelaku usaha tidak dapat dibenarkan. Jumlah tiga ratus empat puluh yang melampaui target justru menyamarkan persoalan ini.

Persoalan ketiga, uji validitas yang tidak menyentuh persoalannya. Uji validitas dan reliabilitas yang lazim dilaporkan hanya memeriksa apakah butir-butir pengukuran konsisten satu sama lain. Keduanya tidak memeriksa apakah butir itu mengukur konstruk yang dimaksud, dan sama sekali tidak memeriksa bias sampel.

Persoalan keempat, delapan hipotesis sekaligus. Menguji delapan hubungan pada taraf lima persen menaikkan peluang menemukan setidaknya satu hasil bermakna secara kebetulan. Perlu dinyatakan mana hipotesis utama dan mana yang bersifat penjajakan, atau taraf disesuaikan untuk pengujian berganda.

Cara memperbaiki tanpa mengganti rancangan. Ganti dasar penentuan besar sampel dengan analisis kekuatan uji, dengan menetapkan besar pengaruh terkecil yang masih berarti. Ubah klaim generalisasi menjadi klaim yang terbatas pada kelompok yang benar-benar terjaring, dan nyatakan cirinya secara terbuka. Kumpulkan sedikit data pembanding tentang ciri populasi yang tersedia dari catatan instansi, agar arah bias dapat diperkirakan. Nyatakan sejak awal hipotesis mana yang utama.

Yang keliru. Menyusun hipotesis setelah melihat hasil lalu menuliskannya seolah dirumuskan sejak awal membuat nilai p yang dilaporkan kehilangan artinya. Nilai p dihitung dengan mengandaikan hipotesis ditetapkan sebelum data dilihat. Ketika hipotesis dipilih justru karena datanya mendukung, peluang kebetulan tidak lagi terkendali, dan taraf lima persen yang dilaporkan tidak menggambarkan risiko yang sebenarnya.

Mengapa hal ini sering terjadi tanpa niat curang. Hasil yang bermakna lebih mudah diterima penguji dan lebih mudah diterbitkan, sehingga tekanannya nyata. Penjelasan teoretis yang disusun kemudian pun biasanya terdengar masuk akal, sebab hampir selalu ada teori yang dapat dipakai membenarkan pola apa pun setelah pola itu terlihat.

Cara yang sah memanfaatkan temuan itu. Laporkan hasil utama apa adanya, yaitu bahwa hipotesis yang diajukan tidak didukung. Sajikan temuan pada kelompok usia muda sebagai temuan penjajakan, dinyatakan secara terbuka bahwa ia muncul dari pemeriksaan setelah data terkumpul dan karena itu belum diuji. Rumuskan sebagai hipotesis untuk penelitian berikutnya, lengkap dengan mekanisme yang diduga menjelaskan mengapa usia menjadi pembatas. Bila memungkinkan, kumpulkan data baru untuk mengujinya, sebab hanya data yang belum pernah dilihat yang dapat menguji hipotesis yang lahir dari data lama.

Pencegahannya. Pra-registrasi rancangan sebelum pengumpulan data menutup persoalan ini sekaligus melindungi peneliti, sebab dengan catatan yang bertanggal, pemisahan antara pengujian dan penjajakan menjadi jelas bagi siapa pun.

Tanda yang sudah terlihat dari surelnya sendiri. Undangan yang datang tanpa diminta dan diawali pujian adalah pola yang khas. Janji terbit dalam dua minggu berarti tidak ada telaah sejawat yang sungguh dilakukan, sebab penelaah perlu waktu untuk membaca. Klaim terindeks yang disebutkan di surel bukan bukti, sebab klaim semacam itu mudah dituliskan.

Pemeriksaan yang perlu dilakukan. Buka pangkalan data yang diklaim, lalu cari nama jurnal itu di sana, bukan sebaliknya mempercayai logo yang terpampang di situs jurnalnya. Telusuri beberapa nama pada dewan penyunting, periksa apakah orangnya nyata dan apakah afiliasinya cocok, sebab nama sering dicantumkan tanpa sepengetahuan yang bersangkutan. Cari pernyataan biaya penerbitan di situsnya, dan bila tidak ditemukan sebelum pengiriman, itu sendiri sudah merupakan jawaban. Periksa beberapa artikel yang sudah terbit, terutama apakah bahasanya tertata dan apakah isinya masih dalam ruang lingkup yang jurnal itu nyatakan.

Tentang tenggatnya. Ini bagian yang paling penting dan paling sering diabaikan. Artikel yang terbit di jurnal semacam itu umumnya tidak diakui untuk syarat kelulusan maupun kenaikan jabatan, sehingga tenggatnya tetap tidak terpenuhi sementara naskahnya sudah tidak dapat dikirim ke tempat lain karena sudah terbit. Dengan kata lain, jalan pintas itu menghabiskan naskah sekaligus tidak menyelesaikan persoalan yang mendorongnya. Langkah yang lebih baik adalah membicarakan tenggat dengan promotor dan mencari jurnal yang sesuai meski waktunya lebih lama, atau mempertimbangkan konferensi terakreditasi sebagai jalur sementara bila peraturan programnya mengizinkan.