Revising a question guide for focus groups
Merevisi panduan pertanyaan untuk focus group

Ross Woods, Aug. 2024, rev. Jul 2026. With thanks to Rεsραti Αdjipυrwο
Previously titled Writing a question guide for qualitative research

How to Pilot-Test a Question Guide

Checking and revising a question guide is a separate step from writing the draft. Many questions that seem clear to the researcher might not be clear to the participants. Pilot testing helps identify these problems. For this reason, every question guide should be pilot-tested before it is used in the actual study; it is an essential part of developing a useful question guide. It helps ensure that the questions are clear, relevant, and capable of collecting the information needed for the study. Even experienced researchers pilot-test their question guides before beginning data collection.

Pilot testing allows the researcher to revise the wording, order, and number of questions before data collection begins, improving both the quality of the discussion and the quality of the data collected. It also prevents embarrassing, time-wasting incidents where you have to explain your questions.

Your goal is to lead a conversation that is easy and natural. To do this, you need to use plain conversational language, with short sentences and simple clear wording. Respondents must be able to easily understand the point of each question the first time they hear the question. (Otherwise you will waste a lot of time in the focus group session explaining your questions.) It is not about what you meant with the questions. It is about what your respondents understand by them, and first drafts usually have questions that respondents cannot answer. Further below is a list of common problems in question guides and what to do about them.

A simple pilot-testing process is as follows:

First, ask colleagues or supervisors to review the questions and give constructive feedback. They might suggest improvements or identify problems.
Revise the questions in response to their feedback.
Next, pilot-test the guide with people who have characteristics similar to the intended research participants. Observe which questions they find confusing, skip, or answer in ways that are unrelated to the research objectives.
Revise the questions again based on their responses, and pilot-test it again if necessary.

Refine the question guide until it is simple, clear, and fully aligned with the objectives of the research. Pilot testing is an iterative process. Each round of testing should improve the wording, sequence, and effectiveness of the questions until the guide consistently produces clear, relevant, and meaningful responses. If you use the same guide for multiple groups, you may revise the guide between sessions.

⚠ N.B. Do not use your supervisor to pilot test your question guide.

Task

Pilot-test and revise your question guide. Submit to your superviser:

Your revised question guide
A report of your pilot-testing process

Problems with individual questions

1. The question is unclear or ambiguous.
Problem: Participants may not understand what the researcher means, or different participants may understand the question differently.
How to fix it: Use simple, specific wording. Ask yourself, “Could two reasonable people understand this question in different ways?”
Poor: “How has online learning affected your participation?” (Participation might mean attendance, speaking in class, completing assignments, or interacting with other students.)
Better: “How has online learning affected how often you speak or contribute during class?”
2. The wording does not communicate what the researcher intends.
Problem: Sometimes a question is grammatically clear but does not actually ask what the researcher wants to know.
Poor: “How do students use social media?” (The researcher actually wants to know how social media affects students' study.)
Better: “How does your use of social media affect the way you study?”
How to fix it: A useful check is to ask another person to explain what they think the question is asking. If their interpretation is different from yours, rewrite it.
3. The question is leading.
Problem: The wording suggests that one answer is expected or “correct.”
Poor: “Don't you think the new system is much better?”
Better: “How would you compare the new system with the previous one?”
How to fix it: Use neutral wording that allows positive, negative, mixed, or unexpected answers.
4. The question contains an assumption that might not be true.
Poor: “Why has the new program improved your teaching?” (This assumes that the program improved the participant's teaching.)
Better: “What effect, if any, has the new program had on your teaching?”
Follow-up: “Can you give an example?”
5. The question can be answered with “yes” or “no”.
How to fix it: A yes/no question can sometimes be useful as an opening question, but it normally needs an immediate follow-up. It does not necessarily need to be deleted.
Poor: “Do you find online classes difficult?”
Better: “Do you find online classes difficult? Why or why not?”
Or, where possible, make the main question open: “What difficulties, if any, have you experienced in online classes?”
6. The question asks two or more things at the same time. These are often called double-barrelled questions.
Poor: “How has online learning affected your motivation and your relationships with other students?” (A participant might have different answers for motivation and relationships.)
Better “How has online learning affected your motivation to study?”
Then ask separately: “How has online learning affected your relationships with other students?”
7. Follow-up questions are hidden inside one long question.
This is related to double-barrelled questions. Students sometimes write the main question and several follow-ups as if they were one question.
Poor: “What difficulties have you experienced in online classes, how serious were they, what caused them, and what did you do about them?”
Better:

“What difficulties have you experienced in online classes?”
Follow-up: “Can you give an example?”
Follow-up: “What do you think caused that difficulty?”
Follow-up: “What did you do about it?”

This also makes the guide easier for the moderator to use. The moderator can use follow-up questions when needed rather than mechanically asking everything at once.
8. The question is unnecessarily long or complicated.
Poor: “Thinking about your overall experience of participating in online education during the period in which the university increasingly adopted digital methods of teaching, what would you identify as the most important factors that affected your willingness and ability to participate actively? (Short questions often produce longer answers.)”
Better: “What affected your participation in online classes?”
Follow-up: “Which factors were most important?”
9. The question uses technical or specialist language.
Use language that participants normally use and understand.
Poor: “How has asynchronous pedagogy affected your learner engagement?”
Better: “How have activities that you do in your own time, rather than during a live class, affected your participation in the course?”
10. The question uses foreign-language words that participants might not understand.
The same principle applies. Do not use an English or other foreign-language term merely because it is familiar to the researcher. If a foreign term must be used, explain it in familiar language.
Poor: “Bagaimana engagement Anda dalam kelas online?”
Better: “Seberapa aktif Anda berpartisipasi dalam kelas online? Ceritakan pengalaman Anda.”
11. The question is too difficult for participants to answer.
Participants may not know the information, may not remember it accurately, or may never have thought about the issue in the way the question assumes. Do not ask participants for information they cannot reasonably know or remember.
Poor: “How many hours did you spend using social media during the last six months?”
Better: “Thinking about a normal week recently, approximately how much time do you spend using social media each day?”
12. The question is too abstract.
Focus groups usually work better when participants first discuss experiences they can remember and describe. Move from concrete experience to examples, to interpretation and then broader reflection.
Poor opening question: “What is the relationship between digital technology and spiritual formation?”
Better sequence:

“How do you normally use your phone during the day?”
“Can you describe times when phone use affects your personal spiritual practices?”
“What kinds of effects have you noticed?”

13. The question is controversial, emotionally difficult, or overly intrusive.
Such questions sometimes need to be asked, but they need careful justification and wording. Some may also raise ethical problems. Ask only for information that is necessary to answer the research question. Avoid unnecessarily identifying people or asking for sensitive personal information.
Poor: “Which students do you know who are addicted to pornography?”
Better, if the topic is ethically appropriate and approved: “Without identifying particular people, what kinds of problems related to pornography have you observed among students?”
14. The question is loaded.
A loaded question makes participants feel judged, trapped, accused, or manipulated.
Poor: “Why do some lecturers ignore the needs of struggling students?” This assumes that lecturers do ignore those needs.)
Better: “How do lecturers respond when students are struggling?”
Follow-up: “What responses seem helpful or unhelpful?”
15. The question ask participants to speculate about other people's thoughts or motives.
For example, “Why don't students participate in online classes?” asked of lecturers may produce lecturers' guesses rather than evidence about students' reasons.
A better question for lecturers would be “What reasons have students given you for not participating?” or “What factors have you observed that seem to affect student participation?”.

Problems with the question guide as a whole

1. Questions are repeated. Questions can look different but still collect essentially the same information. For example, these are probably three versions of the same question:

“What difficulties do you experience in online learning?”
“What problems have you experienced with online classes?”
“What challenges do you face when studying online?”

How to fix it: Decide what information each question is intended to collect. If two questions have the same purpose, normally keep the clearer one and delete the other. Useful follow-up questions can be placed under it.
2. The questions are in an unnatural sequence.
A focus group should feel reasonably like a flowing conversation rather than an interrogation with random questions. Group related questions together and normally move from easier and more concrete questions toward questions requiring greater reflection.
Poor sequence:

“What are the long-term effects of online learning?”
“How old are you?”
“Tell us about your most recent online class.”
“What is your definition of student engagement?”

Better sequence:

“Tell us about your recent experience of online classes.”
“How do you normally participate in an online class?”
“What makes participation easier or more difficult?”
“What effects has online learning had on you?”
“Looking at your experience overall, what changes would you recommend?”

3. There are too many questions.
A focus group needs time for participants to explain their answers, give examples, respond to one another, disagree, and introduce issues the researcher did not anticipate.
How to fix it: Identify the questions that are essential for answering the research question. Delete questions that are merely interesting.
A useful test is: If I had time to ask only a few questions, which questions would I absolutely need in order to answer my research question? Those are the core questions. Other questions can become follow-ups or be deleted.
4. Important questions are missing.
Sometimes students avoid asking the question they actually need answered, especially when the question feels too direct or critical. Politeness is important, but it should not prevent the researcher from collecting the data needed to answer the research question.
For example, the research question concerns problems with a training program, but the guide never directly asks about problems. It asks only:

“What did you enjoy about the training?”
“What did you learn?”
“Which activities were useful?”

Add something such as: “What parts of the training did not work well for you?”
Follow-up: “What could be improved?”
5. Questions are outside the scope of the research.
Problem: A question may be interesting and well written but irrelevant to the research question.
If the study is about students' participation in online classes, a question such as: “What do you think universities will look like in twenty years?” might produce an interesting discussion, but it probably does not help answer the research question.
Solution: Delete it.
For every main question, ask: “How will the answers to this question help me answer my research question?” If there is no good answer, the question probably does not belong in the guide.
6. The guide actually contains several separate research topics.
A student might divide the guide into subtopics, for example:

causes of digital addiction;
effects on academic achievement;
effects on relationships;
effects on spiritual life;
institutional responses;
effectiveness of counselling;
prevention strategies.

The organization looks impressive, but each section could potentially support a separate study.
How to fix it: Do not simply reduce the number of questions under each heading. Narrow the research topic itself. Decide which aspect directly answers the research question and remove the others.
For a journal-sized study, several large groups of questions often indicate that the research question is still too broad. Each subtopic might be adquate for its own journal article.
7. The guide addresses two different populations.
For example, some questions are written for students and others for lecturers:

“What difficulties do you experience as a student in online classes?”
and later:
“What difficulties do your students experience in online classes?”

These collect different kinds of data from two different populations.
How to fix it: First decide who can provide the data needed to answer the research question. If the research genuinely requires two populations, normally prepare separate question guides for each population and justify why both are needed. For a small journal-sized study, it may be better to narrow the study to one population.
8.The question guide does not have enough questions for the session.
The problem is not simply having a small number of questions. A focus group can work very well with relatively few main questions if those questions generate rich discussion. The real problems is having too little material to adequately explore the research question. For example:

Questions might omit important aspects of the topic
Questions do not enourage discussion and can be answered very briefly, leaving the moderator with little to explore.

However, do not add questions simply to fill the available time. A focus group normally benefits from a small number of good main questions with useful follow-up questions and probes, rather than a long list of unrelated questions.
How to fix it

Check whether the questions together explore all the necessary parts of the research question.
Check whther you have included opening and concluding questions
Check that you have enough follow-up questions or probes that encourage participants to explain their answers, give examples, compare experiences, and discuss differences. For example: “Can you give an example? What happened? Why do you think that happened? Did anyone have a different experience?”

For each question

Is it clear?
Is it neutral?
Can participants answer it?
Does it ask only one thing?
Is the language familiar to participants
Is it necessary?
Does it help answer the research question?

For the whole guide

Are important questions missing?
Are any questions repeated?
Are the questions in a natural order?
Are there too many questions?
Does the guide stay focused on one research topic and the intended participants?

💡 Tips
• Don't be afraid to delete questions. Students usually think they need to add questions. However, pilot testing often shows that some questions produce the same information as others. Removing redundant questions usually improves the discussion by saving time and confusion. (It's also quite embarrassing for the researcher in a real group.)
• It is normally better to work on improving your draft. It is seldom helpful to give up and delete the whole question guide.

Cara Melakukan Uji Coba Panduan Pertanyaan

Memeriksa dan merevisi panduan pertanyaan merupakan langkah yang terpisah dari penulisan draf. Banyak pertanyaan yang tampak jelas bagi peneliti mungkin tidak jelas bagi partisipan. Uji coba membantu menemukan masalah-masalah tersebut. Oleh karena itu, setiap panduan pertanyaan harus diuji coba sebelum digunakan dalam penelitian yang sebenarnya; ini merupakan bagian penting dalam mengembangkan panduan pertanyaan yang berguna. Uji coba membantu memastikan bahwa pertanyaan jelas, relevan, dan mampu mengumpulkan informasi yang dibutuhkan untuk penelitian. Bahkan peneliti yang berpengalaman melakukan uji coba terhadap panduan pertanyaan mereka sebelum mulai mengumpulkan data.

Uji coba memungkinkan peneliti merevisi susunan kata, urutan, dan jumlah pertanyaan sebelum pengumpulan data dimulai. Hal ini meningkatkan kualitas diskusi maupun kualitas data yang dikumpulkan. Uji coba juga mencegah kejadian yang memalukan dan membuang waktu ketika Anda harus menjelaskan maksud pertanyaan Anda.

Tujuan Anda adalah memimpin percakapan yang mudah dan alami. Untuk melakukannya, Anda perlu menggunakan bahasa percakapan sehari-hari, dengan kalimat pendek dan susunan kata yang sederhana dan jelas. Responden harus dapat dengan mudah memahami maksud setiap pertanyaan pada saat pertama kali mendengarnya. (Kalau tidak, Anda akan membuang banyak waktu dalam sesi focus group untuk menjelaskan pertanyaan Anda.) Yang penting bukan apa yang Anda maksud dengan pertanyaan tersebut. Yang penting adalah apa yang dipahami responden dari pertanyaan itu, dan draf pertama biasanya masih berisi pertanyaan yang tidak dapat dijawab oleh responden. Di bawah ini terdapat daftar masalah yang sering ditemukan dalam panduan pertanyaan dan cara memperbaikinya.

Proses uji coba yang sederhana dapat dilakukan sebagai berikut:

Pertama, mintalah rekan atau pembimbing untuk meninjau pertanyaan dan memberikan masukan yang membangun. Mereka mungkin menyarankan perbaikan atau menemukan masalah.
Revisi pertanyaan berdasarkan masukan mereka.
Selanjutnya, lakukan uji coba panduan dengan orang-orang yang memiliki karakteristik yang mirip dengan calon partisipan penelitian. Perhatikan pertanyaan mana yang mereka anggap membingungkan, mereka lewati, atau mereka jawab dengan cara yang tidak berkaitan dengan tujuan penelitian.
Revisi kembali pertanyaan berdasarkan tanggapan mereka, dan lakukan uji coba lagi jika diperlukan.

Perbaiki panduan pertanyaan sampai sederhana, jelas, dan sepenuhnya sesuai dengan tujuan penelitian. Uji coba merupakan proses yang berulang. Setiap putaran uji coba seharusnya memperbaiki susunan kata, urutan, dan efektivitas pertanyaan sampai panduan tersebut secara konsisten menghasilkan tanggapan yang jelas, relevan, dan bermakna. Jika Anda menggunakan panduan yang sama untuk beberapa kelompok, Anda dapat merevisi panduan tersebut di antara sesi-sesi focus group.

⚠ Catatan: Jangan menggunakan pembimbing Anda untuk melakukan uji coba panduan pertanyaan.

Tugas

Lakukan uji coba dan revisi panduan pertanyaan Anda. Serahkan kepada pembimbing Anda:

Panduan pertanyaan yang telah direvisi
Laporan tentang proses uji coba yang telah Anda lakukan

Masalah pada pertanyaan individual

1. Pertanyaan tidak jelas atau memiliki lebih dari satu kemungkinan arti.
Masalah: Partisipan mungkin tidak memahami apa yang dimaksud oleh peneliti, atau partisipan yang berbeda mungkin memahami pertanyaan tersebut dengan cara yang berbeda.
Cara memperbaikinya: Gunakan susunan kata yang sederhana dan spesifik. Tanyakan kepada diri sendiri, “Apakah dua orang yang wajar dapat memahami pertanyaan ini dengan cara yang berbeda?”
Kurang baik: “Bagaimana pembelajaran online memengaruhi partisipasi Anda?” (Partisipasi dapat berarti kehadiran, berbicara di kelas, mengerjakan tugas, atau berinteraksi dengan mahasiswa lain.)
Lebih baik: “Bagaimana pembelajaran online memengaruhi seberapa sering Anda berbicara atau memberikan kontribusi selama kelas?”
2. Susunan kata tidak menyampaikan apa yang sebenarnya ingin ditanyakan oleh peneliti.
Masalah: Kadang-kadang sebuah pertanyaan secara tata bahasa sudah jelas, tetapi sebenarnya tidak menanyakan apa yang ingin diketahui oleh peneliti.
Kurang baik: “Bagaimana mahasiswa menggunakan media sosial?” (Sebenarnya peneliti ingin mengetahui bagaimana media sosial memengaruhi cara mahasiswa belajar.)
Lebih baik: “Bagaimana penggunaan media sosial memengaruhi cara Anda belajar?”
Cara memperbaikinya: Salah satu cara yang berguna untuk memeriksanya adalah meminta orang lain menjelaskan apa yang menurut mereka ditanyakan oleh pertanyaan tersebut. Jika pemahaman mereka berbeda dari maksud Anda, tulis ulang pertanyaan tersebut.
3. Pertanyaan menggiring jawaban.
Masalah: Susunan kata memberi kesan bahwa ada satu jawaban yang diharapkan atau dianggap “benar.”
Kurang baik: “Bukankah menurut Anda sistem yang baru jauh lebih baik?”
Lebih baik: “Bagaimana Anda membandingkan sistem yang baru dengan sistem sebelumnya?”
Cara memperbaikinya: Gunakan susunan kata yang netral sehingga memungkinkan jawaban positif, negatif, campuran, atau tidak terduga.
4. Pertanyaan mengandung asumsi yang mungkin tidak benar.
Kurang baik: “Mengapa program baru ini telah meningkatkan cara Anda mengajar?” (Pertanyaan ini berasumsi bahwa program tersebut memang telah meningkatkan cara partisipan mengajar.)
Lebih baik: “Apa pengaruh program baru ini terhadap cara Anda mengajar, jika memang ada?”
Pertanyaan lanjutan: “Dapatkah Anda memberikan contoh?”
5. Pertanyaan dapat dijawab dengan “ya” atau “tidak”.
Cara memperbaikinya: Pertanyaan ya/tidak kadang-kadang dapat berguna sebagai pertanyaan pembuka, tetapi biasanya harus segera diikuti dengan pertanyaan lanjutan. Pertanyaan tersebut tidak selalu harus dihapus.
Kurang baik: “Apakah Anda merasa kelas online sulit?”
Lebih baik: “Apakah Anda merasa kelas online sulit? Mengapa atau mengapa tidak?”
Atau, jika memungkinkan, buat pertanyaan utama menjadi pertanyaan terbuka: “Kesulitan apa, jika ada, yang Anda alami dalam kelas online?”
6. Pertanyaan menanyakan dua hal atau lebih sekaligus. Pertanyaan seperti ini sering disebut pertanyaan ganda (double-barrelled questions).
Kurang baik: “Bagaimana pembelajaran online memengaruhi motivasi Anda dan hubungan Anda dengan mahasiswa lain?” (Seorang partisipan mungkin memiliki jawaban yang berbeda tentang motivasi dan hubungan.)
Lebih baik: “Bagaimana pembelajaran online memengaruhi motivasi Anda untuk belajar?”
Kemudian tanyakan secara terpisah: “Bagaimana pembelajaran online memengaruhi hubungan Anda dengan mahasiswa lain?”
7. Pertanyaan lanjutan tersembunyi di dalam satu pertanyaan yang panjang.
Masalah ini berkaitan dengan pertanyaan ganda. Mahasiswa kadang-kadang menulis pertanyaan utama dan beberapa pertanyaan lanjutan seolah-olah semuanya merupakan satu pertanyaan.
Kurang baik: “Kesulitan apa yang Anda alami dalam kelas online, seberapa serius kesulitan tersebut, apa penyebabnya, dan apa yang Anda lakukan untuk mengatasinya?”
Lebih baik:

“Kesulitan apa yang Anda alami dalam kelas online?”
Pertanyaan lanjutan: “Dapatkah Anda memberikan contoh?”
Pertanyaan lanjutan: “Menurut Anda, apa yang menyebabkan kesulitan tersebut?”
Pertanyaan lanjutan: “Apa yang Anda lakukan untuk mengatasinya?”

Cara ini juga membuat panduan lebih mudah digunakan oleh moderator. Moderator dapat menggunakan pertanyaan lanjutan ketika diperlukan daripada menanyakan semuanya sekaligus secara mekanis.
8. Pertanyaan terlalu panjang atau rumit tanpa perlu.
Kurang baik: “Dengan memikirkan seluruh pengalaman Anda mengikuti pendidikan online selama periode ketika universitas semakin banyak menggunakan metode pengajaran digital, faktor-faktor apa yang menurut Anda paling penting dalam memengaruhi kemauan dan kemampuan Anda untuk berpartisipasi secara aktif? (Pertanyaan yang singkat sering menghasilkan jawaban yang lebih panjang.)”
Lebih baik: “Apa yang memengaruhi partisipasi Anda dalam kelas online?”
Pertanyaan lanjutan: “Faktor mana yang paling penting?”
9. Pertanyaan menggunakan bahasa teknis atau istilah khusus.
Gunakan bahasa yang biasa digunakan dan dipahami oleh partisipan.
Kurang baik: “Bagaimana pedagogi asinkron memengaruhi keterlibatan Anda sebagai pembelajar?”
Lebih baik: “Bagaimana kegiatan yang Anda lakukan pada waktu Anda sendiri, bukan selama kelas berlangsung secara langsung, memengaruhi partisipasi Anda dalam mata kuliah?”
10. Pertanyaan menggunakan kata-kata bahasa Inggris yang mungkin tidak dipahami oleh partisipan.
Prinsip yang sama berlaku. Jangan menggunakan istilah bahasa Inggris hanya karena istilah tersebut sudah biasa bagi peneliti. Jika istilah bahasa Inggris harus digunakan, jelaskan artinya dengan bahasa yang sudah dikenal oleh partisipan.
Kurang baik: “Bagaimana engagement Anda dalam kelas online?”
Lebih baik: “Seberapa aktif Anda berpartisipasi dalam kelas online? Ceritakan pengalaman Anda.”
11. Pertanyaan terlalu sulit untuk dijawab oleh partisipan.
Partisipan mungkin tidak mengetahui informasi tersebut, mungkin tidak dapat mengingatnya dengan tepat, atau mungkin belum pernah memikirkan masalah tersebut dengan cara yang diasumsikan oleh pertanyaan. Jangan meminta informasi yang secara wajar tidak mungkin diketahui atau diingat oleh partisipan.
Kurang baik: “Berapa jam yang Anda habiskan menggunakan media sosial selama enam bulan terakhir?”
Lebih baik: “Jika Anda memikirkan minggu-minggu terakhir yang biasa, kira-kira berapa lama Anda menggunakan media sosial setiap hari?”
12. Pertanyaan terlalu abstrak.
Focus group biasanya berjalan lebih baik jika partisipan terlebih dahulu membahas pengalaman yang dapat mereka ingat dan ceritakan. Bergeraklah dari pengalaman konkret ke contoh, kemudian ke interpretasi, dan akhirnya ke refleksi yang lebih luas.
Pertanyaan pembuka yang kurang baik: “Apa hubungan antara teknologi digital dan pembentukan kerohanian?”
Urutan yang lebih baik:

“Bagaimana Anda biasanya menggunakan ponsel sepanjang hari?”
“Dapatkah Anda menceritakan saat-saat ketika penggunaan ponsel memengaruhi praktik kerohanian pribadi Anda?”
“Pengaruh seperti apa yang Anda perhatikan?”

13. Pertanyaan bersifat kontroversial, sulit secara emosional, atau terlalu mencampuri urusan pribadi.
Pertanyaan seperti ini kadang-kadang memang perlu ditanyakan, tetapi harus memiliki alasan yang kuat dan dirumuskan dengan hati-hati. Beberapa pertanyaan juga dapat menimbulkan masalah etika. Tanyakan hanya informasi yang diperlukan untuk menjawab pertanyaan penelitian. Hindari meminta partisipan mengidentifikasi orang tertentu jika tidak diperlukan atau meminta informasi pribadi yang sensitif.
Kurang baik: “Mahasiswa mana yang Anda kenal yang kecanduan pornografi?”
Lebih baik, jika topik tersebut sesuai secara etis dan telah mendapat persetujuan: “Tanpa menyebutkan orang tertentu, masalah seperti apa yang berkaitan dengan pornografi yang Anda amati di antara mahasiswa?”
14. Pertanyaan bermuatan (loaded question).
Pertanyaan bermuatan membuat partisipan merasa dihakimi, dijebak, dituduh, atau dimanipulasi.
Kurang baik: “Mengapa beberapa dosen mengabaikan kebutuhan mahasiswa yang mengalami kesulitan?” (Pertanyaan ini berasumsi bahwa dosen memang mengabaikan kebutuhan tersebut.)
Lebih baik: “Bagaimana dosen merespons ketika mahasiswa mengalami kesulitan?”
Pertanyaan lanjutan: “Respons apa yang tampaknya membantu atau tidak membantu?”
15. Pertanyaan meminta partisipan berspekulasi tentang pikiran atau alasan orang lain.
Misalnya, pertanyaan “Mengapa mahasiswa tidak berpartisipasi dalam kelas online?” yang ditanyakan kepada dosen mungkin menghasilkan dugaan dosen, bukan bukti tentang alasan mahasiswa.
Pertanyaan yang lebih baik untuk dosen adalah “Alasan apa yang pernah disampaikan mahasiswa kepada Anda tentang mengapa mereka tidak berpartisipasi?” atau “Faktor apa yang Anda amati yang tampaknya memengaruhi partisipasi mahasiswa?”

Masalah pada panduan pertanyaan secara keseluruhan

1. Pertanyaan diulang. Pertanyaan dapat terlihat berbeda tetapi sebenarnya mengumpulkan informasi yang pada dasarnya sama. Misalnya, ketiga pertanyaan berikut kemungkinan merupakan tiga versi dari pertanyaan yang sama:

“Kesulitan apa yang Anda alami dalam pembelajaran online?”
“Masalah apa yang Anda alami dalam kelas online?”
“Tantangan apa yang Anda hadapi ketika belajar secara online?”

Cara memperbaikinya: Tentukan informasi apa yang ingin dikumpulkan melalui setiap pertanyaan. Jika dua pertanyaan memiliki tujuan yang sama, biasanya pertahankan pertanyaan yang lebih jelas dan hapus yang lain. Pertanyaan lanjutan yang berguna dapat ditempatkan di bawah pertanyaan tersebut.
2. Urutan pertanyaan tidak alami.
Focus group seharusnya terasa seperti percakapan yang mengalir secara wajar, bukan seperti interogasi dengan pertanyaan yang diajukan secara acak. Kelompokkan pertanyaan yang berkaitan dan biasanya mulailah dengan pertanyaan yang lebih mudah dan konkret, kemudian lanjutkan ke pertanyaan yang membutuhkan pemikiran dan refleksi yang lebih mendalam.
Urutan yang kurang baik:

“Apa dampak jangka panjang dari pembelajaran online?”
“Berapa usia Anda?”
“Ceritakan tentang kelas online terakhir yang Anda ikuti.”
“Bagaimana Anda mendefinisikan partisipasi mahasiswa?”

Urutan yang lebih baik:

“Ceritakan pengalaman Anda baru-baru ini mengikuti kelas online.”
“Bagaimana Anda biasanya berpartisipasi dalam kelas online?”
“Apa yang membuat partisipasi menjadi lebih mudah atau lebih sulit?”
“Apa pengaruh pembelajaran online terhadap Anda?”
“Jika melihat pengalaman Anda secara keseluruhan, perubahan apa yang akan Anda sarankan?”

3. Ada terlalu banyak pertanyaan.
Focus group membutuhkan waktu agar partisipan dapat menjelaskan jawaban mereka, memberikan contoh, menanggapi satu sama lain, menyatakan ketidaksetujuan, dan mengemukakan hal-hal yang tidak diperkirakan sebelumnya oleh peneliti.
Cara memperbaikinya: Tentukan pertanyaan yang benar-benar diperlukan untuk menjawab pertanyaan penelitian. Hapus pertanyaan yang hanya menarik tetapi tidak diperlukan.
Salah satu cara yang berguna untuk mengujinya adalah dengan bertanya: Jika saya hanya mempunyai waktu untuk mengajukan beberapa pertanyaan, pertanyaan mana yang benar-benar harus saya ajukan agar dapat menjawab pertanyaan penelitian saya? Itulah pertanyaan inti. Pertanyaan lain dapat dijadikan pertanyaan lanjutan atau dihapus.
4. Ada pertanyaan penting yang belum dimasukkan.
Kadang-kadang mahasiswa menghindari pertanyaan yang sebenarnya perlu mereka tanyakan, terutama jika pertanyaan tersebut terasa terlalu langsung atau kritis. Kesopanan memang penting, tetapi jangan sampai kesopanan menghalangi peneliti mengumpulkan data yang diperlukan untuk menjawab pertanyaan penelitian.
Misalnya, pertanyaan penelitian membahas masalah dalam suatu program pelatihan, tetapi panduan pertanyaan tidak pernah secara langsung menanyakan masalah tersebut. Panduan hanya menanyakan:

“Apa yang Anda sukai dari pelatihan tersebut?”
“Apa yang Anda pelajari?”
“Kegiatan mana yang bermanfaat?”

Tambahkan pertanyaan seperti: “Bagian mana dari pelatihan yang tidak berjalan dengan baik bagi Anda?”
Pertanyaan lanjutan: “Apa yang dapat diperbaiki?”
5. Pertanyaan berada di luar cakupan penelitian.
Masalah: Sebuah pertanyaan mungkin menarik dan ditulis dengan baik, tetapi tidak relevan dengan pertanyaan penelitian.
Jika penelitian membahas partisipasi mahasiswa dalam kelas online, pertanyaan seperti: “Menurut Anda, seperti apa universitas dua puluh tahun lagi?” mungkin menghasilkan diskusi yang menarik, tetapi kemungkinan tidak membantu menjawab pertanyaan penelitian.
Solusi: Hapus pertanyaan tersebut.
Untuk setiap pertanyaan utama, tanyakan: “Bagaimana jawaban atas pertanyaan ini akan membantu saya menjawab pertanyaan penelitian?” Jika tidak ada jawaban yang jelas, pertanyaan tersebut kemungkinan tidak perlu dimasukkan dalam panduan.
6. Panduan sebenarnya mencakup beberapa topik penelitian yang berbeda.
Seorang mahasiswa mungkin membagi panduan menjadi beberapa subtopik, misalnya:

penyebab kecanduan digital;
dampak terhadap prestasi akademik;
dampak terhadap hubungan;
dampak terhadap kehidupan rohani;
respons lembaga;
efektivitas konseling;
strategi pencegahan.

Susunannya terlihat mengesankan, tetapi setiap bagian berpotensi menjadi penelitian tersendiri.
Cara memperbaikinya: Jangan hanya mengurangi jumlah pertanyaan di bawah setiap judul. Persempit topik penelitian itu sendiri. Tentukan aspek mana yang secara langsung menjawab pertanyaan penelitian dan hapus aspek-aspek lainnya.
Untuk penelitian seukuran artikel jurnal, adanya beberapa kelompok besar pertanyaan sering menunjukkan bahwa pertanyaan penelitian masih terlalu luas. Setiap subtopik mungkin sudah cukup untuk menjadi artikel jurnal tersendiri.
7. Panduan ditujukan kepada dua populasi yang berbeda.
Misalnya, beberapa pertanyaan ditulis untuk mahasiswa dan pertanyaan lainnya untuk dosen:

“Kesulitan apa yang Anda alami sebagai mahasiswa dalam kelas online?”
kemudian:
“Kesulitan apa yang dialami mahasiswa Anda dalam kelas online?”

Pertanyaan-pertanyaan tersebut mengumpulkan jenis data yang berbeda dari dua populasi yang berbeda.
Cara memperbaikinya: Pertama, tentukan siapa yang dapat memberikan data yang diperlukan untuk menjawab pertanyaan penelitian. Jika penelitian memang membutuhkan dua populasi, biasanya siapkan panduan pertanyaan yang terpisah untuk setiap populasi dan jelaskan mengapa keduanya diperlukan. Untuk penelitian kecil seukuran artikel jurnal, mungkin lebih baik mempersempit penelitian menjadi satu populasi saja.
8. Panduan pertanyaan tidak memiliki cukup pertanyaan untuk sesi focus group.
Masalahnya bukan sekadar jumlah pertanyaan yang sedikit. Focus group dapat berjalan dengan sangat baik hanya dengan beberapa pertanyaan utama jika pertanyaan tersebut menghasilkan diskusi yang kaya. Masalah sebenarnya adalah terlalu sedikit bahan untuk membahas pertanyaan penelitian secara memadai. Misalnya:

Pertanyaan mungkin tidak mencakup aspek-aspek penting dari topik.
Pertanyaan tidak mendorong diskusi dan dapat dijawab dengan sangat singkat, sehingga moderator hanya memiliki sedikit hal untuk digali lebih lanjut.

Namun, jangan menambahkan pertanyaan hanya untuk mengisi waktu yang tersedia. Focus group biasanya lebih baik menggunakan sejumlah kecil pertanyaan utama yang baik, disertai pertanyaan lanjutan dan pertanyaan penggalian (probes) yang berguna, daripada daftar panjang pertanyaan yang tidak saling berkaitan.
Cara memperbaikinya

Periksa apakah semua pertanyaan secara bersama-sama membahas semua bagian yang diperlukan dari pertanyaan penelitian.
Periksa apakah Anda telah memasukkan pertanyaan pembuka dan penutup.
Periksa apakah Anda memiliki cukup pertanyaan lanjutan atau pertanyaan penggalian (probes) yang mendorong partisipan untuk menjelaskan jawaban mereka, memberikan contoh, membandingkan pengalaman, dan membahas perbedaan. Misalnya: “Dapatkah Anda memberikan contoh? Apa yang terjadi? Menurut Anda, mengapa hal itu terjadi? Apakah ada yang mempunyai pengalaman yang berbeda?”

Untuk setiap pertanyaan

Apakah pertanyaan itu jelas?
Apakah pertanyaan itu netral?
Apakah partisipan dapat menjawabnya?
Apakah pertanyaan itu hanya menanyakan satu hal?
Apakah bahasa yang digunakan sudah dikenal oleh partisipan?
Apakah pertanyaan itu diperlukan?
Apakah pertanyaan itu membantu menjawab pertanyaan penelitian?

Untuk seluruh panduan

Apakah ada pertanyaan penting yang belum dimasukkan?
Apakah ada pertanyaan yang diulang?
Apakah pertanyaan disusun dalam urutan yang alami?
Apakah ada terlalu banyak pertanyaan?
Apakah panduan tetap berfokus pada satu topik penelitian dan partisipan yang dituju?

💡 beberapa nasehat
• Jangan takut menghapus pertanyaan. Mahasiswa biasanya berpikir bahwa mereka perlu menambahkan pertanyaan. Namun, uji coba sering menunjukkan bahwa beberapa pertanyaan menghasilkan informasi yang sama dengan pertanyaan lainnya. Menghapus pertanyaan yang berulang biasanya membuat diskusi lebih baik karena menghemat waktu dan mengurangi kebingungan. (Mengajukan pertanyaan yang sama berulang kali dalam focus group yang sebenarnya juga cukup memalukan bagi peneliti.)
• Biasanya lebih baik memperbaiki draf yang sudah Anda buat. Jarang sekali bermanfaat untuk menyerah dan menghapus seluruh panduan pertanyaan.

CC BY-NC-ND
This work is released under a CC BY-NC-ND license, which means that you are free to do with it as you please as long as you (1) properly attribute it, (2) do not use it for commercial gain, and (3) do not create derivative works. Link
Disclaimer: Artificial Intelligence (AI) was used in some parts of this book. If AI plagiarized your content, contact the author with evidence to initiate changes.

Revising a question guide for focus groups Merevisi panduan pertanyaan untuk focus group