Temel çıkarımlar
- Konudan değil, karardan başlayın. Yanıtlara göre neyi farklı yapacağınızı yazın. Hiçbir kararı değiştiremeyecek her madde silinmeye adaydır.
- Tek fikir, tek madde, tek zaman dilimi. Bir soru içinde iki soru saklıyorsa, yanıtı hangi yarısının belirlediğini anlayamazsınız.
- İfade sayıları değiştirir. Bölünmüş örneklemli bir deney, aynı devlet programlarına verilen desteği yalnızca programların adını değiştirerek 45 yüzde puan oynattı; yani tarafsız ifade bir nezaket değil, bir ölçüm tercihidir.
- Yanıt seçeneklerini soru kadar özenle tasarlayın. Örtüşen aralıklar, eksik kategoriler ve etiketsiz bir orta nokta, özensiz yazılmış bir soru kökünden daha fazla zarar verir.
- Önce insanlarla ön test, sonra verilerle pilot uygulama yapın. Bir avuç katılımcıyla yapılan sesli okuma, masa başında göremeyeceğiniz yanlış okumaları ortaya çıkarır.
Anket formu tasarımı nedir ve neyi düzeltemez?
Anket formu tasarımı, bir araştırma amacını insanların anlayıp doğru yanıtlayabileceği sorulara dönüştürme sürecidir. İfadeyi, yanıt seçeneklerini, sıralamayı, girişi ve testi kapsar. Aşağıdaki yedi adım, bu tercihlerin eksiksiz bir anket formunda birlikte nasıl işlediğini gösterir.
Aynı deneyime sahip iki kişi bir maddeyi aynı biçimde okuyabiliyor, yanıtı belleğinden çıkarabiliyor ve bu deneyimi anlatmak için aynı seçeneği işaretliyorsa o madde iyi tasarlanmıştır. Aşağıdaki her şey buna yaklaşmanın bir yoludur.
Düzeltemediği iki şey vardır. Yanlış kitleyi düzeltemez: kusursuz soruları yanlış kişilere sorarsanız, kimsenin sormadığı bir soruya kesin yanıtlar alırsınız. Bu bir ifade sorunu değil, bir örnekleme sorunudur. Çok az gönderimi de düzeltemez; bu da bir örneklem büyüklüğü sorunudur.
Birbirinin yerine kullanılan iki sözcüğü ayırmak da faydalıdır. Anket formu araçtır: maddelerin ve yanıt seçeneklerinin listesi. Anket ise onu çevreleyen çalışmanın bütünüdür: kime sorduğunuz, onlara nasıl ulaştığınız ve verilerle ne yaptığınız. Daha geniş sürece ihtiyacınız varsa, bu konu anket araştırması tasarımı rehberimizde ele alınıyor. Bu sayfa yalnızca araca odaklanır.
Anket formu tasarımının 7 adımı
Arama yapanlar yedi adımı diğer tüm sayılardan daha sık arıyor ve karşılarına çıkan listeler çoğunlukla, özgün sayfası artık yayında olmayan 2006 tarihli tek bir ajans blog yazısının kopyaları. Bu yüzden aşağıdaki sıra o liste değildir. Anket metodolojisi literatürünün gerçekten tarif ettiği geliştirme sürecidir16, 17, 20; işin gerçekten biçim değiştirdiği yedi noktadan bölünmüştür ve o kopyaların atladığı iki şeyi de içerir: her adımın ne ürettiği ve genellikle nerede aksadığı.
| Adım | Neye karar verirsiniz | Ne üretirsiniz | Genellikle nerede aksar |
|---|---|---|---|
| 1. Önce kararlar | Sonuçların neye karar vermesi gerektiği | Kısa bir karar listesi ve arkalarındaki karşılaştırmalar | Bir konudan başlamak; böylece madde eklemeyi ne zaman bırakacağınızı hiçbir şey söylemez |
| 2. Maddeler ve biçimler | Her karar için bir madde ve onun yanıt biçimi | Her maddenin yanında biçimi yazan bir taslak madde listesi | Biçimi ihtiyaç duyduğunuz analize göre değil, alışkanlıkla seçmek |
| 3. Yanıtlanabilir ifade | Her soru kökünün nasıl ifade edildiği | Terimleri tanımlanmış ve zaman dilimi belirtilmiş soru kökleri | Kimsenin hatırlayamayacağı bilgileri istemek ya da tek soruda iki soru saklamak |
| 4. Seçenekler ve ölçekler | Her kapalı uçlu madde için yanıt seti | Örtüşmeyen ve kimseyi açıkta bırakmayan seçenekler | Örtüşen aralıklar, kaçış seçeneğinin olmaması, etiketsiz bir orta nokta |
| 5. Tarafsız ifade | Hangi sözcüklerin bir yanıta doğru ittiği | Tarafsız soru kökleri ve dengeli seçenek setleri | Soru kökünde sıfatlar ve tek yanlı yanıt listeleri |
| 6. Sıralama ve giriş | Sıra, gruplama ve açılış metni | Kısa bir girişi olan, sıralanmış bir anket formu | Hassas maddelerin çok erken gelmesi ve kimsenin okumadığı bir giriş |
| 7. Ön test ve pilot uygulama | Gerçek insanlarda işe yarayıp yaramadığı | Revize edilmiş bir anket formu ve süre tahmini | Bu adımı atlamak ya da tek turu yeterli saymak |
3, 4 ve 5. adımlar burada ayrı tutuluyor, çünkü farklı biçimlerde aksıyor ve farklı hamlelerle düzeltiliyorlar. Uygulamada bu adımlar arasında birden fazla kez dönersiniz. Diyagramdaki kesikli çizgi en önemli döngüdür: ön testin bulguları sizi genellikle 3. adıma geri gönderir.
1. adım: Tek bir soru yazmadan önce kararları yazın
Şişirilmiş anket formlarının çoğu bir konudan başlar. İyileri ise bir karardan başlar. Bir madde taslağı hazırlamadan önce, gelen yanıtlara göre farklı yapacağınız şeylerin kısa listesini yazın.
Üç ila beş karar listeleyin
Bunları tema olarak değil, seçenek olarak yazın. “İki günlük formatı tekrarlamak ya da kısa çevrim içi oturumlara geçmek” bir karardır. “Eğitim geri bildirimi” ise bir temadır.
Yapmanız gereken karşılaştırmaları belirleyin
Ekipler, şubeler, vardiyalar, dönemler, ilk kez gelenler ile geri dönenler. Karşılaştırmalar hem ifadeyi hem de yanıt seçeneklerini belirler; bu yüzden bunlara sonra değil, şimdi karar verin.
Çıktıların taslağını tek sayfada hazırlayın
Yapmayı beklediğiniz gerçek tabloları ve grafikleri çizin. Bir maddenin beslediği çıktıyı çizemiyorsanız, o maddenin bir işlevi yoktur.
Metodoloji rehberlerinin ilk sıraya koyduğu adım budur ve nedeni aynıdır: soru eklemeyi ne zaman bırakacağınızı söyleyen tek şey odur.16, 17
Her taslak maddeyi okuyun ve şu cümleyi tamamlayın: “Herkes A yerine B yanıtını verirse, biz ... yapacağız.” Tamamlayamıyorsanız, maddeyi çıkarın ya da tamamlayabilene kadar yeniden yazın.
2. adım: Her kararı tek bir maddeye dönüştürün ve biçimini bilinçli seçin
Soru biçimi bir düzen tercihi değil, bir ölçüm kararıdır. Okuyucunun yanıtlayabileceği ve planladığınız çıktının kullanabileceği biçimi seçin.
| Çıktı şuysa | Şunu kullanın | Örnek soru kökü |
|---|---|---|
| Zaman içinde izleyeceğiniz bir sayı | Tüm noktaları etiketli, kapalı bir derecelendirme maddesi | “Kurulumu yardım almadan tamamlamak ne kadar kolay ya da zordu?” |
| Düzeltilecek şeylerin sıralı bir listesi | Tekli seçmeli soru, ardından bir takip sorusu | “Hangi tek değişiklik size en çok yardımcı olurdu?” ardından “Neden o?” |
| Bir sayım ya da bir oran | Örtüşmeyen kapalı aralıklar | “Son 30 gün içinde destek ekibiyle kaç kez iletişime geçtiniz?” |
| Henüz duymadığınız ifadeler | Hedefli tek bir açık uçlu yanıt kutusu | “Bugün bizimle iletişime geçmenizin asıl nedeni neydi?” |
| Sonraki maddeler için uygunluk | Bir eleme sorusu ve atlama mantığı | “Son 30 gün içinde raporlama sekmesini kullandınız mı?” |
Kapalı uçlu maddelerin analizi daha ucuzdur ve dalgalar arasında karşılaştırılmaları daha kolaydır. Açık uçlu maddeler ise seçenek listenizin unuttuğu şeyleri bulur. Kapalı uçlu maddelerin baskın olmasının pratik nedeni maliyettir: açık uçlu yanıtların bir anlam ifade etmesi için bir kodlama şeması ve birden fazla kodlayıcı gerekir.1 Yerlerini hak edecekleri noktalara yerleştirilmiş bir ya da iki açık uçlu madde kullanın, gerisini kapalı uçlu tutun. Çoktan seçmeli sorular ile açık uçlu ve kapalı uçlu sorular rehberlerimiz her biçimi daha ayrıntılı ele alıyor.
Katılma ölçekleriyle ilgili bir uyarı. Bir şeyi doğrudan sorabiliyorsanız doğrudan sorun. Dört örneklemli bir deneyde, ölçülen yapıya özgü yanıt seçenekleri olan maddeler 0,87 ile 0,93 arasında güvenirlik katsayılarına ulaştı; aynı içerik katılıyorum ya da katılmıyorum ifadeleri olarak sorulduğunda ise yalnızca 0,36 ile 0,73 arasında kaldı.4 Çoğu kişinin alışkanlıkla seçtiği bir biçim için bu büyük bir farktır. Farkın büyük kısmını adı konmuş iki yanıt etkisi açıklar. Onaylama eğilimi, ifade ne derse desin katılma yönündeki çekimdir; bu yüzden biçim, sonradan ayıklayamayacağınız bir eğilim ekler. Yetinme ise okuyucunun doğru bir yanıt yerine geçer not alacak bir yanıt üretmeye yetecek kadar çaba harcamasıdır ve art arda dizilmiş katılıyorum ya da katılmıyorum ifadeleri bunu çok kolaylaştırır. Anket formu uzadıkça ikisi de kötüleşir. Bu biçime gerçekten ihtiyacınız varsa Likert ölçeği rehberimizi izleyin.
3. adım: İnsanların gerçekten yanıtlayabileceği bir soru kökü yazın
Kötü maddelerin çoğu belirsiz değildir. Yanıtlanamazdırlar. Kimsenin hatırlayamayacağı bilgileri ya da katılımcıya hiç verilmemiş bilgileri isterler.
Her davranış sorusuna bir zaman aralığı verin
“Destek ekibiyle ne sıklıkla iletişime geçiyorsunuz?” sorusunun bir dayanak noktası yoktur; bu yüzden aynı davranışa sahip iki kişi farklı yanıt verir. Aralığı belirtin ve davranışın ne sıklıkla gerçekleştiğine uygun seçin.
| İstediğiniz | Yanıtlaması zor | Yanıtlanabilir |
|---|---|---|
| Bir sıklık | “Destek ekibiyle ne sıklıkla iletişime geçiyorsunuz?” | “Son 30 gün içinde destek ekibiyle kaç kez iletişime geçtiniz?” |
| Yakın tarihli bir davranış | “Düzenli olarak egzersiz yapıyor musunuz?” | “Son 7 gün içinde kaç gün en az 30 dakika egzersiz yaptınız?” |
| Tek bir olay | “İlk kullanım süreci sorunsuz muydu?” | “En son yaptığınız kurulumu düşündüğünüzde, yardım almadan bitirmek ne kadar kolay ya da zordu?” |
Okuyucularınızın kullandığı sözcükleri kullanın
- Yaygın sözcüğü seçin. “Yardım”, “destek hizmeti”nden iyidir. “Almak”, “satın alım gerçekleştirmek”ten iyidir. Daha sade sözcükler ayrıca daha kolay çevrilir.
- Kaçınamadığınız her terimi tanımlayın. Madde “olay” ya da “vaka” gibi bir sözcüğe dayanıyorsa, neyin sayıldığını soru kökünün içinde belirtin.
- Bir kısaltmayı bir kez açık yazın. Sonra onu kullanmaya devam edin. Kurum içi kısaltmaların herkesçe bilindiğini varsaymayın.
- Nedenini değil, ne olduğunu sorun. İnsanlar olayları bildirebilir. Kurumunuzun içindeki nedenleri ise genellikle bildiremezler.
Her maddede tek fikir
İki soru saklayan bir madde, okuyamayacağınız bir yanıt üretir. Fiyatı çok beğenip kaliteden nefret eden birinin dürüst bir seçeneği yoktur ve hangisini seçerse seçsin, yanıtı hangi yarının belirlediğini bilemezsiniz.
Fiyattan ve kaliteden ne kadar memnunsunuz?
Bunun yerine iki madde. “Kaliteden ne kadar memnunsunuz?” ve “Fiyattan ne kadar memnunsunuz?”
Buradaki kanıt konusunda dürüst olmak gerekir. Çift soruları bölmek neredeyse evrensel bir kuraldır, ancak bunun arkasındaki doğrudan deneysel literatür az ve yenidir. En net test, çift namlulu bir madde ile onun tek fikirli yeniden yazımının aynı şeyi ölçmediğini ve tek fikirli versiyonun daha geçerli olduğunu buldu.15 Kuralı, 5. adımdaki ifade etkileri gibi kırk yıllık yerleşik bir bulgu olarak değil, sağlam ve iyi gerekçelendirilmiş bir kural olarak görün.
4. adım: Analiz edebileceğiniz yanıt seçenekleri ve ölçekler oluşturun
Pek çok anket formu soru kökünde değil, yanıt listesinde başarısız olur. İki test sorunların çoğunu yakalar. Seçenekler örtüşmemeli ve kimseyi dürüst bir seçenekten yoksun bırakmamalıdır.
Kaç yaşındasınız? 18 ile 30 arası, 30 ile 40 arası, 40 ile 55 arası, 55 ve üzeri
Kaç yaşındasınız? 18 ile 29 arası, 30 ile 39 arası, 40 ile 54 arası, 55 veya üzeri, Belirtmek istemiyorum
Derecelendirme ölçekleri
| Tercih | Ne yapmalı | Neden |
|---|---|---|
| Nokta sayısı | Tutumlar için beş ila yedi | Güvenirlik ve geçerlik yaklaşık yedi noktaya kadar hızla artar, sonra düzleşir; test-tekrar test güvenirliği ise ondan sonra yeniden düşer.5, 1 |
| Etiketler | Mümkünse her noktayı etiketleyin | Tek başına sayılar kayar. İki kişi “10 üzerinden 6”yı farklı okur; “Oldukça kolay”ı ise ikisi de aynı biçimde okur. |
| Yön | Baştan sona aynı tutun | Anket formunun ortasında yönü çevirmek, gerçek görüş değişikliği gibi görünen yanlış tıklamalara yol açar. |
| Orta nokta | Tarafsızlık gerçek bir tutumsa bir orta nokta ekleyin | Orta noktayı kaldırmak gizli bir eğilimi ortaya çıkarmaz. İnsanlar, orta noktanın olacağı yerin yakınında rastgele seçim yapar.1 |
| Uygulanamaz | Orta noktadan ayrı tutun | Aksi halde değerlendirme yapamayan kişiler tarafsız sayılır ve bu, ortalamanızı sessizce kaydırır. |
Orta nokta ve “bilmiyorum”, çoğu tavsiyenin varsaydığı gibi birbirinden bağımsız iki anahtar değildir. Orta noktanın yanında bir “bilmiyorum” seçeneği sunmak, maddeye bağlı olarak orta noktayı seçenlerin payını yaklaşık 7 ila 17 yüzde puan azalttı.6 Başka bir deyişle, tarafsız yığınınızın önemli bir kısmı ortada duran kişiler değil, hiçbir görüşü olmayan kişilerdir. İki seçeneğe birlikte karar verin. Düzen ayrıntıları derecelendirme ölçeği soruları rehberimizde ele alınıyor.
Bir tutum maddesinde, “bilmiyorum” seçeneği sunulduğunda katılımcıların yüzde 15’i bu seçeneği işaretledi. Aynı görüşmedeki ilgili maddelerde bu seçenek olmadan, katılımcıların yalnızca yüzde 3 ve yüzde 4’ü anlamlı bir yanıt vermedi ve bu yanıtlar yine de insanların daha sonra nasıl oy verdiğini öngördü.7 Kolay bir çıkış yolu kullanılır ve topladıklarının bir kısmı aslında gerçek bir görüştür.
5. adım: İfadeyi tarafsız tutun ve yanlılık açısından kontrol edin
Arkasında en çok kanıt bulunan ve ölçülen etkileri en büyük olan adım budur. Bölünmüş örneklemli deneyler, aynı temel görüşe ilişkin sonuçları yalnızca sözcükleri değiştirerek onlarca yüzde puan oynatmıştır.
1985 General Social Survey’de Amerikalıların yüzde 65,2’si “yoksullara yardım” için çok az harcama yapıldığını söyledi. Aynı programlar “sosyal yardım” etiketiyle sorulduğunda ise yalnızca yüzde 19,8’i çok az harcandığını söyledi. Bu, tek bir sözcükten kaynaklanan 45 puanlık bir farktır ve ertesi yıl 62,8’e karşı 23,1 ile tekrarlandı.2, 3
Çerçeveleme de aynı şeyi yapar. Irak’taki askeri harekâta destek yüzde 68 düzeyindeydi; aynı soruya “ABD güçlerinin binlerce kayıp verebilecek olması anlamına gelse bile” ifadesi eklendiğinde destek yüzde 43’e düştü.8
Bunlar bölünmüş örneklemli deneylerdir: aynı anketin rastgele iki yarısı, her birine bir ifade. “İfade önemlidir” iddiasını bir görüş olmaktan çıkarıp bir ölçüme dönüştüren bu tasarımdır.
Neleri çıkarmalı
| Kalıp | Yönlendirilmiş | Tarafsız |
|---|---|---|
| Soru kökünde sıfat | “Mükemmel destek ekibimiz ne kadar yardımcı oldu?” | “Destek ekibimiz ne kadar yardımcı oldu ya da olmadı?” |
| Yalnızca tek bir yön sunulmuş | “Kaydolmak ne kadar sinir bozucuydu?” | “Kaydolmak ne kadar kolay ya da zordu?” |
| Tek yanlı yanıt listesi | Yalnızca olumlu seçeneklerle “Ne kadar memnunsunuz?” | Eşit sayıda olumsuz ve olumlu seçenek |
| Varsayılan davranış | “Raporlama sekmesini nasıl kullanıyorsunuz?” | “Son 30 gün içinde raporlama sekmesini kullandınız mı?” |
Yanlılık yalnızca ifadeden değil, katılımcıdan da gelir. Zararın çoğunu üç alışkanlık yaratır. Sosyal beğenirlik, daha iyi görünen biçimde yanıt vermektir. Onaylama eğilimi, ifade ne derse desin katılmaktır. Yetinme ise doğru bir yanıt yerine, geçer not alacak bir yanıt üretmeye yetecek kadar çaba harcamaktır. Yanıt yanlılığı rehberimiz üçünü de ele alıyor.
6. adım: Maddeleri sıralayın, ardından kısa bir giriş yazın
Sıralama kozmetik bir konu değildir. Önceki bir soru sonraki bir sorunun yanıtını değiştirebilir ve bu etki ölçülebilir. Eşcinsel çiftler için yasal birliktelik anlaşmalarına destek, madde evlilikle ilgili bir sorunun ardından geldiğinde yüzde 45, tek başına sorulduğunda ise yüzde 37 oldu.9 Maddede, kendisinden önce gelen dışında hiçbir şey değişmemişti.
İşe yarayan bir sıra
Eleme sorusu
Başka bir şey sormadan önce kişinin uygun olduğunu doğrulayın. Diğer herkesi doğrudan dışarı yönlendirin.
Isınma
Anket formunun tanıdıkları bir konuyla ilgili olduğunu gösteren, kolay ve olgusal maddeler.
Ana bloklar
Konuya göre gruplayın. Kimse yeniden öğrenmek zorunda kalmasın diye bir blok içinde ölçeği aynı tutun.
Tanılayıcı sorular
Yukarıdaki derecelendirmeleri açıklayan nedenler ve engeller.
Hassas maddeler ve segmentler
En sona, ve yalnızca gerçekten kullanacaklarınızı. İfade kalıpları için demografik sorular rehberine bakın.
Kapanış
Açık uçlu bir “başka bir şey var mı” kutusu, ardından bir teşekkür ve bundan sonra ne olacağı.
Kopyalayabileceğiniz bir giriş
Beş satırla sınırlayın. İnsanlar okumaya değil, yanıtlamaya geldi.
Amaç: [süreç veya hizmet] konusunda iyileştirme yapmak için geri bildirim topluyoruz.
Süre: Yaklaşık [X] dakika.
Gizlilik: Yanıtlarınız [anonim veya gizli] tutulur ve sonuçları [kim] görür.
Gönüllülük: Herhangi bir soruyu atlayabilirsiniz.
İletişim: Sorularınız mı var? [ad ve e-posta].
Süre tahminine dikkat edin, çünkü kimin katılacağını değiştirir. Aynı anket formu 10, 20 ya da 30 dakika uzunluğunda diye duyurulduğunda, başlayanların payı yüzde 75’ten 64,9’a ve 62,4’e düştü; başlayanlar içinde bitirenlerin payı da yüzde 68,2’den 56,8’e ve 46,8’e geriledi.10 Bir süre belirtmek doğru olandır. Yalnızca bu sayının ön testinizden çıktığından emin olun.
Ham yanıtları kimin göreceğini ve bunları ne kadar süre sakladığınızı açıkça söyleyin ve bunun gerçek gizlilik taahhütlerinizle örtüştüğünden emin olun. Onay ve amaç konusundaki açıklık, sonradan eklenen bir evrak işi değil, anket formu geliştirmenin bir parçasıdır.17
7. adım: İnsanlarla ön test, verilerle pilot uygulama yapın, sonra yayına alın
Anket formları asıl burada iyileşir. Ön test, insanların maddeden ne anladığını söyler. Pilot uygulama ise yanıtladıklarında verinin nasıl göründüğünü söyler. Bunlar farklı işlerdir ve ikisine de ihtiyacınız vardır.16, 19 Pilot uygulamayı ücretsiz anket oluşturucumuzda hazırlayın ve tüm örnekleminizle paylaşmadan önce soru sırasını, yanıt seçeneklerini ve dallanmayı bir telefonda test edin.
Sesli okutun
Birinden her maddeyi sesli okumasını isteyin. Takıldığı, yeniden okuduğu ya da başka sözcüklerle söylediği her şey yeniden yazılmaya adaydır.
Anlamı sorgulayın
“Bu soru sizin için ne anlama geliyor?” ve “O yanıta nasıl vardınız?” diye sorun. Görüşü değil, anlamayı test ediyorsunuz.
Süre tutun
Gerçekte ne kadar sürdüğünü kaydedin. Bu sayı girişinize yazılır ve genellikle tahmin ettiğinizden uzundur.
Yeniden yazın ve tekrarlayın
Yeni bir araçta tek tur nadiren yeterlidir. Düzeltin, ardından düzeltmeleri yeni birinde test edin.
Kaç ön test görüşmesi
Düşündüğünüzden fazla. Bilişsel görüşmeyle ön testin modellendiği bir çalışma, görüşme sayısı arttıkça gerçek soru sorunlarının ortaya çıkmaya devam ettiğini ve güvenle durabileceğiniz net bir düzlüğün olmadığını buldu.14 Herhangi bir sabit sayıyı kapsam olarak değil, bütçe olarak görün ve bu bütçeyi gerçek katılımcılarınıza benzeyen kişilere harcayın.
Pilot uygulama ne işe yarar
- Seçeneklerin kapsamı. “Diğer” ya da “Belirtmek istemiyorum” çok seçiliyorsa, listenizde bir şey eksiktir.
- Ölçeğin kullanımı. Bir uçta yığılan yanıtlar genellikle ifadenin onları oraya ittiği anlamına gelir.
- Düz çizgi yanıtlama. Bütün bir blok boyunca aynı yanıtlar. Panel verilerinde, bunun akla yatkın bir örüntü olduğu bloklarda yüzde 15 ile 40 arasında, olmadığı bloklarda ise yüzde 2’nin altında görülür.13
- Mantık. İnsanların yalnızca kendileri için geçerli takip sorularını gördüğünü doğrulayın.
- Bırakma noktası. İnsanların ayrıldığı maddeyi not edin. Sorun genellikle uzunluk değil, o maddedir.
Bunlar iki farklı soruyu yanıtlayan iki farklı sayıdır ve birini diğeri yerine kullanmak yaygın ve pahalı bir hatadır. Otuz kişi, bozuk bir seçenek listesini, kimsenin aynı biçimde okumadığı bir soru kökünü ya da hiç devreye girmeyen bir mantık dalını ortaya çıkarmaya yeter. Pilot uygulama yalnızca bunun içindir. Bir yüzdeyi tahmin etmeye ya da iki grubu herhangi bir güvenle birbirinden ayırmaya ise hiç yetmez. Aracı pilot uygulamayla düzeltin, ardından asıl çalışmanın büyüklüğünü örneklem büyüklüğü rehberimizle ayrıca belirleyin.
Yayına aldığınızda düşük bir yanıt oranı bekleyin: olasılıksız çevrim içi panellerde yüzde 10 ya da daha düşük oranlar artık yaygındır.21
Uygulamalı bir örnek: yedi adımın tamamıyla oluşturulmuş tek bir anket formu
Bu konudaki her rehber tek tek soruların düzeltilmesini gösterir. Neredeyse hiçbiri bir anket formunun baştan sona oluşturulmasını göstermez. İşte tam bir örnek: en üstteki karardan en alttaki araca kadar, yukarıdaki adımlar sırasıyla uygulanarak.
Yaklaşık 40 kişilik bir operasyon ekibi mayıs ayında iki günlük bir iş güvenliği eğitimine katıldı. Yönetim bir sonraki turun formatını seçmek zorunda ve kimsenin elinde veri yok. Elinizdeki bilgi bu kadar. Şimdi adımları uygulayın.
| Adım | Burada ne üretti |
|---|---|
| 1. Önce kararlar | Üç karar: iki günlük formatı korumak ya da kısa çevrim içi oturumlara geçmek; önce hangi modülün yeniden yazılacağı; materyalin işte kullanılıp kullanılmadığı. Aşağıdaki her şey bunlardan birine dayanır. |
| 2. Maddeler ve biçimler | Dokuz madde. İki kapalı uçlu sayım, iki etiketli derecelendirme, üç tekli seçmeli liste, bir hedefli açık uçlu kutu, bir kapanış için açık uçlu kutu. En üstte bir eleme sorusu. |
| 3. Yanıtlanabilir ifade | Her davranış maddesine adı konmuş bir zaman aralığı verildi (“eğitimden bu yana geçen 30 gün içinde”). “Kontrol listesi” varsayılmak yerine soru kökünde tanımlandı. |
| 4. Seçenekler ve ölçekler | Sayımlar örtüşmeyen aralıklar kullanır. İki derecelendirme de aynı yönde aynı beş noktayı kullanır. “Henüz kullanmadım” orta noktadan ayrıdır. |
| 5. Yönlendirmeyi kaldırın | “Mükemmel yeni kontrol listesi ne kadar faydalıydı” ifadesi “Ne kadar faydalıydı ya da değildi” oldu. Format maddesi iki seçeneği de, artı “ikisi de olur” ve “hiçbiri olmaz” seçeneklerini sunar; böylece tercih edilen bir yanıta doğru itmez. |
| 6. Sıralama ve giriş | Eleme sorusu, ardından davranış, ardından derecelendirmeler, ardından format kararı, ardından engel, ardından vardiya, ardından açık uçlu kapanış sorusu. Vardiya sona yakın, çünkü insanların yanıtlamak istemeyebileceği tek madde o. |
| 7. Ön test ve pilot uygulama | Dört kişiyle sesli okuma. İki kişi “kontrol listesi”ni farklı bir belge olarak okudu; bu yüzden S2’ye “2. Modüldeki tek sayfalık kontrol listesi” sözcükleri eklendi. 7. adımın gerekçesinin tamamı bu tek düzeltmedir. |
Tamamlanmış anket formu
Dokuz madde ve bir eleme sorusu. Kopyalayın, ardından adları değiştirin. Süre tahminini kopyalamayın: onu kendi sesli okumanızdan elde edin.
Eğitim sonrası anket formu: 10 madde
- S0. 12 ve 13 Mayıs tarihlerindeki iş güvenliği eğitimine katıldınız mı? Tekli seçmeli, eleme sorusuBir ısınma sorusu değil, bir eleme sorusu. “Hayır” yanıtını veren herkes doğrudan sona yönlendirilmelidir. Bu olmadan, katılmayan biriyle memnun olmayan bir katılımcıyı ayırt edemezsiniz.
- S1. Eğitimden bu yana geçen 30 gün içinde, 2. Modüldeki tek sayfalık kontrol listesini gerçek bir işte kaç kez kullandınız? Tekli seçmeli, sayımlarAdı konmuş bir zaman aralığı ve adı konmuş bir belge. Aralıklar örtüşmez; bu yüzden listeyi üç kez kullanan birinin gidebileceği tam olarak tek bir yer vardır. Bu madde üçüncü kararı tek başına yanıtlar.
- S2. Kontrol listesini gerçek bir işte kullanmak ne kadar kolay ya da zordu? Beş noktalı derecelendirme, tüm noktalar etiketli1Çok zor2345Çok kolayİki yön de soru kökünde yer alıyor; böylece hiçbir şey telkin edilmiyor. “Henüz kullanmadım” ölçeğin içinde değil dışında duruyor; böylece değerlendirme yapamayan kişiler tarafsız sayılmıyor.
- S3. Eğitimin hangi bölümünü takip etmek en zordu? Tekli seçmeli, çıkış seçenekliBu madde ikinci kararı yanıtlar. “Takip etmesi zor olan bir şey yoktu” seçeneği modüller kadar önemlidir: o olmadan herkes, var olmayabilecek bir sorunu adlandırmaya zorlanır.
- S4. O bölümü takip etmeyi zorlaştıran neydi? Açık uçlu, yalnızca S3’te bir modül seçildiyse gösterilirKısa yanıtYerini hak eden tek açık uçlu madde. Belirli bir yanıta yöneliktir, çoğu kişi için atlanır ve modülü nasıl yeniden yazacağınızı size söyleyecek tek şeydir.
- S5. Aynı eğitim yeniden düzenlenseydi, hangi format tamamına katılmanızı sağlardı? Tekli seçmeli, dengeliKarar maddesi. Bir tahmine davetiye çıkaran tercihi değil, insanların yanıtlayabileceği katılımı sorar. “İkisi de” ve “hiçbiri” gerçek yanıtlardır ve ikisi de eyleme dönüştürülebilir.
- S6. Katılmanızı ne zorlaştırır? Geçerli olanların tümünü seçin. Çoktan seçmeli, çıkış seçenekliTümünü seçme biçimi çaba gerektirir, bu yüzden idareli kullanın. Burada haklı bir gerekçesi var, çünkü engeller üst üste biner: biri aynı anda iki engelle karşılaşabilir ve tek yanıta zorlamak bunu gizler.
- S7. Bu eğitimi ekibinizden birine önerme olasılığınız ne kadar yüksek ya da düşük? Beş noktalı derecelendirme, S2 ile aynı ölçek1Hiç olası değil2345Çok olasıS2 ile aynı beş nokta, aynı yön. Tek bir ölçeği yeniden kullanmak, kimsenin onu yeniden öğrenmek zorunda kalmaması ve iki maddenin aynı grafikte yan yana durabilmesi demektir.
- S8. Genellikle hangi vardiyada çalışıyorsunuz? Tekli seçmeli, sona yakınSona yakın, çünkü insanların yanıtlamak istemeyebileceği tek madde bu. Burada olmasının tek nedeni analiz planının vardiyaları karşılaştırmasıdır. Karşılaştırmasaydı, madde çıkarılırdı.
- S9. Formatı seçmeden önce bilmemiz gereken başka bir şey var mı? Açık uçlu, isteğe bağlıİsteğe bağlıKapanış kutusu. Seçenek listelerinin kaçırdıklarını yakalar ve sormanız gereken bir soru hakkında alabileceğiniz en ucuz erken uyarıdır.
Yukarıdaki yanıt seçenekleri tıklanabilir değil, yalnızca gösterilmektedir. Bunlar çalışan bir form değil, aracın bir görüntüsüdür. Burada hiçbir şey toplanmaz. Yazdırma notları çıkarır ve size yalnızca on maddeyi verir; böylece tarayıcınızın “PDF olarak kaydet” seçeneği bunu dağıtabileceğiniz bir belgeye dönüştürür.
Bu araç yukarıdaki örnek için yazıldı. Boş bir sayfadan başlamak istemiyorsanız, mevcut bir şablonla başlayabilir ve maddeleri kendi kararlarınıza uyacak şekilde değiştirebilirsiniz.
Daha önce yazdığınız bir maddeyi kontrol edin
Üzerinde çalıştığınız bir soruyu yapıştırın. Bu araç yukarıdaki adımların tarif ettiği kontrollerin aynısını çalıştırır ve hangilerine takıldığını söyler. Bu bir hüküm değil, bir kontrol listesidir: sözcüklerdeki kalıpları okur, niyetinizi okuyamaz ve işaretlenen bir madde bazen doğru maddedir.
Sunum slaydı için değil, analiz dosyası için tasarlayın
Bu kısıt her adımda geçerlidir; bu yüzden yedi adımdan biri değildir. Bir anket formu aynı zamanda bir veri tanımıdır. Yanıtlar temiz biçimde sayılamıyorsa, haftalarca sürecek bir temizlik işiyle ve savunamayacağınız bir sayıyla baş başa kalırsınız.
- Her sütuna tek bir ölçülen yapı. Hızı da doğruluğu da önemsiyorsanız, bunları iki maddeyle ölçün. Birleştirilmiş yapılar sonradan ayrıştırılamaz.
- Zaman aralıklarını standartlaştırın. Bir maddede “geçen hafta”, sonrakinde “geçen yıl” kullanmak, ikisini aynı grafiğe koymayı imkânsız kılar.
- Gruplayacağınız her şeyi önceden kodlayın. Serbest metin olarak yazılan departman adları, altı departmanın kırk farklı yazımı olarak gelir. Bir liste verin.
- Yayına almadan önce eksik verinin ne anlama geldiğine karar verin. Atlanmış, “belirtmek istemiyorum” ve “uygulanamaz” üç farklı şeydir ve üç farklı koda ihtiyaç duyar.
Karşılaştırmaları ve kesinliği aynı anda planlayın. Kusursuz bir araç bile iki grubu ayırt edemeyecek kadar az yanıt toplamış bir çalışmayı kurtaramaz; bu bir örneklem büyüklüğü sorusudur. Bir farkın hangi noktada gerçek sayılacağı ise bir istatistiksel anlamlılık sorusudur.
Onu hazırladığınız dizüstü bilgisayar için değil, mobil için tasarlayın
Tüm adımları kapsayan ikinci kısıt. Mobil bağlantıdaki bir telefonu ve yarı yolda bir kesintiyi varsayın.
Aynı araç için telefonlar masaüstü bilgisayarlardan daha yavaştır. Aynı kişilerin iki cihazda da yanıt verdiği çapraz bir deneyde, ortanca tamamlama süresi akıllı telefonda 17,7 dakika, bilgisayarda ise 10,5 dakikaydı.11 Bu, aynı içerik için yüzde 69 daha uzun demektir; yani dizüstü bilgisayarda süresi ölçülen bir anket formu yanlış cihazda ölçülmektedir.
Telefondan verilen yanıtların daha kötü olduğu yönündeki refleks varsayım yalnızca kısmen doğrudur ve bu konuda doğru olmak önemlidir. Doğrudan bir karşılaştırma, mobil katılımcıların açık uçlu sorulara daha kısa yanıtlar yazdığını ve daha fazla madde atladığını, ancak tablo sorularında daha çok düz çizgi yanıt verenlerin bilgisayar kullanan katılımcılar olduğunu buldu.12 Telefondaki sorun özensizlik değil, çaba ve kesintidir.
- Tabloları bölün. Küçük bir ekranda geniş bir matris, mümkün olan en kötü kalıptır ve düz çizgi yanıtlamanın yuvasıdır.
- Seçenekleri satır atlamayacak kadar kısa tutun. İki satıra taşan seçenekler bir bakışta karşılaştırılamaz hale gelir.
- Takip sorularını yalnızca geçerli olduklarında gösterin. Atlama mantığı, algılanan uzunluğu madde çıkarmaktan daha fazla azaltır.
- Dokunma alanlarını geniş tutun. Sıkışık bir yığın değil, aralarında gerçek boşluk bulunan seçim düğmeleri.
- İlerleme çubuğunu yalnızca dürüstse kullanın. Atlama mantığı yüzünden geriye sıçrayan bir çubuk, hiç çubuk olmamasından daha kötüdür.
Anket formu nitel mi, nicel mi?
İçine ne koyduğunuza bağlı olarak ikisi de. Araç yöntem değildir. Sabit seçenekli kapalı uçlu maddelerden oluşan bir anket formu nicel veri üretir. Açık uçlu sorulardan oluşan bir anket formu ise nitel veri üretir. Gerçek araçların çoğu ikisinden de biraz içerir ve hata, birini seçmemek değil, karar vermemektir.
| Tasarım tercihi | Nicel amaç | Nitel amaç |
|---|---|---|
| Ne arıyorsunuz | Ne kadar, kaç tane, gruplar arasında nasıl farklılaştığı | Neden, kimin sözcükleriyle ve sormayı düşünmediğiniz şeyler |
| Maddeler | Çoğunlukla kapalı uçlu, biçimleri önceden belirlenmiş | Çoğunlukla takip sorulu açık uçlu sorular |
| İfade kuralı | Herkes için aynı, istisnasız | Tutarlı, ancak bir soru ayrıntılandırmaya davet edebilir |
| Kaç kişi | Yapmayı planladığınız karşılaştırmalar için yeterli sayıda | Yeni yanıtlar yeni tema eklememeye başlayana kadar |
| Ne çıkar | Sayımlar, yüzdeler, gruplar arası farklar | Kodlanmış temalar, alıntılar, sonra test edilecek hipotezler |
| Ana risk | Kötü ifade edilmiş bir soruya kesin yanıtlar | Tutarlı biçimde kodlamanın hiçbir yolunu bulamadığınız zengin yanıtlar |
Bir araştırma projesi için genellikle doğru olan karma yapıdır: ölçümü taşıyan küçük bir kapalı uçlu madde seti ve sayıları açıklayan bir ya da iki açık uçlu soru. En çok değişen adım 2. adımdır, çünkü açık uçlu yanıtların bir kodlama şemasına, kodlama şemalarının da kimse onlara güvenmeden önce birden fazla kodlayıcıya ihtiyacı vardır.1 Maddeleri değil de çalışmanın yapısını seçiyorsanız, bu karar bir üst düzeye, anket araştırması tasarımına aittir.
Hangi kurallar kanıtlanmış, hangileri yalnızca tekrarlanıyor
Anket formu tavsiyeleri, her kural eşit derecede yerleşik görünene kadar sayfadan sayfaya kopyalanır. Oysa öyle değildir. Bu kuralların bazıları onlarca yıllık bölünmüş örneklemli deneylere dayanır. Bazıları tek bir yeni çalışmaya dayanır ve yaygın biçimde dolaşan sayıların birkaçı hiçbir şeye dayanmaz. Bu sayfadaki her iddianın gerçekte nerede durduğu aşağıdadır.
| İddia | Sayı | Derece | Kaynak |
|---|---|---|---|
| İfade sonucu değiştirir | Aynı programlar “yoksullara yardım” ya da “sosyal yardım” olarak adlandırıldığında, “çok az” harcandığını söyleyenler %65,2’ye karşı %19,8 | A | Rasinski 1989; Smith 19872, 3 |
| Çerçeveleme sonucu değiştirir | Kayıp ifadesi olan ve olmayan sürümlerde %68’e karşı %43 destek | A | Pew Research Center8 |
| Sıralama sonucu değiştirir | Aynı madde, farklı konum: %45’e karşı %37 destek | A | Pew Research Center 20039 |
| Maddeye özgü seçenekler katılıyorum/katılmıyorum biçiminden üstündür | Güvenirlik 0,87 ile 0,93’e karşı 0,36 ile 0,73 | A | Saris ve arkadaşları 20104 |
| Belirtilen süre katılımı değiştirir | Belirtilen süre 10, 20 ve 30 dakika olduğunda, başlayanlar içinde tamamlama %68,2’den %56,8’e ve %46,8’e düştü | A | Galesic ve Bosnjak 200910 |
| Sunulan bir “bilmiyorum” seçeneği kullanılır | %15 bunu seçti; bu seçenek olmadan benzer maddeleri yalnızca %3 ve %4 atladı | A | Gilljam ve Granberg 19937 |
| Telefonda daha uzun sürer | Ortanca 17,7’ye karşı 10,5 dakika; aynı kişiler, iki cihaz | A | Antoun ve arkadaşları 201711 |
| Beş ila yedi ölçek noktası | Göstergeler yaklaşık 7 noktaya kadar yükselir, sonra düzleşir; güvenirlik 10’dan sonra yeniden düşer | B | Preston ve Colman 20005, 1 |
| Bir “bilmiyorum” seçeneği insanları orta noktadan uzaklaştırır | Orta noktanın seçilme oranı yaklaşık 7 ila 17 puan düştü | B | Wetzelhutter 20206 |
| Düz çizgi yanıtlama, akla yatkın olduğu yerlerde yaygındır | Akla yatkın bloklarda %15 ile %40 arası, diğerlerinde %2’nin altı | B | Schonlau ve Toepoel 201513 |
| Telefondan verilen yanıtlar basitçe daha kötü değildir | Mobilde daha kısa açık uçlu yanıtlar, ancak bilgisayarda daha fazla düz çizgi yanıtlama | B | Mavletova 201312 |
| Çift namlulu maddeleri bölün | Net bir yüzde yok; iki versiyon aynı şeyi ölçemedi | B | Menold 202015 |
| Ön testin güvenli bir durma noktası yoktur | Görüşme sayısı arttıkça sorunlar ortaya çıkmaya devam etti | B | Blair ve Conrad 201114 |
Derecelerin anlamı: A tekrarlanmış deney ya da literatürün bütününü kapsayan bir sentez. B tek bir güçlü çalışma. C yaygın biçimde tekrarlanan ancak tartışmalı ya da kaynağı izlenemeyen; bu yüzden bu sayfada hiçbir iddia C derecesi taşımıyor.
Bilerek kullanmadığımız sayılar
Bunların her biri anket formu tavsiyelerinde yaygındır. Her birinin kaynağının peşine düştük ve hepsini dışarıda bıraktık.
“Dikkat süresi artık 8 saniye, bir japon balığınınkinden kısa”
Kaynağı, gazeteciler sorduğunda kendi kaynaklarını gösteremeyen bir içerik çiftliği sitesine atıf yapan 2015 tarihli bir pazarlama raporuna dayanıyor.24 Japon balığı karşılaştırması da uydurmadır.
“Beş ila yedi ön test görüşmesi sorunların yüzde 75 ila 85’ini yakalar”
Bu, yazılım hatalarıyla ilgili bir kullanılabilirlik testi sonucudur22 ve bilişsel görüşmeye aktarılmıştır. Asıl anket çalışması böyle bir düzlük bulmadı.14
“Ortalama anket yanıt oranı [bir sayı seçin]”
Birbiriyle bağdaşmayan en az dört rakam dolaşıyor ve her biri kime sorulduğuna dair farklı, örtük bir tanıma sahip. Bunun yerine örneklem türüne göre temellendirilmiş aralıklar mevcuttur.21
“10 dakikanın altında tutun, yoksa insanları kaybedersiniz”
Yön doğru, ancak ani bir kopuş yok. Ölçülen eğri, belirtilen 10 ile 30 dakika arasında herhangi bir eşik olmadan istikrarlı bir eğimdir.10
“Yedi artı eksi iki, öyleyse 7 noktalı bir ölçek kullanın”
Miller’ın 1956 tarihli makalesi, bir kişinin bir ölçekte kaç noktayı ayırt edebileceğiyle değil, listeler için kısa süreli bellekle ilgilidir.23 Ölçek noktalarıyla ilgili gerçek kanıtlar sizi yine de beş ila yediye götürür.5
“Çift namlulu sorular verilerinizi mahveder”
Sağlam kural, zayıf kanıt. İfade ve sıralama etkileri için onlarcasına karşılık, bu kuralın yalnızca bir adet özel randomize testini bulabildik.15 Abartmak yerine bunu 3. adımda açıkça söylüyoruz.
Anket formlarını sessizce bozan özel durumlar
Hassas maddeler
Gelir, sağlık, performans sorunları ve bir yöneticinin okuyabileceği her şey. Güven düşük olduğunda bunlar hem yarıda bırakmayı hem de yanlış bildirimi artırır. Bunları sona koyun, neden sorduğunuzu tek satırda söyleyin ve gerçek bir reddetme yolu sunun. “Belirtmek istemiyorum” bir veridir. Boş bırakılan bir yanıt ise değildir.
“Uygulanamaz”, “tarafsız” değildir
Değerlendirme yapamayan kişilerin ölçeğinizin ortasına düşmesine izin vermeyin. Onlara ölçeğin dışında ayrı bir seçenek verin ya da atlama mantığıyla onları maddenin ötesine yönlendirin. Aksi halde ortalamanız görüşle hiçbir ilgisi olmayan bir nedenle kayar.
Uzun bir listedeki sıralama etkileri
Ekranda, uzun bir listenin başına yakın seçenekler daha sık seçilir. Markaların, nedenlerin ve konuların sırasını rastgele yapın; sırayı yalnızca bir anlam taşıdığı yerlerde, örneğin bir sıklık basamağında ya da bir dizi tarihte sabit tutun.
Olumsuzlamalar
“İlk kullanım sürecinin zor olmadığına katılıyor musunuz?” sorusu, okuyucuyu yanıt vermeden önce iki olumsuzluğu çözmeye zorlar. Olumlu versiyonu yazın ve yönü ölçeğin taşımasına izin verin.
Çeviri
Deyimlerden, spor metaforlarından ve yerel kısaltmalardan kaçının; çünkü bunlar çeviride ayakta kalmaz ve sizin dilinizi ikinci dil olarak kullanan okuyucuları dışarıda bırakır. Çeviri yapıyorsanız geri çeviri kullanın ve bunu yalnızca dili değil, konuyu da bilen birine kontrol ettirin.
Tekrarlanan dalgalar
Bu turu bir sonrakiyle karşılaştırmayı planlıyorsanız, ifadeyi şimdi dondurun. Dalgalar arasında bir maddeyi iyileştirmek, ölçtüğünüz değişikliğin kendi düzenlemeniz olabileceği anlamına gelir. Eski ifadeyi koruyun, bir dalga boyunca daha iyisini yanına ekleyin, ardından geçiş yapın.
Herhangi bir şey göndermeden önce gözden geçirme listesi
Anket formu gözden geçirme listesi
- Kararlar. Her madde 1. adımda yazdığınız bir karara dayanıyor.
- Biçimler. Her maddenin biçimi alışkanlıkla değil, beslediği çıktıya göre seçildi.
- Zaman aralıkları. Her davranış maddesi bir zaman dilimi belirtiyor ve bu dilim davranışa uygun.
- Terimler. Teknik terimler soru kökünde tanımlanmış. Kısaltmalar bir kez açık yazılmış.
- Tek fikir. Hiçbir madde iki özellik, iki nesne ya da iki zaman dilimi saklamıyor.
- Seçenekler. Aralıklar örtüşmüyor, liste gerçekçi yanıtları kapsıyor ve bir çıkış seçeneği var.
- Ölçekler. Aynı noktalar, aynı yön, etiketli; “uygulanamaz” ölçeğin dışında tutulmuş.
- Tarafsız ifade. Soru kökünde sıfat yok ve iki yön de sunulmuş.
- Sıralama. Önce eleme sorusu, hassas maddeler sonda, her blokta tek ölçek.
- Giriş. Amaç, dürüst süre, gizlilik, gönüllülük, iletişim. Beş satır.
- Telefon. Gerçek bir telefonda açıldı, geniş tablo yok, satır atlayan seçenek yok.
- Sesli okuma. Proje dışından biri her maddeyi okudu ve her birini amaçlandığı gibi anladı.
- Süre. Girişinizdeki sayı bir tahminden değil, o sesli okumadan geldi.
- Kodlar. Atlanan, reddedilen ve uygulanamaz yanıtların üç ayrı kodu var.
Sıkça sorulan sorular
Anket formu tasarlamanın ilk adımı nedir?
Sonuçların desteklemesi gereken kararları yazmak. Konuyu değil, kararları. Yanıtlara göre neyi farklı yapacağınızı söyleyemediğiniz sürece, gerekli bir maddeyi isteğe bağlı olandan ayırmanın hiçbir yolu yoktur ve taslak, biri ondan sıkılana kadar büyür.
Anket formu ile anket arasındaki fark nedir?
Anket formu araçtır: maddelerin ve yanıt seçeneklerinin listesi. Anket ise onu çevreleyen çalışmanın bütünüdür: kime sorduğunuz, onlara nasıl ulaştığınız, kaç kişiye ihtiyacınız olduğu ve sonuçlarla ne yaptığınız. Tek bir anketi birkaç anket formuyla, aynı anket formunu da birkaç ankette kullanabilirsiniz.
Bir anket formunda kaç soru olmalı?
Kararlarınızın gerektirdiği kadar az. Bir hedef sayının peşinden koşmak yanlış bir hamledir; bunun yerine bir tamamlama süresini hedefleyin ve bu süreyi bir kural yerine kendi sesli okumanızdan elde edin. Belirtilen uzunluk kimin katılacağını etkiler: kontrollü bir deneyde, başlayan kişiler arasında tamamlama oranı belirtilen süre 10 dakikayken yüzde 68,2’den, 30 dakikayken yüzde 46,8’e düştü.
Bir anket formunu tamamlamak ne kadar sürmeli?
Belirtilen süre insanları caydırmayacak kadar kısa ve gerçeğe uyacak kadar dürüst olmalı. Belirli bir dakikada ani bir kopuş yoktur. Ölçülen ilişki, belirtilen uzunluk arttıkça katılımda istikrarlı bir düşüştür; bu yüzden tuttuğunuz her madde size biraz yanıt kaybettirir ve her birinin karşılığında ne kazandığınızı söyleyebilmelisiniz.
Anket formu nitel mi, nicel mi?
İkisi de olabilir ve çoğu ikisinden de biraz içerir. Sabit seçenekli kapalı uçlu maddeler nicel veri üretir. Açık uçlu sorular nitel veri üretir. Önemli olan, bir maddenin hangisi için olduğuna onu yazmadan önce karar vermektir; çünkü ikisi farklı ifade kurallarına, farklı sayıda katılımcıya ve tamamen farklı analizlere ihtiyaç duyar.
Bir derecelendirme ölçeğine tarafsız bir orta nokta eklemeli miyim?
“Tarafsız”, ölçtüğünüz şey üzerinde gerçek bir tutumsa ekleyin. Onu kaldırmak gizli bir görüşü ortaya çıkarmaz; insanlar ortaya en yakın noktalar arasında aşağı yukarı rastgele seçim yapar. Ayrıca orta noktaya ve bir “bilmiyorum” seçeneğine birlikte karar verin, çünkü bir “bilmiyorum” seçeneği sunmak orta noktanın kullanımını yaklaşık 7 ila 17 yüzde puan azaltır.
Ne zaman bir “Bilmiyorum” seçeneği sunmalıyım?
Katılımcının bilgiye gerçekten sahip olmayabileceği durumlarda; örneğin bir plan adı, bir tarih ya da teknik bir ayrıntı. Neredeyse herkesin yanıtlayabileceği, kendi deneyimleriyle ilgili sorularda bundan kaçının. Kolay bir çıkış yolu kullanılır: bir tutum maddesinde, sunulduğunda katılımcıların yüzde 15’i “bilmiyorum”u seçti; bu seçeneği sunmayan benzer maddeleri ise yalnızca yüzde 3 ila 4’ü atladı.
Kaç açık uçlu soru kullanmalıyım?
Yerlerini hak edecekleri noktalara yerleştirilmiş bir ya da iki tane; genellikle belirli bir kapalı uçlu yanıtın takip sorusu olarak ve kapanışta her şeyi toplayan bir soru olarak. Açık uçlu yanıtlar, seçenek listenizin unuttuğu şeyleri duymanın tek yoludur; ancak sonuçların bir anlam ifade etmesi için bir kodlama şemasına ve birden fazla kodlayıcıya ihtiyaç duyarlar ve bu maliyet gerçektir.
Bir anket formu göndermeden önce nasıl test edilir?
İki aşamada. Ön test anlamayı kontrol eder: insanlardan her maddeyi sesli okumalarını ve maddenin onlara ne ifade ettiğini ve yanıtlarını nasıl seçtiklerini anlatmalarını isteyin. Pilot uygulama ise veriyi kontrol eden küçük bir canlı uygulamadır: bırakma noktaları, seçeneklerin kapsamı, ölçeğin nasıl kullanıldığı ve planladığınız analizin gerçekten işe yarayıp yaramadığı. Önce ön testi yapın, çünkü ifadeyi değiştiren odur.
Hangi araştırma tasarımı anket formu kullanır?
Anket formu bir tasarım değil, bir veri toplama aracıdır; bu yüzden birkaç farklı tasarımda karşımıza çıkar. Kesitsel çalışmalar onu tek bir zaman noktasında kullanır. Eğilim ve panel çalışmaları onu zaman içinde tekrarlar. Deneyler, bir müdahalenin ardından sonuçları ölçmek için onu kullanır. Bunlar arasında seçim yapmak, maddelerin ifadesinin bir üst düzeyinde yer alan bir çalışma tasarımı kararıdır.
Bir anket formu nasıl doğrulanır?
Somut bir şeyi ölçen birkaç yeni madde psikometrik geçerlemeye değil, ön teste ihtiyaç duyar. Soyut bir şeyi ölçmesi, gruplar arasında karşılaştırılması ya da başkaları tarafından yeniden kullanılması amaçlanan bir ölçek ise daha fazlasına ihtiyaç duyar: içeriğin uzman incelemesi, maddelerin birbiriyle tutarlı olduğunu kontrol edecek büyüklükte bir pilot uygulama ve puanların dışsal bir şeyle öngördüğünüz biçimde ilişkili olduğuna dair kanıt. Ölçtüğünüz yapı için geçerliği kanıtlanmış bir araç zaten varsa, kendinizinkini yazmak yerine onu kullanın.
Bu rehber nasıl hazırlandı ve neleri kapsamıyor
Yedi adımlık sıra, herhangi bir tek sağlayıcının çerçevesini değil, anket formu metodolojisi literatüründe tarif edilen geliştirme sürecini izler16, 17, 18, 20. Bu sayfada aktarılan her sayı, aşağıda listelenen yayımlanmış bir deneyden ya da resmî bir metodoloji raporundan gelir. Her biri kullanılmadan önce derecelendirildi ve derecesi, kanıt tablosunda iddianın yanında gösterilir.
Birincil bir kaynağa kadar izleyemediğimiz iddialar dışarıda bırakıldı ve bunların en yaygınları, başka yerlerde tanıyabilmeniz için “bilerek kullanmadığımız sayılar” bölümünde adlandırıldı. Bir kuralın sağlam olduğu ancak doğrudan kanıtın zayıf olduğu durumlarda, örneğin çift namlulu maddeleri bölmede, sayfa daha güçlü bir bulgudan güven ödünç almak yerine bunu açıkça söyler.
Buradaki deneysel kanıtların çoğu, büyük ölçüde genel nüfus ve web paneli örneklemleriyle Amerika Birleşik Devletleri ve Batı Avrupa’da yürütülen anketlerden gelir. İfade ve sıralama için etki büyüklükleri her dile, konuya ya da evrene olduğu gibi aktarılmaz ve hiçbiri sizin katılımcılarınız üzerinde test edilmedi. Sayıları, yerine koyabileceğiniz sabitler olarak değil, bu etkilerin gerçek olduğuna ve büyük olabileceğine dair kanıt olarak görün.
Uygulamalı örnek, yedi adımın tamamını tek bir yerde göstermek için kurgulanmış bir vakadır. Gerçek bir çalışmanın raporu değildir ve içinde anlatılan ön test açıklama amaçlıdır.
Bu sayfa aracı kapsar. Kime sorulacağını, kaç kişiye sorulacağını ya da gelen yanıtların nasıl analiz edileceğini kapsamaz. Bunlar ayrı işlerdir ve örnekleme, örneklem büyüklüğü ve istatistiksel anlamlılık rehberlerinde ele alınır.
SuperSurvey anket yazılımı üretir, dolayısıyla insanların anket yürütmesinde ticari bir çıkarımız vardır. Bu rehberi okumak ücretsizdir ve tavsiyeleri her anket platformu için geçerlidir. Madde kontrol aracı tamamen tarayıcınızda çalışır ve hiçbir yere bir şey göndermez. Oluşturucumuza ve şablon kütüphanemize verilen bağlantılar, anket formunu uygulamaya koymanın yollarını sunar.
Kaynaklar
- Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. P. V. Marsden & J. D. Wright (Ed.), Handbook of Survey Research içinde (2. baskı, 9. bölüm). Emerald.
- Rasinski, K. A. (1989). The effect of question wording on public support for government spending. Public Opinion Quarterly, 53(3), 388-394. doi.org/10.1086/269158
- Smith, T. W. (1987). That which we call welfare by any other name would smell sweeter. Public Opinion Quarterly, 51(1), 75-83. doi.org/10.1086/269015
- Saris, W. E., Revilla, M., Krosnick, J. A., & Shaeffer, E. M. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61-79. doi.org/10.18148/srm/2010.v4i1.2682
- Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales. Acta Psychologica, 104(1), 1-15. doi.org/10.1016/S0001-6918(99)00050-5
- Wetzelhutter, D. (2020). Scale-sensitive response behavior: consequences of offering versus omitting a "don't know" option and/or a middle category. Survey Practice, 13(1). doi.org/10.29115/SP-2020-0012
- Gilljam, M., & Granberg, D. (1993). Should we take don't know for an answer? Public Opinion Quarterly, 57(3), 348-357. doi.org/10.1086/269380
- Pew Research Center. Writing survey questions. Yöntem açıklaması. pewresearch.org/writing-survey-questions
- Pew Research Center (2003, 18 Kasım). Religious beliefs underpin opposition to homosexuality, Part 2: Gay marriage. pewresearch.org/politics/2003/11/18/part-2-gay-marriage
- Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349-360. doi.org/10.1093/poq/nfp031
- Antoun, C., Couper, M. P., & Conrad, F. G. (2017). Effects of mobile versus PC web on survey response quality. Public Opinion Quarterly, 81(S1), 280-306. doi.org/10.1093/poq/nfw088
- Mavletova, A. (2013). Data quality in PC and mobile web surveys. Social Science Computer Review, 31(6), 725-743. doi.org/10.1177/0894439313485201
- Schonlau, M., & Toepoel, V. (2015). Straightlining in web survey panels over time. Survey Research Methods, 9(2), 125-137. doi.org/10.18148/srm/2015.v9i2.6128
- Blair, J., & Conrad, F. G. (2011). Sample size for cognitive interview pretesting. Public Opinion Quarterly, 75(4), 636-658. doi.org/10.1093/poq/nfr035
- Menold, N. (2020). Double barreled questions: an analysis of the similarity of elements and effects on measurement quality. Journal of Official Statistics, 36(4), 855-886. doi.org/10.2478/jos-2020-0041
- Rattray, J., & Jones, M. C. (2007). Essential elements of questionnaire design and development. Journal of Clinical Nursing, 16(2), 234-243. doi.org/10.1111/j.1365-2702.2006.01573.x
- Boparai, J. K., Singh, S., & Kathuria, P. (2019). How to design and validate a questionnaire: a guide. Current Clinical Pharmacology, 13(4), 210-215. doi.org/10.2174/1574884713666180807151328
- Slattery, E. L., Voelker, C. C. J., Nussenbaum, B., Rich, J. T., Paniello, R. C., & Neely, J. G. (2011). A practical guide to surveys and questionnaires. Otolaryngology-Head and Neck Surgery, 144(6), 831-837. doi.org/10.1177/0194599811399724
- Edwards, P. (2010). Questionnaires in clinical trials: guidelines for optimal design and administration. Trials, 11, 2. doi.org/10.1186/1745-6215-11-2
- Stone, D. H. (1993). Design a questionnaire. BMJ, 307(6914), 1264-1266. pmc.ncbi.nlm.nih.gov/articles/PMC1679392
- American Association for Public Opinion Research (2022). Data quality metrics for online samples: considerations for study design and analysis. Görev gücü raporu. aapor.org görev gücü raporu (PDF)
- Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. Proceedings of ACM INTERCHI '93, 206-213. doi.org/10.1145/169059.169166
- Miller, G. A. (1956). The magical number seven, plus or minus two. Psychological Review, 63(2), 81-97. doi.org/10.1037/h0043158
- Maybin, S. (2017, 10 Mart). Busting the attention span myth. BBC News. bbc.com/news/health-38896790
Yukarıdaki her DOI, DOI çözümleyicisiyle, her bağlantı da canlı yanıt verip vermediği açısından 21 Ağustos 2026 tarihinde kontrol edildi.