Araştırmada Pilot Çalışma: Tasarım, Uygulama ve Raporlama

Pilot çalışma, ana araştırmanın öncesinde küçük ölçekli bir ön uygulama yaparak araştırma tasarımının, ölçme araçlarının ve prosedürlerin uygulanabilirliğini test etme sürecidir. Cohen, Manion ve Morrison (2007), pilot çalışmanın araştırma sürecinin isteğe bağlı bir ekstrası değil, zorunlu bir kalite güvence adımı olduğunu vurgular. Bu yazıda, pilot çalışmanın ne olduğunu, türlerini, örneklem büyüklüğünü, analiz yaklaşımlarını ve raporlama standartlarını kapsamlı biçimde ele alacağız.

Pilot Çalışma Nedir ve Neden Gereklidir?

Pilot çalışma, ana araştırmanın minyatür bir versiyonudur. Amacı hipotez test etmek değil, araştırma sürecinin sorunlu noktalarını tespit etmek ve düzeltmektir. Kothari (2004), pilot çalışmanın şu işlevleri gördüğünü belirtir:

• Ölçme aracı testi: Anket maddelerinin anlaşılırlığı, yanıtlama süresi, eksik veya belirsiz maddeler
• Prosedür testi: Veri toplama sürecinin lojistiği, katılımcı rekrütmanı, uygulama akışı
• Analiz testi: Veri girişi, kodlama, istatistiksel analiz prosedürlerinin uygulanabilirliği
• Kaynak tahmini: Ana çalışma için gereken zaman, maliyet ve insan kaynağının daha doğru tahmin edilmesi
• Araştırmacı eğitimi: Veri toplama ekibinin deneyim kazanması

Pilot Çalışma vs Ön Çalışma (Preliminary Study)

Boyut	Pilot Çalışma	Ön Çalışma
Amaç	Uygulanabilirlik testi	Ön bulgular elde etme
Odak	Süreç ve prosedürler	Araştırma sorusu ve hipotezler
Analiz	Betimsel, uygulanabilirlik ölçütleri	Hipotez testi yapılabilir
Raporlama	Süreç değerlendirmesi	Ön sonuçlar ve tahmini etkiler
Ana çalışmaya etkisi	Tasarım değişiklikleri	Hipotez rafine etme, güç analizi

Pilot Çalışma Türleri

1. Ölçek Pilotu

Yeni geliştirilen veya uyarlanan ölçeklerin küçük bir örneklemde test edilmesi. Madde anlaşılırlığı, iç tutarlılık, faktör yapısının ön değerlendirmesi ve taban/tavan etkilerinin kontrolü yapılır.

2. Prosedür Pilotu

Veri toplama prosedürlerinin pratik uygulanabilirliğinin test edilmesi. Rekrütman stratejilerinin etkinliği, katılımcı tamamlama oranları ve lojistik sorunlar değerlendirilir.

3. Müdahale Pilotu

Deneysel çalışmalarda müdahalenin uygulanabilirliğinin test edilmesi. Müdahale protokolünün uygulanabilirliği, katılımcı uyumu ve istenmeyen etkiler incelenir.

4. Randomizasyon Pilotu

Rastgele atama sürecinin pratik uygulanabilirliğinin değerlendirilmesi. Körleme prosedürlerinin sürdürülebilirliği ve gruplar arası kontaminasyon riski test edilir.

Pilot Çalışmada Örneklem Büyüklüğü

Jackson (2015), pilot çalışma örneklem büyüklüğü için kesin bir kural olmamakla birlikte şu rehber ilkelerin takip edilebileceğini belirtir:

• Ölçek pilotu: Ana çalışma örnekleminin %10'u veya en az 30 katılımcı
• RCT pilotu: Her grupta en az 12 katılımcı (toplam 24-30)
• Nitel pilot: 3-5 katılımcı ile görüşme pilotu genellikle yeterlidir
• Anket pilotu: 10-30 katılımcı ile bilişsel görüşme

Pilot çalışmanın amacı istatistiksel anlamlılık testi değil, uygulanabilirlik değerlendirmesidir. Bu nedenle örneklem büyüklüğü güç analizine değil, pratik gereksinimlere göre belirlenir.

Pilot Çalışmada Analiz

Pilot çalışma analizi, ana çalışmadan farklı bir mantıkla yürütülür:

• Betimsel istatistikler: Yanıt oranları, tamamlama süreleri, eksik veri oranları
• Uygulanabilirlik ölçütleri: Rekrütman oranı, tutundurma oranı, veri toplama başarısı
• Madde analizi: Madde güçlük ve ayırt edicilik indeksleri, madde-toplam korelasyonları
• İç tutarlılık: Cronbach alfa (ancak küçük örneklemde dikkatli yorumlanmalı)
• Nitel geri bildirim: Katılımcıların süreç hakkındaki görüşleri ve önerileri

Cohen, Manion ve Morrison (2007), pilot çalışma verilerinin hipotez testi için kullanılmaması gerektiğini vurgular. Pilot çalışmanın p-değerleri, ana çalışma için güvenilir bir tahmin oluşturmaz.

Pilot Sonuçlarının Ana Çalışmaya Etkisi

Pilot çalışma sonuçları, ana çalışmada şu değişikliklere yol açabilir:

1. Madde revizyonu: Anlaşılmayan veya sorunlu maddelerin düzeltilmesi veya çıkarılması
2. Prosedür değişikliği: Veri toplama yönteminin, süresinin veya ortamının değiştirilmesi
3. Örneklem stratejisi: Rekrütman stratejisinin veya dahil etme kriterlerinin ayarlanması
4. Güç analizi: Pilot verilerinden elde edilen etki büyüklüğü tahmininin güç analizinde kullanılması (dikkatli yorumlanmalı)
5. Bütçe revizyonu: Kaynak ihtiyaçlarının güncellenmesi

Pilot Çalışma Raporlama

Pilot çalışmaların raporlanmasında CONSORT uzantısı olan CONSORT-Pilot kontrol listesi kullanılabilir. Raporlanması gereken bilgiler:

• Pilot çalışmanın amacı ve spesifik hedefleri
• Uygulanabilirlik kriterleri ve başarı eşikleri
• Örneklem büyüklüğü ve gerekçesi
• Tespit edilen sorunlar ve yapılan değişiklikler
• Ana çalışma için çıkarılan dersler ve öneriler

Yaygın Pilot Çalışma Hataları

• Pilot çalışmayı atlamak: "Zaman yok" gerekçesiyle pilot yapılmaması, ana çalışmada çok daha büyük sorunlara yol açar
• Pilot verilerini ana çalışmaya dahil etmek: Pilot çalışma sonrasında ölçek veya prosedür değiştiyse, pilot verileri ana analize dahil edilmemelidir
• İstatistiksel anlamlılık aramak: Pilot çalışmada p-değerleri yerine uygulanabilirlik ölçütlerine odaklanılmalıdır
• Pilot sonuçlarını abartmak: Küçük örneklemden elde edilen etki büyüklükleri güvenilir olmayabilir
• Geri bildirimi sistematik toplamamak: Katılımcıların deneyimlerinin yapılandırılmış biçimde kaydedilmemesi

Sonuç

Pilot çalışma, araştırma sürecinin kalitesini garanti altına alan kritik bir aşamadır. Cohen, Manion ve Morrison'ın (2007) belirttiği gibi, pilot çalışma yapmak zaman kaybı değil, zaman tasarrufudur; çünkü ana çalışmada ortaya çıkacak sorunları önceden tespit ederek düzeltme imkânı sağlar. Araştırmacılar pilot çalışmayı bir zorunluluk olarak görüp, sonuçlarını sistematik biçimde değerlendirmeli ve raporlamalıdır. İyi bir pilot çalışma, güçlü bir ana çalışmanın temelidir.