Araştırma Tasarımında İç ve Dış Geçerlik Tehditleri

Araştırma tasarımının kalitesini belirleyen en önemli kavramlardan ikisi iç geçerlik ve dış geçerliktir. İç geçerlik, gözlenen sonuçların gerçekten bağımsız değişkenden kaynaklanıp kaynaklanmadığını; dış geçerlik ise sonuçların başka durumlara, popülasyonlara ve zamanlara genellenip genellenemeyeceğini ifade eder. Bu yazıda her iki geçerlik türünün tehditlerini ve bu tehditleri kontrol etme stratejilerini ayrıntılı şekilde inceleyeceğiz.

İç Geçerlik Tehditleri

İç geçerlik tehditleri, bağımsız değişken dışındaki faktörlerin sonuçları etkilemesi durumunda ortaya çıkar. Campbell ve Stanley (1963) tarafından tanımlanan başlıca tehditler şunlardır:

1. Tarihsel Olaylar (History)

Araştırma sürecinde bağımsız değişken dışında meydana gelen olayların sonuçları etkilemesidir. Örneğin, bir stres azaltma programının etkisini ölçerken, ön test ve son test arasında katılımcıların yaşamında önemli bir olay (terfi, boşanma, pandemi) gerçekleşirse, bu durum sonuçları etkileyebilir. Araştırma süresi uzadıkça tarihsel olayların etkisi artar.

2. Olgunlaşma (Maturation)

Katılımcıların zaman içinde doğal olarak değişmesi (büyüme, yorulma, deneyim kazanma) sonuçları etkileyebilir. Özellikle çocuklarla yapılan uzun süreli çalışmalarda, gözlenen değişimlerin müdahale mi yoksa doğal gelişim mi olduğunu ayırt etmek güçleşir.

3. Test Etkisi (Testing)

Ön testin kendisinin, son test performansını etkilemesidir. Katılımcılar ön testte sorularla tanışarak öğrenme gerçekleştirebilir veya test alma becerisi geliştirebilir. Bu etki özellikle bilgi ve yetenek testlerinde belirgindir.

4. Araç Değişmesi (Instrumentation)

Ölçme aracının ön test ve son test arasında değişmesidir. Gözlemci yorulması, puanlama kriterlerinin değişmesi veya farklı ölçme araçlarının kullanılması bu tehdide yol açar. Standart ölçme araçları ve eğitimli gözlemciler bu tehdidi azaltır.

5. Ortalamaya Regresyon (Statistical Regression to the Mean)

Uç puanlara sahip katılımcıların seçilmesi durumunda, ikinci ölçümde puanların doğal olarak ortalamaya doğru yaklaşması eğilimidir. Örneğin, çok düşük başarılı öğrenciler seçilip bir programa alındığında, ikinci ölçümde puanlarındaki artışın bir kısmı istatistiksel regresyondan kaynaklanabilir.

6. Seçim Yanlılığı (Selection)

Deney ve kontrol gruplarının başlangıçta farklı olması durumudur. Rastgele atama yapılmadığında bu tehdit özellikle belirgindir. Gruplar arasındaki başlangıç farkları, bağımsız değişkenin etkisiyle karıştırılabilir.

7. Deneysel Kayıp (Mortality/Attrition)

Katılımcıların araştırmadan ayrılmasıdır. Ayrılma oranı gruplar arasında farklıysa veya belirli özelliklere sahip kişiler daha fazla ayrılıyorsa, kalan katılımcılar başlangıçtaki grubu temsil etmez. Bu sistematik kayıp, sonuçları ciddi şekilde çarpıtabilir.

8. Seçim-Olgunlaşma Etkileşimi (Selection-Maturation Interaction)

Farklı gruplardaki katılımcıların farklı oranlarda olgunlaşması veya değişmesidir. Örneğin, farklı yaş gruplarından oluşan deney ve kontrol gruplarında, yaşa bağlı gelişim hızı farkları sonuçları etkileyebilir.

Dış Geçerlik Tehditleri

Dış geçerlik, araştırma bulgularının başka bağlamlara genellenebilirliğini ifade eder. Üç temel boyutu vardır:

1. Popülasyon Geçerliği (Population Validity)

Bulgular, araştırmanın ötesindeki popülasyonlara genellenebilir mi? Uygun olmayan örnekleme yöntemleri, dar bir demografik gruptan veri toplama veya gönüllülük yanlılığı bu geçerliği tehdit eder. Üniversite öğrencileriyle yapılan çalışmaların genel popülasyona genellenebilirliği sıklıkla sorgulanır.

2. Ekolojik Geçerlik (Ecological Validity)

Bulgular, farklı ortam ve koşullara genellenebilir mi? Laboratuvar ortamında elde edilen sonuçların gerçek yaşam koşullarına uygulanabilirliği bu boyutla ilgilidir. Yapay ortamlar, araştırma sürecinin katılımcıların davranışını değiştirmesi (Hawthorne etkisi) bu geçerliği azaltır.

3. Zamansal Geçerlik (Temporal Validity)

Bulgular, farklı zaman dilimlerinde de geçerli mi? Sosyal tutumlar, teknoloji kullanımı ve kültürel normlar zamanla değişir. 1970'lerde yapılan bir toplumsal cinsiyet araştırmasının bugün geçerli olması beklenmeyebilir.

Tehditleri Kontrol Etme Stratejileri

Rastgele Atama (Randomization)

Katılımcıların deney ve kontrol gruplarına rastgele atanması, seçim yanlılığını ve bilinen-bilinmeyen karıştırıcı değişkenleri kontrol eder. İç geçerliği artıran en güçlü yöntemdir.

Eşleştirme (Matching)

Katılımcılar kritik değişkenler açısından eşleştirilerek gruplara atanır. Rastgele atamanın mümkün olmadığı durumlarda kullanılır ancak yalnızca bilinen değişkenleri kontrol eder.

Dengeleme (Counterbalancing)

Tekrarlı ölçüm tasarımlarında sıra etkisini kontrol etmek için koşulların sunuluş sırası sistematik olarak değiştirilir. Latin kare tasarımı yaygın bir dengeleme yöntemidir.

Körleme (Blinding)

Tek kör: Katılımcılar hangi grupta olduklarını bilmez. Plasebo etkisini kontrol eder. Çift kör: Ne katılımcılar ne de araştırmacılar grup atamasını bilir. Araştırmacı beklentisi etkisini de ortadan kaldırır.

İç ve Dış Geçerlik Arasındaki Denge

İç ve dış geçerlik arasında genellikle bir ödünleşim (trade-off) vardır. Laboratuvar deneyleri yüksek iç geçerlik sağlar ancak ekolojik geçerlik düşük olabilir. Saha araştırmaları ise dış geçerliği artırırken kontrol kaybı nedeniyle iç geçerlik zayıflayabilir.

İdeal bir araştırma stratejisi, önce kontrollü koşullarda nedensel ilişkiyi güçlü iç geçerlikle ortaya koymak, ardından farklı popülasyonlarda ve ortamlarda tekrar çalışmalarla dış geçerliği test etmektir. Araştırmacılar, çalışmalarının hem iç hem de dış geçerlik tehditlerini raporlarında tartışmalıdır.