Regresyon Analizi: Basit ve Çoklu Regresyon ile Tahmin Modelleri

Değişkenler arasındaki ilişkileri modellemek ve bir değişkenin değerini diğer değişkenlerden yola çıkarak tahmin etmek istediğimizde başvurduğumuz en temel yöntemlerden biri regresyon analizidir. Bu yazıda, basit doğrusal regresyondan çoklu regresyona, varsayımlardan yorumlamaya kadar regresyon analizinin tüm önemli boyutlarını ele alacağız.

Regresyon Analizi Nedir?

Regresyon analizi, bir veya daha fazla bağımsız değişken (yordayıcı) ile bir bağımlı değişken (ölçüt) arasındaki ilişkiyi matematiksel bir model ile ifade eden istatistiksel bir tekniktir. Korelasyon yalnızca ilişkinin varlığını ve gücünü gösterirken, regresyon ayrıca tahmin yapmamızı sağlar.

Basit Doğrusal Regresyon

Basit doğrusal regresyon, tek bir bağımsız değişkenin bağımlı değişkeni ne ölçüde yordadığını inceler.

Regresyon Denklemi

Y = bX + a + e

• Y: Bağımlı değişken (yordanan/ölçüt)
• X: Bağımsız değişken (yordayıcı)
• b: Regresyon katsayısı (eğim) — X'teki bir birimlik değişimin Y'deki beklenen değişimi
• a: Sabit (kesişim noktası) — X sıfır olduğunda Y'nin tahmini değeri
• e: Hata terimi (artık/rezidüel)

En Küçük Kareler Yöntemi

Regresyon doğrusu, en küçük kareler (ordinary least squares - OLS) yöntemiyle belirlenir. Bu yöntem, gözlenen değerler ile tahmin edilen değerler arasındaki farkların (artıkların) kareler toplamını minimize eden doğruyu bulur.

Çoklu Regresyon

Çoklu regresyon, iki veya daha fazla bağımsız değişkenin bağımlı değişkeni birlikte ne ölçüde yordadığını inceler.

Y = b₁X₁ + b₂X₂ + b₃X₃ + ... + a + e

Neden Çoklu Regresyon?

• Gerçek dünyada davranışlar tek bir faktörle açıklanamaz
• Her yordayıcının diğerlerinden bağımsız katkısını belirleyebiliriz
• Daha güçlü ve doğru tahmin modelleri oluşturabiliriz
• Değişkenler arası karıştırıcı etkileri kontrol edebiliriz

Regresyon Varsayımları

Güvenilir regresyon sonuçları elde etmek için aşağıdaki varsayımların karşılanması gerekir:

1. Doğrusallık (Linearity)

Bağımsız ve bağımlı değişkenler arasında doğrusal bir ilişki olmalıdır. Saçılma diyagramı ve artık grafikleri ile kontrol edilir.

2. Artıkların Normalliği

Hata terimleri normal dağılım göstermelidir. Histogram, Q-Q grafiği veya Shapiro-Wilk testi ile kontrol edilir. Normallik gerekliliği bağımlı değişken için değil, artıklar içindir.

3. Sabit Varyans (Homoscedasticity)

Artıkların varyansı, yordanan değerlerin tüm düzeylerinde sabit olmalıdır. Artık-yordanan değer grafiğinde belirli bir desen (huni şekli gibi) olmamalıdır.

4. Çoklu Doğrusallık Yokluğu (No Multicollinearity)

Çoklu regresyonda, bağımsız değişkenler birbirleriyle yüksek düzeyde ilişkili olmamalıdır. Varyans Büyütme Faktörü (VIF) ile kontrol edilir. Genel kural olarak VIF > 10 ciddi çoklu doğrusallık gösterir; VIF > 5 dikkatli olunması gereken bir duruma işaret eder.

5. Artıkların Bağımsızlığı

Hata terimleri birbirinden bağımsız olmalıdır. Durbin-Watson testi ile kontrol edilir (ideal değer 2'ye yakın olmalıdır).

R-Kare ve Düzeltilmiş R-Kare

R² (Belirtme Katsayısı)

R², bağımsız değişkenlerin bağımlı değişkendeki varyansın yüzde kaçını açıkladığını gösterir. 0 ile 1 arasında değer alır.

R² = 1 - (SSartık / SStoplam)

Örneğin, R² = .45 demek, yordayıcıların bağımlı değişkendeki değişkenliğin %45'ini açıkladığı anlamına gelir.

Düzeltilmiş R² (Adjusted R²)

R², modele eklenen her yeni değişkenle otomatik olarak artar (değişken anlamsız olsa bile). Düzeltilmiş R², modeldeki değişken sayısını ve örneklem büyüklüğünü dikkate alarak daha gerçekçi bir tahmin sunar. Model karşılaştırmalarında düzeltilmiş R² tercih edilmelidir.

Standartlaştırılmış Beta (β) Katsayıları

Farklı ölçü birimlerine sahip yordayıcıların göreli katkılarını karşılaştırmak için standartlaştırılmış beta katsayıları kullanılır. Standartlaştırılmış β değerleri, her bir yordayıcının bağımlı değişkene olan katkısını aynı ölçekte ifade eder. Mutlak değeri büyük olan β, modele daha fazla katkıda bulunur.

Model Anlamlılığı: F Testi

Regresyon modelinin bir bütün olarak anlamlı olup olmadığı F testi ile değerlendirilir. F testi, modelin açıkladığı varyansın şansa bağlı olma olasılığını test eder. Anlamlı bir F değeri (p < .05), en az bir yordayıcının bağımlı değişkenle anlamlı bir ilişkiye sahip olduğunu gösterir.

Aşamalı (Stepwise) Regresyon

Aşamalı regresyon, değişkenleri modele otomatik olarak ekleyen veya çıkaran bir yöntemdir. Üç türü vardır:

• İleriye doğru seçim: En güçlü yordayıcıdan başlayarak değişkenler eklenir
• Geriye doğru eleme: Tüm değişkenlerle başlanıp anlamsız olanlar çıkarılır
• Adımsal: Her adımda hem ekleme hem çıkarma değerlendirilir

Uyarı: Aşamalı regresyon, şans kapitalizasyonu riskini artırır ve sonuçların genellenebilirliğini sınırlayabilir. Teorik çerçeveye dayalı hiyerarşik regresyon genellikle daha tercih edilen bir yaklaşımdır.

Lojistik Regresyon

Bağımlı değişken kategorik (ikili: evet/hayır, başarılı/başarısız) olduğunda doğrusal regresyon kullanılamaz. Bunun yerine lojistik regresyon kullanılır. Lojistik regresyon, bağımsız değişkenlere dayalı olarak bir olayın gerçekleşme olasılığını tahmin eder. Sonuçlar odds ratio (şans oranı) olarak yorumlanır.

Sonuç

Regresyon analizi, araştırmacıya güçlü bir tahmin ve modelleme aracı sunar. Başarılı bir regresyon analizi için varsayımların dikkatli bir şekilde kontrol edilmesi, çoklu doğrusallığın değerlendirilmesi ve sonuçların hem istatistiksel hem de pratik anlamlılık açısından yorumlanması büyük önem taşır. Hangi regresyon türünü seçeceğiniz, araştırma sorunuzun doğasına ve verilerinizin özelliklerine bağlıdır.