Değerlendirme Araştırması: Program Değerlendirme Modelleri ve Uygulamaları

Değerlendirme araştırması (evaluation research), bir programın, projenin, politikanın veya müdahalenin etkililiğini, verimliliğini ve değerini sistematik olarak belirleme sürecidir. Temel araştırmadan farklı olarak, değerlendirme araştırmasının birincil amacı evrensel bilgi üretmek değil, belirli bir programın iyileştirilmesi veya devam edip etmeyeceği hakkında karar vermeye yardımcı olmaktır. Cohen, Manion ve Morrison (2007), değerlendirme araştırmasını "belirli bir bağlamda belirli bir amaca yönelik sistematik kanıt toplama ve yorumlama süreci" olarak tanımlar. Bu yazıda, program değerlendirmenin temel kavramlarını, başlıca modellerini ve pratik uygulama adımlarını kapsamlı biçimde ele alacağız.

Değerlendirme Araştırması Nedir?

Değerlendirme araştırması, sosyal bilimler yöntemlerini kullanarak bir müdahalenin planlama, uygulama ve sonuç aşamalarını inceleme sürecidir. Creswell'e (2009) göre değerlendirme araştırması, nicel ve nitel yöntemlerin her ikisini de kullanabilen uygulamalı bir araştırma türüdür. Değerlendirme araştırmasının temel sorusu şudur: "Bu program amaçlarına ulaşıyor mu ve paydaşlarına değer katıyor mu?"

Temel Araştırma ile Değerlendirme Araştırması Arasındaki Farklar

Boyut	Temel Araştırma	Değerlendirme Araştırması
Amaç	Evrensel bilgi üretmek	Belirli bir program hakkında karar vermek
Genellenebilirlik	Geniş popülasyonlara genelleme hedeflenir	Belirli bir bağlama odaklanılır
Paydaş rolü	Genellikle sınırlıdır	Merkezi bir konumdadır
Değer yargısı	Kaçınılır	Açıkça ifade edilir
Kullanım	Literatüre katkı	Program iyileştirme ve hesap verebilirlik
Zamanlama	Araştırmacı belirler	Program döngüsüne bağlıdır

Cohen, Manion ve Morrison (2007), değerlendirme araştırmasının hem bir araştırma faaliyeti hem de bir yönetim aracı olduğunu vurgular. Bu ikili doğa, değerlendirme araştırmasını diğer araştırma türlerinden ayıran temel özelliktir.

Formatif ve Sümatif Değerlendirme

Michael Scriven (1967) tarafından önerilen bu ayrım, program değerlendirmesinin en temel sınıflandırmasıdır.

Formatif Değerlendirme

Formatif değerlendirme, bir programın geliştirilmesi ve iyileştirilmesi amacıyla uygulama sürecinde gerçekleştirilen değerlendirmedir. Cohen, Manion ve Morrison'a (2007) göre formatif değerlendirmenin temel özellikleri şunlardır:

• Zamanlama: Program uygulanırken yapılır
• Amaç: Programı iyileştirmek, zayıf yönleri tespit etmek
• Hedef kitle: Program geliştiriciler ve uygulayıcılar
• Sorular: "Program nasıl daha iyi hale getirilebilir?", "Hangi bileşenler sorunlu?"
• Yöntemler: Gözlem, görüşme, pilot uygulama verileri, süreç analizi

Sümatif Değerlendirme

Sümatif değerlendirme, bir programın genel etkililiğini ve değerini belirlemek amacıyla program tamamlandıktan sonra veya belirli bir dönemin sonunda gerçekleştirilir. Temel özellikleri şunlardır:

• Zamanlama: Program tamamlandıktan sonra veya dönem sonunda yapılır
• Amaç: Programın devam edip etmeyeceğine karar vermek
• Hedef kitle: Karar vericiler, fon sağlayıcılar, politika yapıcılar
• Sorular: "Program amaçlarına ulaştı mı?", "Program sürdürülmeli mi?"
• Yöntemler: Ön test-son test karşılaştırması, kontrol gruplu tasarımlar, maliyet analizi

Creswell (2009), çoğu kapsamlı değerlendirme projesinin hem formatif hem de sümatif öğeler içerdiğini belirtir. Program geliştirilirken formatif geri bildirim sağlanır, program olgunlaştıktan sonra ise sümatif değerlendirme yapılır.

Stufflebeam'in CIPP Modeli

Daniel Stufflebeam tarafından geliştirilen CIPP modeli, program değerlendirmesinin en kapsamlı ve yaygın kullanılan çerçevelerinden biridir. CIPP, dört değerlendirme boyutunun baş harflerinden oluşur: Context (Bağlam), Input (Girdi), Process (Süreç), Product (Ürün).

Bağlam Değerlendirmesi (Context Evaluation)

Bağlam değerlendirmesi, programın ihtiyaç ve koşullarını analiz eder. Cohen, Manion ve Morrison'a (2007) göre bu aşamada şu sorulara yanıt aranır:

• Programın hitap ettiği ihtiyaçlar nelerdir?
• Hedef kitlenin özellikleri ve gereksinimleri nelerdir?
• Mevcut koşullar ve kaynaklar nelerdir?
• Programın amaçları hedef kitlenin ihtiyaçlarıyla uyumlu mudur?

Girdi Değerlendirmesi (Input Evaluation)

Girdi değerlendirmesi, programın tasarımını ve kaynaklarını inceler:

• Programın stratejisi ve planı uygun mudur?
• Alternatif yaklaşımlar değerlendirilmiş midir?
• İnsan kaynakları, bütçe ve materyal yeterli midir?
• Program tasarımı araştırma kanıtlarına dayanıyor mudur?

Süreç Değerlendirmesi (Process Evaluation)

Süreç değerlendirmesi, programın uygulama kalitesini izler:

• Program plana uygun olarak uygulanıyor mu?
• Uygulama sürecinde hangi sorunlar yaşanıyor?
• Katılımcıların programa katılım düzeyi nedir?
• Program faaliyetleri zamanında ve etkili biçimde gerçekleştiriliyor mu?

Ürün Değerlendirmesi (Product Evaluation)

Ürün değerlendirmesi, programın sonuçlarını ve etkilerini ölçer:

• Program amaçlarına ulaştı mı?
• Hedef kitle üzerinde beklenen değişimler gerçekleşti mi?
• Beklenmeyen olumlu veya olumsuz sonuçlar var mıdır?
• Programın uzun vadeli etkileri nelerdir?

Creswell (2009), CIPP modelinin güçlü yönünün değerlendirmeyi tek bir noktayla sınırlamaması ve programın tüm yaşam döngüsünü kapsayan bütüncül bir çerçeve sunması olduğunu belirtir.

Mantık Modeli (Logic Model)

Mantık modeli, bir programın bileşenleri arasındaki nedensel ilişkileri görsel olarak gösteren bir şemadır. W.K. Kellogg Vakfı tarafından yaygınlaştırılan bu model, beş temel bileşenden oluşur:

Bileşen	Tanım	Örnek (Öğretmen Eğitim Programı)
Girdiler (Inputs)	Programa ayrılan kaynaklar	Bütçe, eğitimciler, materyaller, teknoloji
Faaliyetler (Activities)	Program kapsamında gerçekleştirilen eylemler	Atölye çalışmaları, mentorluk, çevrimiçi modüller
Çıktılar (Outputs)	Faaliyetlerin doğrudan ürünleri	Eğitilen öğretmen sayısı, tamamlanan modüller
Sonuçlar (Outcomes)	Kısa ve orta vadeli değişimler	Öğretmen bilgi artışı, sınıf uygulamalarında değişim
Etki (Impact)	Uzun vadeli ve geniş kapsamlı değişimler	Öğrenci başarısında artış, eğitim kalitesinde iyileşme

Cohen, Manion ve Morrison (2007), mantık modelinin değerlendirme sürecini kolaylaştırdığını çünkü hangi aşamada hangi verilerin toplanması gerektiğini açıkça gösterdiğini belirtir. Mantık modeli, formatif ve sümatif değerlendirmenin her ikisinde de kullanılabilir.

İhtiyaç Analizi (Needs Assessment)

İhtiyaç analizi, bir program tasarlanmadan önce hedef kitlenin mevcut durumu ile istenen durum arasındaki boşluğu belirleme sürecidir. Creswell'e (2009) göre ihtiyaç analizi, değerlendirme araştırmasının ilk adımıdır ve şu aşamalardan oluşur:

1. Mevcut durum analizi: Hedef kitlenin mevcut bilgi, beceri veya koşulları belirlenir
2. İstenen durum belirleme: Standartlar, beklentiler veya hedefler tanımlanır
3. Boşluk analizi: Mevcut ile istenen durum arasındaki fark hesaplanır
4. Önceliklendirme: İhtiyaçlar aciliyet ve önem sırasına göre sıralanır
5. Çözüm önerisi: İhtiyaçları karşılayacak program veya müdahale tasarlanır

İhtiyaç analizi için kullanılan veri toplama yöntemleri arasında anketler, odak grup görüşmeleri, mevcut veri analizi, uzman panelleri ve gözlem yer alır.

Hedeften Bağımsız Değerlendirme (Goal-Free Evaluation)

Michael Scriven tarafından önerilen hedeften bağımsız değerlendirme, geleneksel hedefe dayalı değerlendirmeye bir alternatif olarak geliştirilmiştir. Bu yaklaşımda değerlendirmeci, programın belirtilen amaçlarını bilmeden değerlendirme yapar. Cohen, Manion ve Morrison'a (2007) göre bunun gerekçesi şudur: Amaçları bilerek yapılan değerlendirmede, değerlendirmeci yalnızca bu amaçlara odaklanır ve beklenmeyen etkileri gözden kaçırabilir.

Hedeften bağımsız değerlendirmenin temel ilkeleri şunlardır:

• Değerlendirmeci, programın hedeflerini önceden öğrenmez
• Programın tüm etkileri, beklenen ve beklenmeyen olarak belgelenir
• Değerlendirme, programın gerçekte ne yaptığına odaklanır, ne yapması gerektiğine değil
• Tüketici odaklıdır: Programdan etkilenenlerin deneyimleri ön plandadır

Duyarlı Değerlendirme (Responsive Evaluation)

Robert Stake tarafından geliştirilen duyarlı değerlendirme, standart değerlendirme modellerinin paydaşların gerçek endişelerini ve sorularını yeterince ele almadığı eleştirisine dayanır. Creswell (2009), bu yaklaşımın nitel araştırma geleneklerinden beslendiğini ve doğalcı (naturalistic) bir perspektif benimsediğini belirtir.

Duyarlı değerlendirmenin temel özellikleri şunlardır:

• Paydaş merkezli: Değerlendirme soruları, önceden belirlenen standartlardan değil paydaşların endişelerinden doğar
• Doğalcı yöntemler: Gözlem, görüşme ve doğal ortam verileri tercih edilir
• Çoklu perspektif: Farklı paydaş gruplarının bakış açıları eşit olarak temsil edilir
• Sürekli etkileşim: Değerlendirmeci, süreç boyunca paydaşlarla sürekli iletişim halindedir
• Esnek tasarım: Değerlendirme planı, süreçte ortaya çıkan bulgulara göre uyarlanır

Güçlendirme Değerlendirmesi (Empowerment Evaluation)

David Fetterman tarafından geliştirilen güçlendirme değerlendirmesi, program katılımcılarının kendi programlarını değerlendirme kapasitelerini geliştirmeyi hedefler. Bu yaklaşımda değerlendirmeci, dışarıdan bir uzman olarak yargıda bulunmak yerine, paydaşların kendi değerlendirme becerilerini geliştirmelerine yardımcı olan bir kolaylaştırıcı rolü üstlenir.

Cohen, Manion ve Morrison'a (2007) göre güçlendirme değerlendirmesinin temel ilkeleri şunlardır:

• İyileştirme odağı: Hesap verebilirlikten çok program iyileştirmeye odaklanır
• Topluluk sahipliği: Program katılımcıları değerlendirme sürecinin sahibidir
• Demokratik katılım: Tüm paydaşların sesleri duyulur
• Sosyal adalet: Dezavantajlı grupların güçlendirilmesi hedeflenir
• Kapasite geliştirme: Katılımcılar değerlendirme becerisi kazanır

Kullanım Odaklı Değerlendirme (Utilization-Focused Evaluation)

Michael Quinn Patton tarafından geliştirilen kullanım odaklı değerlendirme, değerlendirme bulgularının gerçekten kullanılmasını sağlamayı en önemli öncelik olarak görür. Creswell (2009), pek çok değerlendirme raporunun raf süsü olarak kaldığı eleştirisinin bu yaklaşımın doğuşuna yol açtığını belirtir.

Bu yaklaşımın temel ilkeleri şunlardır:

• Birincil kullanıcı belirleme: Değerlendirme bulgularını kim kullanacak? Bu kişiler sürece baştan dahil edilir
• Kullanım amacı: Bulgular hangi kararları bilgilendirecek? Somut kullanım senaryoları belirlenir
• Yöntem esnekliği: En "doğru" yöntem değil, en "yararlı" yöntem seçilir
• Süreç kullanımı: Yalnızca bulgular değil, değerlendirme sürecinin kendisi de öğrenme fırsatı yaratır

Değerlendirmede Karma Yöntem Kullanımı

Creswell (2009), program değerlendirmesinin karma yöntem (mixed methods) araştırmanın en doğal uygulama alanlarından biri olduğunu belirtir. Değerlendirme soruları genellikle hem "ne kadar etkili?" (nicel) hem de "nasıl ve neden?" (nitel) boyutlarını içerir. Değerlendirmede karma yöntem kullanımının avantajları şunlardır:

• Tamamlayıcılık: Nicel veriler programın etkisini ölçerken, nitel veriler bu etkinin nasıl ve neden gerçekleştiğini açıklar
• Geçerlik: Farklı yöntemlerden elde edilen bulguların tutarlılığı, sonuçlara güveni artırır
• Kapsamlılık: Programın farklı boyutları farklı yöntemlerle daha iyi yakalanır
• Paydaş çeşitliliği: Farklı paydaş grupları farklı tür kanıtlara değer verir

Maliyet-Etkinlik ve Maliyet-Fayda Analizi

Program değerlendirmesinin önemli bir bileşeni, programın ekonomik değerini belirlemektir. Cohen, Manion ve Morrison (2007), iki temel ekonomik analiz türünü tanımlar:

Maliyet-Etkinlik Analizi (Cost-Effectiveness Analysis)

Bu analizde programın maliyetleri, belirli bir çıktı birimiyle karşılaştırılır. Örneğin, "bir öğrencinin başarı puanını 10 birim artırmanın maliyeti nedir?" sorusuna yanıt aranır. Farklı programlar aynı çıktı birimi üzerinden karşılaştırılabilir.

Maliyet-Fayda Analizi (Cost-Benefit Analysis)

Bu analizde hem maliyetler hem de faydalar parasal değerlere dönüştürülür. Bir eğitim programının maliyeti ile mezunlarının elde edeceği yaşam boyu gelir artışı karşılaştırılabilir. Fayda-maliyet oranı 1'in üzerindeyse program ekonomik olarak değerlidir.

Değerlendirme Modellerinin Karşılaştırması

Model	Odak	Değerlendirmecinin Rolü	Güçlü Yönü	Sınırlılığı
CIPP	Bağlam, girdi, süreç, ürün	Sistematik analist	Kapsamlı çerçeve	Zaman ve kaynak yoğun
Hedeften bağımsız	Tüm etkiler	Bağımsız gözlemci	Beklenmeyen etkileri yakalar	Odak eksikliği riski
Duyarlı	Paydaş endişeleri	Kolaylaştırıcı, dinleyici	Bağlama duyarlı	Genellenebilirlik düşük
Güçlendirme	Kapasite geliştirme	Koç, mentor	Sürdürülebilir kapasite	Nesnellik eleştirisi
Kullanım odaklı	Bulguların kullanımı	Stratejik danışman	Pratik yararlılık	Akademik titizlik riski
Mantık modeli	Nedensel zincir	Analitik tasarımcı	Görsel netlik	Doğrusal varsayım

Değerlendirme Araştırması Yürütme Adımları

Creswell (2009) ve Cohen, Manion ve Morrison'un (2007) önerileri temelinde program değerlendirmesi şu adımları izler:

1. Değerlendirme amacını belirleme: Formatif mi sümatif mi? Hangi kararları bilgilendirecek?
2. Paydaşları tanımlama: Kim etkileniyor? Kim karar veriyor? Kim bilgi istiyor?
3. Değerlendirme sorularını oluşturma: Paydaş endişeleri ve program hedefleriyle uyumlu sorular
4. Değerlendirme tasarımını belirleme: Hangi model kullanılacak? Hangi yöntemler uygun?
5. Veri toplama araçlarını geliştirme: Anketler, görüşme formları, gözlem protokolleri, doküman analiz çerçeveleri
6. Veri toplama: Sistematik ve planlı biçimde veri toplamak
7. Veri analizi: Nicel ve/veya nitel analiz teknikleri
8. Bulguları yorumlama: Değer yargıları ve öneriler
9. Raporlama ve iletişim: Farklı paydaş grupları için uygun formatlarda raporlama
10. Takip: Bulguların kullanılıp kullanılmadığını izleme

Değerlendirme Araştırması ile Eylem Araştırması Arasındaki Fark

Değerlendirme araştırması sıklıkla eylem araştırmasıyla (action research) karıştırılır. Her iki yaklaşım da uygulamaya yönelik olsa da önemli farkları vardır:

Boyut	Değerlendirme Araştırması	Eylem Araştırması
Başlatan	Genellikle dış değerlendirmeci veya fon sağlayıcı	Uygulayıcının kendisi
Odak	Programın etkililiği ve değeri	Kendi uygulamasını iyileştirme
Döngüsellik	Genellikle tek seferlik veya periyodik	Sürekli planlama-uygulama-gözlem-yansıtma döngüsü
Katılım	Paydaş katılımı değişir	Uygulayıcı merkezdedir

Paydaş Katılımı

Cohen, Manion ve Morrison (2007), başarılı bir değerlendirmenin paydaş katılımını etkin biçimde yönetmesine bağlı olduğunu vurgular. Temel paydaş grupları şunlardır:

• Program geliştiriciler: Programı tasarlayan ve uygulayan kişiler
• Program katılımcıları: Programdan doğrudan yararlananlar (öğrenciler, hastalar vb.)
• Fon sağlayıcılar: Programa mali kaynak sağlayan kurumlar
• Karar vericiler: Programın devamı hakkında karar verecek yöneticiler
• Topluluk: Programdan dolaylı olarak etkilenen geniş topluluk

Pratik Örnek: Eğitim Programı Değerlendirmesi

Bir üniversitenin yeni uygulamaya koyduğu "Öğretmen Adayları İçin Dijital Yeterlilik Programı"nın CIPP modeli ile değerlendirildiğini düşünelim:

Bağlam: Öğretmen adaylarının dijital yetkinlik düzeyleri, MEB standartları ile karşılaştırılır; ihtiyaç analizi yapılır. Girdi: Programın müfredatı, eğitimci yetkinlikleri, teknolojik altyapı ve bütçe incelenir. Süreç: Uygulama sırasında gözlemler, katılımcı geri bildirimleri ve katılım verileri toplanır. Ürün: Programın sonunda dijital yetkinlik testleri, öğretmenlik uygulamasında teknoloji kullanım düzeyi ve katılımcı memnuniyeti ölçülür. Creswell'in (2009) önerdiği gibi karma yöntem kullanılarak hem nicel başarı verileri hem de nitel deneyim anlatıları toplanır.

Sonuç

Değerlendirme araştırması, sosyal programların etkililiğini ve değerini sistematik olarak belirleyen uygulamalı bir araştırma alanıdır. Stufflebeam'in CIPP modeli kapsamlı bir çerçeve sunarken, Scriven'ın hedeften bağımsız değerlendirmesi beklenmeyen etkileri yakalamaya, Stake'in duyarlı değerlendirmesi paydaş endişelerine odaklanmaya, Fetterman'ın güçlendirme değerlendirmesi katılımcı kapasitesini geliştirmeye ve Patton'ın kullanım odaklı değerlendirmesi bulguların pratikte kullanılmasını sağlamaya yöneliktir. Cohen, Manion ve Morrison'un (2007) vurguladığı gibi, hiçbir değerlendirme modeli her duruma uygun değildir; araştırmacının programın bağlamını, paydaşların ihtiyaçlarını ve değerlendirmenin amacını dikkatle analiz ederek en uygun modeli veya model kombinasyonunu seçmesi gerekmektedir. Creswell'in (2009) belirttiği gibi, değerlendirme araştırmasının nihai amacı yalnızca bilimsel bilgi üretmek değil, somut iyileştirmelere ve bilinçli kararlara katkıda bulunmaktır.