“RESPONSIVE
EVALUATION”
Abstrak
Model Evaluasi
Responsif telah terlihat sebagai sebuah alternatif untuk model evaluasi formal.
Model ini telah digunakan untuk evaluasi sebuah program di Quebec French
University. Studi tersebut berfokus pada dua sasaran: Pertama, untuk
keperluan lokal program yang sedang dinilai dan, permasalahan utama yang
ditemui oleh para administrator dan, kedua, proses identifikasi kebaikan-kebaikan dan
kekurangan-kekurangan model, membandingkannya dengan hal-hal yang telah
diberitakan dalam literatur tersebut.
Sepanjang
yang menyangkut pada sasaran pertama, kaya, rinci dan informasi relevan yang
berhubungan, memungkinkan para pelaku evaluasi untuk merancang sebuah gambaran
situasi. Hasil- hasil dan temuan-temuan evaluasi tersebut telah
ditransformasikan ke dalam rekomendasi yang tepat khusus untuk membuktikan
program yang bersangkutan.
Adapun
untuk sasaran kedua, beberapa kebaikan dan kekurangan-kekurangan telah dikutip
dari literatur-literatur yang telah dikonfirmasi mengingat beberapa hal-hal
baru telah ditemukan. Rekomendasi-rekomendasi khusus mengenai penggunaan model
responsif akan disajikan sebagai saran- saran kesimpulan.
A. PENDAHULUAN
Pada beberapa dekade
yang lalu, kritisisme telah mengarahkan pada model formal evaluasi program (Guba,
1969; Stake, 1976; Guba dan Lincoln, 1981; Borich dan Jemelka, 1982). Di
antara hal-hal yang sangat penting, ditemui: ketidak memadainya model-model
secara metodologi; kekurangan pemahaman mereka akan konteks sosial dan politik;
bias-bias pendekatan formal lebih ditempati oleh para pendengar yang
berpengaruh daripada oleh para pemerhati; ketiadaan realisme dari kriteria yang
biasa digunakan untuk mengukur suksesnya sebuah program, tidak relevannya
pendekatan sejak ia tertuju pada pertanyaan-pertanyaan yang tidak menarik
terhadap pendengar yang beragam; akhirnya ketidakbermanfaatan model- model
tersebut begitu ditekankan lebih sering daripada sebuah sisa-sisa keadaan yang
tak berubah. Weiss menekankan hal-hal berikut:
- Penekanan ditempatkan pada perhatian-perhatian pada siapa yang memiliki kekuasaan dibandingkan pada siapa yang terlibat dalam program-program ini (Berk dan Rossi, 1976; Parlett dan Hamilton, 1976; Patton, 1978; Stake, 1978; Cochran, 1980; Coleman, 1980; House, 1980; Datta, 1981);
- Kriteria yang biasa digunakan untuk mengukur suksesnya sebuah program yang kosong secara realisme (Caro, 1971; Schwartz, 1980);
- Hasil-hasil seringkali tidak bermanfaat sejak mereka tidak mempengaruhi proses pengambilan keputusan (Weiss, 1972; Scott dan Shore, 1979; Rutman, 1980);
- Metode-metode yang biasa digunakan dalam penelitian kesemuanya lebih sering lebih tidak memadai dalam evaluasi (Cochran, 1980).
Akhirnya,
Gold (1981) beralasan bahwa berkaca dari masa lalu dan supaya
menghindari pertentangan dengan kolega mereka, para pelaku evaluasi lebih
memperhatikan tentang metodologi daripada menjadi ahli waris sebuah kedudukan.
Sebuah Alternatif: Evaluasi
Naturalistik
Pendekatan
Naturalistik terhadap evaluasi telah disajikan sebagai sebuah alternatif untuk
sebuah model tradisional dari evaluasi program (Levine, 1974; Stake, 1976;
Parlett dan Hamilton, 1976; Guba dalam Lincoln, 1981). Pendekatan ini
menyajikan karakteristik-karakteristik sebagai berikut:
1.
Berpusat pada karakteristik-karakteristik
sebuah program daripada maksud tujuannya;
2.
Mengutamakan instrumen apa saja yang akan
mengizinkan pengumpulan informasi-informasi yang diingini;
3.
Bertanggung jawab terhadap nilai-nilai dari
partisipan-partisipan yang berbeda yang merupakan kriteria untuk proses
penilaian keputusan;
4.
Akhirnya, struktur biasanya digunakan untuk
mengumpulkan informasi darimana berasal dan perubahan-perubahan oleh situasi.
Pendekatan
Naturalistik secara asasi harus bertemu dengan dua kondisi berikut:
1.
Para pelaku evaluasi menentukan pembatas-pembatas
minimum pada antecedents (bagian-bagian kalimat yang mendahului),
2.
Para pelaku evaluasi menentukan sebuah
pembatas-pembatas minimun pada
perilaku-perilaku partisipan.
Beberapa
model mengumpulkan secara bersama di bawah tema umum “Pendekatan Naturalistik”.
Di antara berikut ini kita menemukan model pengadilan (Owens, 1973; Levine,
1974; Wolf, 1975); model transaksional (Rippey, 1973); model illuminasi
(Parlett dan Hamilton, 1976); model Connaisseur (Eisner,
1976) dan model Responsif (Stake, 1976; Guba dan Lincoln,
1981; Borich dan Jemelka, 1982).
B. MODEL
RESPONSIF
Model
responsif sangat menekankan terutama sekali pada kedudukan-kedudukan,
pertanyaan-pertanyaan, dan masalah-masalah yang ditemui oleh perhatian para
pendengar yang berbeda oleh di bawah program evaluasi. Oleh karena itu, penting bagi
para pelaku evaluasi untuk menguasai pandangan pluralistik (beragam) dari
sebuah program yang mengandung sudut pandang berbeda, dan penemuan konflik-konflik.
Dalam hal tersebut, struktur model responsif adalah cukup fleksibel dan proses
evaluasi adalah mungkin untuk merubah dasar informasi yang masuk. Analisis
kualitatif sebaik analisis kuantitatif kesemuanya dapat diterima. Hal
terpenting, seorang pelaku evaluasi adalah terlihat sebagaimana selaku
seorang partisipan.
Menurut
Scriven (1978), Guba dan Lincoln (1981), model evaluasi responsif
memungkinkan mengambil dua orientasi mayor (utama) [yang mana saling melengkapi
satu sama lain (Guba dan Lincoln, 1981)], yaitu:
- Pembatasan terhadap kegunaan atau manfaat yang benar-benar ada yang sedang dievaluasi atau
- Pembatasan terhadap nila-nilai yang benar-benar ada yang sedang dievaluasi.
Manfaat
adalah sebuah estimasi (perkiraan) lebih dari kualitas intrinsic mutlak
mengingat sebuah nilai adalah sebuah kualitas yang berhubungan secara
kontekstual. Perbedaan antara dua konsep tersebut di atas adalah penting sejak keputusan-keputusan
akan menjadi berbeda tergantung pada orientasi pilihan. Penilaian kualitas
internal adalah sering mengacu sebagai sebuah evaluasi formatif.
Dengan
ungkapan lain, sebuah penilaian kualitas kontekstual sebuah program adalah
mengacu sebagai sebuah evaluasi sumatif.
Bagi Guba dan Lincoln (1981) dimensi-dimensi ini saling
melengkapi satu sama lain.
Studi Evaluasi
Program
Program
evaluasi berjalan adalah sebuah sertifikasi dalam hubungan industrial yang
ditawarkan dalam sebuah program pendidikan yang berkesinambungan di sebuah Quebec
French University. Program ini, adalah sebuah jenis kecakapan, yang telah
diterapkan pada tahun 1970. Calon mahasiswa yang diharapkan akan datang dari
bidang hubungan industrial, atau ada
pada level eksekutif atau manajerial.
Persyaratan
yang diminta adalah: peringkat pertama lususan universitas atau lulusan akademi
ditambah pengalaman setahun dalam hubungan industrial/ Industrial Relations
(I.R.) atau pengalaman tiga tahun dalam I.R. Lebih dari 1800 calon mahasiswa
yang mendaftar dari 1970 hingga 1982.
Dalam
sebuah studi yang pernah dilakukan, Hurteau (1982) menemukan bebarapa
permasalahan yang menarik, yang meyakinkan administrator bahwa ada sesuatu yang
salah dengan program dan bagaimanapun mengarahkan kepada proses evaluasi.
Hal-hal
berikut di antaranya yang ditemukan:
- Para klien ternyata berbeda dari yang diharapkan: kenyataannya, 86% dari mereka tidak memiliki pengalaman samasekali di bidang I.R.; hanya 14% dari calon mahasiswa yang bekerja di bidang I.R.; hanya 20% calon mahasiswa yang merupakan peringkat pertama lulusan universitas sedangkan para administrasi berharap kesemuanya seperti yang diharapkan sejak awal.
- Sebuah rata-rata drop out (D.O.) yang tak dapat dipercaya. Kenyataannya, selama beberapa tahun didapati 52% mahasiswa telah drop out dari program.
- Akhirnya, program tersebut telah berlarut larut tanpa ada perubahan yang berarti sejak diterapkan.
Berdasarkan
informasi tersebut, para administrator menyetujui program mereka dievaluasi dan
lebih jauh, mereka menyetujui tentang ide penggunaan pendekatan naturalistik.
Proses Evaluasi
- Manfaat lokal
Guba dan Lincoln
(1981) menyarankan penggunaan pengukuran kebutuhan untuk membatasi manfaat
lokal sebuah program (evaluasi summatif nilai). Kami telah memulai seperti yang
disarankan oleh Kaufman dan English (1979) dan Witkin (1984), inducing
potensial needs (alpha needs) dengan pewancaraan para pekerja (pegawai
admin, perwakilan persatuan buruh, dan seterusnya), para lulusan program dan
mahasiswa dalam program. Sebuah sampel dari 32 orang telah ditanyai
pertanyaan-pertanyaan berikut:” Untuk keperluan apa yang seharusnya dijawab
oleh program agar bermanfaat untuk calon mahasiswa yang telah mendaftar pada
sertifikasi hubungan industrial?”. Informasi yangg telah terkumpul
disampaikan kepada seorang analis konten dan hasil akhir didistribusikan untuk
penafsiran penyisihan dari instrumen pengukuran kebutuhan. Penyusunan draft
pertanyaan pertamakali, kemudian penyampaian kepada kedua belah pihak yaitu
pegawai admin dan staf pengajar yang diminta untuk mempelajari, mengoreksi dan
melengkapinya menurut pengalaman mereka. Ini langkah kedua yang telah dilakukan
tidak sukses dengan sendirinya. Untuk mengelaborasi terjemahan akhir dari
instrumen, sebuah analisis sasaran-sasaran rangkaian pelajaran telah dilakukan
dan wawancara telah diadakan di antara staf pengajar. Hasilan akhir instrumen
pengukuran kebutuhan (skala Likert) telah diadministrasikan ke 550 lulusan
program yang telah ditanyai dua pertanyaan:
1)
Untuk tingkatan apa sebenarnya program
aktual tersebut, respon untuk setiap kebutuhan-kebutuhan yang telah diidentifikasikan?
2)
Untuk tingkatan apa seharusnya hal tersebut
dapat merespon setiap kebutuhan-kebutuhan ini?
- Permasalahan
Informasi mengenai permasalahan yang berkaitan dengan
program telah dikumpulkan dalam beberapa langkah:
1)
Pertama, serangkaian wawancara
formal telah menghubungkan dengan sesama lulusan program; mereka telah ditanya untuk mengenali semua
permasalahan yang berhubungan dengan program baik, akademis, kemanusian staf
pengajar, pengawasan, dan seterusnya,...dan,
2)
Kedua, serangkaian wawancara
telah menghubungkan di antara sesama peserta program yang drop out (hanya 15
orang dari mereka yang ditempatkan dan diterima untuk berpartisipasi) dan
kelompok yang berpotesi drop out dari program (sebuah sampel dari 60 calon
mahasiswa yang tidak terdaftar untuk dua semester dalam sebuah putaran). Mereka
telah ditanya dua pertanyaan, satu mengenai alasan untuk keluar dari program
(atau yang akan membuat mereka drop out dari program) dan hal lainnya, yang
berhubungan dengan permasalahan yang berkaitan langsung dengan program.
Sebuah gambaran dari situasi yang kemudian disketsakan
dan diajukan kepada para administrator yang, pertama tidak setuju dengan proses
identifikasi permasalan. Beberapa bulan berikutnya, dengan persetujuan mereka
dan supaya dapat melakukan validasi informasi, sebuah instrumen pertanyaan telah
dikirim untuk semua populasi peserta didik. Hasil-hasil menunjukan adanya
kesamaan dengan apa yang dilakukan pada
proses wawancara.
Permasalahan-permasalahan diidentifikasi ke dalam empat
kategori: Perizinan peserta didik (Laxim, peserta didik berasal dari latar
belakang berbeda, dan seterusnya.); pengajaran (tidak hadir dengan alasan yang
jelas, pengajaran yang buruk, dan seterusnya.) dan staf pengajar (pekerjaan
paruh waktu untuk memperoleh tambahan uang, kekurangan minat dalam program, dan
seterusnya); pengawasan peserta didik (kelompok yang tak bersahabat,
kantor-kantor tutup karena perkuliahan diberikan pada malam hari; tenaga
administrasi tidak tersedia, dan seterusnya); formasi secara keseluruhan (secara
keseluruhan evalauasi positif tetapi komentar-komentar kasar mengenai jabatan
tenaga administrasi program, interes universitas, dan seterusnya.).
Kebaikan dan kekurangan
Evaluasi Responsif
Sebuah
ringkasan literatur mengenai model responsif evaluasi telah terhubung supaya mendaftar
kebaikan sebaik ketidakbaikan berhubungan dengan proses. Idenya adalah:
1.
Untuk membandingkan temuan mengenai
kesamaan tema dan perbedaan-perbedaan.
2.
Untuk mengenal semua pemikiran baru yang
berasal dari proses saat ini dan temuan-temuan.
Kebaikan
Beberapa
kebaikan atau kelebihan yang terungkap
dari studi literatur ditegaskan oleh study saat ini:
- Seperti dinyatakan oleh Newcomer dan Bernstein (1984); Stake dan Hoke (1976); Stake dan Pearsol (1981), pendekatan-pendekatan mengizinkan pertanyaan-pertanyaan untuk memunculkan (keberagaman talenta klien, absen kepengawasan para dosen dengan menghargai silabus mereka, prosedur-prosedur evaluasi, pengajaran, dan seterusnya, Konten (materi) isi yang tumpang tindih dari beberapa kursus, kesemuanya adalah contoh-contoh pemunculan informasi). Pengamatan ini sesuai dengan perkiraan Rachkel (1976), yang menyatakan bahwa pendekatan mengizinkan pengenalan dan kecocokan perhatian para klien.
- Sejalan dengan Kalman (1976), Rocwell (1982), Schermerhorn dan Williams (1982), Preskill (1983), yang kesemuanya mengatakan bahwa data yang dikumpulkan oleh pendekatan ini mengizinkan para pelaku evaluasi untuk menyajikan sebuah potret sketsa, mudah diakses untuk memperhatikan para audien dan merespon terhadap kebutuhan-kebutuhan informasi mereka. Untuk mudahnya, analisa konten (materi) dari perolehan informasi melalui wawancara memungkinkan kita untuk mengidentifikasi beberapa permasalahan yang dihadapkan leh program dan untuk mengilustrasikan mereka dengan fakta-fakta, catatan-catatan tekstual.
- Sebagaimana juga Stake (1983), bahwa perbaikan-perbaikan langsung adalah mungkin ketika pengumpulan informasi telah dibuat secara memadai untuk pembuat keputusan sesegera ia muncul. Untuk mudahnya, dalam studi saat ini, penyajian pertama atau gambaran dari permasalahan yang terprovokasi merupakan modifikasi langsung. Pengamatan sama seperti yang telah dibuat oleh Kalman (1976) dan Klintberg (1976), kepada siapa penekanan hasil-hasil untuk tindakan dan dapat dengan mudah ditransformasikan ke dalam rekomendasi-rekomendasi secara khusus.
- Sebagaimana yang telah dilakukan Schermerhorn dan williams (1982), Newcomer dan Berstein (1984), bahwa tenggelamnya pelaku evaluasi mewarnai laju pemahaman program miliknya.
- Seperti yang telah ditulis Guba dan Lincoln (1981), dengan pendekatan ini, nilai-nilai dan poin-poin perbedaan pandangan yang mana mempengaruhi keputusan-keputusan yang dibuat ke depan dan arah munculnya tindakan.
Berangkat
dari keadaan-keadaan yang berbeda, item-item berikut tidaklah terus menerus ditopang oleh studi
saat ini:
- Umpan balik yang tetap antara para pelaku evaluasi dan para pengguna yang memfasilitasi penerimaan hasil-hasil (Schermerhon dan Williams, 1979; Newcomer dan Berstein, 1984).
- Umpan balik yang tetap antara para pelaku evaluasi dan para pengguna menciptakan suasana kerjasama dan simpati ke arah proses evaluasi (Rockwell, 1982; Michael, 1984; Newcomer and Berstein, 1984).
Bagaimanapun,
dalam studi lanjutan didapati bahwa umpan balik yang tetap dalam kenyataannya
memiliki kebaikan-kebaikan tersebut di atas, dan hal itu merupakan alasan utama
bagi kita untuk memilih evaluasi responsif dalam studi saat ini.
Kebaikan-kebaikan
berikut, meski muncul dari studi; kesemuanya tidak disebutkan dalam studi
literatur.
1. Evaluasi Responsif mengizinkan proses
identifikasi berlawanan dan oposisi untuk melakukan pendekatan atau mengumpulkan
informasi dan kemungkinan untuk melakukan perbaikan-perbaikan kebutuhan. Untuk
mudahnya, mengikuti penyajian gambaran dari situasi digambarkan dengan memakai
wawancara, pelaku administrasi telah menunjukkan ketidaksetujuan yang kuat,
menyalahkan kualitas para informan, mempertanyakan kredibilitas peserta
didik...membiarkan segala sesuatu mereda untuk sementara, para pelaku evaluasi
menyarankan validasi silang informasi dengan memakai seperangkat pertanyaan
untuk dikirimkan kepada seluruh peserta didik dalam program. Meyakinkan
pentingnya informasi dalam proses manajemen mereka, pelaku administrasi telah
setuju dan secara aktif berpartisipasi dalam proses membangun
pertanyaan-pertanyaan.
2.
Sifat penjelasan program dan
permasalahan-permasalahannya mewarnai kemampuan transfer tertentu informasi
untuk hal-hal yang serupa. Untuk mudahnya, pengumpulan informasi mengenai
permasalahan sertifikasi dalam hubungan industrial telah membantu memecahkan
permasalahan yang serupa dalam sertifikasi yang lain. Untuk beberapa tahap
tertentu itu akan membantu pelaku administrasi program lain dalam pembuatan
keputusan mereka.
Kekurangan
Beberapa
kekurangan ditemui dalam evaluasi saat ini sesuai dengan temuan –temuan itu di
dalam studi-studi lainnya:
1.
Waktu yang dibutuhkan untuk membangun
instrumen evaluasi akan menjadi panjang (Klintberg, 1976). Dalam studi
saat ini, pewawancara, analisa konten (materi) mereka, analisa silabus kursus,
pertanyaan-pertanyaan pengukuran kebutuhan...adalah menyita waktu.
2.
Pendekatan responsif berdampak pada sebuah
partisipasi audien untuk konstruksi dan untuk penggunaan instrumen. Menurut Stake
(1983), orang-orang yang terlibat tidak selalu memilki pengalaman bahkan ahli
dalam evaluasi dan oleh karenanya permasalahan mungkin saja dapat mencuat.
Penyusunan pertanyaan pengukuran kebutuhan mengangkat sebuah contoh dari sebuah
masalah, kita harus merubah prosedur pengenalan dan penafsiran akhir tidak
mudah untuk diajukan.
3. Biaya operasional sangat tinggi. Schermerhorn
dan Williams (1979) telah membandingkan biaya yang berhubungan dengan
keduanya, yakni naturalistik dan model formalis dan ditemukan rasio
$6,000/$570.00. Kita tidak dapat mendukung model figur tersebut sejak kita
tidak mengisi biaya apapun. Bagaimanapun, itu adalah keyakinan kita bahwa kita
telah melakukannya jadi kita akan menjadi pengguna yang tinggi dari sebuah
model responsif.
Beberapa
literatur menandai beberapa kekurangan yang tidak tercatat dalam studi kita:
- Menurut Rakel (1976), Sorlie dan Essex (1978), pendekatan tersebut tidak selalu sesuai untuk mengumpulkan informasi dan oleh karenanya penggunaan model lain sewaktu waktu dibutuhkan untuk melengkapi kekurangan model responsif.
- Van Hoose (1977) menegaskan dalam fakta tersebut bahwa, karena sifat fleksibilitasnya, model responsif moel dapat menjeneralisir beberapa kesulitan-kesulitan dalam memperbaiki fokus dan dalam mengumpulkan informasi.
- Hasil-hasil mungkin terlihat terlalu sederhana dan mengecewakan, jika seseorang mempertimbangkan cara yang telah mereka sajikan (gambaran) (Stake dan Pearson, 1981).
- Pendekatan tidak begitu efektif jika seseorang mencoba menemukan jawaban untuk pertanyaan khusus, identifikasi sejak mulai atau jika seseorang mencoba untuk membuktikan daripada membandingkan.
Bagaimanapun,
kita telah mengidentifikasi beberapa kekurangan yang tidak ditemukan dalam
studi literatur.
- Jika pendekatan membuat sebuah kondisi kerjasama dan mengizinkan identifikasi perlawanan, itu dapat juga melindungi pelaku evaluasi dibawah keinginan stakeholder. Untuk mudahnya, saat kita menyajikan kepada para pelaku administrasi gambaran dari situasi, mereka bersikap seperti layaknya orang yang tidak dapat dipercaya.
- Model responsif mengizinkan informasi untuk memunculkan dan meminta dengan tegas dalam implikasi para pengguna. Tetapi dalam pelaksanaan yang demikian, proses akan melambat. Untuk mudahnya, wawancara yang diadakan di antara kelompok drop out dan kelompok yang lulus telah bermanfaat dalam menggambarkan situasi, akan tetapi mereka juga terhasut reaksi kekerasan dari para administrator dan dihasilkan dalam sebuah penundaan yang penting.
- Pendekatan sangat diingini oleh pelaku evaluasi dan sepertinya tidak mudah diakses. Para pelaku evaluasi harus memiliki adaptasi kemapuan yang hebat dan kebanyakan dari pelaku penelitian (Pengelolaan sikap perlawanan stakeholder, penyesuaian informasi terhadap para pendengar yang beragam, dan seterusnya).
Rekomendasi berikut akan
menyimpulkan hasil makalah ini.
- Guba dan Lincoln (1981) berbicara tentang perjanjian yang harus ditandatangani, pada awal oleh keduanya, pelaku evaluasi dan stakeholder, yanbg harus mengkhususkan peraturan sebaik penih tanggung jawab dari setiap fihak, Kita tidak percaya bahwa sebuah evaluasi dapat dilaksanakan tanpa sebuah perjanjian atau sekurangnya piagam tertentu sebuah kesepakatan. Bagaimanapun, kita berfikir bahwa hal itu hampir-hampir menjajah jika seseorang mengingini penggunaan model evaluasi responsif. Struktur menjadi fleksibel dan implikasi dari stakeholder menjadi mantap, pelaku evaluasi dengan sebuah perjanjian dapat menempatkan kembali secara objektif orang-orang ke dalam proses dan dalam yang demikian tersebut melakukan perlindungan terhadap dirinya sendiri melawan “perubahan mood yang mendadak”.
- Pada permulaan proses dan supaya dapat meminimalisir penyimpangan-penyimpangan dan kesalahfahaman dan untuk maksimalisasi kolaborasi, pelaku evaluasi harus memberitahukan mengenai proses dan prosedur kepada semua orang yang kolaborasi (kerjasama) mereka itu dibutuhkan. (contoh: draft kebutuhan yang diajukan kepada staf pengajaran).
- Dalam situasi di mana pelaku evaluasi bukan seorang spesialis dalam bidang program, ia harus melibatkan seorang spesialis dalam menjamin kolaborasi datanya.
Akhirnya,
kita meminta dengan tegas secara fakta bahwa umpan balik yang mantap adalah
sebuah kondisi yang sangat penting bukan saja untuk evaluasi responsif tetapi
juga untuk semua pendekatan evaluasi.
DAFTAR
PUSTAKA
Berk, R.A. et Rossi,
P.H. (1976) Doing Good or Worst: Evaluation Research Politically Re-examines.
Sosial Problems. 3, 337-349.
Borich, G.D. et Jemelka,
R.P. (1982) Programs and System. The Educational Technology Series.
Toronto: Academic Press.
Caro, F.G. (1971). Issues
in the Evaluation of Social Programs. Review of Educational Research, 41
(2), 87-114.
Cochran, N. (1980). Society
as Emergent and more than Rational: An Essay on the inappropriateness of
program Evaluation. Policy Sciences, 12 (2), 113-129.
Coleman, N. (1980). Policy
Research and Political Theory. University of Chicago Record, 14 (2).
Datta, L.E. (Ed.).
(1981). Evaluation in Change. Beverly Hills. Sage Publications.
Eisner, E.W. (1979). The
Educational Imagination. New York: Basic Books.
Gord, N. (1981). The
Stakeholder Process in Educational Program Evaluation. Washington, D.C.:
National Institute of Education.
Guba, E.G. (1969). The
Failure Of Education Evaluation. Educational Technology. 9, 29-38.
Guba, E.G. et. Lincoln,
Y.S. (1981). Effective Evaluation. San Fransisco: Jossey-Bass
Publishers.
House, E.R. (1980). Evaluating
with validity. Beverly Hills. Sage Publication Inc.
Hurteau, M. (1984). une
Approche Naturaliste: L’evaluation du certificat de relations industrielles I a
la faculte de L’education permanente (Universite de Montreal) au moyen du
modele conjoncturel. These de doctorat en mesure et evaluation, universite
Laval. Quebec.
Kalman, M. (1976). use
of Responsive Evaluation in Statewise Program Evaluation. Studies in
Education Evaluation, 2 (1), 9-18.
Kaufman, R, et English,
F. W. (1979). Needs Assesment: Concepts and Aplication. Educational
Technology Publications. New Jersey: Englewood Cliffs.
Klintberg, I.G. (1976). A
Responsive Evaluation of Two Programs in Medical Education. Studies in
Educational Evaluation, 2 (1) 23-30.
Levine, M. (1974). Scientific
Method and the Adversary. American Psychologist. 1, 666-667.
Michael N. (1984). Realistic
Evaluation. Ritualistic Evaluation and the Implication for the utilization of
Evaluation Data. Conference donnee dans le cadre du Congres Evaluation ’84.
San Fransisco.
Newcomer, D. et.
Bernstein, D. (1984). Achieving Excellence Through the Use of a
Utilization-Focused Evaluation Aproach. Conference donnee dans le cadre du
Congres Evaluation ’84, San Francisco.
Owens, T.R. (1974). Educational
Evaluation by Adversary Proceeding. Dans R.E. House (Ed.) School
Evaluation. Berkeley: Mc Cutchan.
Parlett, M. et Hamilton,
D. (1976). Evaluation as Illumination: A New Approach to the study of
Innovatory Programs. Dans G.V. Glass (Ed.) Evaluation Studies, Review
Manual, Vol. 1. Beverly Hills: Sage Publication.
Patton, M.Q. (1978). Utillization-
Focused Evalution. Beverly Hills: Sage Publications.
Preskill, H. (1983). Notes
on Being Responsive: Evaluating a Graduate Nursing Program Conference donne
dans le cadre du Congres Evaluation ’83, Chicago.
Rackel, R.E. (1976). A
Summary: Responsive Evaluation and Family Practice. Studies in Educational
Evaluation, 2 (1), 35-36.
Rippey, R.M. (1973).
Studies in Transactional Evaluation. Berkeley, Mc. Cutchan Publishing
Corporation.