English language teachers' assessment literacy: Identifying assessment needs and beliefs of EFL teachers and teacher candidates

Abstract

Çeşitli paydaşlar arasında dil değerlendirme okuryazarlığına artan ilgi, öğrencilerin öğrenmelerini de geliştirdiğine yaygın olarak inanılan etkin ve verimli bir değerlendirme için gerekli olan temel bilgi, beceri ve yeterliliklere dikkat çekmiştir. Bu kapsamda, bu çalışma hem nitel hem de nicel verilerin toplandığı bir karma yöntem araştırma tasarımı aracılığıyla İngilizce öğretmenlerinin ve öğretmen adaylarının temel ölçme değerlendirme ihtiyaçlarını, düzeylerini ve inanışlarını belirlemeye çalışmaktadır. Bu nedenle, Fulcher (2012) tarafından geliştirilen anket uyarlanarak yarı yapılandırılmış, odak grupları ve takip görüşmelerini de içeren bir çalışma yapabilmek adına konuyu araştırmak için 8 araştırma sorusu oluşturulmuştur. Sonuçlara bakıldığında, nitel ve nicel yolla elde edilen veriler; her iki katılımcı grubunun da ölçme değerlendirme seviyesinin iyi düzeyde olduğunu, bununla birlikte ölçme değerlendirme eğitim ihtiyaçlarının da orta düzeyde olduğunu göstermiştir. Özellikle İngilizce öğretmenlerinin "üretme becerilerini (konuşma/yazma) değerlendirme, sonuçları yorumlama, geçerlilik ve güvenirliği sağlama" konularında eğitime yüksek ihtiyaç duyduğu tespit edilmişken, öğretmen adayları ise "istatistik kullanımı, test özelliklerini ve şablonunu yazma, dilde ölçme ve değerlendirmenin tarihsel gelişimi, geçerlilik ve güvenirliği sağlama" alanlarında eğitime ihtiyaçları olduğunu belirtmişlerdir. Nitel verilerle dilde ölçme ve değerlendirme inanışları sorgulanırken, bulgular İngilizce öğretmenleri katılımcılarının öğrenme odaklı değerlendirme ve alternatif değerlendirme yöntemlerini savunmalarına rağmen, uygulamada hem teorik hem de pratik anlamda yeterli düzeyde olmadıklarını ve daha fazla eğitime ihtiyaç duyduklarını göstermiştir. Son olarak, alana katkı sağlamak adına, yabancı dilde ölçme ve değerlendirme okuryazarlığı gelişimi için bir eğitim programı grafiği tasarlanmış ve araştırmanın ana sonuçlarının bir sentezi, hem pratik hem de teorik yönlerden çıkarımlar ve önerilerle birlikte çalışma sonlanmıştır.

A growing interest in Language Assessment Literacy (LAL, henceforth) across various stakeholders has drawn attention to the basic knowledge, skills and competences necessary for a sound and efficient assessment which is widely believed to enhance student learning. Within this scope, this study attempts to identify the main LAL needs, levels and beliefs of in-service EFL teachers and pre-service EFL teacher candidates through a mixed methods research design where both qualitative and quantitative data have been collected. To this end, 8 research questions were posed to investigate the issue by conducting a survey study including a questionnaire developed by Fulcher (2012) and semi structured, focus groups, and follow up interviews. Doing so the current study attempts to ascertain how EFL teachers and EFL teacher candidates perceive their LAL levels and needs along with their underlying beliefs about language assessment. As displayed in the findings, the study unveiled that both groups of participants were found to have good level of LAL and moderate need for further training. More specifically, in-service EFL teachers were found to be in high need for "rating productive skills (speaking/writing), interpreting scores, validation and reliability based on the self responses obtained through the survey and interviews while pre-service EFL teachers noted their high need for further training in the following items: using statistics, writing test specifications/blueprints, history of language testing, validation and reliability. When scrutinized closely, certain eye catching results are worth of mentioning. Surprisingly, as qualitative data suggested, even though in-service and pre-service EFL teachers support 'learning oriented assessment' and 'alternative assessment', they self reported that they need further training for alternative assessment techniques to put their theoretical knowledge into practice. Notably, in order to contribute to the field, a framework for improving language assessment literacy has been developed having identified the basic philosophical, practical and developmental concerns. Finally, a synthesis of the main conclusions of the research is provided in the final chapter along with implications and suggestions from both practical and theoretical aspects.