The identification of the views of raters on standard rubrics and rubrics based on the solo taxonomy

Abstract

The purpose of the study was to provide a comparative analysis of the views of raters on rubrics that are not based on a particular taxonomy and those that are based on the SOLO taxonomy. The study was designed as a descriptive one, and the data were collected through two surveys comprised of close-ended and open-ended questions. A total of seven mathematics teachers (three women and four men) participated in the study. The data collection procedure was divided into several stages. First, a mathematics achievement test, which was composed by the researchers and comprised of eight open-ended questions, was administered to 104 eight grade students. Afterwards, the raters rated the students’ responses using the standard rubrics developed by the researchers. This was followed by the administration of the Survey of the Views on Standard Rubrics to the raters. Next, the raters rated the responses for the second time, this time using the rubrics developed by the researchers on the basis of the SOLO taxonomy. Then, the raters were subject to the Survey of the Views on the SOLO Taxonomy. The close-ended questions included in the surveys were analyzed through arithmetic mean values whereas the open-ended ones were analyzed descriptively. The findings suggested that the raters viewed rubrics based on the SOLO taxonomy as a better rating scale than standard ones in terms of objectivity, the ability to distinguish among students of varying levels, the ability to provide effective feedback on student performance, and ease of preparation and use.

Bu araştırmada, herhangi bir taksonomi temele alınmadan hazırlanan standart rubrikler ve SOLO taksonomisine dayalı rubrikler hakkındaki puanlayıcı görüşlerinin karşılaştırmalı olarak incelenmesi amaçlanmıştır. Araştırma, verilerin kapalı ve açık uçlu sorulardan oluşan bir anket aracılığıyla toplandığı betimsel bir çalışma olarak desenlenmiştir. Araştırmanın katılımcılarını üçü bayan ve dördü erkek olmak üzere yedi matematik öğretmeni oluşturmaktadır. Araştırma verilerinin toplanması birkaç aşamada gerçekleşmiştir. İlk olarak, araştırmacılar tarafından geliştirilen ve açık uçlu sekiz sorudan oluşan matematik başarı testi sekizinci sınıfa devam eden 104 öğrenciye uygulanmıştır. Daha sonra puanlayıcılar, araştırmacılar tarafından geliştirilen standart rubrikleri kullanarak öğrenci cevaplarını puanlamıştır. Puanlamaları takiben, standart rubrik ile düşünceler anketi puanlayıcılara uygulanmıştır. Ardından, yine araştırmacılar tarafından geliştirilen SOLO taksonomisine dayalı rubrikler kullanarak ikinci puanlama işlemi yapılmıştır. Puanlamalar sonrasında SOLO taksonomisi ile ilgili düşünceler anketi puanlayıcılara uygulanmıştır. Standart ve SOLO taksonomisine dayalı rubrikler hakkındaki düşünceler anketinde yer alan kapalı uçlu soruların analizinde aritmetik ortalama değerleri kullanılırken, açık uçlu soruların çözümlenmesinde betimsel analiz yaklaşımından yararlanılmıştır. Araştırmada puanlayıcıların; objektiflik, ölçülen özelliğin farklı seviyelerindeki öğrencilerin birbirinden ayırt edilebilmesi, öğrencilere performansları ile ilgili etkili geri bildirimler sunulabilmesi, hazırlanma ve kullanım kolaylığı gibi özellikler açısından SOLO taksonomisine dayalı rubrikleri standart rubriklere kıyasla daha etkili bir puanlama ölçeği olarak gördükleri belirlenmiştir.