Standart belirleme yöntemlerinden ROC, Doğrudan Uzlaşma ve Angoff tekniklerinin karşılaştırılması
Küçük Resim Yok
Tarih
2023
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Ege Üniversitesi
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Araştırmada üniversite öğrencilerinin üniversiteye yönelik memnuniyet düzeyini belirleyen ölçek için standart belirleme çalışması yapılmıştır. ROC, Doğrudan Uzlaşma ve Angoff yöntemleri ile kesme puanı belirlenmiştir. Araştırmada yöntemlerle elde edilen kesme puanlarının karşılaştırılması amaçlanmıştır. Araştırmada iki gruptan veriler elde edilmiştir. İzmir ilinde bulunan ilk grubu oluşturan Ege Üniversitesi öğrencilerine uygulanmış olan ve öğrencilerin memnuniyet düzeylerini ölçmek için oluşturulan 3'ü kontrol maddesi olan 20 maddeden oluşan dereceleme ölçeği formatında oluşturulmuş olan 4 faktörlü memnuniyet ölçeği 23655 örneklem genişliğine sahip 2021 yılında aktif kayıtlı olan Ege Üniversitesi öğrencilerine uygulanmıştır. Uygulama çevrimiçi olarak yapılmıştır. Uygulama sonuçları kullanılarak ölçeğin güvenilirliği incelenmiştir. Ölçeğin geçerlilik çalışması için Doğrulayıcı Faktör Analizi, İkinci Sıralı Doğrulayıcı Faktör Analizi yapılmıştır. Yapılan analizler sonucunda ölçek güvenilir ve geçerli bulunmuştur. Araştırmanın devamında standart belirleme çalışması yapılmıştır. Standart belirleme çalışması için ikinci bir grup oluşturulmuştur. İkinci grup ise Ege Üniversitesi Psikoloji bölümünde görev yapmakta olan 10 uzmandan oluşturulmuştur. Uzmanlar, Angoff ve Doğrudan Uzlaşma yöntemleri için uzman görüşü bildirmişlerdir. Bu görüşler doğrultusunda Angoff ve Doğrudan Uzlaşma yöntemleri için kesme puanı belirlenmiştir. Sonrasında Angoff yöntemi sonuçları referans alınarak ROC yöntemiyle kesme puanı belirlenmiştir. Araştırma bulgularından ulaşılan kesme puanı Angoff yöntemi için 51,60; Doğrudan Uzlaşma yöntemi için 49,50 ve ROC yöntemi için 50 olarak bulunmuştur. En yüksek kesme puanı Angoff yöntemiyle bulunurken, en düşük kesme puanı Doğrudan Uzlaşma yöntemiyle bulunmuştur. Yöntemler kesme puanı ve öğrencileri memnun/ memnun değil olarak sınıflandırılma yüzdelerine göre ikili karşılaştırılmıştır ve bu karşılaştırma Cohen Kappa katsayısı ile yapılmıştır. Yapılan karşılaştırmalar sonucunda üç yöntem için de öğrencileri memnun/ memnun değil olarak sınıflandırılma yüzdeleri farklı bulunmuştur. Yöntemlerden ROC yöntemi en iyi ayırt eden doğru sınıflandırmayı yapmıştır. Cohen Kappa katsayısına göre ise üç yöntem için yapılan ikili karşılaştırmaların tümü anlamlı bulunmuştur. Son olarak Angoff ve Doğrudan Uzlaşma yöntemlerinde uzman görüşlerinin puanlayıcılar arası uyumu ölçmek için Kendall W istatistiği incelenmiştir. Yapılan inceleme sonucunda Angoff yöntemi için uzmanlar arası istatistiksel olarak anlamlı uyum bulunmazken Doğrudan Uzlaşma yöntemi için uzmanlar arasında istatistiksel olarak anlamlı bir uyum bulunmuştur. Araştırma sonucunda yöntemlerin kendilerine özgü avantaj ve dezavantajlarının olduğu bulunmuştur. Bu yüzden ölçek, amacı, uygulanacağı örneklem, uygulamada var olan imkanlar ve sonuçların nasıl değerlendirileceği göz önünde bulundurularak yapılacak araştırmaya en uygun olan yöntemin seçilmesi gerektiği bulunmuştur.
In the research, a standard setting study was conducted for the questionnaire that determines the satisfaction level of university students towards the university. Cutoff score was determined by ROC, Direct Compromise and Angoff methods. There is two group in this research. First group is Ege University students. 23655 university students participated the 20 item satisfaction scale with 4 subtest about university in 2021. The reliability of the scale was examined by using the scale application results. Confirmatory Factor Analysis and Second Order Confirmatory Factor Analysis were did for the validity study of the scale. The scale was found to have reliability and validity. In the continuation of the research, a standard-setting study was did. A second group was created for the standard-setting study. Second group is 10 judges. The judges groups is working in the psychology department of the university. The opinions of the judges about the satisfaction questionnaire were taken for the Angoff Method and Direct Consensus Method. They determined a cut-off score for these two methods. Then The ROC method used to determined cut-off score. Three cut-off points were determined in the research findings. It was found 51,60 in Angoff method. The cut-off score in the direct consensus method, which is one of the other methods, was found to be 49.50. The last method ROC, was found to be 50. The highest cut-off score was found by the Angoff method, the lowest cut-off score was found by the Direct Compromise method. The methods were compared in pairs according to the cut-off score and the percentages of students being classified as satisfied / dissatisfied. This comparison was made with the Cohen Kappa coefficient. As a result of the comparisons, the percentages of classification of students as satisfied/not satisfied were found to be different for three methods. Among the methods, the ROC method made the correct classification that best seperate it. According to the Cohen Kappa coefficient, all pairwise comparisons for the three methods were found to be significant. Finally, Kendall W statistics was examined to measure the agreement between judges of their opinions in Angoff and Direct Compromise methods. As a result of the examination, there was no statistically significant agreement between judges for the Angoff method, while a statistically significant agreement was found between the judges for the Direct Compromise method. As a result of the research, it was found that the methods have their own advantages and disadvantages. Therefore, it has been found that the most appropriate method should be selected for the research to be conducted, taking into account the scale, its purpose, the sample to be applied, the possibilities available in practice and how the results will be evaluated.
In the research, a standard setting study was conducted for the questionnaire that determines the satisfaction level of university students towards the university. Cutoff score was determined by ROC, Direct Compromise and Angoff methods. There is two group in this research. First group is Ege University students. 23655 university students participated the 20 item satisfaction scale with 4 subtest about university in 2021. The reliability of the scale was examined by using the scale application results. Confirmatory Factor Analysis and Second Order Confirmatory Factor Analysis were did for the validity study of the scale. The scale was found to have reliability and validity. In the continuation of the research, a standard-setting study was did. A second group was created for the standard-setting study. Second group is 10 judges. The judges groups is working in the psychology department of the university. The opinions of the judges about the satisfaction questionnaire were taken for the Angoff Method and Direct Consensus Method. They determined a cut-off score for these two methods. Then The ROC method used to determined cut-off score. Three cut-off points were determined in the research findings. It was found 51,60 in Angoff method. The cut-off score in the direct consensus method, which is one of the other methods, was found to be 49.50. The last method ROC, was found to be 50. The highest cut-off score was found by the Angoff method, the lowest cut-off score was found by the Direct Compromise method. The methods were compared in pairs according to the cut-off score and the percentages of students being classified as satisfied / dissatisfied. This comparison was made with the Cohen Kappa coefficient. As a result of the comparisons, the percentages of classification of students as satisfied/not satisfied were found to be different for three methods. Among the methods, the ROC method made the correct classification that best seperate it. According to the Cohen Kappa coefficient, all pairwise comparisons for the three methods were found to be significant. Finally, Kendall W statistics was examined to measure the agreement between judges of their opinions in Angoff and Direct Compromise methods. As a result of the examination, there was no statistically significant agreement between judges for the Angoff method, while a statistically significant agreement was found between the judges for the Direct Compromise method. As a result of the research, it was found that the methods have their own advantages and disadvantages. Therefore, it has been found that the most appropriate method should be selected for the research to be conducted, taking into account the scale, its purpose, the sample to be applied, the possibilities available in practice and how the results will be evaluated.
Açıklama
Anahtar Kelimeler
Eğitim ve Öğretim, Education and Training
