Yazar "Demir, Elif Kübra" seçeneğine göre listele
Listeleniyor 1 - 12 / 12
Sayfa Başına Sonuç
Sıralama seçenekleri
Öğe A comprehensive item pretesting study to develop an automated short-answer grading platform for Turkish inputs(Discover, 2026) Kılıç, Merve; Cüvitoğlu, Gürkan; Polan, Şevket; Balcı, Yusuf; Gürel, Sungur; Demir, Elif Kübra; Aydın, BurakThis study presents several pretesting approaches for automated short-answer grading (ASAG) items, addressing a critical gap in standardized item development procedures in the AS literature. We utilized a large language model approach to develop and assess an ASAG platform for Turkish language inputs across three subject domains: history of the Turkish revolution, Turkish as a first language, and science literacy. Our methodology integrated traditional classical test theory item parameters with insights from cognitive interviews and expert-based machine score-ability ratings to predict ASAG performance. We evaluated performance using quadratic weighted kappa across 73 short-answer items. Our preliminary results indicated that the effectiveness of the pretesting metrics varies by domain. While strong correlations between item parameters and ASAG performance were observed in the history and Turkish domains, a more complex case arose in the science literacy domain, where pretest metrics were insignificant predictors, likely due to linguistic and semantic diversity and complex reasoning. Preliminary evidence suggests that, depending on the study domain, ASAG performance might be predicted from pretesting results. Overall, this study has the potential to advance the field by shifting the paradigm from traditional, retrospective algorithmic validation to a proactive, evidence-based process of item pretesting and development for ASAG. © The Author(s) 2026.Öğe DINA MODEL İLE GELİŞTİRİLEN BİR TESTİN PSİKOMETRİK ÖZELLİKLERİNİN BELİRLENMESİ(2018) Demir, Elif Kübra; Koç, NizamettinBu araştırmada Bilişsel Tanı Modellerinden biri olan DINA model ile test geliştirme süreci gerçekleştirilmiş ve teste ait psikometrik özellikler belirlenmiştir. Geliştirilen test, 7. sınıf Fen ve Teknoloji dersine ait Potansiyel ve Kinetik Enerji konu alanını kapsamaktadır. Bu amaçla belirlenen beş uzman konu alanına ilişkin dört temel özellik belirlemiştir. Maddeleri hazırlayan uzman grubundan bağımsız alanında doktora düzeyinde eğitim almış beş uzmandan maddeler ile özellikleri ilişkilendirmeleri istenmiş ve hazırlanan Q-matrisler karşılaştırılarak hemfikir olunan 65 madde testin deneme uygulamasına konmuştur. Ölçme aracının deneme uygulaması 504 kişilik öğrenci grubuna uygulanmıştır. Deneme uygulaması için maddelere ait g parametrelerinin aritmetik ortalaması 0.42, s parametrelerinin ortalaması 0.30 ve ? parametrelerine ait değerlerinin ortalaması ise 0.28 olarak hesaplanmıştır. DINA modelde elde edilen g, s ve ? parametrelerine göre 25 maddelik testler oluşturulmuş ve mevcut veri üzerinden analiz edilmiştir. Testlerin madde parametreleri ve model veri uyumları karşılaştırıldığında literatürün de desteklediği gibi nihai testin ? parametresi dikkate alınarak oluşturulmasına karar verilmiştir. Nihai test 270 kişilik öğrenci grubuna uygulanmıştır. Nihai teste ilişkin g, s ve ? parametrelerinin ortalaması ise sırasıyla 0.39, 0.26 ve 0.34 olarak hesaplanmıştır.Öğe Dına Model ile Geliştirilen Bir Testin Psikometrik Özelliklerinin Belirlenmesi(2018) Demir, Elif Kübra; Koç, NizamettinBu araştırmada Bilişsel Tanı Modellerinden biri olan DINA model ile test geliştirme süreci gerçekleştirilmiş ve teste ait psikometrik özellikler belirlenmiştir. Geliştirilen test, 7. sınıf Fen ve Teknoloji dersine ait Potansiyel ve Kinetik Enerji konu alanını kapsamaktadır. Bu amaçla belirlenen beş uzman konu alanına ilişkin dört temel özellik belirlemiştir. Maddeleri hazırlayan uzman grubundan bağımsız alanında doktora düzeyinde eğitim almış beş uzmandan maddeler ile özellikleri ilişkilendirmeleri istenmiş ve hazırlanan Q-matrisler karşılaştırılarak hemfikir olunan 65 madde testin deneme uygulamasına konmuştur. Ölçme aracının deneme uygulaması 504 kişilik öğrenci grubuna uygulanmıştır. Deneme uygulaması için maddelere ait g parametrelerinin aritmetik ortalaması 0.42, s parametrelerinin ortalaması 0.30 ve ? parametrelerine ait değerlerinin ortalaması ise 0.28 olarak hesaplanmıştır. DINA modelde elde edilen g, s ve ? parametrelerine göre 25 maddelik testler oluşturulmuş ve mevcut veri üzerinden analiz edilmiştir. Testlerin madde parametreleri ve model veri uyumları karşılaştırıldığında literatürün de desteklediği gibi nihai testin ? parametresi dikkate alınarak oluşturulmasına karar verilmiştir. Nihai test 270 kişilik öğrenci grubuna uygulanmıştır. Nihai teste ilişkin g, s ve ? parametrelerinin ortalaması ise sırasıyla 0.39, 0.26 ve 0.34 olarak hesaplanmıştır.Öğe Ege Üniversitesi Eğitim Fakültesi Eğitim Bilimleri Bölümü Eğitimde Ölçme ve Değerlendirme Anabilim Dalı Test, Analiz ve Araştırma Birimi'nin geliştirilmesi için altyapı projesi(Ege Üniversitesi, 2017) Atılgan, Hakan; Başokçu, T. Oğuz; Demir, Elif Kübra; Öğretmen, TuncayProje kapsamında Eğitim Fakültesi öğretim elemanlarının test geliştirme ve veri analizi aşamalarında yaygın olarak kullandıkları istatistiksel analiz paket programlarına tek bir sunucu ile erişim sağlanması ve söz konusu programların yüksek performansla çalışabileceği güçlü bilgisayarlardan oluşan bir araştırma birimi kurulması hedeflenmiştir. Ortak kullanım imkanı sağlanarak öğretim elemanlarına ait her bir bilgisayar için program satın alınmasına ihtiyaç duyulmayacağından ekonomik ve çağdaş bir bilgisayar ağı kurulmuştur.. Araştırma teknikleri, ölçme aracı geliştirme, istatistiksel analiz vb. içerikli Lisansüstü derslerde, söz konusu yazılımların öğrencilere gösterilmesi, eğitimlerinin verilmesi ve bir fiil öğrenciler tarafından kullanılması yoluyla lisansüstü derslerin kalitesi artacaktır. Proje hedeflerinden bir diğeri ise pek çok Eğitim Fakültesinin bünyesinde bulunan test ve araştırma biriminin kurularak testlerin hazırlanması, basımı, çoğaltılması, analizlerinin gerçekleştirilmesi ve depolanmasını sağlamaktır. Bu raporda kurulmu gerçekleştirilen Test, Analiz ve Araştırma Biriminin, fiziki yapısı ve donanım özellikleri tanıtılmaktadır.;Araştırma teknikleri, ölçme aracı geliştirme, istatistiksel analiz.;Research techniques, improving measurement instrument, statistical analysis.Öğe Geniş ölçekli seçme sınavlarında açık uçlu soruların kullanılması(Ege Üniversitesi, 2018) Öğretmen, Tuncay; Başokçu, Tahsin Oğuz; Demir, Elif Kübra; Atılgan, HakanGeniş ölçekli seçme sınavlarında açık uçlu soruların kullanılması durumunda güvenirliğin ne olacağı önemli bir soru haline gelmektedir. Bu çalışmanın amaçlarından biri geniş ölçekli seçme sınavlarında açık uçlu kısa yanıtlı sorular kullanıldığında, adayların sorulara verdikleri yanıtların uzmanlar tarafından puanlanması durumunda güvenirliğin ne olacağının belirlenmesidir. Diğer yandan puanlayıcı ve madde sayılarının değiştirilmesi ile güvenirliğin nasıl değiştiği, yeterli düzeyde bir güvenirliğe ulaşmak için madde ve puanlayıcı sayısının ne olması gerektiğini ortaya koymak da bir diğer amacıdır. Araştırmanın çalışma grubunu oluşturan 443 öğrenci Türkiye'de İzmir ilinin üç farklı ilçesinden alınan üç ortaokuldaki 8. sınıf öğrencilerdir. Bu öğrencilere araştırma kapsamında hazırlanan 20 açık uçlu kısa yanıtlı sorudan oluşan bir test uygulanmıştır. Öğrenci yanıtları seçilen dört deneyimli öğretmene birbirlerinden bağımsız olarak puanlatılmıştır. Analizlerde öğrenciler (p), maddeler (i) ve puanlayıcılar (r) olmak üzere G kuramının tümüyle çaprazlanmış iki yüzeyli p x i x r deseni kullanılmıştır. Analizlerde Ep2=0,890 ve ?=0,855 olarak hesaplanmış ve açık uçlu kısa yanıtlı soruları puanlama konusunda iyi eğitilmiş puanlayıcının yeterli düzeyde tutarlı puanlama yapabildikleri sonucuna varılmıştır.Öğe KAYIP VERİLER YERİNE YAKLAŞIK DEĞER ATAMAK İÇİN KULLANILAN GELİŞMİŞ YÖNTEMLERİN FARKLI KOŞULLAR ALTINDA KARŞILAŞTIRILMASI(2018) Çüm, Sait; Demir, Elif Kübra; Gelbal, Selahattin; Kışla, TarıkBu araştırmada, farklı oranlarda (%15 ve %25) ve yapılarda (TROK ve ROK) oluşturulan kayıp veriler yerine farklı yöntemlerle yaklaşık değer atanması sonucu elde edilen veri setlerinin tam veri setleriyle karşılaştırılarak incelenmesi amaçlanmıştır. Bu araştırma, PISA’ya (2012) Türkiye’den katılan 15 yaş grubundaki 4848 öğrenci arasından matematik özyeterliği anketine katılan ve eksiksiz bir şekilde yanıtlayan 3129 öğrencinin puanlarından oluşan veri seti üzerinde yürütülmüştür. Söz konusu veri seti içerisinden farklı yapılar oluşturulacak şekilde farklı oranlarda veri silinerek eksik veri setleri oluşturulmuştur. Bu eksik veri setleri BM, BVA, ESE, MUA, MZMC ve RA olmak üzere altı farklı gelişmiş değer atama yöntemiyle tamamlanmıştır. Söz konusu yöntemlerle yapılan yaklaşık değer atamaları sonucu elde edilen ölçek puanları ile tam veri ölçek puanları arasındaki korelasyon değerlerinin yüksek olduğu görülmüştür. Benzer şekilde farklı yöntemlerle tamamlanmış veri setlerinden elde edilen ölçek puanları arasındaki korelasyon değerleri de yüksek bulunmuştur. Tam veri seti ile tamamlanmış veri setlerinden hesaplanan ölçek puanları arası farkların mutlak değer toplamları ve ortalamaları göz önünde bulundurulduğunda belirlenen koşullar altında en iyi çalışan yaklaşık değer atama yöntemlerinin MZMC ve BM olduğu sonucuna ulaşılmıştır.Öğe Kayıp Veriler Yerine Yaklaşık Değer Atamak İçin Kullanılan Gelişmiş Yöntemlerin Farklı Koşullar Altında Karşılaştırılması(2018) Çüm, Sait; Demir, Elif Kübra; Gelbal, Selahattin; Kışla, TarıkBu araştırmada, farklı oranlarda (%15 ve %25) ve yapılarda (TROK ve ROK) oluşturulan kayıp veriler yerine farklı yöntemlerle yaklaşık değer atanması sonucu elde edilen veri setlerinin tam veri setleriyle karşılaştırılarak incelenmesi amaçlanmıştır. Bu araştırma, PISA’ya (2012) Türkiye’den katılan 15 yaş grubundaki 4848 öğrenci arasından matematik özyeterliği anketine katılan ve eksiksiz bir şekilde yanıtlayan 3129 öğrencinin puanlarından oluşan veri seti üzerinde yürütülmüştür. Söz konusu veri seti içerisinden farklı yapılar oluşturulacak şekilde farklı oranlarda veri silinerek eksik veri setleri oluşturulmuştur. Bu eksik veri setleri BM, BVA, ESE, MUA, MZMC ve RA olmak üzere altı farklı gelişmiş değer atama yöntemiyle tamamlanmıştır. Söz konusu yöntemlerle yapılan yaklaşık değer atamaları sonucu elde edilen ölçek puanları ile tam veri ölçek puanları arasındaki korelasyon değerlerinin yüksek olduğu görülmüştür. Benzer şekilde farklı yöntemlerle tamamlanmış veri setlerinden elde edilen ölçek puanları arasındaki korelasyon değerleri de yüksek bulunmuştur. Tam veri seti ile tamamlanmış veri setlerinden hesaplanan ölçek puanları arası farkların mutlak değer toplamları ve ortalamaları göz önünde bulundurulduğunda belirlenen koşullar altında en iyi çalışan yaklaşık değer atama yöntemlerinin MZMC ve BM olduğu sonucuna ulaşılmıştır.Öğe Öğrenci yeteneği kestiriminde bilişsel tanı modelleri ile çok boyutlu madde tepki kuramı modellerinin karşılaştırılması(Ege Üniversitesi, 2017) Öğretmen, Tuncay; Atılgan, Hakan; Demir, Elif Kübra; Başokçu, T. OğuzEğitim ve psikolojide çeşitli amaçlarla bireyler hakkında kararlar verilmektedir. Bu kararların doğru ve güvenilir olmaları amacıyla eğitim ve psikoloji alanındaki araştırmacılar, davranışların daha geçerli ve güvenilir ölçülmelerini sağlayacak yeni yaklaşımlar geliştirmektedirler. Bu nedenle Klasik Test Kuramı'na (KTK) alternatif olarak doğan Madde Tepki Kuramı (MTK) yaklaşımları gün geçtikçe önem kazanmıştır. MTK, örtük özellik ile yanıtlama davranışları arasındaki ilişkinin olasılıklı modelleme ile tanımlamasıdır ((Embretson & Reise, 2013). MTK'nın temel varsayımı; testi alan bireylerin teste ilişkin performanslarının, bireylerin yeteneklerinin tanımlanması ve bireylerin yetenek puanları tahmin edilerek, madde ve test performanslarının kestirilebileceğine dayanmaktadır(Hambleton, Swaminathan, & Rogers, 1991). Tek boyutlu MTK yaklaşımlarından sonra çok boyutlu MTK modelleri geliştirilmiştir. Çok boyutlu MTK, yapılar veya boyutlar olarak kavramsallaştırılan iki veya daha fazla örtük değişken ile test alanın belirli bir test maddesini doğru olarak cevaplama olasılığı arasındaki ilişkiyi matematiksel bir model ile açıklayan modellerdir. Bir başka ifade ile tek boyutlu MTK modellerinin çok boyutluluğa uyarlanmasıdır MTK'da öğrencinin yeteneği genel yetenek parametresi olan ? ile modellenir. Bilişsel tanı modellerini ayıran nokta ise, madde tepki kuramında bir testten aynı puanı alan bireyler için yetenek kestiriminin aynı olmasıdır. Bu araştırma ÇBMTK ile ve BTM modelleri ile belirlenen öğrenci yetenek kestirimlerindeki değişimleri belirleme amacı taşımaktadır. Bu amaç doğrultusunda Yabancı Diller Yüksek okulunda gerçekleştirilen 2237 kişiye uygulan 50 soruluk final testti kullanılmıştır. Analizlerde kullanılan testin güvenirlik katsayısı 0,82 olarak hesaplanmıştır. Test her iki model ile analiz edilmeye uygun olup olmadığı modellerin varsayımlarına göre incelenmiştir. Analizler için yeterli model-veri uyumuna sahip olduğu belirlenen ölçe aracı BTM modellerinden DINA ve HO-DINA algoritmalarıyla ve ÇBMTK ile analiz edilmiş ve öğrenci yetenekleri belirlenmiştir. Analizler sonucunda iki modelin yetenek kestirimleri arasında anlamlı düzeyde farklılıklar gözlenmemiştir.Öğe Öğrenme Stilleri ile Ders Çalışma Alışkanlıklarının İncelenmesi(2018) Başbay, Alper; Bıyıklı, Cemal; Demir, Elif KübraBu çalışma ile öğrencilerin ders çalışma alışkanlıkları ile öğrenme stilleri arasındaki ilişkinin incelenmesi amaçlanmıştır. Öğrenme stilleri ile ders çalışma alışkanlıklarının birbirleriyle doğrudan bağlantılı olduğu yönündeki görüş çerçevesinde farklı düzeylerdeki öğrencilerin ders çalışma alışkanlıklarının öğrenme stillerine göre farklılık gösterip göstermediği belirlenmeye çalışılmıştır. Bununla birlikte hem ders çalışma alışkanlıkları hem de öğrenme stillerinin sınıf düzeyi ve cinsiyete göre farklılaşıp farklılaşmadığı da yine araştırma kapsamına dahil edilmiştir. İlişkisel tarama modeli ile yürütülen çalışma, uygulama alanı olarak 2015-2016 öğretim yılının ikinci döneminde Mardin ili merkez (Artuklu) ilçesindeki devlet okullarında öğrenim gören 6, 7 ve 8. sınıf öğrencileriyle yürütülmüştür. Araştırmada öğrencilerin ders çalışma alışkanlıklarını belirlemek üzere Günaydın (2011) tarafından geliştirilen Ders Çalışma Alışkanlıkları Ölçeği ve Kolb (1984) tarafından geliştirilen Kolb Öğrenme Stili Ölçeği’nin ikinci versiyonu kullanılmıştır. Elde edilen bulgular ışığında ders çalışma alışkanlıkları bakımından kız öğrencilerin 8. sınıf kaçınma davranışı ortalamalarının erkek öğrencilere göre düşük olduğu, bunun haricindeki tüm sınıf düzeylerinde ve tüm çalışma alışkanlığı boyutlarında daha yüksek ortalamaya sahip oldukları görülmüştür. Bununla birlikte öğrenme stillerinin sınıf düzeyi ve cinsiyete göre farklılaşması incelenmiş ve hem sınıf düzeyi hem de cinsiyetin öğrenme stilleri üzerinde anlamlı etkiye sahip olduğu görülmüştür.Öğe Okuma Zevki ve Okuma Çeşitliliğinin Örtük Sınıf Analizi: Türkiye ve Çin İncelemesi(2020) Arıkan, Çiğdem Akın; Şahin, Murat Doğan; Çüm, Sait; Demir, Elif KübraÖğrencilerin ana dillerinde okuma becerilerinin geliştirilmesi, diğer alanlardaki akademik başarıdüzeyleri açısından son derece önemlidir. Yapılan araştırmaların büyük kısmı, okuma becerisininakademik başarının önemli bir yordayıcısı olduğunu göstermektedir. Okuma becerisinindoğasının daha iyi anlaşılabilmesi için okuma zevki ve okuma çeşitliliği gibi onunla ilişkilideğişkenlerin de incelenmesi gerektiği düşünülmektedir. Bu çalışmanın amacı, PISA sonuçlarınagöre okuma becerisinde en başarılı ülke olan Çin ile Türkiye’yi, okuma becerisiyle ilişkili olanokuma zevki ve okuma çeşitliliği açısından karşılaştırmaktır. Bu amaçla her iki ülkede, okumazevkleri ve okudukları materyallerin çeşitlilikleri bakımından birbirine benzeyen bireylerdenoluşan fakat doğrudan gözlemlenemeyen alt gruplar belirlenmiş, anlamlandırılmış vekarşılaştırılmıştır. Doğrudan gözlemlenemeyen gizil grupların belirlenmesi amacıyla Örtük SınıfAnalizi’nden yararlanılmıştır. Elde edilen sonuçlara göre okuma zevki açısından her iki ülkedeanlamlı üç örtük sınıf oluştuğu, bu sınıfların ise kimi noktalarda benzerlik gösterirken, kiminoktalarda ayrıştığı görülmüştür. Okuma çeşitliliği açısından ise Türkiye’de üç, Çin’de ise dörtanlamlı sınıfın oluştuğu sonucuna ulaşılmıştır.Öğe Spor Bilimleri Alanında Yapılan Ölçek Geliştirme Çalışmalarının Metodolojik Açıdan İncelenmesi(2024) Demir, Elif Kübra; Çüm, Sait; Aygün, MuratBu araştırmada, Türkiye’de spor bilimleri alanında yapılmış ölçek geliştirme çalışmalarının incelenmesi ve bu çalışmalarda yürütülen süreçlerin ölçek geliştirme ölçütlerine uygunluğunun belirlenmesi amaçlanmıştır. Araştırmanın veri setini, 2017 ile 2023 yılları arasında TÜBİTAK ULAKBİM veri tabanında taranan dergilerde yayımlanan, spor bilimleriyle ilişkili 65 ölçek geliştirme çalışması oluşturmuştur. İncelenen ölçek geliştirme çalışmalarında, ölçülmesi amaçlanan özelliğin ilişkili olduğu yapı ve kuramlar ile birlikte ele alınması ve işe vuruk tanımının yapılması gibi sürecin ilk aşamalarından itibaren uyulması gereken bazı ölçütlere dikkat edilmediği sonucuna ulaşılmıştır. Bununla birlikte, ölçeğin hedef kitlesinin açıkça tanımlanması, özelliğin doğasına uygun bir ölçekleme tekniğinin belirlenmesi, deneme formu için maddelerin alternatifli olarak yazılması, uygun istatistiksel tekniklerin seçilmesi, gerekli geçerlik ve güvenirlik kanıtlarının toplanması gibi süreçlerde ölçek geliştirme alanyazınına uygunluk bakımından önemli eksiklikler tespit edilmiştir. Aynı zamanda çalışmada ölçek geliştirmenin önemli bir uzmanlık alanı olduğu ve yapılan hataların diğer bilimsel çalışmaları da etkileyebilecek daha büyük sorunlara yol açabileceği de hatırlatılmıştır. Farklı uzmanların yer aldığı daha geniş ekiplerle yapılan çalışmaların pek çok hatayı önleyebileceği vurgulanmıştır. Bu hatalar detaylı açıklanarak önlenmelerine ve giderilmelerine yönelik önerilerde bulunulmuştur. Elde edilen sonuçlar üzerine yapılan tartışmaların ve ölçek geliştirmek isteyen araştırmacılara sunulan önerilerin alanyazına katkı sağlayacağı düşünülmektedir. Ayrıca araştırmacılar, bu çalışmada geliştirilen ölçek geliştirme ölçütleri formunu hem ölçek geliştirme sürecini eksiksiz ve doğru yürütmek için hem de mevcut ölçekleri incelemek için kullanabilirler.Öğe Üretken yapay zekâ ve insan iş birlikli çoktan seçmeli madde üretme modelinin geliştirilmesi ve değerlendirilmesi(Ege Üniversitesi, 2025) Demir, Elif Kübra; Çüm, Sait; Kışla, TarıkProje, yapay zekâ ve inşan iş birliğiyle eğitim materyallerinden ve mevcut soru havuzundan yararlanarak Ortaokul Matematik dersi öğretim programından farklı düzeylerdeki kazanımlara yönelik olarak soru yazım ilkelerine uygun çoktan seçmeli sorular üretmeyi hedefleyen bir model geliştirmeyi ve bu modelin nasıl geliştirebileceği ile ilgili metodolojik bilgiyi araştırmacılarla paylaşmayı hedeflemektedir. Projede yapay zekâ modeli olarak ChatGPT kullanılmıştır. Model eğitimi ve değerlendirilmesi için çoktan seçmeli madde yazma ilkeleri değerlendirme formunun geliştirilmiş ve psikometrik özellikleri belirlenerek geçerli ve güvenilir olduğu ortaya konmuştur. Eğitilmiş ve eğitilmemiş modeller maddelerin nitelik düzeyi puanları ile bu maddelerin kazanıma, bilişsel düzeye ve madde güçlüğüne uygunluğu bakımından karşılaştırılmıştır. Eğitilmemiş modelin madde nitelik puanı eğitilmiş modele göre anlamlı derecede düşüktür. Benzer şekilde eğitilmemiş model madde kazanımına göre madde üretiminde %92 başarı performansı gösterirken eğitilmiş model %96 performans gösterilmiştir. Maddeerin diğer özellikleri için ise çok daha dramatik performans farkları bulunmuştur. eğitilmiş model %92 başarı performansı ile çalışırken eğitilmemiş model %72 performans ile çalışmıştır. Madde güçlük düzeylerine uygunluk bakımından model performansları karşılaştırıldığında eğitilmemiş model %56 başarı düzeyi ile performans göstermiştir. Eğitilmiş model ise madde güçlük düzeyine uygun soru yazmada %90 başarı performansı göstermiştir. Maddelerin bilişsel düzeye uygunluğu incelendiğinde eğitilmiş model %92 başarı performansı ile çalışırken eğitilmemiş model %72 performans ile çalışmıştır. Eğitilen Model IteMatic isimli GPT olarak ChatGPT’de erişime açık olarak paylaşılmıştır.
