Türkiye Türkçesinde Eşdizimlerin İstatistiksel Yöntemlerle Belirlenmesi
Küçük Resim Yok
Tarih
2016
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Eşdizim, sözcüklerin bir anlam bütünlüğü oluşturmak üzere şans eseri olmayacak sıklıkla bir araya geldiği sözcük birliğidir. Eşdizimlerin belirlenmesi, Türkçe metinlerin otomatik olarak işlenmesi ve çevirilerinin yapılması, Türkçe dilinin eğitimi gibi çeşitli alanlardaki faydaları sebebiyle Türkçe doğal dil işleme çalışmalarında önemli bir konudur. Bu çalışmada, Türkçe bir derlemde (corpus) eşdizimlerin otomatik olarak belirlenmesi için çeşitli istatistiksel teknikler, gözlenme sıklığı (occurrence frequency), noktasal karşılıklı bilgi katsayısı (pointwise mutual information) ve hipotez testleri uygulanmıştır. Eşdizimlerin belirlenmesinde gövdelemenin etkisinin araştırılması amacıyla sözcüklerin yanısıra bu sözcüklere ait sözcük gövdeleri üzerinde de çalışılmış, yöntemlerin başarımı F-ölçütü (F-measure) ile değerlendirilmiştir. Ki-kare hipotez testi ve noktasal karşılıklı bilgi katsayısı Türkiye Türkçesinde eşdizimlerin belirlenmesi konusunda diğer yöntemlere göre daha başarılı olmuştur. Ayrıca, gövdelenmiş sözcüklerden oluşan veri kümelerinde başarılı ve başarısız olarak kabul edebileceğimiz yöntemler arasındaki farkın daha net ortaya çıktığı görülmüştür
Collocation is the combination of words in which words appear together more often than by chance in order to create a block of meaning. Since the extraction of collo-cations provides many benefits in automatic processing, translation of Turkish texts and in learning Turkish, it is an important issue in Turkish natural language proces-sing. In this study several statistical techniques, including occurrence frequency, pointwise mutual information and hypothesis tests, are applied on Turkey Turkish corpus to automatically identify collocations. We have utilized both stemmed and surface forms of words in order to explore the effect of stemming in collocation extraction. The techniques are evaluated using the F-measure. The chi-square hypothesis test and pointwise mutual informa-tion methods have produced better results compared to other methods. In addition, we have observed that when words are stemmed, methods which may be considered as successful in collocation extraction may be more clearly discriminated.
Collocation is the combination of words in which words appear together more often than by chance in order to create a block of meaning. Since the extraction of collo-cations provides many benefits in automatic processing, translation of Turkish texts and in learning Turkish, it is an important issue in Turkish natural language proces-sing. In this study several statistical techniques, including occurrence frequency, pointwise mutual information and hypothesis tests, are applied on Turkey Turkish corpus to automatically identify collocations. We have utilized both stemmed and surface forms of words in order to explore the effect of stemming in collocation extraction. The techniques are evaluated using the F-measure. The chi-square hypothesis test and pointwise mutual informa-tion methods have produced better results compared to other methods. In addition, we have observed that when words are stemmed, methods which may be considered as successful in collocation extraction may be more clearly discriminated.
Açıklama
Anahtar Kelimeler
Sosyal Bilimler, Disiplinler Arası
Kaynak
Bilig / Türk Dünyası Sosyal Bilimler Dergisi
WoS Q Değeri
Scopus Q Değeri
Cilt
2016
Sayı
78
