Türkçe klinik raporlarından ilişki çıkarımı

GPT-3 ve BARD gibi Büyük Dil Modelleri (BDM'ler), birçok iyi bilinen doğal dil işleme probleminde güçlü bağlam içi öğrenme (BİÖ) yetenekleri göstermiştir. Bu modeller, önemli ve çeşitli dil teknolojisi gereksinimlerin yanı sıra veri anotasyonuna ilişkin önemli maliyetleri beraberinde getiren klinik alanda ilişki çıkarma gibi görevler için özellikle çekicidir. Bu makalede, ilişki çıkarımı için dinamik örnek alma ile mevcut bağlam içi öğrenme yöntemlerinin kapsamlı bir analizi sunulmaktadır ve Gemini ile klinik ilişki çıkarımı için eğitim setiyle SimCSE'yi (cümle benzerlik modeli) ince ayar yaparak tasarlanmış dinamik bir BİÖ modeli olan Gemini-SimCSE-FT önerilmektedir. Sonuçlarımız, Gemini-SimCSE-FT'nin PURE dahil tüm BERT tabanlı temel modellerden F1 puanında Türkçe için %25.6, İngilizce için %16.6 ve GPT-RE gibi diğer BİÖ modellerinden F1 puanında Türkçe ve İngilizce ikisi için aynı %1.6 daha iyi performans sergilediğini göstermektedir. Daha ileri analizler, veri kümesindeki ilişki türlerinin eşit olmayan dağılımıyla birlikte çok sayıda oldukça benzer örneğin kullanılmasının, özellikle örnek alma zaten etkili olduğunda, her zaman en uygun sonuçları vermediğini ortaya koymaktadır.

Large Language Models (LLMs) such as GPT-3 and BARD have demonstrated strong in-context learning (ICL) capabilities across various well-known natural language processing tasks. These models are especially promising for tasks like relation extraction in the clinical domain, which presents complex language technology challenges and substantial costs related to data annotation. In this paper, we provide a comprehensive analysis of existing in-context learning methods with dynamic example retrieval for relation extraction and propose Gemini-SimCSE-FT, a dynamic ICL model designed for clinical relation extraction using Gemini, by fine-tuning SimCSE (sentence similarity model) with our training set. Our findings show that Gemini-SimCSE-FT outperforms all BERT-based baseline models, including PURE, by 25.6% and 16.6% in F1 score for Turkish and English datasets respectively, and outperforms other ICL models, such as GPT-RE, by 1.6% in F1 score for both languages. Further analysis reveals that using a large number of highly similar examples, coupled with an uneven distribution of relation types in the dataset, does not always yield optimal results, especially when example retrieval is already effective.