Cevap seçimi için derin öğrenme tabanlı bir melez zeki sistem tasarımı ve gerçekleştirimi
Yükleniyor...
Dosyalar
Tarih
2023
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Ege Üniversitesi
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Günümüzde, geliştirilen büyük dil modelleri ve makine öğrenimi teknikleri ile birlikte doğal dil işleme (NLP) konusunun uygulama alanları artmış ve kullanımı da çok hızlı bir şekilde yaygınlaşmıştır. Otomasyon ihtiyacının artması ile birlikte sohbet robotları ve sesli asistanlar kullanıcının isteklerini anlamlandırarak çeşitli işlemleri yerine getirmektedir. Bu anlamlandırma, niyet sınıflandırma ve cevap seçimini de içeren doğal dil işleme yöntemleri kullanılarak yapılmaktadır. Tez kapsamında, sohbet robotlarının temelinde yer alan niyet sınıflandırma ve cevap seçimi için derin öğrenme tabanlı ve veri artırımı destekli bir zeki sistem gerçekleştirimi yapılmıştır. Böylelikle kullanıcı isteklerinin daha yüksek doğruluk ile anlamlandırılmasına katkıda bulunulması amaçlanmıştır. Geliştirilen yöntemde, farklı dil modellerinden (BERT, DistilBERT, RoBERTa, vb.) veya cümle kodlama modelinden (ConveRT) elde edilen öneğitimli gömü özniteliklerinin kullanıldığı üç farklı DIET (Dual Intent and Entity Transformer - Çift Niyet ve Varlık Dönüştürücüsü) mimarisi üzerinde oylamaya dayalı topluluk öğrenme yöntemleri uygulanmıştır. Böylelikle niyet sınıflandırma ve cevap seçimi için tek bir DIET mimarisinin elde ettiği başarıdan daha yüksek başarı değerleri elde edilmiştir. Buna ek olarak, GPT-4 tabanlı veri artırım yöntemleri kullanılarak eğitim veri kümesi zenginleştirilmiş ve daha iyi sonuçlara ulaşılabilmiştir. Yapılan çalışmalar sonucunda 3 aşamalı, GPT-4 ile veri artırımı yapılan, birden fazla DIET mimarisinin farklı öneğitimli gömü özniteliği ile kullanıldığı ve oylamaya dayalı topluluk öğrenmeden yararlanılarak birleştirildiği eşsiz bir mimari ortaya konulmuştur. Geliştirilen mimari esnek olarak tasarlanmıştır. Böylelikle veri kümesi ihtiyaçlarına göre gereken bölümler çıkartılabilmekte, çeşitli öneğitimli gömü öznitelikleri ile eğitilmiş DIET mimarileri kullanılabilmekte ve farklı oylama yöntemleri ile tahminleme sonuçları birleştirilebilmektedir. Bildiğimiz kadarı ile, GPT-4'ün niyet sınıflandırma için veri artırımında kullanıldığı ilk çalışmadır. Üç farklı veri kümesi üzerinde deneysel çalışmalar gerçekleştirilmiştir. Massive ve ATIS veri kümesinde üzerinde yapılan deney sonuçlarının ortalamaları alındığında, ATIS veri kümesinde en iyi üçüncü, Massive veri kümesinde en iyi ikinci sonuca ulaşılmıştır. Tekrarlanan deneylerde alınan en iyi sonuçlar incelendiğinde ise, her iki veri kümesinde de en başarılı doğruluğa ulaşılmıştır. Mimarinin cevap seçimi modülü ile birlikte kullanımının test edilmesi için Rasa demo veri kümesinden yararlanılmıştır. Bu veri kümesi üzerinde yapılan deneylerde de topluluk öğrenmenin başarıma olumlu katkısı gözlemlenmiştir.
Nowadays, with the developed large language models and machine learning techniques, the application areas of natural language processing (NLP) have increased and its use has become widespread very quickly. With the increasing need for automation, chatbots, and voice assistants carry out various operations by making sense of the user's requests. This is done using natural language processing methods, including intent classification and response selection. Within the scope of the thesis, a deep learning-based and data augmentation-supported intelligent system has been implemented for intent classification and response selection, which are the basis of chatbots. Thus, it is aimed to contribute to the interpretation of user requests with greater accuracy. In the developed method, voting-based ensemble learning methods were applied on three different DIET (Dual Intent and Entity Transformer) architectures using pre-trained embedding features obtained from different language models (BERT, DistilBERT, RoBERTa, etc.) or a sentence coding model (ConveRT). Thus, higher success values were obtained for intention classification and answer selection than the success of a single DIET architecture. In addition, by using GPT-4 based data augmentation methods, the training dataset was enriched and better results were achieved. As a result of the studies, a unique architecture with 3 stages has been put forward which has data augmentation with GPT-4, uses multiple DIET architectures with different pre-trained embedding features, and combines them by using voting-based ensemble learning. The developed architecture is designed to be flexible. Thus, the necessary parts can be removed according to the needs of the dataset, DIET architectures trained with various pre-trained embedding features can be used, and prediction results can be combined with different voting methods. To the best of our knowledge, this is the first study in which GPT-4 is used for data augmentation for intent classification. Experimental studies were carried out on three different datasets. When the results of the experiments on the Massive and ATIS datasets were averaged, the third-best result was obtained on the ATIS dataset and the second-best result was obtained on the Massive dataset. When the best results obtained in repeated experiments were analysed, the best accuracy was achieved in both datasets. The Rasa demo dataset was used to test the use of the architecture with the answer selection module. In the experiments conducted on this dataset, the positive contribution of ensemble learning to the performance was observed.
Nowadays, with the developed large language models and machine learning techniques, the application areas of natural language processing (NLP) have increased and its use has become widespread very quickly. With the increasing need for automation, chatbots, and voice assistants carry out various operations by making sense of the user's requests. This is done using natural language processing methods, including intent classification and response selection. Within the scope of the thesis, a deep learning-based and data augmentation-supported intelligent system has been implemented for intent classification and response selection, which are the basis of chatbots. Thus, it is aimed to contribute to the interpretation of user requests with greater accuracy. In the developed method, voting-based ensemble learning methods were applied on three different DIET (Dual Intent and Entity Transformer) architectures using pre-trained embedding features obtained from different language models (BERT, DistilBERT, RoBERTa, etc.) or a sentence coding model (ConveRT). Thus, higher success values were obtained for intention classification and answer selection than the success of a single DIET architecture. In addition, by using GPT-4 based data augmentation methods, the training dataset was enriched and better results were achieved. As a result of the studies, a unique architecture with 3 stages has been put forward which has data augmentation with GPT-4, uses multiple DIET architectures with different pre-trained embedding features, and combines them by using voting-based ensemble learning. The developed architecture is designed to be flexible. Thus, the necessary parts can be removed according to the needs of the dataset, DIET architectures trained with various pre-trained embedding features can be used, and prediction results can be combined with different voting methods. To the best of our knowledge, this is the first study in which GPT-4 is used for data augmentation for intent classification. Experimental studies were carried out on three different datasets. When the results of the experiments on the Massive and ATIS datasets were averaged, the third-best result was obtained on the ATIS dataset and the second-best result was obtained on the Massive dataset. When the best results obtained in repeated experiments were analysed, the best accuracy was achieved in both datasets. The Rasa demo dataset was used to test the use of the architecture with the answer selection module. In the experiments conducted on this dataset, the positive contribution of ensemble learning to the performance was observed.
Açıklama
Anahtar Kelimeler
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
