Evaluation of Artificial Intelligence Models in the Field of Islamic Philosophy: ChatGPT-Google Bard

Abstract

Social media platforms, like other cyber domain platforms, have the potential to assist in various fields, including social sciences, by providing access to various types of information. In social sciences, especially in the fields of theology and philosophy, research on the positive and negative aspects of artificial intelligence models used for information retrieval is quite limited. The aim of this study is to compare and evaluate the information-providing potential of two artificial intelligence models, Chat Generative Pretrained Transformer-3.5 (ChatGPT) and Google Bidirectional Encoder Representations from Transformers (Google Bard), in the field of Islamic Philosophy. Questions related to Islamic Philosophy were posed to both ChatGPT and Google Bard. The questions were prepared in different types, such as informational, comparative, and analytical, to lay the groundwork for evaluating the models. The responses generated by both models were examined in terms of clarity and specificity, relevance, supporting information, consistency, adequacy, completeness, accuracy, and data volume. When the responses of both models were evaluated in terms of the discipline of Islamic philosophy, it was observed that they contained quite limited information. However, it was noted that Google Bard provided more qualitative, detailed, and accurate responses compared to ChatGPT.Sosyal medya gibi siber alan platformları, pek çok alanda olduğu gibi sosyal bilimler alanında da, çeşitli bilgilere erişim sağlayarak yardımcı olma potansiyeline sahiptir. Sosyal bilimlerde özellikle ilahiyat ve felsefe alanlarında bilgi edinme amaçlı kullanılan yapay zekâ modellerinin olumlu ve olumsuz yönleri hakkında araştırmalar oldukça sınırlıdır. Çalışmanın amacı, iki yapay zekâ modelinin, Chat Generative Pretrained Transformer-3.5 (ChatGPT) ve Google Bidirectional Encoder Representations from Transformers (Google Bard), İslam Felsefesi alanında bilgi sağlama potansiyelini karşılaştırmak ve değerlendirmektir. İslam Felsefesi alanında geliştirilen sorular hem ChatGPT'ye hem de Google Bard'a sorulmuştur. Sorular, modelleri değerlendirmeye zemin hazırlamak maksadıyla bilgi, karşılaştırma, analiz şeklinde farklı türlerde hazırlanmıştır. Her iki modelden üretilen yanıtlar; netlik ve özgüllük, alaka düzeyi, destekleyici bilgi, tutarlılık, yeterlilik, bütünlük, doğruluk, veri hacmi bakımından incelemeye tabi tutulmuştur. Yanıtlar, İslam felsefesi disiplini itibarıyla değerlendirildiğinde oldukça sınırlı bilgiler içerdiği görülmüştür. Bununla birlikte karşılaştırma sorularında Google Bard'un ChatGPT'ye kıyasla genellikle daha nitelikli, tafsilatlı ve doğru yanıtlar verdiği gözlemlenmiştir.