Recent capabilities of large language models (LLMs) have transformed many tasks in Natural Language Processing (NLP), including question answering. The state-of-the-art systems do an excellent job of responding in a relevant, persuasive way but cannot guarantee factuality. Knowledge graphs, representing facts as triplets, can be valuable for avoiding errors and inconsistencies with real-world facts. This work introduces a knowledge graph-based approach to Turkish question answering. The proposed approach aims to develop a methodology capable of drawing inferences from a knowledge graph to answer complex multihop questions. We construct the Beyazperde Movie Knowledge Graph (BPMovieKG) and the Turkish Movie Question Answering dataset (TRMQA) to answer questions in the movie domain. We evaluate our proposed question answering pipeline against a baseline study. Furthermore, we compare it with a question answering system built upon GPT-3.5 Turbo to answer the 1-hop questions from TRMQA. The experimental results confirm that link prediction on a knowledge graph is quite effective in answering questions that require reasoning paths. Finally, we provide insights into the pros and cons of the provided solution through a qualitative study.
Soon...
| Question Type | Count | Example |
|---|---|---|
| Movie to Release Year | 10947 | Hangi sene İhtiyarlara Yer Yok filmi yayınlandı? |
| Movie to Language | 13240 | Hangi dil Çifte Hayatlar filminin seslendirilmesinde kullanılmıştır? |
| Actor to Profession | 36750 | Jennifer Ulrich kişisi meslek olarak ne yapmaktadır? |
| Movie to Actor | 40238 | Hicran Gecesi filminde rol alan aktörlerden biri kimdir? |
| Movie to Genre | 19326 | Straight Outta Compton filminin kategorisi nedir? |
| Actor to Nationality | 19184 | Hangi uyruk Zoë Wanamaker kişisinin uyruğudur? |
| Movie to Director | 11620 | Hangi kişi Bıçağın İki Yüzü filminde yönetmendir? |
| Movie to Rating | 2510 | Kevin Hakkında Konuşmalıyız filminin aldığı yıldız değeri kaçtır? |
| Question Type | Count | Example |
|---|---|---|
| Movie to Release Year to Movie | 10947 | Hangi senelerde Katharine O'Brien'in yönettiği filmler yayınlanmıştır? |
| Movie to Language to Movie | 4377 | 13. Savaşçı filmi içerisinde konuşulan lisanlardan biri aynı zamanda hangi filmlerde kullanılmaktadır? |
| Movie to Genre to Movie | 4382 | Hangi filmlerin temaları The Company Men filminin temaları ile kesişmektedir? |
| Movie to Director to Movie | 7324 | Constantine filminin yönetmeninin yönettiği diğer filmler nelerdir? |
| Movie to Actor to Movie | 10012 | Fury filminde yer alan oyuncular aynı zamanda hangi filmde rol almıştır? |
| Movie to Actor to Nationality | 10688 | Parabellum filmindeki oyuncular hangi uyruktan gelmektedirler? |
| Movie to Actor to Profession | 10957 | Teksas Katliamı: Başlangıç filmindeki aktörler hangi meslek ile uğraşmaktadır? |
| Movie to Director to Profession | 10947 | Ocean’s 12 filminin yönetmenlerinin meslekleri nelerdir? |
| Movie to Director to Nationality | 9470 | Yeşil Sokak Holiganları filminin yönetmenleri hangi milliyettendir? |
| Actor to Movie to Director | 19632 | Hangi yönetmenler Sari Lennick'in oynadığı filmleri yönetmiştir? |
| Actor to Movie to Genre | 19788 | Mel Gibson'in yönettiği filmler hangi temalardadır? |
| Actor to Movie to Release Year | 19758 | Richard Linklater'in bulunduğu filmler ne zaman vizyona girmiştir? |
| Actor to Movie to Language | 19737 | Daniel Brühl'in oynadığı filmlerde kullanılan diller nelerdir? |
| Actor to Movie to Actor | 19792 | Hangi aktörler ile Nick Cave aynı filmde yer almıştır? |
| Director to Movie to Actor | 6095 | Bruce Lee hangi oyuncuların oynadığı filmleri yönetmiştir? |
| Director to Movie to Director | 977 | Hakan Gürtop'in yönettiği filmlerde başka hangi yönetmenler bulunmaktadır? |
| Director to Movie to Release Year | 6089 | Keishi Ohtomo'in bulunduğu filmler ne zaman yayınlanmıştır? |
| Director to Movie to Genre | 6094 | Stuart Beattie hangi kategorilere ait filmleri yönetmiştir? |
| Director to Movie to Language | 6082 | Hangi diller Peter Weir'in çektiği filmlerde kullanılmıştır? |
| Question Type | Count | Example |
|---|---|---|
| Actor to Movie to Actor to Profession | 19788 | Hangi iş üzerine Amanda Peet oyuncusu yer aldığı filmlerde bulunan aktörler uğraşmaktadır? |
| Actor to Movie to Actor to Nationality | 18558 | Hangi milletler Arielle Holmes oyuncusunun yer aldığı filmlerdeki oyuncuların milletleridir? |
| Director to Movie to Director to Profession | 977 | Hangi meslek Greg Strause yönetmeni ile aynı filmlerde yönetmen olan kişilerce yapılmaktadır? |
| Director to Movie to Director to Nationality | 731 | Zeynel Doğan yönetmeninin yönettiği filmlerin yönetmenleri hangi uyruktan gelmektedir? |
| Movie to Actor to Movie to Release Year | 10010 | A Million Little Pieces filmi içerisinde yer alan oyuncuların diğer oynadığı filmlerin yayınlanma yılı ne zamandır? |
| Movie to Actor to Movie to Language | 10012 | Mr. Bean Tatilde filminde rol alan kişilerin oynadığı filmlerde hangi dil konuşulmaktadır? |
| Movie to Actor to Movie to Genre | 10012 | Ip Man filminin oyuncularının oynadığı filmlerin içerisinde hangi kategoriler bulunmaktadır? |
| Movie to Actor to Movie to Director | 10012 | Hangi yönetmenler Yılanların Öcü filmi oyuncularının oynadığı filmleri yönetmektedir? |
| Movie to Actor to Movie to Rating | 7795 | Hangi değerlendirme puanı Rocky 4 filmi oyuncularının oynadığı filmler için verilmiştir? |
| Movie to Director to Movie to Release Year | 7322 | Hangi yıllar içerisinde Oslo, 31 Ağustos filminin yönetmeninin yönettiği filmler yayınlanmaktadır? |
| Movie to Director to Movie to Language | 7322 | Hangi dil Zor Ölüm 2 filmini yöneten kişinin yönettiği filmlerde kullanılmıştır? |
| Movie to Director to Movie to Genre | 7324 | Siyah Giyen Adamlar 3 filminde rol alan kişilerin oynadığı filmlerde hangi konular yer almaktadır? |
| Movie to Director to Movie to Actor | 7324 | Hangi oyuncu Pearl Harbor filmi içerisinde yönetmen olarak rol alan kişinin filmlerinde oynamıştır? |
| Movie to Director to Movie to Rating | 3858 | Pasifik Savaşı filmi içerisinde yer alan yönetmenlerin diğer yönettiği filmlerin değerlendirmesi 5 üzerinden kaçtır? |