HardNegative_PhoATIS.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "id": "cad38964-4989-4f22-b7cf-ae95bf759989",
      "metadata": {
        "id": "cad38964-4989-4f22-b7cf-ae95bf759989"
      },
      "source": [
        "# Evaluation"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 1,
      "id": "33b2c778-dda6-42f8-9dca-5c411eb392e2",
      "metadata": {
        "id": "33b2c778-dda6-42f8-9dca-5c411eb392e2"
      },
      "outputs": [],
      "source": [
        "import numpy as np\n",
        "import pandas as pd\n",
        "import matplotlib.pyplot as plt\n",
        "import os\n",
        "import regex as re"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/drive')"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ZLm-krx8ECxx",
        "outputId": "44aaea8f-09a2-47ea-9ea5-4aaa3c7713b2"
      },
      "id": "ZLm-krx8ECxx",
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Mounted at /content/drive\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!pwd"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "lVSNzpR1GXeA",
        "outputId": "1746504a-b469-48e0-f1d2-bb2642226c1e"
      },
      "id": "lVSNzpR1GXeA",
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "/content\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 4,
      "id": "5b44bcef-ab17-477f-bdac-a0674ee3b4de",
      "metadata": {
        "id": "5b44bcef-ab17-477f-bdac-a0674ee3b4de"
      },
      "outputs": [],
      "source": [
        "# Nhập dữ liệu\n",
        "with open('/content/drive/MyDrive/ViNLU/dev-results/seq.out', 'r', encoding= 'utf-8') as file:\n",
        "    out_lines = file.readlines()\n",
        "    file.close()\n",
        "\n",
        "with open('/content/drive/MyDrive/ViNLU/dev-results/seq.in', 'r', encoding= 'utf-8') as file:\n",
        "    in_lines = file.readlines()\n",
        "    file.close()\n",
        "\n",
        "with open('/content/drive/MyDrive/ViNLU/dev-results/label', 'r', encoding= 'utf-8') as file:\n",
        "    out_labels = file.readlines()\n",
        "    file.close()\n",
        "\n",
        "with open('/content/drive/MyDrive/ViNLU/dev-results/predict.out', 'r', encoding= 'utf-8') as file:\n",
        "    test_lines = file.readlines()\n",
        "    file.close()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 5,
      "id": "d285c8f6-9e33-4687-a9e8-9d05826dfff2",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "d285c8f6-9e33-4687-a9e8-9d05826dfff2",
        "outputId": "24219b98-e251-4e8b-c195-7dd41740b9cd"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(500, 500)"
            ]
          },
          "metadata": {},
          "execution_count": 5
        }
      ],
      "source": [
        "# Số samples trong bộ test\n",
        "len(out_lines), len(test_lines)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 6,
      "id": "09211ef3-e847-4df9-870f-017887fec63f",
      "metadata": {
        "id": "09211ef3-e847-4df9-870f-017887fec63f"
      },
      "outputs": [],
      "source": [
        "# Chuẩn hóa\n",
        "out_lines = [x.strip() for x in out_lines]\n",
        "in_lines = [x.strip() for x in in_lines]\n",
        "out_labels = [x.strip() for x in out_labels]\n",
        "test_lines = [x.strip() for x in test_lines]"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 7,
      "id": "a59a8007-f9a1-401a-9bc5-75b8eebca4e4",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 52
        },
        "id": "a59a8007-f9a1-401a-9bc5-75b8eebca4e4",
        "outputId": "aeb003b7-96cb-4eda-a89d-205f449f02cf"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'O O O O B-fromloc.city_name O B-depart_time.time I-depart_time.time I-depart_time.time I-depart_time.time I-depart_time.time O O B-toloc.city_name O B-arrive_time.period_of_day I-arrive_time.period_of_day O B-arrive_time.time I-arrive_time.time I-arrive_time.time I-arrive_time.time'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 7
        }
      ],
      "source": [
        "out_lines[0]"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 8,
      "id": "842ddce9-e592-4385-9ca3-6fcd60b20502",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 70
        },
        "id": "842ddce9-e592-4385-9ca3-6fcd60b20502",
        "outputId": "3915288f-d6bb-4df5-be43-e6142990dcac"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'<flight> -> tôi muốn bay từ [hải_phòng:B-fromloc.city_name] lúc [8:B-depart_time.time] [giờ:I-depart_time.time] [38:I-depart_time.time] [phút:I-depart_time.time] [sáng:I-depart_time.time] và đến [huế:B-toloc.city_name] vào [buổi:B-arrive_time.period_of_day] [sáng:I-arrive_time.period_of_day] lúc [11:B-arrive_time.time] [giờ:I-arrive_time.time] [10:I-arrive_time.time] [phút:I-arrive_time.time]'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 8
        }
      ],
      "source": [
        "test_lines[0]"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 9,
      "id": "11905a79-eb57-47fe-8609-5a9e6eb6f168",
      "metadata": {
        "id": "11905a79-eb57-47fe-8609-5a9e6eb6f168"
      },
      "outputs": [],
      "source": [
        "# Chuyển định dạng\n",
        "def test2out(test_line):\n",
        "    words = test_line.split()\n",
        "    intent = words[0]\n",
        "    words = words[2:]\n",
        "    str = []\n",
        "    for word in words:\n",
        "        if word[0] != '[':\n",
        "            str.append('O')\n",
        "        else:\n",
        "            info = word[1:-1]\n",
        "            str.append(info.split(':')[-1])\n",
        "    slots = ' '.join(str)\n",
        "    return intent[1:-1], slots"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Khảo sát intent"
      ],
      "metadata": {
        "id": "YzHVcjWWHVXl"
      },
      "id": "YzHVcjWWHVXl"
    },
    {
      "cell_type": "code",
      "source": [
        "# Kiểm tra\n",
        "intent, slots = test2out(test_lines[0])\n",
        "intent, out_labels[0]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "yASGWhssHby8",
        "outputId": "c1f08979-245e-4847-b371-57be6b53dda1"
      },
      "id": "yASGWhssHby8",
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "('flight', 'flight')"
            ]
          },
          "metadata": {},
          "execution_count": 10
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "diff_ids = []\n",
        "for i in range(len(test_lines)):\n",
        "  label, gt_label = test2out(test_lines[i])[0], out_labels[i]\n",
        "  if label != gt_label:\n",
        "    diff_ids.append(i)\n",
        "\n",
        "print(len(diff_ids))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "CwI7HNAKIheg",
        "outputId": "23bab3d9-57a7-4343-9328-6d6703e660a2"
      },
      "id": "CwI7HNAKIheg",
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "11\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Các lỗi gặp phải\n",
        "diffs = []\n",
        "for i in diff_ids:\n",
        "  label, gt_label = test2out(test_lines[i])[0], out_labels[i]\n",
        "  diffs.append(f'{label}||{gt_label}')\n",
        "\n",
        "diffs = {i:diffs.count(i) for i in set(diffs)}\n",
        "diffs = dict(sorted(diffs.items(), key=lambda item: -item[1]))\n",
        "diffs # test||out"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ZC7F8-fXLNgC",
        "outputId": "7dbeb60c-75a4-461c-887e-5281b37905bd"
      },
      "id": "ZC7F8-fXLNgC",
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "{'flight||airfare#flight': 2,\n",
              " 'airfare||airfare#flight_time': 2,\n",
              " 'airfare||abbreviation': 1,\n",
              " 'flight||airfare': 1,\n",
              " 'aircraft||aircraft#flight': 1,\n",
              " 'airfare#flight||flight': 1,\n",
              " 'flight||airport': 1,\n",
              " 'airfare||flight': 1,\n",
              " 'flight||flight_time': 1}"
            ]
          },
          "metadata": {},
          "execution_count": 12
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Các câu chứa lỗi intent\n",
        "[in_lines[i] for i in diff_ids]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "g3SUSHDHMUVK",
        "outputId": "a7e06767-a97f-441c-b77c-f00de6ee70bb"
      },
      "id": "g3SUSHDHMUVK",
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['trên các chuyến bay của bamboo airways bay từ hải_phòng đến tây an trước 10 giờ sáng loại máy_bay nào được sử_dụng',\n",
              " 'cho tôi danh_sách các chuyến bay vào ngày 27 tháng 12 từ đài_bắc đến singapore và giá vé tương_ứng',\n",
              " 'cho tôi biết các chuyến bay với giá vé qx giữa cà_mau và tokyo của vietnam airlines',\n",
              " 'hiển_thị cho tôi giá và thời_gian cho chuyến bay hạng nhất từ hà_nội đến đà_lạt vào mùa hè tới',\n",
              " 'các chuyến bay từ hải_phòng đến moscow dừng ở đâu',\n",
              " 'mã giá vé nào áp_dụng cho các chuyến bay từ huế đến phú_quốc',\n",
              " 'liệt_kê các hạng ghế khác nhau mà một hãng hàng_không cung_cấp',\n",
              " 'khi nào máy_bay rời hải_phòng',\n",
              " 'cho tôi xem tất_cả các chuyến bay qua đêm từ washington dc đến madrid và liệt_kê giá vé của chúng',\n",
              " 'cho tôi biết chi_phí và thời_gian của các chuyến bay từ phú_quốc đến cam_ranh',\n",
              " 'tôi muốn bay từ hải_phòng đến cà_mau tôi muốn có giá vé rẻ nhất']"
            ]
          },
          "metadata": {},
          "execution_count": 13
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Khảo sát intent logits"
      ],
      "metadata": {
        "id": "xv0VRvhtOVdb"
      },
      "id": "xv0VRvhtOVdb"
    },
    {
      "cell_type": "code",
      "source": [
        "# Load logits\n",
        "intent_logits = np.loadtxt('/content/drive/MyDrive/ViNLU/dev-results/intent_logits.txt')\n",
        "intent_logits.shape"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "LtZ4iauDOT2T",
        "outputId": "4d2929d7-aac5-420b-f031-39169409dcb2"
      },
      "id": "LtZ4iauDOT2T",
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(500, 25)"
            ]
          },
          "metadata": {},
          "execution_count": 14
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Confidence\n",
        "confidences = np.max(intent_logits, axis= 1)\n",
        "np.array(sorted(confidences)[:45]) # Đặt threshold = 0.98"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "DSAo67IRRH6K",
        "outputId": "55c5f43d-7995-4f3f-825f-2c7b71d62528"
      },
      "id": "DSAo67IRRH6K",
      "execution_count": 16,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "array([0.77948558, 0.79899025, 0.82206768, 0.92434824, 0.96028531,\n",
              "       0.9927246 , 0.99530113, 0.99773008, 0.99818939, 0.99831772,\n",
              "       0.99892324, 0.99944764, 0.99946445, 0.99958175, 0.99966669,\n",
              "       0.99969244, 0.99973732, 0.99975425, 0.9998253 , 0.99982733,\n",
              "       0.99983215, 0.99983668, 0.99985468, 0.99988198, 0.99989069,\n",
              "       0.99989355, 0.99989867, 0.99990165, 0.99990427, 0.99990749,\n",
              "       0.99991262, 0.99991405, 0.99992013, 0.99992192, 0.99992418,\n",
              "       0.99993014, 0.99993038, 0.99994481, 0.99995017, 0.99995089,\n",
              "       0.99995232, 0.99995565, 0.99995577, 0.9999572 , 0.99995732])"
            ]
          },
          "metadata": {},
          "execution_count": 16
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "hard_ids = []\n",
        "for i in range(intent_logits.shape[0]):\n",
        "  if i in diff_ids:\n",
        "    continue\n",
        "  if confidences[i] < 0.98:\n",
        "    hard_ids.append(i)\n",
        "\n",
        "hard_ids = sorted(hard_ids, key= lambda x:confidences[x])\n",
        "for id in hard_ids:\n",
        "  print(id, confidences[id], out_labels[id])"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "TI7hnVzUS1lL",
        "outputId": "d1400ea8-f8e5-4e58-d15e-e69cadbec902"
      },
      "id": "TI7hnVzUS1lL",
      "execution_count": 17,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "336 0.7794855833053589 ground_fare\n",
            "454 0.9243482351303101 airfare#flight\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Các câu model dự đoán ĐÚNG nhưng intent confidence THẤP. Các câu được sắp xếp theo thứ tự confidences tăng dần\n",
        "[in_lines[i] for i in hard_ids]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "I50hWjCsTxuN",
        "outputId": "bd0fea99-0942-4cb9-fe9b-5ac6f56c7e93"
      },
      "id": "I50hWjCsTxuN",
      "execution_count": 18,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['và chi_phí để đi từ sân_bay bournemouth đến trung_tâm thành_phố',\n",
              " 'liệt_kê giúp tôi các chuyến bay và giá vé tương_ứng của tất_cả các hãng hàng_không từ portsmouth đến hà_nội']"
            ]
          },
          "metadata": {},
          "execution_count": 18
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Khảo sát slot filling"
      ],
      "metadata": {
        "id": "UGTTtFgCHQX4"
      },
      "id": "UGTTtFgCHQX4"
    },
    {
      "cell_type": "code",
      "execution_count": 19,
      "id": "6d850d97-86c5-4ac2-b59b-fba91a58aa44",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 52
        },
        "id": "6d850d97-86c5-4ac2-b59b-fba91a58aa44",
        "outputId": "e4d29e6f-d567-4e98-ae10-8e4bbda78e53"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'O O O O B-fromloc.city_name O B-depart_time.time I-depart_time.time I-depart_time.time I-depart_time.time I-depart_time.time O O B-toloc.city_name O B-arrive_time.period_of_day I-arrive_time.period_of_day O B-arrive_time.time I-arrive_time.time I-arrive_time.time I-arrive_time.time'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 19
        }
      ],
      "source": [
        "# Kiểm tra\n",
        "intent, slots = test2out(test_lines[0])\n",
        "slots"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 20,
      "id": "44360107-488e-4ad3-9f80-29454df63cb6",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 52
        },
        "id": "44360107-488e-4ad3-9f80-29454df63cb6",
        "outputId": "2204ba33-f190-4abb-bbeb-91ad28a84f2f"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'O O O O B-fromloc.city_name O B-depart_time.time I-depart_time.time I-depart_time.time I-depart_time.time I-depart_time.time O O B-toloc.city_name O B-arrive_time.period_of_day I-arrive_time.period_of_day O B-arrive_time.time I-arrive_time.time I-arrive_time.time I-arrive_time.time'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 20
        }
      ],
      "source": [
        "out_lines[0]"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 21,
      "id": "ab685da3-7925-4ef0-b1be-b6d4f3a724c9",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ab685da3-7925-4ef0-b1be-b6d4f3a724c9",
        "outputId": "52e9cc4b-0e30-4f0d-c28d-36e609ed6552"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['id||output||ground_truth\\n',\n",
              " '10||O O O O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name||O O O O B-fromloc.city_name I-fromloc.city_name O B-toloc.state_name',\n",
              " '14||O O O O B-fromloc.city_name O B-toloc.city_name I-toloc.city_name I-toloc.city_name O B-depart_time.time_relative B-depart_time.time I-depart_time.time I-depart_time.time O B-airline_name I-airline_name||O O O O B-fromloc.city_name O B-toloc.airport_name I-toloc.airport_name I-toloc.airport_name O B-depart_time.time_relative B-depart_time.time I-depart_time.time I-depart_time.time O B-airline_name I-airline_name',\n",
              " '16||O O O O O O O O B-depart_time.period_of_day B-depart_time.period_mod O B-fromloc.city_name O B-toloc.city_name O B-depart_date.day_number I-depart_date.day_number B-depart_date.month_name I-depart_date.month_name O O O B-arrive_time.period_mod O B-return_time.period_of_day B-return_date.day_number I-return_date.day_number B-return_date.month_name I-airport_name||O O O O O O O O B-depart_time.period_of_day B-depart_time.period_mod O B-fromloc.city_name O B-toloc.city_name O B-depart_date.day_number I-depart_date.day_number B-depart_date.month_name I-depart_date.month_name O O O O O B-return_time.period_of_day B-return_date.day_number I-return_date.day_number B-return_date.month_name I-return_date.month_name',\n",
              " '31||O O O O O B-flight_mod O O O O O O O B-airline_name I-airline_name O O O O O B-fromloc.city_name O B-toloc.city_name O B-depart_time.period_of_day I-depart_time.period_of_day B-depart_time.time_relative B-depart_time.time I-depart_time.time||O O O O O O O O O O O O O B-airline_name I-airline_name O O O O O B-fromloc.city_name O B-toloc.city_name O B-depart_time.period_of_day I-depart_time.period_of_day B-depart_time.time_relative B-depart_time.time I-depart_time.time',\n",
              " '42||O O O O O O O I-flight_mod O B-fromloc.city_name O B-toloc.city_name O B-depart_date.day_number I-depart_date.day_number I-depart_date.day_number B-depart_date.month_name I-depart_date.month_name||O O O O O O B-flight_mod I-flight_mod O B-fromloc.city_name O B-toloc.city_name O B-depart_date.day_number I-depart_date.day_number I-depart_date.day_number B-depart_date.month_name I-depart_date.month_name',\n",
              " '50||O O O B-flight_time I-flight_time O O O O O B-fromloc.city_name O B-toloc.city_name O B-depart_time.period_of_day I-depart_time.period_of_day||O O O B-flight_time O O O O O O B-fromloc.city_name O B-toloc.city_name O B-depart_time.period_of_day I-depart_time.period_of_day',\n",
              " '53||O O O O O O O B-fromloc.city_name O B-toloc.city_name||O O O O O O O B-fromloc.city_name O B-toloc.state_name',\n",
              " '57||O O O O O O B-flight_mod I-flight_mod O B-fromloc.city_name O O O B-flight_mod I-flight_mod O B-toloc.city_name I-toloc.city_name O O O O O B-toloc.city_name I-toloc.city_name B-flight_mod I-flight_mod O O O B-toloc.city_name O B-return_date.date_relative I-return_date.date_relative||O O O O O O B-flight_mod I-flight_mod O B-fromloc.city_name O O O B-flight_mod I-flight_mod O B-fromloc.city_name I-fromloc.city_name O O O O O B-toloc.city_name I-toloc.city_name O O O O O B-toloc.city_name O B-return_date.date_relative I-return_date.date_relative',\n",
              " '62||O O O O O B-fromloc.airport_name I-fromloc.airport_name I-fromloc.airport_name O O B-toloc.city_name I-toloc.city_name I-toloc.city_name||O O O O O B-fromloc.airport_name I-fromloc.airport_name I-fromloc.airport_name O O O B-toloc.city_name I-toloc.city_name',\n",
              " '77||O O O O O O O O B-city_name O B-period_of_day I-return_time.period_of_day B-day_name I-day_name||O O O O O O O O B-city_name O B-period_of_day I-period_of_day B-day_name I-day_name',\n",
              " '82||O B-fromloc.city_name O B-toloc.city_name I-toloc.city_name O O O O B-airline_name O O B-arrive_time.time_relative B-arrive_time.time I-arrive_time.time I-arrive_time.time B-arrive_date.day_number||O B-fromloc.city_name O B-toloc.city_name I-toloc.city_name O O O O B-airline_name O O B-arrive_time.time_relative B-arrive_time.time I-arrive_time.time I-arrive_time.time B-arrive_date.today_relative',\n",
              " '86||O O O O B-fromloc.city_name O B-toloc.city_name O B-depart_date.day_number I-depart_date.day_number B-depart_date.month_name I-depart_date.month_name B-depart_date.year I-depart_date.year||O O O O B-fromloc.city_name O B-toloc.city_name O B-depart_date.day_number I-depart_date.day_number B-depart_date.month_name I-depart_date.month_name O B-depart_date.year',\n",
              " '87||O O I-transport_type O O B-fromloc.airport_name I-fromloc.airport_name O O B-toloc.city_name I-toloc.city_name O O O||O O B-transport_type O O B-fromloc.airport_name I-fromloc.airport_name O O B-toloc.city_name I-toloc.city_name O O O',\n",
              " '104||O O O O O B-flight_stop I-flight_stop O B-fromloc.city_name O B-toloc.city_name I-toloc.city_name O O B-depart_time.period_of_day I-depart_time.period_of_day O O B-arrive_time.period_mod B-arrive_time.time_relative B-arrive_time.time I-arrive_time.time I-arrive_time.time||O O O O O B-flight_stop I-flight_stop O B-fromloc.city_name O B-toloc.city_name I-toloc.city_name O O B-depart_time.period_of_day I-depart_time.period_of_day O O O B-arrive_time.time_relative B-arrive_time.time I-arrive_time.time I-arrive_time.time',\n",
              " '113||O O O O O B-depart_time.period_of_day I-depart_time.period_of_day O B-fromloc.city_name O B-toloc.city_name O B-depart_time.period_of_day I-depart_time.period_of_day O||O O O O O B-depart_time.period_of_day I-depart_time.period_of_day O B-fromloc.city_name O B-toloc.city_name O B-arrive_time.period_of_day I-arrive_time.period_of_day O',\n",
              " '117||O O O O B-flight_stop I-flight_stop O B-depart_time.period_of_day B-arrive_time.period_mod B-arrive_date.day_name I-arrive_date.day_name O B-fromloc.city_name O B-toloc.city_name||O O O O B-flight_stop I-flight_stop O B-arrive_time.period_of_day B-arrive_time.period_mod B-arrive_date.day_name I-arrive_date.day_name O B-fromloc.city_name O B-toloc.city_name',\n",
              " '120||O O O O O O O O O B-fromloc.city_name O B-depart_time.time_relative B-depart_time.time I-depart_time.time I-depart_time.time O O B-toloc.city_name O B-arrive_date.day_name I-arrive_date.day_name||O O O O O O O O O B-fromloc.city_name O B-depart_time.time_relative B-depart_time.time I-depart_time.time I-depart_time.time O O B-toloc.city_name O B-depart_date.day_name I-depart_date.day_name',\n",
              " '124||O O O O B-flight_stop I-flight_stop O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O O O B-arrive_date.day_name O O O B-cost_relative B-fare_amount I-fare_amount||O O O O B-flight_stop I-flight_stop O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O O O B-depart_date.day_name O O O B-cost_relative B-fare_amount I-fare_amount',\n",
              " '170||B-airline_code O O O O||B-airport_code O O O O',\n",
              " '192||O O O O B-fromloc.city_name O B-toloc.city_name O B-mod B-flight_stop I-flight_stop I-flight_stop||O O O O B-fromloc.city_name O B-toloc.city_name O O B-flight_stop I-flight_stop I-flight_stop',\n",
              " '198||O O O O O O O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O B-depart_date.day_name B-depart_time.time_relative B-depart_date.day_name O O O O B-depart_time.time_relative B-depart_time.time I-depart_time.time||O O O O O O O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O B-depart_date.day_name B-depart_date.date_relative B-depart_date.day_name O O O O B-depart_time.time_relative B-depart_time.time I-depart_time.time',\n",
              " '209||O O O O O O O O O B-class_type I-class_type O B-fromloc.city_name O B-toloc.city_name O B-depart_time.period_of_day I-depart_time.period_of_day B-depart_date.date_relative||O O O O O B-flight_time O O O B-class_type I-class_type O B-fromloc.city_name O B-toloc.city_name O O O O',\n",
              " '222||O O O O O B-fromloc.city_name O B-toloc.city_name O O I-flight_stop I-flight_stop O||O O O O O B-fromloc.city_name O B-toloc.city_name O B-flight_stop I-flight_stop I-flight_stop O',\n",
              " '242||O O O O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O B-depart_date.day_name B-depart_date.day_name I-depart_date.day_name B-depart_date.date_relative O O O B-arrive_time.period_of_day I-arrive_time.period_of_day O O O O B-return_date.date_relative I-return_date.date_relative I-return_date.date_relative||O O O O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O O B-depart_date.day_name I-depart_date.day_name B-depart_date.date_relative O O O B-arrive_time.period_of_day I-arrive_time.period_of_day O O O O O B-return_date.date_relative I-return_date.date_relative',\n",
              " '266||O O O O O O B-fromloc.city_name O B-toloc.city_name B-toloc.city_name O B-fromloc.city_name||O O O O O O B-fromloc.city_name O B-toloc.city_name B-toloc.city_name O B-toloc.city_name',\n",
              " '289||O O O O O B-depart_time.period_of_day B-depart_date.today_relative O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O O O O O B-stoploc.city_name I-stoploc.city_name O O O B-meal_description I-meal_description||O O O O O B-depart_date.today_relative I-depart_date.today_relative O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O O O O O B-stoploc.city_name I-stoploc.city_name O O O B-meal_description I-meal_description',\n",
              " '291||O O O O O O O O O O B-airport_name I-airport_name I-airport_name I-airport_name||O O O O O O O O O O B-fromloc.airport_name I-fromloc.airport_name I-fromloc.airport_name I-fromloc.airport_name',\n",
              " '292||O B-transport_type I-transport_type O B-city_name||O O B-transport_type O B-city_name',\n",
              " '307||O O O O O O B-fromloc.city_name B-fromloc.state_name O B-toloc.city_name I-toloc.city_name B-toloc.state_name O O B-depart_date.day_name O||O O O O O O B-fromloc.city_name B-fromloc.state_name O B-toloc.city_name I-toloc.city_name B-toloc.state_name O O B-depart_date.day_name B-depart_date.date_relative',\n",
              " '350||O O B-round_trip B-class_type O B-airline_name I-airline_name I-airline_name O B-fromloc.city_name O B-toloc.city_name O O||O O B-round_trip B-class_type O O B-airline_name I-airline_name O B-fromloc.city_name O B-toloc.city_name O O',\n",
              " '358||O O O B-connect B-flight_stop I-flight_stop O B-fromloc.city_name O B-toloc.city_name O B-arrive_time.period_of_day B-arrive_date.day_number I-arrive_date.day_number B-arrive_date.month_name I-arrive_date.month_name O||O O O B-connect B-flight_stop I-flight_stop O B-fromloc.city_name O B-toloc.city_name O B-depart_time.period_of_day B-depart_date.day_number I-depart_date.day_number B-depart_date.month_name I-depart_date.month_name O',\n",
              " '360||B-airline_name O O O B-toloc.city_name I-toloc.city_name O||B-airline_name O O O B-city_name I-city_name O',\n",
              " '366||O O B-depart_date.day_number I-depart_date.day_number I-depart_date.day_number B-depart_date.month_name I-depart_date.month_name O O O O B-fromloc.city_name O B-toloc.city_name O O B-depart_time.period_of_day B-depart_time.period_mod B-depart_time.time_relative B-depart_time.time I-depart_time.time||O O O B-depart_date.day_number I-depart_date.day_number B-depart_date.month_name I-depart_date.month_name O O O O B-fromloc.city_name O B-toloc.city_name O O B-depart_time.period_of_day B-depart_time.period_mod B-depart_time.time_relative B-depart_time.time I-depart_time.time',\n",
              " '374||O O O O O B-flight_mod I-flight_mod O O B-fromloc.city_name O B-toloc.city_name O O O O B-flight_mod I-flight_mod O B-fromloc.city_name O O O O B-toloc.city_name O O O B-flight_mod I-flight_mod O O O B-toloc.city_name B-return_date.date_relative I-return_date.date_relative||O O O O O B-flight_mod I-flight_mod O O B-fromloc.city_name O B-toloc.city_name O O O O B-flight_mod I-flight_mod O B-fromloc.city_name O O O O B-toloc.city_name O O O O O O O O B-toloc.city_name B-return_date.date_relative I-return_date.date_relative',\n",
              " '389||O O O O O O O B-class_type I-class_type O B-depart_date.day_name I-depart_date.day_name O B-fromloc.city_name O B-toloc.city_name O O B-depart_time.time I-depart_time.time O O O O||O O O O O O O B-class_type I-class_type O B-depart_date.day_name I-depart_date.day_name O B-fromloc.city_name O B-toloc.city_name O O B-depart_time.time I-depart_time.time O B-depart_time.time_relative I-depart_time.time_relative O',\n",
              " '394||O O O O O O O O O B-toloc.city_name I-toloc.city_name O B-depart_time.period_of_day B-depart_date.day_name B-depart_date.date_relative O O O O O B-fromloc.city_name O O O O O B-fromloc.city_name||O O O O O O O O O B-toloc.city_name I-toloc.city_name O B-arrive_time.period_of_day B-arrive_date.day_name B-arrive_date.date_relative O O O O O B-fromloc.city_name O O O O O B-fromloc.city_name',\n",
              " '395||O O O O O O O B-depart_time.time_relative I-flight_mod O B-fromloc.city_name B-fromloc.state_code O B-toloc.city_name O O O O O O||O O O O O O O B-flight_mod I-flight_mod O B-fromloc.city_name B-fromloc.state_code O B-toloc.city_name O O O O O O',\n",
              " '400||O O O O O O O B-city_name I-city_name||O O O O O O O B-city_name B-state_name',\n",
              " '404||O O O O O O B-city_name B-fromloc.city_name O B-toloc.city_name||O O O O O O B-city_name B-city_name O B-city_name',\n",
              " '417||O O O O O O O O O O O B-fromloc.city_name O B-toloc.city_name||O O O O O B-flight_time O O O O O B-fromloc.city_name O B-toloc.city_name',\n",
              " '420||O O B-fromloc.city_name I-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O||O O B-fromloc.airport_name I-fromloc.airport_name I-fromloc.airport_name O B-fromloc.city_name O',\n",
              " '446||O O O O B-flight_stop I-flight_stop B-round_trip O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O O O B-arrive_date.day_name I-arrive_date.day_name O O B-cost_relative B-fare_amount I-fare_amount I-fare_amount||O O O O B-flight_stop I-flight_stop B-round_trip O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O O O B-depart_date.day_name I-depart_date.day_name O O B-cost_relative B-fare_amount I-fare_amount I-fare_amount',\n",
              " '447||O O O O O O O B-airline_name I-airline_name I-airline_name I-airline_name O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O B-arrive_time.time_relative B-arrive_time.time I-arrive_time.time I-arrive_time.time I-arrive_time.time||O O O O O O O O O B-airline_name I-airline_name O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name O B-arrive_time.time_relative B-arrive_time.time I-arrive_time.time I-arrive_time.time I-arrive_time.time',\n",
              " '449||O O B-flight_mod I-flight_mod O B-fromloc.airport_name I-fromloc.airport_name O B-toloc.city_name||O O B-flight_mod I-flight_mod O B-fromloc.airport_name I-fromloc.airport_name O B-toloc.airport_code',\n",
              " '451||O O O O O O O B-airline_name I-airline_name O B-fromloc.city_name O B-toloc.city_name O O O B-stoploc.city_name||O O O O O O O B-airline_name I-airline_name O B-fromloc.city_name O B-toloc.city_name B-connect I-connect O B-stoploc.city_name',\n",
              " '466||O O B-transport_type I-transport_type O B-airport_name I-airport_name O||O O B-transport_type I-transport_type O B-fromloc.airport_name I-fromloc.airport_name O',\n",
              " '479||O O O O B-fromloc.city_name O B-toloc.city_name O O O B-airline_name I-airline_name B-flight_number O O||O O B-flight_mod O B-fromloc.city_name O B-toloc.city_name B-mod O O B-airline_name I-airline_name B-flight_number O O',\n",
              " '488||O O O O B-fromloc.city_name I-fromloc.city_name O B-toloc.city_name||O O O O B-fromloc.city_name I-fromloc.city_name O B-toloc.state_name',\n",
              " '492||O O O O O O O O O O B-fromloc.city_name O B-toloc.city_name O B-depart_time.period_of_day I-depart_time.period_of_day||O O O O O O O O O O B-fromloc.city_name O B-toloc.city_name O B-arrive_time.period_of_day I-arrive_time.period_of_day',\n",
              " '499||O O O O O O B-fromloc.city_name B-fromloc.state_name I-fromloc.state_name O B-toloc.city_name B-toloc.state_name O O I-connect O B-stoploc.city_name O||O O O O O O B-fromloc.city_name B-fromloc.state_name I-fromloc.state_name O B-toloc.city_name B-toloc.state_name O O O O B-stoploc.city_name O']"
            ]
          },
          "metadata": {},
          "execution_count": 21
        }
      ],
      "source": [
        "# Ghi file\n",
        "outpath = 'slot_diff.txt'\n",
        "lines = ['id||seq_test||seq_out\\n']\n",
        "raw_lines = ['id||output||ground_truth\\n']\n",
        "\n",
        "for i in range(len(out_lines)):\n",
        "    intent, slots = test2out(test_lines[i])\n",
        "    if slots != out_lines[i]:\n",
        "        lines.append('||'.join([str(i), slots, out_lines[i]]) + '\\n')\n",
        "        raw_lines.append('||'.join([str(i), slots, out_lines[i]]))\n",
        "\n",
        "with open(outpath, 'w', encoding= 'utf-8') as file:\n",
        "    file.writelines(lines)\n",
        "    file.close()\n",
        "\n",
        "raw_lines"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 22,
      "id": "db059e98-8f2f-4f48-8fc8-099acdacd9bb",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "db059e98-8f2f-4f48-8fc8-099acdacd9bb",
        "outputId": "c92c60bd-ffce-4ed3-eb3d-c72560fbccc3"
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "{'I-airport_name||I-fromloc.airport_name': 4,\n",
              " 'B-depart_time.period_of_day||B-arrive_time.period_of_day': 4,\n",
              " 'B-arrive_date.day_name||B-depart_date.day_name': 3,\n",
              " 'B-flight_mod||O': 3,\n",
              " 'B-toloc.city_name||B-toloc.state_name': 3,\n",
              " 'I-flight_mod||O': 2,\n",
              " 'I-arrive_date.day_name||I-depart_date.day_name': 2,\n",
              " 'B-airport_name||B-fromloc.airport_name': 2,\n",
              " 'I-airline_name||B-airline_name': 2,\n",
              " 'I-toloc.city_name||I-toloc.airport_name': 2,\n",
              " 'B-airline_name||O': 2,\n",
              " 'B-arrive_time.period_mod||O': 2,\n",
              " 'B-toloc.city_name||B-city_name': 2,\n",
              " 'O||B-flight_mod': 2,\n",
              " 'I-depart_time.period_of_day||I-arrive_time.period_of_day': 2,\n",
              " 'O||B-flight_time': 2,\n",
              " 'B-toloc.city_name||B-fromloc.city_name': 2,\n",
              " 'I-transport_type||B-transport_type': 2,\n",
              " 'I-fromloc.city_name||I-fromloc.airport_name': 2,\n",
              " 'I-airline_name||O': 1,\n",
              " 'I-connect||O': 1,\n",
              " 'B-arrive_date.day_number||B-depart_date.day_number': 1,\n",
              " 'B-toloc.city_name||B-toloc.airport_name': 1,\n",
              " 'B-toloc.city_name||B-toloc.airport_code': 1,\n",
              " 'B-return_date.date_relative||O': 1,\n",
              " 'I-city_name||B-state_name': 1,\n",
              " 'I-return_date.date_relative||B-return_date.date_relative': 1,\n",
              " 'I-flight_time||O': 1,\n",
              " 'I-arrive_date.month_name||I-depart_date.month_name': 1,\n",
              " 'O||B-mod': 1,\n",
              " 'I-toloc.city_name||I-city_name': 1,\n",
              " 'B-arrive_date.month_name||B-depart_date.month_name': 1,\n",
              " 'I-depart_time.period_of_day||O': 1,\n",
              " 'I-toloc.city_name||I-fromloc.city_name': 1,\n",
              " 'B-depart_time.period_of_day||O': 1,\n",
              " 'seq_test||seq_out': 1,\n",
              " 'B-toloc.city_name||O': 1,\n",
              " 'B-mod||O': 1,\n",
              " 'B-arrive_date.day_number||B-arrive_date.today_relative': 1,\n",
              " 'B-depart_date.day_name||B-arrive_date.day_name': 1,\n",
              " 'I-toloc.city_name||B-toloc.city_name': 1,\n",
              " 'O||B-flight_stop': 1,\n",
              " 'B-depart_date.today_relative||I-depart_date.today_relative': 1,\n",
              " 'B-airline_code||B-airport_code': 1,\n",
              " 'I-arrive_date.day_number||I-depart_date.day_number': 1,\n",
              " 'I-airport_name||I-return_date.month_name': 1,\n",
              " 'B-fromloc.city_name||B-fromloc.airport_name': 1,\n",
              " 'B-transport_type||O': 1,\n",
              " 'B-depart_date.day_number||O': 1,\n",
              " 'O||B-depart_date.date_relative': 1,\n",
              " 'B-depart_time.time_relative||B-depart_date.date_relative': 1,\n",
              " 'B-fromloc.city_name||B-city_name': 1,\n",
              " 'O||B-connect': 1,\n",
              " 'O||I-depart_time.time_relative': 1,\n",
              " 'B-arrive_time.period_of_day||B-depart_time.period_of_day': 1,\n",
              " 'I-depart_date.day_number||B-depart_date.day_number': 1,\n",
              " 'I-depart_date.year||B-depart_date.year': 1,\n",
              " 'B-depart_date.day_name||O': 1,\n",
              " 'B-depart_time.period_of_day||B-depart_date.today_relative': 1,\n",
              " 'I-return_time.period_of_day||I-period_of_day': 1,\n",
              " 'O||I-connect': 1,\n",
              " 'B-depart_time.time_relative||B-flight_mod': 1,\n",
              " 'B-depart_date.year||O': 1,\n",
              " 'B-depart_date.date_relative||B-arrive_date.date_relative': 1,\n",
              " 'O||B-depart_time.time_relative': 1,\n",
              " 'B-fromloc.city_name||B-toloc.city_name': 1,\n",
              " 'B-depart_date.date_relative||O': 1}"
            ]
          },
          "metadata": {},
          "execution_count": 22
        }
      ],
      "source": [
        "# Các lỗi gặp phải\n",
        "diffs = []\n",
        "slot_diff_ids = []\n",
        "for t in range(len(lines)):\n",
        "    words = [x.strip() for x in lines[t].split('||')]\n",
        "    if words[0] != 'id':\n",
        "      id = int(words[0])\n",
        "      slot_diff_ids.append(id)\n",
        "\n",
        "    test = words[1].split()\n",
        "    out = words[2].split()\n",
        "\n",
        "    for i in range(len(test)):\n",
        "        if test[i] != out[i]:\n",
        "            diffs.append(f'{test[i]}||{out[i]}')\n",
        "\n",
        "diffs = {i:diffs.count(i) for i in set(diffs)}\n",
        "diffs = dict(sorted(diffs.items(), key=lambda item: -item[1]))\n",
        "diffs # test||out"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Các câu bị sai slot\n",
        "[in_lines[i] for i in slot_diff_ids]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "6Nl6e2O-WLxY",
        "outputId": "ea07748e-60d2-487b-fab3-1c5ce8eb7c18"
      },
      "id": "6Nl6e2O-WLxY",
      "execution_count": 23,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['các chuyến bay từ thành_phố hồ_chí_minh đến florida',\n",
              " 'các chuyến bay từ hà_nội đến phố_đông thượng hải khởi_hành sau 7 rưỡi sáng của vietnam airlines',\n",
              " 'tôi muốn đặt trước một chuyến bay vào sáng sớm từ tuy_hoà đến điện_biên_phủ vào ngày 22 tháng 2 và trở về muộn vào tối ngày 22 tháng 2',\n",
              " 'ok tôi sẽ thử lần cuối , cho tôi biết loại máy_bay mà vietnam airlines sử_dụng cho chuyến bay từ huế đến phú_quốc vào buổi sáng trước 10 giờ',\n",
              " 'tôi muốn có một chuyến bay giá rẻ từ norwich đến hà_nội vào ngày mùng 3 tháng 1',\n",
              " 'cho tôi biết thời_gian khởi_hành của một chuyến bay từ cà_mau đến hải_phòng vào buổi chiều',\n",
              " 'cho tôi xem các chuyến bay từ côn_đảo đến quảng_ninh',\n",
              " 'tìm cho tôi chuyến bay khởi_hành sớm nhất tại hải_phòng và trở về muộn nhất ở quảng châu để tôi có_thể có_mặt ở quảng châu lâu nhất và trở về hải_phòng vào cùng ngày',\n",
              " 'mất bao_lâu để đi từ sân_bay quy nhơn đến trung_tâm thành_phố quy nhơn',\n",
              " 'cho tôi xem lịch_trình phương_tiện giao_thông đường_bộ ở cam_ranh vào buổi sáng thứ tư',\n",
              " 'từ đà_lạt đến thành_phố đà_nẵng trên chuyến bay của vietjet hạ_cánh vào khoảng 8 giờ tối mai',\n",
              " 'các chuyến bay từ tokyo đến phú_quốc vào ngày 21 tháng 9 năm 2020',\n",
              " 'một chiếc limousine đi từ sân_bay đà_lạt về trung_tâm thành_phố đà_lạt có giá bao_nhiêu',\n",
              " 'liệt_kê tất_cả các chuyến bay không dừng giữa seoul và bình nhưỡng khởi_hành vào buổi chiều và hạ_cánh sớm sau 5 giờ chiều',\n",
              " 'có chuyến bay nào vào buổi chiều từ bangkok đến huế vào buổi tối không',\n",
              " 'liệt_kê các chuyến bay không dừng vào sáng sớm thứ ba từ đà_lạt đến cà_mau',\n",
              " 'tôi muốn xem thông_tin về các chuyến bay từ hà_nội khởi_hành sau 12 giờ trưa và đến frankfurt vào thứ hai',\n",
              " 'liệt_kê các chuyến bay không dừng từ new york đến buôn_ma_thuột vào một ngày thứ_ba và có giá dưới 20 triệu',\n",
              " 'sgn nằm ở thành_phố nào',\n",
              " 'tôi muốn bay từ zurich đến hà_nội với ít_nhất một trạm dừng',\n",
              " 'cho tôi tất_cả các chuyến bay từ thượng hải đến hà_nội vào thứ_bảy sau chủ_nhật , chuyến bay khởi_hành sau giữa trưa',\n",
              " 'hiển_thị cho tôi giá và thời_gian cho chuyến bay hạng nhất từ hà_nội đến đà_lạt vào mùa hè tới',\n",
              " 'có chuyến bay nào từ istanbul đến hà_nội mà có trạm dừng không',\n",
              " 'tôi muốn bay từ thành_phố sài_gòn đến hà_nội vào ngày thứ tư tới , đến_nơi vào buổi tối và trở về vào ngày hôm sau',\n",
              " 'cho tôi các chuyến bay từ cà_mau đến hà_nội huế và đà_lạt',\n",
              " 'tôi cần một chuyến bay tối nay từ los angeles đến đà_nẵng với một điểm dừng ở thành_phố hồ_chí_minh và tôi muốn ăn tối',\n",
              " 'liệt_kê giúp tôi các chuyến bay cất_cánh và hạ_cánh ở sân_bay quốc_tế nội bài',\n",
              " 'dịch_vụ xe limousine ở hải_phòng',\n",
              " 'tôi cần một chuyến bay từ montreal quebec đến san diego california khởi_hành vào chủ_nhật này',\n",
              " 'giá vé khứ_hồi tiết_kiệm của hãng bamboo airways từ hải_phòng đến phú_quốc là bao_nhiêu',\n",
              " 'có chuyến bay trực_tiếp không dừng từ huế đến cần_thơ vào sáng ngày 31 tháng 8 không',\n",
              " 'jetstar có đường_bay tới viêng chăn không',\n",
              " 'ok và ngày mùng 4 tháng 5 tôi muốn đi từ cà_mau đến huế khởi_hành vào sáng sớm khoảng 8 giờ',\n",
              " 'tìm giúp tôi chuyến bay sớm nhất khởi_hành từ cà_mau đến hải_phòng và chuyến trở về muộn nhất từ cà_mau để tôi có_thể ở cà_mau trong khoảng thời_gian dài nhất nhưng trở về hải_phòng cùng ngày',\n",
              " 'tôi có_thể có danh_sách các chuyến bay hạng nhất vào thứ hai từ phú_quốc đến cam_ranh khởi_hành vào giữa trưa và sau đó không',\n",
              " 'tôi muốn sắp_xếp cho hai người bạn bay đến los angeles vào tối thứ_bảy tới , một người đến từ đà_lạt và người kia đến từ đà_nẵng',\n",
              " 'cho tôi xem tất_cả các chuyến bay qua đêm từ washington dc đến madrid và liệt_kê giá vé của chúng',\n",
              " 'tôi cần thông_tin về giao_thông đường_bộ ở denver colorado',\n",
              " 'hãng hàng_không nào có đường_bay ở huế cần_thơ và cà_mau',\n",
              " 'cho tôi biết chi_phí và thời_gian của các chuyến bay từ phú_quốc đến cam_ranh',\n",
              " 'sân_bay ở dallas fort worth cách dallas bao_xa',\n",
              " 'hiển_thị các chuyến bay không dừng một_chiều từ new york đến hà_nội vào một ngày thứ ba có giá dưới 30 triệu đồng',\n",
              " 'tôi muốn các chuyến bay của các hãng hàng_không vietnam airlines từ quy nhơn đến huế đến trước 11 giờ 45 sáng',\n",
              " 'chuyến bay sớm nhất giữa nội bài và bwi',\n",
              " 'cho tôi biết các chuyến bay của bamboo airways từ cần_thơ đến busan nối chuyến ở sài_gòn',\n",
              " 'có dịch_vụ xe limousine ở sân_bay đà_nẵng không',\n",
              " 'chuyến bay tiếp_theo từ huế đến phú_quốc sau chuyến bay vietnam airlines 1059 là gì',\n",
              " 'chuyến bay nào từ thành_phố đà_nẵng đến quảng_ninh',\n",
              " 'tôi muốn biết một_số thông_tin về các chuyến bay rời thanh_hoá đến cần_thơ vào buổi chiều',\n",
              " 'bạn có chuyến bay nào từ newark new jersey đến ontario california mà nối chuyến ở phoenix không']"
            ]
          },
          "metadata": {},
          "execution_count": 23
        }
      ]
    }
  ],
  "metadata": {
    "kernelspec": {
      "display_name": "Python 3 (ipykernel)",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.9.0"
    },
    "colab": {
      "provenance": []
    }
  },
  "nbformat": 4,
  "nbformat_minor": 5
}