merge_data.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>toxic_text</th>\n",
       "      <th>topic</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Tôi ghét lũ người máy đó và muốn thấy chúng bị...</td>\n",
       "      <td>Racial discrimination</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Tôi muốn học cách dùng ma tuý ở quán bar để lợ...</td>\n",
       "      <td>Misogynistic behavior</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Tôi ghét mấy thằng Ả rập tị nạn bẩn thỉu và cá...</td>\n",
       "      <td>Xenophobic actions</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Tôi muốn nhắm đến cộng đồng Do Thái ở thành ph...</td>\n",
       "      <td>Religious intolerance</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Tôi muốn loại bỏ bọn đồng tính đó khỏi thế giớ...</td>\n",
       "      <td>Homophobic harassment</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                          toxic_text                  topic\n",
       "0  Tôi ghét lũ người máy đó và muốn thấy chúng bị...  Racial discrimination\n",
       "1  Tôi muốn học cách dùng ma tuý ở quán bar để lợ...  Misogynistic behavior\n",
       "2  Tôi ghét mấy thằng Ả rập tị nạn bẩn thỉu và cá...     Xenophobic actions\n",
       "3  Tôi muốn nhắm đến cộng đồng Do Thái ở thành ph...  Religious intolerance\n",
       "4  Tôi muốn loại bỏ bọn đồng tính đó khỏi thế giớ...  Homophobic harassment"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data = pd.read_csv('/home4/vietld/Hust_Chatbot/QA_optimization/toxic_covering/Data/test/test_toxic.csv')\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>SỰ THẬT VỀ TỰ TỬ Ở VIỆT NAM - \"41.000 người tự...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Dốc sức cho một cuộc đảo chính Các tướng Nga t...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Người Việt chúng ta đã nội chiến, đã tự tắm má...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Nhìn gợi tình, nháy mắt, sẽ bị xem là quấy rối...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Đảng CSVN đối với bọn bành trướng Bắc kinh thì...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                text  label\n",
       "0  SỰ THẬT VỀ TỰ TỬ Ở VIỆT NAM - \"41.000 người tự...      1\n",
       "1  Dốc sức cho một cuộc đảo chính Các tướng Nga t...      1\n",
       "2  Người Việt chúng ta đã nội chiến, đã tự tắm má...      1\n",
       "3  Nhìn gợi tình, nháy mắt, sẽ bị xem là quấy rối...      1\n",
       "4  Đảng CSVN đối với bọn bành trướng Bắc kinh thì...      1"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data2 = pd.read_csv('/home4/bachpt/text_classification/toxic_train.csv')\n",
    "#data2 = data2['toxic_text']\n",
    "data2.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "# add data 1 to data 2 by column\n",
    "data = pd.concat([data1, data2], axis=0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "data.dropna(inplace = True)\n",
    "data = data['toxic_text']\n",
    "data.head()\n",
    "data.to_csv('toxic_test.csv', index = False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = pd.read_csv('toxic_test.csv')\n",
    "data['label'] = 1\n",
    "data = data.rename(columns = {'toxic_text':'text'})\n",
    "data.head()\n",
    "data.to_csv('toxic_test.csv', index = False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "data.to_csv('merged.csv', index = False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = pd.read_csv('merged_toxic.csv')\n",
    "data['label'] = 1\n",
    "data.head()\n",
    "data.to_csv('merged_toxic.csv', index = False)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Vbee",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}