Untitled.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "ename": "ModuleNotFoundError",
     "evalue": "No module named 'hazm'",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mModuleNotFoundError\u001b[0m                       Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-1-7b49408ca3cc>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0;32mimport\u001b[0m \u001b[0mhazm\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      2\u001b[0m \u001b[0;32mimport\u001b[0m \u001b[0mpandas\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0mpd\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      3\u001b[0m \u001b[0;32mfrom\u001b[0m \u001b[0mlxml\u001b[0m \u001b[0;32mimport\u001b[0m \u001b[0metree\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m \u001b[0;32mfrom\u001b[0m \u001b[0mpathlib\u001b[0m \u001b[0;32mimport\u001b[0m \u001b[0mPath\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m \u001b[0;32mimport\u001b[0m \u001b[0mos\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mModuleNotFoundError\u001b[0m: No module named 'hazm'"
     ]
    }
   ],
   "source": [
    "import hazm\n",
    "import pandas as pd\n",
    "from lxml import etree\n",
    "from pathlib import Path\n",
    "import os\n",
    "from tqdm import tqdmb\n",
    "tqdm.pandas()\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "import gensim"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "دانش جغرافي دانش آموزان امريكايي در \n",
    "پايين ترين سطح جهاني است \n",
    ". واحد رسانه هاي خارجي: دنيا، دنياي بزرگي است و به ياد داشتن نام \n",
    " اماكن، نقاط و چيزهاي مختلف آن كار آساني نيست. كارشناسان علوم \n",
    "آموزش امريكا مي خواهند اهميت جغرافيا را به دانش آموزان گوشزد و آنان \n",
    "را به تقويت دانش خود در اين زمينه تشويق كنند. \n",
    "به گزارش تلويزيون آزمونهاي سي ان ان، گوناگوني كه در موردويژگيهاي \n",
    "جغرافيايي جهان ياحتي امريكا از دانش آموزان اين كشور شده است، \n",
    "نتايج قابل توجهي دربرداشته است. مثلا بيشتر دانش آموزان دوره \n",
    "راهنمايي امريكا نمي دانند درياچه هاي كوچك از عمده ويژگيهاي ايالت "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.preprocessing import LabelEncoder\n",
    "import joblib\n",
    "\n",
    "\n",
    "label_encoder = joblib.load('/home/fazel/env/thesis/label_encoder.joblib')\n",
    "df = pd.read_json('/home/fazel/env/thesis/hamshahri_df.json')\n",
    "df['cat_english'] = label_encoder.transform(df['cat_english'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>cat_english</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>[جاودانگی, در, زندگی, گروهی, از, طریق, هنر, نگ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>[رویدادهای, هنری, جهان, نمایشگاه, هنر, در, خدم...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>100004</td>\n",
       "      <td>5</td>\n",
       "      <td>[جرایم, مربوط, به, کتاب, در, دستان, هیات, منصف...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100</th>\n",
       "      <td>100086</td>\n",
       "      <td>5</td>\n",
       "      <td>[نشست, دانشجویان, کارشناسی, ارشد, در, دانشگاه,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1000</th>\n",
       "      <td>100897</td>\n",
       "      <td>6</td>\n",
       "      <td>[امنیت, از, منظری, دیگر, مفهوم, امنیت, در, کلا...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10000</th>\n",
       "      <td>108998</td>\n",
       "      <td>4</td>\n",
       "      <td>[رئیس, قوه, قضائیه, :, مقابله, با, ناامنی\\u200...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100000</th>\n",
       "      <td>39901</td>\n",
       "      <td>4</td>\n",
       "      <td>[تایید, آمریکا, :, عراق, علیه, ایران, از, سلاح...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100001</th>\n",
       "      <td>39902</td>\n",
       "      <td>4</td>\n",
       "      <td>[برگزاری, گردهمایی, دانشجویان, در, دانشگاه, صن...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100002</th>\n",
       "      <td>39903</td>\n",
       "      <td>4</td>\n",
       "      <td>[پشت, تریبون, جلسه, مجمع, حزبالله, مجلس, دیروز...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100003</th>\n",
       "      <td>39904</td>\n",
       "      <td>4</td>\n",
       "      <td>[مقام, معظم, رهبری, در, اجتماع, زنان, هرمزگان,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100004</th>\n",
       "      <td>39905</td>\n",
       "      <td>4</td>\n",
       "      <td>[حجت, الاسلام, والمسلمین, سید, محمد, خاتمی, :,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100005</th>\n",
       "      <td>39906</td>\n",
       "      <td>4</td>\n",
       "      <td>[با, تصویب, مجلس, شورای, اسلامی, :, محل, دفاتر...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100006</th>\n",
       "      <td>39907</td>\n",
       "      <td>4</td>\n",
       "      <td>[حجت, الاسلام, والمسلمین, عبدالله, نوری, وزیر,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100007</th>\n",
       "      <td>39908</td>\n",
       "      <td>2</td>\n",
       "      <td>[تلفن, به, همشهری, رواج, تصویربرداری, از, آثار...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100008</th>\n",
       "      <td>39909</td>\n",
       "      <td>7</td>\n",
       "      <td>[کشتی, فرنگی, دهه, فجر, جام, جهان, پهلوان, تخت...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100009</th>\n",
       "      <td>3991</td>\n",
       "      <td>2</td>\n",
       "      <td>[عرضه, فراورده\\u200cهای, شیری, و, پروتئینی, در...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10001</th>\n",
       "      <td>108999</td>\n",
       "      <td>4</td>\n",
       "      <td>[آیت, الله, مشکینی, باردیگر, رئیس, مجلس, خبرگا...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100010</th>\n",
       "      <td>39910</td>\n",
       "      <td>7</td>\n",
       "      <td>[رده, بندی, مجازی, کشتی, فرنگی, جام, تختی, کیل...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100011</th>\n",
       "      <td>39911</td>\n",
       "      <td>7</td>\n",
       "      <td>[فوتبال, جام, آزادگان, پاس, -, سپاهان, ،, حساس...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100012</th>\n",
       "      <td>39912</td>\n",
       "      <td>7</td>\n",
       "      <td>[والیبال, دهه, فجر, لتونی, با, شکست, تیم, فجر,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100013</th>\n",
       "      <td>39913</td>\n",
       "      <td>1</td>\n",
       "      <td>[آخرین, رمان, ماریو, وارگاس, یوسا, ماریو, وارگ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100014</th>\n",
       "      <td>39914</td>\n",
       "      <td>1</td>\n",
       "      <td>[بر, ویرانه\\u200cها, ،, فیلم, می\\u200cسازیم, گ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100015</th>\n",
       "      <td>39915</td>\n",
       "      <td>1</td>\n",
       "      <td>[خلوص, و, شفافیت, ،, ویژگی, سینمای, ایران, گفت...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100016</th>\n",
       "      <td>39916</td>\n",
       "      <td>1</td>\n",
       "      <td>[سینما, ،, نزدیک\\u200cترین, هنر, به, شهرسازی, ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100017</th>\n",
       "      <td>39917</td>\n",
       "      <td>1</td>\n",
       "      <td>[به, این, سینما, امیدوارم, گفتگو, با, گادفری, ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100018</th>\n",
       "      <td>39918</td>\n",
       "      <td>1</td>\n",
       "      <td>[نقش, موسیقی, کلاسیک, در, بهبود, یادگیری, ., و...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100019</th>\n",
       "      <td>39919</td>\n",
       "      <td>2</td>\n",
       "      <td>[عکس, روز, عکس, از, :, حمید, رضا, حسین, زاده]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10002</th>\n",
       "      <td>109</td>\n",
       "      <td>2</td>\n",
       "      <td>[مرگ, انگلیسی, صد, ساله, ., لندن, -, خبرگزاری,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100020</th>\n",
       "      <td>3992</td>\n",
       "      <td>2</td>\n",
       "      <td>[گل, و, گیاه, دروزرا, نام, علمی, :, adelae, Dr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100021</th>\n",
       "      <td>39920</td>\n",
       "      <td>6</td>\n",
       "      <td>[چرخه, نسل, کودکان, خیابانی, در, کانادا, سرویس...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99972</th>\n",
       "      <td>39877</td>\n",
       "      <td>2</td>\n",
       "      <td>[اسلام;, نسل, نو, و, پاسخ\\u200cهای, نوین, اشار...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99973</th>\n",
       "      <td>39878</td>\n",
       "      <td>2</td>\n",
       "      <td>[سازمان, ورزش, موظف, به, تدوین, طرح, جامع, ورز...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99974</th>\n",
       "      <td>39879</td>\n",
       "      <td>2</td>\n",
       "      <td>[قیچی, سانسور, در, تلویزیون, ،, بازی, با, اعصا...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99975</th>\n",
       "      <td>3988</td>\n",
       "      <td>2</td>\n",
       "      <td>[آینه, طبیعت, قوچ, بارباری, نام, علمی, :, Lerv...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99976</th>\n",
       "      <td>39880</td>\n",
       "      <td>2</td>\n",
       "      <td>[منطقه, زیبای, ماسال, از, نظرها, دور, مانده_اس...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99977</th>\n",
       "      <td>39881</td>\n",
       "      <td>2</td>\n",
       "      <td>[ملاحظاتی, در, زمینه, اصلاح, نظام, آموزشی, سخن...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99978</th>\n",
       "      <td>39882</td>\n",
       "      <td>2</td>\n",
       "      <td>[آهوان, دشت, موته, در, معرض, قتل, عام, قرار, گ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99979</th>\n",
       "      <td>39883</td>\n",
       "      <td>2</td>\n",
       "      <td>[دومین, گردهمایی, بررسی, ابعاد, علمی, -, اخلاق...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9998</th>\n",
       "      <td>108996</td>\n",
       "      <td>4</td>\n",
       "      <td>[وزیر, کشور, در, همایش, سراسری, فرماندهان, نیر...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99980</th>\n",
       "      <td>39884</td>\n",
       "      <td>2</td>\n",
       "      <td>[هزار, نمایش, خیابانی, سال, آینده, در, کشور, ا...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99981</th>\n",
       "      <td>39885</td>\n",
       "      <td>2</td>\n",
       "      <td>[وزیر, کشور, :, مدیران, باید, بدون, نیاز, به, ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99982</th>\n",
       "      <td>39886</td>\n",
       "      <td>2</td>\n",
       "      <td>[با, پیام, وزیر, فرهنگ, و, ارشاد, اسلامی, :, ج...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99983</th>\n",
       "      <td>39887</td>\n",
       "      <td>2</td>\n",
       "      <td>[در, حسرت, آبی, آسمان, در, طول, مسیر, چندین, ب...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99984</th>\n",
       "      <td>39888</td>\n",
       "      <td>2</td>\n",
       "      <td>[دیروز, همزمان, با, اعلام, روز, هوای, پاک, از,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99985</th>\n",
       "      <td>39889</td>\n",
       "      <td>2</td>\n",
       "      <td>[به, مناسبت, روز, هوای, پاک, تمرین, نظامی, گرد...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99986</th>\n",
       "      <td>3989</td>\n",
       "      <td>2</td>\n",
       "      <td>[اطلاعات, پزشکی, قهوه, و, پروستات, ., پرسش, :,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99987</th>\n",
       "      <td>39890</td>\n",
       "      <td>2</td>\n",
       "      <td>[به, مناسبت, روز, هوای, پاک, رئیس, سازمان, حفا...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99988</th>\n",
       "      <td>39891</td>\n",
       "      <td>2</td>\n",
       "      <td>[گزارش, خبرنگاران, همشهری, از, روز, هوای, پاک,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99989</th>\n",
       "      <td>39892</td>\n",
       "      <td>2</td>\n",
       "      <td>[دو, اطلاعیه, از, شرکت, مخابرات, :, تلفن, همرا...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9999</th>\n",
       "      <td>108997</td>\n",
       "      <td>4</td>\n",
       "      <td>[گزارش, دومین, روز, سفر, رئیس, جمهوری, به, است...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99990</th>\n",
       "      <td>39893</td>\n",
       "      <td>2</td>\n",
       "      <td>[بازتاب, اتوبوس, شگفت, انگیز, صبح, دیروز, اعلا...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99991</th>\n",
       "      <td>39894</td>\n",
       "      <td>2</td>\n",
       "      <td>[دیدار, شورانگیز, صیادان, بندرعباس, با, رهبر, ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99992</th>\n",
       "      <td>39895</td>\n",
       "      <td>2</td>\n",
       "      <td>[همایش, زلزله, و, عملکرد, فضای, آموزشی, در, شی...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99993</th>\n",
       "      <td>39896</td>\n",
       "      <td>2</td>\n",
       "      <td>[معاون, سیاسی, وزیر, کشور, :, ولایت, فقیه, هما...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99994</th>\n",
       "      <td>39897</td>\n",
       "      <td>2</td>\n",
       "      <td>[روزهای, ۱۵, اسفند, ۷۶, و, ۲۸, فروردین, ماه, ۷...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99995</th>\n",
       "      <td>39898</td>\n",
       "      <td>2</td>\n",
       "      <td>[به, مناسبت, اعلام, روز, هوای, پاک, :, صبح, دی...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99996</th>\n",
       "      <td>39899</td>\n",
       "      <td>2</td>\n",
       "      <td>[نرخ, جدید, پروازهای, داخلی, نرخ, جدید, پروازه...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99997</th>\n",
       "      <td>399</td>\n",
       "      <td>2</td>\n",
       "      <td>[روسیه, و, حزب, کمونیست, جدید, زیوگانوف, که, چ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99998</th>\n",
       "      <td>3990</td>\n",
       "      <td>2</td>\n",
       "      <td>[روزها, و, رویدادها, ژوئن, ۱۹۰۹, اول, ژوئن, -,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99999</th>\n",
       "      <td>39900</td>\n",
       "      <td>4</td>\n",
       "      <td>[برنامه\\u200cهای, زمان, بندی, انتخابات, میان, ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>166774 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "        Unnamed: 0  cat_english  \\\n",
       "0                0            1   \n",
       "1                1            1   \n",
       "10          100004            5   \n",
       "100         100086            5   \n",
       "1000        100897            6   \n",
       "10000       108998            4   \n",
       "100000       39901            4   \n",
       "100001       39902            4   \n",
       "100002       39903            4   \n",
       "100003       39904            4   \n",
       "100004       39905            4   \n",
       "100005       39906            4   \n",
       "100006       39907            4   \n",
       "100007       39908            2   \n",
       "100008       39909            7   \n",
       "100009        3991            2   \n",
       "10001       108999            4   \n",
       "100010       39910            7   \n",
       "100011       39911            7   \n",
       "100012       39912            7   \n",
       "100013       39913            1   \n",
       "100014       39914            1   \n",
       "100015       39915            1   \n",
       "100016       39916            1   \n",
       "100017       39917            1   \n",
       "100018       39918            1   \n",
       "100019       39919            2   \n",
       "10002          109            2   \n",
       "100020        3992            2   \n",
       "100021       39920            6   \n",
       "...            ...          ...   \n",
       "99972        39877            2   \n",
       "99973        39878            2   \n",
       "99974        39879            2   \n",
       "99975         3988            2   \n",
       "99976        39880            2   \n",
       "99977        39881            2   \n",
       "99978        39882            2   \n",
       "99979        39883            2   \n",
       "9998        108996            4   \n",
       "99980        39884            2   \n",
       "99981        39885            2   \n",
       "99982        39886            2   \n",
       "99983        39887            2   \n",
       "99984        39888            2   \n",
       "99985        39889            2   \n",
       "99986         3989            2   \n",
       "99987        39890            2   \n",
       "99988        39891            2   \n",
       "99989        39892            2   \n",
       "9999        108997            4   \n",
       "99990        39893            2   \n",
       "99991        39894            2   \n",
       "99992        39895            2   \n",
       "99993        39896            2   \n",
       "99994        39897            2   \n",
       "99995        39898            2   \n",
       "99996        39899            2   \n",
       "99997          399            2   \n",
       "99998         3990            2   \n",
       "99999        39900            4   \n",
       "\n",
       "                                                     text  \n",
       "0       [جاودانگی, در, زندگی, گروهی, از, طریق, هنر, نگ...  \n",
       "1       [رویدادهای, هنری, جهان, نمایشگاه, هنر, در, خدم...  \n",
       "10      [جرایم, مربوط, به, کتاب, در, دستان, هیات, منصف...  \n",
       "100     [نشست, دانشجویان, کارشناسی, ارشد, در, دانشگاه,...  \n",
       "1000    [امنیت, از, منظری, دیگر, مفهوم, امنیت, در, کلا...  \n",
       "10000   [رئیس, قوه, قضائیه, :, مقابله, با, ناامنی\\u200...  \n",
       "100000  [تایید, آمریکا, :, عراق, علیه, ایران, از, سلاح...  \n",
       "100001  [برگزاری, گردهمایی, دانشجویان, در, دانشگاه, صن...  \n",
       "100002  [پشت, تریبون, جلسه, مجمع, حزبالله, مجلس, دیروز...  \n",
       "100003  [مقام, معظم, رهبری, در, اجتماع, زنان, هرمزگان,...  \n",
       "100004  [حجت, الاسلام, والمسلمین, سید, محمد, خاتمی, :,...  \n",
       "100005  [با, تصویب, مجلس, شورای, اسلامی, :, محل, دفاتر...  \n",
       "100006  [حجت, الاسلام, والمسلمین, عبدالله, نوری, وزیر,...  \n",
       "100007  [تلفن, به, همشهری, رواج, تصویربرداری, از, آثار...  \n",
       "100008  [کشتی, فرنگی, دهه, فجر, جام, جهان, پهلوان, تخت...  \n",
       "100009  [عرضه, فراورده\\u200cهای, شیری, و, پروتئینی, در...  \n",
       "10001   [آیت, الله, مشکینی, باردیگر, رئیس, مجلس, خبرگا...  \n",
       "100010  [رده, بندی, مجازی, کشتی, فرنگی, جام, تختی, کیل...  \n",
       "100011  [فوتبال, جام, آزادگان, پاس, -, سپاهان, ،, حساس...  \n",
       "100012  [والیبال, دهه, فجر, لتونی, با, شکست, تیم, فجر,...  \n",
       "100013  [آخرین, رمان, ماریو, وارگاس, یوسا, ماریو, وارگ...  \n",
       "100014  [بر, ویرانه\\u200cها, ،, فیلم, می\\u200cسازیم, گ...  \n",
       "100015  [خلوص, و, شفافیت, ،, ویژگی, سینمای, ایران, گفت...  \n",
       "100016  [سینما, ،, نزدیک\\u200cترین, هنر, به, شهرسازی, ...  \n",
       "100017  [به, این, سینما, امیدوارم, گفتگو, با, گادفری, ...  \n",
       "100018  [نقش, موسیقی, کلاسیک, در, بهبود, یادگیری, ., و...  \n",
       "100019      [عکس, روز, عکس, از, :, حمید, رضا, حسین, زاده]  \n",
       "10002   [مرگ, انگلیسی, صد, ساله, ., لندن, -, خبرگزاری,...  \n",
       "100020  [گل, و, گیاه, دروزرا, نام, علمی, :, adelae, Dr...  \n",
       "100021  [چرخه, نسل, کودکان, خیابانی, در, کانادا, سرویس...  \n",
       "...                                                   ...  \n",
       "99972   [اسلام;, نسل, نو, و, پاسخ\\u200cهای, نوین, اشار...  \n",
       "99973   [سازمان, ورزش, موظف, به, تدوین, طرح, جامع, ورز...  \n",
       "99974   [قیچی, سانسور, در, تلویزیون, ،, بازی, با, اعصا...  \n",
       "99975   [آینه, طبیعت, قوچ, بارباری, نام, علمی, :, Lerv...  \n",
       "99976   [منطقه, زیبای, ماسال, از, نظرها, دور, مانده_اس...  \n",
       "99977   [ملاحظاتی, در, زمینه, اصلاح, نظام, آموزشی, سخن...  \n",
       "99978   [آهوان, دشت, موته, در, معرض, قتل, عام, قرار, گ...  \n",
       "99979   [دومین, گردهمایی, بررسی, ابعاد, علمی, -, اخلاق...  \n",
       "9998    [وزیر, کشور, در, همایش, سراسری, فرماندهان, نیر...  \n",
       "99980   [هزار, نمایش, خیابانی, سال, آینده, در, کشور, ا...  \n",
       "99981   [وزیر, کشور, :, مدیران, باید, بدون, نیاز, به, ...  \n",
       "99982   [با, پیام, وزیر, فرهنگ, و, ارشاد, اسلامی, :, ج...  \n",
       "99983   [در, حسرت, آبی, آسمان, در, طول, مسیر, چندین, ب...  \n",
       "99984   [دیروز, همزمان, با, اعلام, روز, هوای, پاک, از,...  \n",
       "99985   [به, مناسبت, روز, هوای, پاک, تمرین, نظامی, گرد...  \n",
       "99986   [اطلاعات, پزشکی, قهوه, و, پروستات, ., پرسش, :,...  \n",
       "99987   [به, مناسبت, روز, هوای, پاک, رئیس, سازمان, حفا...  \n",
       "99988   [گزارش, خبرنگاران, همشهری, از, روز, هوای, پاک,...  \n",
       "99989   [دو, اطلاعیه, از, شرکت, مخابرات, :, تلفن, همرا...  \n",
       "9999    [گزارش, دومین, روز, سفر, رئیس, جمهوری, به, است...  \n",
       "99990   [بازتاب, اتوبوس, شگفت, انگیز, صبح, دیروز, اعلا...  \n",
       "99991   [دیدار, شورانگیز, صیادان, بندرعباس, با, رهبر, ...  \n",
       "99992   [همایش, زلزله, و, عملکرد, فضای, آموزشی, در, شی...  \n",
       "99993   [معاون, سیاسی, وزیر, کشور, :, ولایت, فقیه, هما...  \n",
       "99994   [روزهای, ۱۵, اسفند, ۷۶, و, ۲۸, فروردین, ماه, ۷...  \n",
       "99995   [به, مناسبت, اعلام, روز, هوای, پاک, :, صبح, دی...  \n",
       "99996   [نرخ, جدید, پروازهای, داخلی, نرخ, جدید, پروازه...  \n",
       "99997   [روسیه, و, حزب, کمونیست, جدید, زیوگانوف, که, چ...  \n",
       "99998   [روزها, و, رویدادها, ژوئن, ۱۹۰۹, اول, ژوئن, -,...  \n",
       "99999   [برنامه\\u200cهای, زمان, بندی, انتخابات, میان, ...  \n",
       "\n",
       "[166774 rows x 3 columns]"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'جاودانگی در زندگی گروهی از طریق هنر نگاهی به نمایشگاه آثار هنری احمد طباطبایی موضوع آثار طباطبایی مورچگان هستند ولی در باطن چنین ظاهری ، این انسانهاهستند که در هیبتی حشره گونه در تابلوهای نقاشی نمایشگر گوشه هایی از زندگی خود هستند . مورچه\\\\u200cای را دیده\\\\u200cایم که بار سنگین خودرا به دوش می\\\\u200cکشد و در بین راه خسته می\\\\u200cشود یا در نتیجه پیش آمدن یک حادثه اتفاقی بار از دستش رها شده و برای گریز از خطر آن را می\\\\u200cگذارد و فرار می\\\\u200cکند . اما ساعتی بعد به همان نقطه برمی گردد و بار را دوباره به دوش کشیده نفس زنان و عرق ریزان آن را به منزل او می\\\\u200cرساند می\\\\u200cداند که اگر در میان راه از بین رفت ، یک مورچه دیگر با همان استعداد غریزه عملی را که او شروع کرده به پایان می\\\\u200cرساند . پس او می\\\\u200cداند که بعد از خودش نسل آینده\\\\u200cای وجود دارد که باید از مزایای آن استفاده نماید . چه داستان درازی ، انتها و پایانی هم میلیونها ندارد سال گذشته ، میلیاردها سال دیگر خواهد_گذشت وهمین برنامه میلیونها بار دیگر تجدید می\\\\u200cشود . پس باید گفت سیر حیات و تکامل پایان ناپذیر است . اسرار جهان پایانی ندارد . پس اگر بخواهیم به یک چیز پایان ناپذیر برسیم چون انتهایی در بین نیست ، به جایی نمی\\\\u200cرسیم . از کتاب مورچگان ، نوشته موریس مترلینگ مورچگان در تابلوهای نقاشی احمد طباطبایی جایگاه ویژه\\\\u200cای دارند . در نمایشگاهی که از آثار این هنرمند اول تا ۲۳ خرداد در نگارخانه برگ برپا شد ۳۶ اثر با این موضوع به نمایش عمومی درآمد . طباطبایی در مدت ۱۸ سالی که به نقاشی می\\\\u200cپردازد همواره بر روی موضوع مورچگان کار کرده_است . وی درباره علت انتخاب چنین سوژه\\\\u200cای می\\\\u200cگوید : در یکی از روزهای زندگی خود بسیار غمگین بودم و زمانی که به خواب رفتم ، مورچه\\\\u200cای را دیدم . سپس تصمیم گرفتم طرح آن را بکشم . این کار به نظرم جالب آمد و از آن روز به بعد این نوع طراحی را ادامه دادم که در هر بار نقاشی در این مدلها تغییراتی را ایجاد می\\\\u200cکنم ، ضمن اینکه این حشره به دلیل زندگی منظمی که دارد ، برایم جذاب است . نظم یکی از ارکان آثار نقاشی طباطبایی است . علیرغم موضوعات ساده ، ترکیببندی دو بعدی و تنوع کم در رنگ آمیزی سطوح ، استحکام طرحها و نقوش بر روی پرده اثر نشان از نظمی درونی دارد . این نظم خود را در آناتومی و اندام مورچگان به نوع دیگری نشان می\\\\u200cدهد . مشخصه اصلی مورچگان دست و پا و تقسیم بندی سه گانه بدن آنها است و مهمتر آنکه روی شش دست و پا راه می\\\\u200cروند . اما در نقاشیهای طباطبایی آنها روی دو پا مثل انسان می\\\\u200cایستند . سرهایشان بزرگترین اندام بدنشان است و چشمها به طور اغراق آمیزی در سرجا گرفته_است . هدف نقاش از این تغییرات در اندام مورچگان ؟ چیست باآنکه خود نقاش گفته و از نقاشیها استنباط می\\\\u200cشود ، موضوع آثار طباطبایی مورچگان است اما در باطن چنین ظاهری ، این انسانها هستند که در هیبتی حشره گونه در تابلوهای نقاش نمایشگر گوشه هایی از زندگی خود هستند . آنها با اندام سیاه خود در زمینه\\\\u200cای خاکستری بادکنکهای رنگی به دست دارند و عروسی می\\\\u200cکنند . تغییر در اندام مورچگان باعث شده چهره و حالات سر و صورت تنها اندام بازگو کننده احساسات موضوع در تابلوی نقاشی نباشد بلکه تمام بدن این مورچه - انسانهاحسی را پدید می\\\\u200cآورند که در تابلو سایه می\\\\u200cاندازد . احساساتی نظیر به دام افتادن در دام یک عنکبوت ، مادری کردن ، تفاهم و دوستی . نکته دیگر ، نقاشی درختان به صورت اسلیمی\\\\u200cهای ایرانی در حاشیه تابلوها با خطوط و رنگهایی زنده و شاداب است . این نقشها در تقابل بصری با مورچه - انسانهاست اما در یک هماهنگی درونی با مفهوم مورچه - انسانها به تصویر کشیده شده\\\\u200cاند . رنگهای شاد سبز با میوه\\\\u200cهای سرخ ، شکل انسانی محیط را افزایش می\\\\u200cدهند اما این مورچگان که به طور گروهی در این فضا به سر می\\\\u200cبرند ، یک اصل را می\\\\u200cدانند; جاودانگی در زندگی گروهی و انتقال احساسات به دیگران از طریق هنر است . همان راهی که مترلینگ به آن اشاره کرد .'"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\" \".join(df.text[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['Literature and Art'], dtype=object)"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "label_encoder.inverse_transform([df.cat_english[0]])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import train_test_split\n",
    "\n",
    "tokens_train, tokens_test,\\\n",
    "    label_train, label_test = train_test_split(df['text'], \n",
    "                                              df['cat_english'],\n",
    "                                              random_state=43)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "del df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Feature engineering "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.feature_extraction.text import TfidfVectorizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf = TfidfVectorizer?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf = TfidfVectorizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf = TfidfVectorizer(lowercase=False,\n",
    "                        tokenizer=lambda x: x,\n",
    "                        smooth_idf=False,\n",
    "                        max_df=10000,\n",
    "                        min_df=50,\n",
    "                       )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 125080/125080 [00:13<00:00, 9562.44it/s] \n"
     ]
    }
   ],
   "source": [
    "X_train = tfidf.fit_transform(tqdm(tokens_train))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<125080x23785 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 14174764 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 41694/41694 [00:05<00:00, 7426.62it/s]\n"
     ]
    }
   ],
   "source": [
    "X_test = tfidf.transform(tqdm(tokens_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<41694x23785 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 4729010 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_test"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Learning"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.linear_model import LogisticRegression"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "lr = LogisticRegression(max_iter=1000, verbose=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:432: FutureWarning: Default solver will be changed to 'lbfgs' in 0.22. Specify a solver to silence this warning.\n",
      "  FutureWarning)\n",
      "/home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:469: FutureWarning: Default multi_class will be changed to 'auto' in 0.22. Specify the multi_class option to silence this warning.\n",
      "  \"this warning.\", FutureWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[LibLinear]"
     ]
    },
    {
     "data": {
      "text/plain": [
       "LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,\n",
       "                   intercept_scaling=1, l1_ratio=None, max_iter=1000,\n",
       "                   multi_class='warn', n_jobs=None, penalty='l2',\n",
       "                   random_state=None, solver='warn', tol=0.0001, verbose=True,\n",
       "                   warm_start=False)"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.fit(X_train, label_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.8555004796929965"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.score(X_train, label_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.824387201995491"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.score(X_test, label_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.metrics import classification_report, confusion_matrix,\\\n",
    "    f1_score\n",
    "def eval_results(y_true, y_pred):\n",
    "    print(classification_report(y_true, y_pred,\\\n",
    "                          target_names=label_encoder.classes_))\n",
    "    print(confusion_matrix(y_true, y_pred))\n",
    "    print(f1_score(y_true, y_pred, average='weighted'))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                     precision    recall  f1-score   support\n",
      "\n",
      "            Economy       0.88      0.88      0.88      5879\n",
      " Literature and Art       0.75      0.62      0.68      1684\n",
      "      Miscellaneous       0.81      0.90      0.85     19116\n",
      "Natural Environment       0.56      0.06      0.11       236\n",
      "           Politics       0.82      0.74      0.77      4914\n",
      "Science and Culture       0.72      0.64      0.68      3284\n",
      "             Social       0.75      0.54      0.63      2483\n",
      "              Sport       0.98      0.97      0.98      4009\n",
      "            Tourism       0.62      0.17      0.27        89\n",
      "\n",
      "           accuracy                           0.82     41694\n",
      "          macro avg       0.77      0.61      0.65     41694\n",
      "       weighted avg       0.82      0.82      0.82     41694\n",
      "\n",
      "[[ 5160     1   577     0    87    28    16     9     1]\n",
      " [    5  1048   519     0     6    90    12     4     0]\n",
      " [  423   231 17175     6   488   473   266    51     3]\n",
      " [   10     0   197    15     0    12     2     0     0]\n",
      " [  134     8  1016     0  3620    40    88     7     1]\n",
      " [   61    83   884     5    75  2094    69     9     4]\n",
      " [   45    19   782     0   152   136  1338    11     0]\n",
      " [    2     1    85     0     5     8     1  3907     0]\n",
      " [   17     0    44     1     0    11     0     1    15]]\n",
      "0.8184095685370757\n"
     ]
    }
   ],
   "source": [
    "eval_results(label_test, lr.predict(X_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['Sport'], dtype=object)"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "label_encoder.inverse_transform(lr.predict(tfidf.transform([['پرسپولیس']])))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "np.argsort?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'اقتصاد'"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tfidf.get_feature_names()[2001]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Economy\n",
      "اقتصاد\n",
      "هست\n",
      "نفت\n",
      "یادداشت\n",
      "شرکت\\u200cهای\n",
      "Literature and Art\n",
      "ادب\n",
      "هنری\n",
      "موسیقی\n",
      "صحنه\n",
      "تلویزیونی\n",
      "Miscellaneous\n",
      "شهرستانها\n",
      "شهرداری\n",
      "مندان\n",
      "گشتی\n",
      "واشنگتن\n",
      "Natural Environment\n",
      "زیست\n",
      "زمین\n",
      "محیطزیست\n",
      "آب\n",
      "شکار\n",
      "Politics\n",
      "رفسنجانی\n",
      "خاتمی\n",
      "خرازی\n",
      "امورخارجه\n",
      "ناطق\n",
      "Science and Culture\n",
      "پرورش\n",
      "میراث\n",
      "ارشاد\n",
      "فرهنگیان\n",
      "عالی\n",
      "Social\n",
      "ایرنا\n",
      "ایسنا\n",
      "زنان\n",
      "نگاران\n",
      "مدیرمسئول\n",
      "Sport\n",
      "فوتبال\n",
      "فدراسیون\n",
      "بازیکن\n",
      "ورزش\n",
      "باشگاه\n",
      "Tourism\n",
      "گردشگری\n",
      "گردشگران\n",
      "جهانگردی\n",
      "مسافرتی\n",
      "مسافران\n"
     ]
    }
   ],
   "source": [
    "for j in range(9):\n",
    "    print(label_encoder.classes_[j])\n",
    "    for i in lr.coef_[j].argsort()[-5:][::-1]:\n",
    "        print (tfidf.get_feature_names()[i])\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([ 2001, 18823, 17901, ..., 21248, 11529, 11542])"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.coef_[0].argsort()[:][::-1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2001"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.coef_[0].argmax()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}