Experiment Classic Classification of Text.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/tqdm/std.py:648: FutureWarning: The Panel class is removed from pandas. Accessing it from the top-level namespace will also be removed in the next version\n",
      "  from pandas import Panel\n"
     ]
    }
   ],
   "source": [
    "import hazm\n",
    "import pandas as pd\n",
    "from lxml import etree\n",
    "from pathlib import Path\n",
    "import os\n",
    "from tqdm import tqdm\n",
    "tqdm.pandas()\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "import gensim\n",
    "import warnings\n",
    "import joblib\n",
    "warnings.filterwarnings('ignore')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "دانش جغرافي دانش آموزان امريكايي در \n",
    "پايين ترين سطح جهاني است \n",
    "\n",
    ". واحد رسانه هاي خارجي: دنيا، دنياي بزرگي است و به ياد داشتن نام \n",
    " اماكن، نقاط و چيزهاي مختلف آن كار آساني نيست. كارشناسان علوم \n",
    "آموزش امريكا مي خواهند اهميت جغرافيا را به دانش آموزان گوشزد و آنان \n",
    "را به تقويت دانش خود در اين زمينه تشويق كنند. \n",
    "به گزارش تلويزيون آزمونهاي سي ان ان، گوناگوني كه در موردويژگيهاي \n",
    "جغرافيايي جهان ياحتي امريكا از دانش آموزان اين كشور شده است، \n",
    "نتايج قابل توجهي دربرداشته است. مثلا بيشتر دانش آموزان دوره \n",
    "راهنمايي امريكا نمي دانند درياچه هاي كوچك از عمده ويژگيهاي ايالت "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "label_encoder = joblib.load('/home/fazel/env/thesis/label_encoder.joblib')\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "## To create train_test_split\n",
    "# from sklearn.preprocessing import LabelEncoder\n",
    "\n",
    "\n",
    "# # Labels of data to numbers\n",
    "# label_encoder = joblib.load('/home/fazel/env/thesis/label_encoder.joblib')\n",
    "# # Hamshahri Dataset, News text and labels\n",
    "# df = pd.read_json('/home/fazel/env/thesis/hamshahri_df.json')\n",
    "# df['cat_english'] = label_encoder.transform(df['cat_english'])\n",
    "\n",
    "# import gc;gc.collect()\n",
    "\n",
    "# df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "جاودانگی در زندگی گروهی از طریق هنر نگاهی به نمایشگاه آثار هنری احمد طباطبایی موضوع آثار طباطبایی مورچگان هستند ولی در باطن چنین ظاهری ، این انسانهاهستند که در هیبتی حشره گونه در تابلوهای نقاشی نمایشگر گوشه هایی از زندگی خود هستند . مورچه\\u200cای را دیده\\u200cایم که بار سنگین خودرا به دوش می\\u200cکشد و در بین راه خسته می\\u200cشود یا در نتیجه پیش آمدن یک حادثه اتفاقی بار از دستش رها شده و برای گریز از خطر آن را می\\u200cگذارد و فرار می\\u200cکند . اما ساعتی بعد به همان نقطه برمی گردد و بار را دوباره به دوش کشیده نفس زنان و عرق ریزان آن را به منزل او می\\u200cرساند می\\u200cداند که اگر در میان راه از بین رفت ، یک مورچه دیگر با همان استعداد غریزه عملی را که او شروع کرده به پایان می\\u200cرساند . پس او می\\u200cداند که بعد از خودش نسل آینده\\u200cای وجود دارد که باید از مزایای آن استفاده نماید . چه داستان درازی ، انتها و پایانی هم میلیونها ندارد سال گذشته ، میلیاردها سال دیگر خواهد_گذشت وهمین برنامه میلیونها بار دیگر تجدید می\\u200cشود . پس باید گفت سیر حیات و تکامل پایان ناپذیر است . اسرار جهان پایانی ندارد . پس اگر بخواهیم به یک چیز پایان ناپذیر برسیم چون انتهایی در بین نیست ، به جایی نمی\\u200cرسیم . از کتاب مورچگان ، نوشته موریس مترلینگ مورچگان در تابلوهای نقاشی احمد طباطبایی جایگاه ویژه\\u200cای دارند . در نمایشگاهی که از آثار این هنرمند اول تا ۲۳ خرداد در نگارخانه برگ برپا شد ۳۶ اثر با این موضوع به نمایش عمومی درآمد . طباطبایی در مدت ۱۸ سالی که به نقاشی می\\u200cپردازد همواره بر روی موضوع مورچگان کار کرده_است . وی درباره علت انتخاب چنین سوژه\\u200cای می\\u200cگوید : در یکی از روزهای زندگی خود بسیار غمگین بودم و زمانی که به خواب رفتم ، مورچه\\u200cای را دیدم . سپس تصمیم گرفتم طرح آن را بکشم . این کار به نظرم جالب آمد و از آن روز به بعد این نوع طراحی را ادامه دادم که در هر بار نقاشی در این مدلها تغییراتی را ایجاد می\\u200cکنم ، ضمن اینکه این حشره به دلیل زندگی منظمی که دارد ، برایم جذاب است . نظم یکی از ارکان آثار نقاشی طباطبایی است . علیرغم موضوعات ساده ، ترکیببندی دو بعدی و تنوع کم در رنگ آمیزی سطوح ، استحکام طرحها و نقوش بر روی پرده اثر نشان از نظمی درونی دارد . این نظم خود را در آناتومی و اندام مورچگان به نوع دیگری نشان می\\u200cدهد . مشخصه اصلی مورچگان دست و پا و تقسیم بندی سه گانه بدن آنها است و مهمتر آنکه روی شش دست و پا راه می\\u200cروند . اما در نقاشیهای طباطبایی آنها روی دو پا مثل انسان می\\u200cایستند . سرهایشان بزرگترین اندام بدنشان است و چشمها به طور اغراق آمیزی در سرجا گرفته_است . هدف نقاش از این تغییرات در اندام مورچگان ؟ چیست باآنکه خود نقاش گفته و از نقاشیها استنباط می\\u200cشود ، موضوع آثار طباطبایی مورچگان است اما در باطن چنین ظاهری ، این انسانها هستند که در هیبتی حشره گونه در تابلوهای نقاش نمایشگر گوشه هایی از زندگی خود هستند . آنها با اندام سیاه خود در زمینه\\u200cای خاکستری بادکنکهای رنگی به دست دارند و عروسی می\\u200cکنند . تغییر در اندام مورچگان باعث شده چهره و حالات سر و صورت تنها اندام بازگو کننده احساسات موضوع در تابلوی نقاشی نباشد بلکه تمام بدن این مورچه - انسانهاحسی را پدید می\\u200cآورند که در تابلو سایه می\\u200cاندازد . احساساتی نظیر به دام افتادن در دام یک عنکبوت ، مادری کردن ، تفاهم و دوستی . نکته دیگر ، نقاشی درختان به صورت اسلیمی\\u200cهای ایرانی در حاشیه تابلوها با خطوط و رنگهایی زنده و شاداب است . این نقشها در تقابل بصری با مورچه - انسانهاست اما در یک هماهنگی درونی با مفهوم مورچه - انسانها به تصویر کشیده شده\\u200cاند . رنگهای شاد سبز با میوه\\u200cهای سرخ ، شکل انسانی محیط را افزایش می\\u200cدهند اما این مورچگان که به طور گروهی در این فضا به سر می\\u200cبرند ، یک اصل را می\\u200cدانند; جاودانگی در زندگی گروهی و انتقال احساسات به دیگران از طریق هنر است . همان راهی که مترلینگ به آن اشاره کرد .\n"
     ]
    }
   ],
   "source": [
    "# print(\" \".join(df.text[0]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "## Code to create it from hamshahri_df.json\n",
    "# from sklearn.model_selection import train_test_split\n",
    "\n",
    "# tokens_train, tokens_test,\\\n",
    "#     label_train, label_test = train_test_split(df['text'], \n",
    "#                                               df['cat_english'],\n",
    "#                                               random_state=43)\n",
    "\n",
    "# del df\n",
    "\n",
    "# import gc;gc.collect()\n",
    "\n",
    "# joblib.dump(tokens_train, 'tokens_train.joblib.gz', compress=5)\n",
    "\n",
    "# joblib.dump(tokens_test, 'tokens_test.joblib.gz', compress=5)\n",
    "\n",
    "# joblib.dump(label_test, 'label_test.joblib.gz', compress=5)\n",
    "\n",
    "# joblib.dump(label_train, 'label_train.joblib.gz', compress=5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "import joblib\n",
    "tokens_train = joblib.load('tokens_train.joblib.gz')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "20"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import gc;gc.collect()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "tokens_test = joblib.load('tokens_test.joblib.gz')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "20"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "gc.collect()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "label_test = joblib.load('label_test.joblib.gz')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "label_train = joblib.load('label_train.joblib.gz')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "60"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "gc.collect()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 223,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "بحث آزاد در نشست انجمن هنرمندان سفالگر انجمن هنرمندان سفالگر در ادامه برگزاری جلسات بحث و بررسی پیرامون سفالگری ایران ، جلسه دیگری را در روز سه شنبه ۲۹ تیرماه از ساعت ۱۵ تا ۱۷ در فرهنگسرای نیاوران برگزار می\\u200cکند . عنوان این جلسه ، بحث آزاد است و تمامی\n",
      "===========\n",
      "در بخشنامه وزیر آموزش و طرح هدیه به پرورش اعلام شد مدرسه در سراسر کشور به اجرا درمی آید گروه علمی فرهنگی : شیوه نامه جذب کمک\\u200cهای مردمی اولیاء در قالب طرح هدیه به مدرسه در سال تحصیلی ۷۸۷۷ برای اجرا در مدارس کشور اعم ازدولتی و غیرانتفاعی تدوین شد\n",
      "===========\n",
      "نقشه آسمان شب زمستان خوانندگانی که نامشان در ادامه می\\u200cآید برای دریافت نقشه آسمان شب زمستان نامه نوشته_بودند . متاسفانه تعداد تقاضاهای رسیده از حد تصور ما بیرون بود و موجودی نقشه\\u200cهای ما کفاف نداد و به بسیاری نرسید . از کسانی که نامه نوشتند و ستون آسمان شب را\n",
      "===========\n",
      "ناسازگاری حکومت\\u200cهای دولت سالار با راهبردهای توسعه کارکردهای نظام سیاسی در فرایند توسعه در گفت وگو با دکتر حسین عظیمی بخش دوم اشاره : در بخش اول این گفت وگو ابتدا رابطه نظام سیاسی با مسائل اقتصادی بررسی در شد این باره دکتر عظیمی بر این باورند که هیچ مکتب\n",
      "===========\n",
      "برنامه هفته دوم لیگ کشتی آزاد گروه ورزشی : هفته دوم مسابقات کشتی آزاد دسته اول باشگاه\\u200cهای ایران روز پنجشنبه هفته جاری بطور همزمان در ۳ استان کشور برگزار خواهد_شد . در این دوره از رقابتها که با شرکت ۷ تیم برگزار می\\u200cشود در هفته دوم تیم گواه تهران با\n",
      "===========\n",
      "رضا سلمان : مسئولین محترم صدا و سیما پاسخ دهند که آیا ما به تبلیغات در حین پخش فیلم نیاز ؟ داریم چرا ما باید در این زمینه از کشورهای مصرف زده تقلید کنیم . اگر بدعت بود بله اما قطع برنامه دقیقا در نقطه حساس آن به خاطر تبلیغ\n",
      "===========\n",
      "مدیرعامل سازمان بیمه خدمات روستائیان کشور درمانی : تحت پوشش بیمه خدمات درمانی قرار می\\u200cگیرند گروه شهری : سرانه بیمه و سهم بخش درمان از بودجه کل کشوربه منظور ارتقاء کیفی و کمی خدمات بیمه\\u200cای و درمانی بایدافزایش یابد . احمد خالقی نژاد -مدیرعامل سازمان بیمه خدمات درمانی ، در\n",
      "===========\n",
      "تشکیل هیات مشترک کمیسیون اصل ۹۰ و کمیسیون حقوق بشراسلامی گروه سیاسی : محمد دادفر مخبر کمیسیون اصل دیروز ۹۰به خبرنگار ما گفت : قرار است از دادگستری تهران اطلاعات کافی در مورد وضعیت عزت الله سحابی و ترتیب دادن ملاقات نمایندگان با وی درخواست شود . دادفر با اشاره\n",
      "===========\n",
      "بردیوار نگارخانه\\u200cها نگارخانه نقش جهان نمایشگاه نقاشی گروهی از هنرجویان /منوچهرملکشاهی تا دوم /مهر از ساعت ۱۷ /تا ۲۱ نشانی : خیابان زعفرانیه نبش پرزین تماشاگه /زمان تلفن . ۲۴۱۸۴۹۰ نگارخانه آتشزاد نمایشگاه نقاشی محمدرضا /آتشزاد از دوم /مهر نشانی : توانیر ساختان ۴۳ طبقه دوم /واحد ۸ تلفن .\n",
      "===========\n",
      "آغاز عملیات اجرایی طرح گازرسانی به شهر پردیس عملیات اجرایی طرح گازرسانی به شهر جدید پردیس هفته پیش با حضور وزیر مسکن و شهرسازی آغاز شد . عبدالعلی زاده وزیر مسکن و شهرسازی در مراسم آغاز عملیات اجرایی طرح گازرسانی به شهر پردیس گفت : با تصویب قانون شهرهای جدید\n",
      "===========\n",
      "جشنواره موسیقی مقامی و سنتی خوزستان امروز در آبادان برگزار می\\u200cشود گروه شهرستانها : دومین جشنواره موسیقی مقامی و سنتی استان خوزستان از ۲۶ تا ۳۰ مهرماه جاری در محل سینما تاج آبادان برگزار می\\u200cشود . به گزارش خبرنگار همشهری در اهواز به نقل از روابط عمومی اداره فرهنگ و\n",
      "===========\n",
      "واجپایی در دیدار با حسن روحانی : هند علاقمند به توسعه روابط با ایران است گروه سیاسی : آتل بیهاری واجپایی نخست وزیر هند دیروز در دیدار با حسن روحانی دبیر شورای عالی امنیت ملی گفت : توسعه روابط ایران و هند در زمینه\\u200cهای مختلف ، مورد علاقه دهلی نو\n",
      "===========\n",
      "خبرهای کوتاه * کمال خرازی وزیر خارجه و کوفی عنان دبیر کل سازمان ملل در یک مکالمه تلفنی درباره همکاری میان ایران و سازمان ملل و همچنین تحولات مربوط به افغانستان ، بحث و تبادل نظر کردند . کوفی عنان گفت : سازمان ملل موضوع برخورد با تروریسم را در\n",
      "===========\n",
      "سه رشته جدید در دانشگاه صنعتی خواجه نصیر راه اندازی شد گروه علمی فرهنگی : شورای گسترش آموزش عالی در سال جاری با ایجاد رشته\\u200cهای مهندسی عمران مهندسی ، مواد و مهندسی پزشکی در مقطع کارشناسی ارشد در دانشگاه صنعتی خواجه نصیرالدین طوسی موافقت کرد . به گزارش روابط عمومی\n",
      "===========\n",
      "یمن خواستار راه اندازی منطقه آزاد عدن توسط ایران شد کشور یمن تمایل جدی خود را برای استفاده از امکانات و تخصص ایران در زمینه ساخت اسکله ، اجرای پروژه\\u200cهای راهسازی ، تاسیسات و ساختمان ، صنایع بهداشتی ، راه اندازی کارخانه\\u200cهای تولید سیمان و آهن و خریداری انرژی برق\n",
      "===========\n",
      "همشهری به یادماندنی فصلی از کتاب طلوع کین همشهری کین بیش از آنکه یک تراژدی باشد کمدی است و شاید بهترین توصیف آن کمدی گوتیک باشد پالین کیل ترجمه پارمیس ایزدپناه فیلم همشهری کین بدون شک از آن دسته فیلم\\u200cهای آمریکایی است که جذابیت و تازگی خود را از زمان\n",
      "===========\n",
      "آستارا در تلاش برای مبدل شدن به منطقه ویژه اقتصادی در شهرستان مرزی آستارا ، به گونه\\u200cای است که تبدیل این شهرستان به منطقه ویژه اقتصادی ، از توجیه کامل برخوردار است . شهرستان آستارا در شمال استان گیلان و مجاورت جمهوری آذربایجان قرار دارد و در ده سال گذشته\n",
      "===========\n",
      "کارشناسان در گفت و گو با همشهری : کم آبی تهران حتی بابارش کافی هم برطرف نخواهد_شد نمای یکی از تصفیه خانه\\u200cهای تهران . آب تهران به دلیل برخورداری ازفرایند پیچیده و پر هزینه ۹ بار تصفیه سازی یکی از پاکترین و گرانترین آبهای آشامیدنی در شهرهای بزرگ جهان به\n",
      "===========\n",
      "فینال فوتبال جام ملتهای آمریکا برزیل بدون روماریو به قهرمانی می\\u200cاندیشد . واحد رسانه\\u200cهای خارجی : امشب در شهر لاپاز ، فینال سی و هشتمین دوره رقابتهای فوتبال جام ملتهای آمریکا میان دو کشور بولیوی و برزیل برگزار می\\u200cشود . تیم پرقدرت برزیل که تنها در چهار دوره این رقابتها\n",
      "===========\n",
      "محسن نوربخش : وزارت اقتصاد و بانک مرکزی هیچ اختلاف نظری ندارند رئیس کل بانک مرکزی ایران گفت : سیاستهای جدید بانک مرکزی و وزارت امور اقتصادی و دارایی در جهت اصلاح و بازنگری امور و شرایط موجود اقتصادی کشور می\\u200cباشد . محسن نوربخش ، در گفتگو با ایسنا ،\n",
      "===========\n",
      "تجلیل از رتبه اول آزمون سراسری گروه آزمایشی علوم ریاضی و فنی گروه علمی فرهنگی : به منظور تجلیل از سجاد بنابی نفر اول آزمون سراسری گروه آزمایشی علوم ریاضی و فنی ، مراسم باشکوهی در مسجدالنبی دانشگاه خواجه نصیر برگزار شد . به گزارش روابط عمومی دانشگاه صنعتی خواجه\n",
      "===========\n"
     ]
    }
   ],
   "source": [
    "count = 0\n",
    "for i in tokens_train:\n",
    "    if \":\" in i:\n",
    "        count += 1\n",
    "        print(' '.join(i[:50]))\n",
    "        print('===========')\n",
    "    if count > 20:\n",
    "        break\n",
    "        "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Feature engineering "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.feature_extraction.text import TfidfVectorizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf = TfidfVectorizer?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf = TfidfVectorizer(lowercase=False,\n",
    "                        tokenizer=lambda x: x,\n",
    "                        smooth_idf=False,\n",
    "                        max_df=3000,\n",
    "                        min_df=50,\n",
    "                       )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 125080/125080 [00:16<00:00, 7581.50it/s]\n"
     ]
    }
   ],
   "source": [
    "X_train = tfidf.fit_transform(tqdm(tokens_train))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<125080x22685 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 8420086 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 83,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 41694/41694 [00:06<00:00, 6257.64it/s]\n"
     ]
    }
   ],
   "source": [
    "X_test = tfidf.transform(tqdm(tokens_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<41694x22685 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 2807380 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 85,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "پارک ضلع پاسداران انتهای اعم نیاوران فرهنگسرای تیرماه ۲۹ سفالگری جلسات هنرمندان\n"
     ]
    }
   ],
   "source": [
    "print(\" \".join(tfidf.inverse_transform(X_train[0])[0]))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Learning"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.linear_model import LogisticRegression"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 133,
   "metadata": {},
   "outputs": [],
   "source": [
    "LogisticRegression?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 134,
   "metadata": {},
   "outputs": [],
   "source": [
    "lr = LogisticRegression(max_iter=1000, multi_class='multinomial', verbose=True,)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 149,
   "metadata": {},
   "outputs": [],
   "source": [
    "lr = LogisticRegression(max_iter=1000,multi_class='multinomial', solver='sag', verbose=True,)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 150,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "convergence after 23 epochs took 19 seconds\n",
      "CPU times: user 19.6 s, sys: 15 µs, total: 19.6 s\n",
      "Wall time: 19.6 s\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[Parallel(n_jobs=1)]: Done   1 out of   1 | elapsed:   19.6s finished\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,\n",
       "                   intercept_scaling=1, l1_ratio=None, max_iter=1000,\n",
       "                   multi_class='multinomial', n_jobs=None, penalty='l2',\n",
       "                   random_state=None, solver='sag', tol=0.0001, verbose=True,\n",
       "                   warm_start=False)"
      ]
     },
     "execution_count": 150,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%time lr.fit(X_train, label_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 151,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.848512951710905"
      ]
     },
     "execution_count": 151,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.score(X_train, label_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 152,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Precision on Test Set:  0.8007147311363746\n"
     ]
    }
   ],
   "source": [
    "print('Precision on Test Set: ', lr.score(X_test, label_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.metrics import classification_report, confusion_matrix,\\\n",
    "    f1_score\n",
    "def eval_results(y_true, y_pred):\n",
    "    print(classification_report(y_true, y_pred,\\\n",
    "                          target_names=label_encoder.classes_))\n",
    "    print(confusion_matrix(y_true, y_pred))\n",
    "    print(f1_score(y_true, y_pred, average='weighted'))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 154,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                     precision    recall  f1-score   support\n",
      "\n",
      "            Economy       0.86      0.83      0.84      5892\n",
      " Literature and Art       0.74      0.59      0.66      1621\n",
      "      Miscellaneous       0.78      0.89      0.83     19272\n",
      "Natural Environment       0.48      0.12      0.19       233\n",
      "           Politics       0.80      0.71      0.75      4884\n",
      "Science and Culture       0.70      0.57      0.63      3383\n",
      "             Social       0.73      0.52      0.61      2373\n",
      "              Sport       0.98      0.95      0.96      3925\n",
      "            Tourism       0.71      0.27      0.39       111\n",
      "\n",
      "           accuracy                           0.80     41694\n",
      "          macro avg       0.75      0.60      0.65     41694\n",
      "       weighted avg       0.80      0.80      0.79     41694\n",
      "\n",
      "[[ 4866     1   852     0   111    33    19     5     5]\n",
      " [    5   962   560     0     2    77    11     4     0]\n",
      " [  489   239 17153    17   531   530   260    50     3]\n",
      " [    7     1   179    27     1    14     4     0     0]\n",
      " [  165     2  1132     0  3460    40    79     5     1]\n",
      " [   54    78  1148    12    72  1929    77    10     3]\n",
      " [   69    23   799     0   136   107  1234     5     0]\n",
      " [    5     1   161     0    14    11     9  3724     0]\n",
      " [   17     0    50     0     0    14     0     0    30]]\n",
      "0.7946815584824699\n"
     ]
    }
   ],
   "source": [
    "eval_results(label_test, lr.predict(X_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 155,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['Sport'], dtype=object)"
      ]
     },
     "execution_count": 155,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "label_encoder.inverse_transform(lr.predict(tfidf.transform([['پرسپولیس']])))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 156,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['Miscellaneous'], dtype=object)"
      ]
     },
     "execution_count": 156,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "label_encoder.inverse_transform(lr.predict(tfidf.transform([['پیروزی']])))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 157,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['Miscellaneous'], dtype=object)"
      ]
     },
     "execution_count": 157,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "label_encoder.inverse_transform(lr.predict(tfidf.transform([[ 'نویسنده']])))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 158,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<1x22685 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 1 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 158,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tfidf.transform([[ 'مس']])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 123,
   "metadata": {},
   "outputs": [],
   "source": [
    "word_test = tfidf.transform([['شیر']])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 124,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "11128"
      ]
     },
     "execution_count": 124,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "word_test.argmax()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 181,
   "metadata": {},
   "outputs": [],
   "source": [
    "def pred_classes(tokens):\n",
    "    probas = list(\n",
    "        zip(\n",
    "            range(9),\n",
    "            *lr.predict_proba(\n",
    "                            tfidf.transform([tokens])\n",
    "            )\n",
    "        )\n",
    "    )\n",
    "    for i, j in probas: print(label_encoder.\\\n",
    "                              inverse_transform([i]),\n",
    "                              \" : \", \"{:.3}\".format(j*100),\n",
    "                              '%')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 180,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Economy']  :  2.44 %\n",
      "['Literature and Art']  :  0.465 %\n",
      "['Miscellaneous']  :  2.39 %\n",
      "['Natural Environment']  :  0.161 %\n",
      "['Politics']  :  0.969 %\n",
      "['Science and Culture']  :  1.05 %\n",
      "['Social']  :  1.03 %\n",
      "['Sport']  :  91.4 %\n",
      "['Tourism']  :  0.0758 %\n"
     ]
    }
   ],
   "source": [
    "pred_classes(['پرسپولیس'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 203,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Economy']  :  5.09 %\n",
      "['Literature and Art']  :  27.6 %\n",
      "['Miscellaneous']  :  57.5 %\n",
      "['Natural Environment']  :  0.418 %\n",
      "['Politics']  :  3.25 %\n",
      "['Science and Culture']  :  1.95 %\n",
      "['Social']  :  2.11 %\n",
      "['Sport']  :  1.88 %\n",
      "['Tourism']  :  0.185 %\n"
     ]
    }
   ],
   "source": [
    "pred_classes(['نقاش' ])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 210,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(0, 'Miscellaneous'),\n",
       " (1, 'Science and Culture'),\n",
       " (2, 'Science and Culture'),\n",
       " (3, 'Miscellaneous'),\n",
       " (4, 'Science and Culture'),\n",
       " (5, 'Miscellaneous'),\n",
       " (6, 'Sport'),\n",
       " (7, 'Miscellaneous'),\n",
       " (8, 'Miscellaneous'),\n",
       " (9, 'Politics'),\n",
       " (10, 'Literature and Art'),\n",
       " (11, 'Miscellaneous'),\n",
       " (12, 'Economy'),\n",
       " (13, 'Miscellaneous'),\n",
       " (14, 'Politics'),\n",
       " (15, 'Miscellaneous'),\n",
       " (16, 'Politics'),\n",
       " (17, 'Science and Culture'),\n",
       " (18, 'Economy'),\n",
       " (19, 'Literature and Art'),\n",
       " (20, 'Economy'),\n",
       " (21, 'Miscellaneous'),\n",
       " (22, 'Sport'),\n",
       " (23, 'Economy'),\n",
       " (24, 'Economy'),\n",
       " (25, 'Science and Culture'),\n",
       " (26, 'Miscellaneous'),\n",
       " (27, 'Sport'),\n",
       " (28, 'Miscellaneous'),\n",
       " (29, 'Social'),\n",
       " (30, 'Economy'),\n",
       " (31, 'Miscellaneous'),\n",
       " (32, 'Economy'),\n",
       " (33, 'Miscellaneous'),\n",
       " (34, 'Miscellaneous'),\n",
       " (35, 'Miscellaneous'),\n",
       " (36, 'Politics'),\n",
       " (37, 'Economy'),\n",
       " (38, 'Miscellaneous'),\n",
       " (39, 'Miscellaneous'),\n",
       " (40, 'Miscellaneous'),\n",
       " (41, 'Politics'),\n",
       " (42, 'Miscellaneous'),\n",
       " (43, 'Sport'),\n",
       " (44, 'Social'),\n",
       " (45, 'Miscellaneous'),\n",
       " (46, 'Politics'),\n",
       " (47, 'Science and Culture'),\n",
       " (48, 'Miscellaneous'),\n",
       " (49, 'Miscellaneous')]"
      ]
     },
     "execution_count": 210,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list(zip(range(len(label_train)), label_encoder.inverse_transform(label_train)))[:50]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 122,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1.0003273274507736"
      ]
     },
     "execution_count": 122,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.coef_[0][14586]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 219,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['بحث', 'آزاد', 'در', 'نشست', 'انجمن', 'هنرمندان', 'سفالگر', 'انجمن', 'هنرمندان', 'سفالگر', 'در', 'ادامه', 'برگزاری', 'جلسات', 'بحث', 'و', 'بررسی', 'پیرامون', 'سفالگری', 'ایران', '،', 'جلسه', 'دیگری', 'را', 'در', 'روز', 'سه', 'شنبه', '۲۹', 'تیرماه', 'از', 'ساعت', '۱۵', 'تا', '۱۷', 'در', 'فرهنگسرای', 'نیاوران', 'برگزار', 'می\\\\u200cکند', '.', 'عنوان', 'این', 'جلسه', '،', 'بحث', 'آزاد', 'است', 'و', 'تمامی', 'علاقه', 'مندان', 'اعم', 'از', 'دانشجویان', 'و', 'هنرمندان', 'می\\\\u200cتوانند', 'در', 'آن', 'شرکت', 'کنند', '.', 'نشانی', ':', 'انتهای', 'خیابان', 'پاسداران', '،', 'ضلع', 'غربی', 'پارک', 'نیاوران', '.']\n",
      "['در', 'بخشنامه', 'وزیر', 'آموزش', 'و', 'طرح', 'هدیه', 'به', 'پرورش', 'اعلام', 'شد', 'مدرسه', 'در', 'سراسر', 'کشور', 'به', 'اجرا', 'درمی', 'آید', 'گروه', 'علمی', 'فرهنگی', ':', 'شیوه', 'نامه', 'جذب', 'کمک\\\\u200cهای', 'مردمی', 'اولیاء', 'در', 'قالب', 'طرح', 'هدیه', 'به', 'مدرسه', 'در', 'سال', 'تحصیلی', '۷۸۷۷', 'برای', 'اجرا', 'در', 'مدارس', 'کشور', 'اعم', 'ازدولتی', 'و', 'غیرانتفاعی', 'تدوین', 'شد', '.', 'طرح', 'هدیه', 'به', 'مدرسه', 'با', 'توجه', 'به', 'این', 'که', 'انجمن', 'اولیاء', 'و', 'مربیان', 'می\\\\u200cتواند', 'زمینه\\\\u200cهای', 'مشارکت', 'همه', 'جانبه', 'اولیاء', 'را', 'در', 'عرصه\\\\u200cهای', 'فکری', '،', 'فرهنگی', '،', 'آموزشی', '،', 'اجتماعی', 'و', 'تربیتی', 'فراهم', 'آورد', 'و', 'باعث', 'رفع', 'تنگناهای', 'آموزش', 'وپرورش', 'شود', 'تدوین', 'شده_است', '.', 'براساس', 'بخشنامه', 'آموزش', 'و', 'پرورش', 'دریافت', 'کمک\\\\u200cها', 'و', 'هدایای', 'اولیای', 'دانش', 'آموزان', 'از', 'پانزدهم', 'مهر', 'امسال', 'تا', 'سی', 'ویکم', 'اردیبهشت', 'سال', 'آینده', 'با', 'عرضه', 'قبض\\\\u200cهای', 'هدیه', 'به', 'مدرسه', 'حساب', 'در', '۲۰۲۰', 'مدارس', 'انجام', 'خواهد_شد', '.', 'همچنین', 'مدیران', 'مدارس', 'مانند', 'سالهای', 'گذشته', 'پیش', 'از', 'آغاز', 'اجرای', 'طرح', '،', 'به', 'شعب', 'بانک', 'ملی', 'ایران', 'هر', 'مدرسه', 'به', 'همان', 'شعبه\\\\u200cای', 'که', 'حساب', 'دولتی', 'مدرسه', 'در', 'آن', 'مفتوح', 'است', 'مراجعه', 'و', 'ضمن', 'تنظیم', 'مدارک', 'نسبت', 'به', 'دریافت', 'قبض\\\\u200cهای', 'هدیه', 'به', 'مدرسه', 'در', 'مقابل', 'سپردن', 'یک', 'قطعه', 'چک', 'به', 'صورت', 'امانی', 'به', 'بانک', 'به', 'مبلغ', 'قبوض', 'درخواستی', 'اقدام', 'می\\\\u200cکنند', '.', 'این', 'چک', 'در', 'پایان', 'تسویه', 'حساب', 'ازطرف', 'بانک', 'به', 'مدرسه', 'مسترد', 'خواهد_شد', '.', 'وجوهات', 'حاصله', 'از', 'طرح', 'هدیه', 'به', 'مدرسه', 'در', 'تشکیل', 'کلاس\\\\u200cهای', 'آموزش', 'فعالیت\\\\u200cهای', 'خانواده', '،', 'فوق', 'برنامه', 'آموزشی', 'و', 'تقویتی', '،', 'انجام', 'تعمیرات', 'ضروری', 'خارج', 'ازاعتبار', 'سرانه', '،', 'تامین', 'و', 'تجهیز', 'بخشی', 'از', 'هزینه\\\\u200cهای', 'وسائل', 'و', 'لوازم', 'کمک', 'آموزشی', '،', 'کمک', 'به', 'دانش', 'آموزان', 'نیازمند', '،', 'تامین', 'بخشی', 'از', 'هزینه\\\\u200cهای', 'فعالیت', 'پرورشی', 'و', '…', 'هزینه', 'خواهد_شد', '.', 'در', 'بخش', 'دیگری', 'از', 'این', 'بخشنامه', 'تاکید', 'شده_است', '،', 'چون', 'کلیه', 'عوایدی', 'که', 'ازطریق', 'طرح', 'هدیه', 'به', 'مدرسه', 'حاصل', 'می\\\\u200cشود', 'به', 'حساب', 'مدرسه', 'واریز', 'خواهد_از', 'شد', '،', 'این', 'رو', 'دریافت', 'هرگونه', 'وجهی', 'خارج', 'از', 'مصوبه\\\\u200cهای', 'قانونی', 'هنگام', 'ثبت', 'نام', 'برخلاف', 'مقررات', 'بوده', 'و', 'ممنوع', 'است', '.', 'همچنین', 'مسئولان', 'مدارس', 'موظف', 'به', 'ثبت', 'عملیات', 'مالی', 'درخصوص', 'طرح', 'هدیه', 'به', 'مدرسه', 'دردفاتر', 'مالی', 'آموزشگاه', 'با', 'سرفصل', 'جداگانه', 'هستند', '.', 'مسئولان', 'اجرای', 'این', 'طرح', 'در', 'استان', 'که', 'تحت', 'عنوان', 'شورای', 'جذب', 'کمک\\\\u200cهای', 'مردمی', 'اولیاء', 'فعالیت', 'خواهند_کرد', 'شامل', 'مدیرکل', 'آموزش', 'و', 'پرورش', 'استان', 'به', 'عنوان', 'رئیس', 'شورا', '،', 'کارشناس', 'مسئول', 'انجمن', 'اولیاء', 'و', 'مربیان', 'به', 'عنوان', 'دبیر', 'شورا', '،', 'یکی', 'از', 'روءسای', 'آموزش', 'و', 'پرورش', 'مرکز', 'استان', 'با', 'انتخاب', 'رئیس', 'شورا', '،', 'رئیس', 'یا', 'نماینده', 'تام', 'الاختیار', 'شعبه', 'سرپرستی', 'بانک', 'ملی', 'یکی', 'استان', '،', 'از', 'مدیران', 'فعال', 'مدارس', '،', 'دو', 'تن', 'از', 'اعضای', 'فعال', 'انجمن', 'اولیاء', 'ومربیان', 'مدارس', 'به', 'انتخاب', 'دبیر', 'شورا', '،', 'نماینده', 'امام', 'جمعه', 'استان', 'ونماینده', 'صدا', 'و', 'سیمای', 'استان', 'است', '.']\n",
      "['نقشه', 'آسمان', 'شب', 'زمستان', 'خوانندگانی', 'که', 'نامشان', 'در', 'ادامه', 'می\\\\u200cآید', 'برای', 'دریافت', 'نقشه', 'آسمان', 'شب', 'زمستان', 'نامه', 'نوشته_بودند', '.', 'متاسفانه', 'تعداد', 'تقاضاهای', 'رسیده', 'از', 'حد', 'تصور', 'ما', 'بیرون', 'بود', 'و', 'موجودی', 'نقشه\\\\u200cهای', 'ما', 'کفاف', 'نداد', 'و', 'به', 'بسیاری', 'نرسید', '.', 'از', 'کسانی', 'که', 'نامه', 'نوشتند', 'و', 'ستون', 'آسمان', 'شب', 'را', 'مورد', 'لطف', 'خود', 'قرار', 'دادند', '،', 'شرمنده\\\\u200cایم', 'و', 'سپاسگزار', '.', 'از', 'این', 'پس', 'می\\\\u200cکوشیم', 'نقشه', 'آسمان', 'هر', 'فصل', 'را', 'در', 'آغاز', 'آن', 'فصل', 'در', 'همین', 'صفحه', 'چاپ', 'کنیم', 'و', 'اضافه', 'می\\\\u200cکنیم', 'که', 'در', 'پاسخ', 'به', 'تقاضاهای', 'بسیاری', 'که', 'به', 'دست', 'ما', 'رسید', '،', 'نقشه', 'آسمان', 'شب', 'زمستان', 'را', 'در', 'همشهری', 'مورخ', 'سه', 'شنبه', '۱۹', 'بهمن', '۱۳۷۸', 'به', 'همراه', 'اسامی', 'شماری', 'از', 'خوانندگان', 'به', 'چاپ', 'رساندیم', '.', 'درضمن', 'کسانی', 'که', 'در', 'نامه\\\\u200cهای', 'خود', 'مطالبی', 'به', 'جز', 'درخواست', 'نقشه', 'را', 'نیز', 'مطرح', 'کرده_بودند', 'بدانند', 'که', 'در', 'آینده', 'به', 'نوبت', '،', 'پاسخ', 'نامه\\\\u200cهای', 'خود', 'را', 'در', 'همین', 'صفحه', 'مطالعه', 'خواهند_کرد', '.', 'اینک', 'بقیه', 'اسامی', ':', 'ناصر', 'مجاهدی', 'شوشتر', 'حسین', '،', 'برات', 'مروست', 'یزد', 'سید', '،', 'سعید', 'رضوی', 'تهران', 'مهرداد', '،', 'صائبی', 'تبریز', 'نجمه', '،', 'گلپروری', 'راد', 'حصارک', 'کرج', 'سید', '،', 'حسام', 'نصادوست', 'صومعه', 'سرا', 'عباس', '،', 'اتحادی', 'مشهد', 'حسین', '،', 'نظری', 'تهران', 'محمود', '،', 'جزایری', 'تهران', 'امیر', '،', 'زندیان', 'تهران', 'محمد', '،', 'مددی', 'یان', 'مشهد', 'سکینه', '،', 'خاساوها', 'قزوین', 'مصطفی', '،', 'نوعی', 'اردبیل', '،', 'مجتمع', 'پزشکی', 'بوعلی', '،', 'علیرضا', 'نعمتیان', 'یزد', '،', 'صفائیه', 'علی', '،', 'کاظمی', 'گلپایگان', '،', 'احمد', 'خبازی', 'تهران', 'عبدالرضا', '،', 'میری', 'بروجرد', 'الهه', '،', 'موءمنی', 'شیراز', 'مهدی', '،', 'اسدی', 'دانشجوی', 'مهندسی', 'صنایع', '،', 'تهران', 'آسیه', '،', 'زرین', 'کاشان', 'علیرضا', '،', 'واشیان', 'تهران', 'نادر', '،', 'خواجه', 'تهران', 'مهندس', '،', 'فرهاد', 'چاوشینی', 'مهاباد', 'ابراهیم', '،', 'قدیمی', 'تهران', '،', 'غلامحسین', 'مینائی', 'آذر', 'ارومیه', 'جواد', '،', 'ایزدی', 'سبزوار', '،', 'امیر', 'رشید', 'تهران', 'مهدی', '،', 'علیاری', 'تهران', 'سارا', '،', 'رضایی', 'تهران', 'جواد', '،', 'اوراز', 'تهران', 'آقا', '،', 'یا', 'خانم', 'رئوفی', 'چافی', 'تهران', 'غزال', '،', 'رزمجو', 'تهران', 'محمد', '،', 'باقر', 'صداقت', 'کیش', 'نی', 'ریز', 'فارس', 'سید', '،', 'مجید', 'جعفری', 'سبزوار', 'آقای', '،', 'محمودی', 'تهران', 'مهرداد', '،', 'تاج', 'امیری', 'آبادان', 'علیرضا', '،', 'کهبدی', 'تهران', 'رضا', '،', 'حسین', 'زاده', 'شهابی', 'بندرعباس', 'حمید', '،', 'طاهریان', 'تهران', 'کاظم', '،', 'ممسنی', 'بندر', 'انزلی', 'مجید', '،', 'فاتحی', 'کارشناس', 'جغرافیا', '،', 'بندرانزلی', 'علی', 'اصغر', '،', 'مفیدی', 'نور', '،', 'مازندران', '،', 'کانون', 'فرهنگی', 'هنری', 'فجر', 'تهران', '،', 'نازی', 'آباد', 'سرباز', '،', 'وظیفه', 'سجاد', 'نظری', 'تهران', '،', 'ونک', 'افشین', '،', 'عزیزیان', 'رشت', 'حبیب', '،', 'رضائی', 'روستای', 'قشلاق', 'خانه', 'برق', '،', 'بناب', '،', 'آذربایجان', 'شرقی', '،', 'حسین', 'ممقانیان', 'آذرشهر', '،', 'آذربایجان', 'شرقی', 'هانی', '،', 'رستمی', 'تهران', 'بابک', '،', 'هیدجی', 'تهران', 'مصطفی', '،', 'فیاض', 'تبریز', 'هادی', '،', 'صادقی', 'فیروزجاه', 'بابلسر', 'شهابالدین', '،', 'مفیدی', 'تهران', '،', 'هوشنگ', 'شلویری', 'قزوین', 'سعید', '،', 'بابائی', 'تهران', 'فرزاد', '،', 'هامونی', 'تبریز', 'علی', '،', 'نوروزی', 'تهران', 'محمد', '،', 'علیزاده', 'غریب', 'فرزند', 'اصغر', 'تهران', 'ستوان', '،', 'دوم', 'محمد', 'سعید', 'طورانی', 'تهران', '،', 'احمد', 'رمضان', 'شهریار', 'نیما', '،', 'علیپور', 'مهاجر', 'شهرک', 'خانه', 'اصفهان', 'باقری', '،', 'خمینی', 'شهر', '،', 'اصفهان', 'مصطفی', '،', 'جوانمردی', 'شیراز', 'لیلا', '،', 'حمله', 'دار', 'فرد', 'تهران', '،', 'کیان', 'شهر', 'روءیا', '،', 'آدینه', 'شهرری', 'بی', 'نام', '،', 'تهران', '،', 'خیابان', 'ولیعصر', '،', 'کوی', 'هور', '،', 'مهدی', 'یمینی', 'تهران', 'محسن', '،', 'سیف', 'پور', 'بروجن', 'سید', '،', 'مرتضی', 'خورشیدی', 'فرد', 'کاشان', 'حمید', '،', 'صادقیان', 'تهران', 'مهران', '،', 'آروغلی', 'شیراز', 'مهدی', '،', 'پشم', 'چی', 'همدان', 'علی', '،', 'سیاحی', 'شیراز', '،', 'عبدالرحمان', 'رحمانی', 'تهران', 'مرتضی', '،', 'نوروزی', 'تهران', '،', 'علیرضا', 'نوری', 'تهران', 'سید', '،', 'امیر', 'مهدی', 'ناجی', 'دانش', 'آموز', '-', 'تهران', 'آقا', '،', 'یا', 'خانم', 'عابدی', 'مشهد', 'سیمین', '،', 'حبیبی', 'مهرشهر', 'کرج', 'سعید', '،', 'خزائی', 'تهران', 'منصور', '،', 'افتخاری', 'تهران', 'سارا', '،', 'احمدی', 'شیراز', 'سعید', '،', 'عچرش', 'زاده', 'اهواز', 'رجبعلی', '،', 'دانه', 'گردی', 'آران', 'و', 'بیدگل', '،', 'کاشان', 'سامان', '،', 'مجید', 'پورتهرانی', 'گوهردشت', 'کرج', 'سکینه', '،', 'نصرتی', 'دانشجوی', 'زمین', 'شناسی', '،', 'خوی', '.', 'فرصت', 'این', 'هفته', 'آسمان', 'شب', 'به', 'پایان', 'رسید', '،', 'ولی', 'انبوهی', 'از', 'نامه\\\\u200cهای', 'محبت', 'آمیز', 'شما', '،', 'هنوز', 'باقی', 'مانده_است', 'که', 'در', 'هفته\\\\u200cهای', 'آینده', 'به', 'آنها', 'خواهیم_پرداخت', '.']\n",
      "['ناسازگاری', 'حکومت\\\\u200cهای', 'دولت', 'سالار', 'با', 'راهبردهای', 'توسعه', 'کارکردهای', 'نظام', 'سیاسی', 'در', 'فرایند', 'توسعه', 'در', 'گفت', 'وگو', 'با', 'دکتر', 'حسین', 'عظیمی', 'بخش', 'دوم', 'اشاره', ':', 'در', 'بخش', 'اول', 'این', 'گفت', 'وگو', 'ابتدا', 'رابطه', 'نظام', 'سیاسی', 'با', 'مسائل', 'اقتصادی', 'بررسی', 'در', 'شد', 'این', 'باره', 'دکتر', 'عظیمی', 'بر', 'این', 'باورند', 'که', 'هیچ', 'مکتب', 'و', 'نظریه', 'اقتصادی', 'وجود', 'ندارد', 'که', 'تاثیر', 'نظام', 'سیاسی', 'را', 'بر', 'ساختار', 'اقتصادی', 'منکر', 'شود', '.', 'اگرچه', 'در', 'میزان', 'این', 'تاثیرگذاری', 'تفاوت', 'آراء', 'به', 'چشم', 'می', 'خورد', 'اما', 'در', 'نفس', 'امر', 'اشتراک', 'دیدگاه', 'وجود', 'دارد', '.', 'در', 'ادامه', 'بحث', '،', 'بر', 'این', 'امر', 'تاکید', 'شد', 'که', 'حکومت\\\\u200cهای', 'دولت', 'سالار', '،', 'برخلاف', 'نگرش', 'برخی', 'پژوهشگران', '،', 'نه', 'تنها', 'فرآیند', 'توسعه', 'را', 'هموار', 'و', 'یا', 'تسریع', 'نمی\\\\u200cنمایند', '،', 'بلکه', 'آن', 'را', 'دچار', 'بحران', 'و', 'در', 'نهایت', 'شکست', 'می\\\\u200cکنند', '.', 'آنچه', 'در', 'این', 'میان', 'باقی', 'می\\\\u200cماند', 'وجوه', 'تمایز', 'حکومت\\\\u200cهای', 'دولت', 'سالار', 'و', 'حکومت\\\\u200cهای', 'مقتدر', 'است', 'که', 'به', 'نظر', 'دکتر', 'عظیمی', 'از', 'تمایزات', 'اساسی', 'این', 'دو', 'حکومت', 'حیطه', 'دخالت\\\\u200cهای', 'آنهاست', '،', 'به', 'گونه\\\\u200cای', 'که', 'حکومت\\\\u200cهای', 'دولت', 'سالار', 'در', 'همه', 'عرصه\\\\u200cها', 'دخالت', 'می', 'نمایند', 'اما', 'حکومت\\\\u200cهای', 'مقتدر', 'در', 'حوزه', 'هایی', 'محدود', 'وارد', 'عمل', 'شده', 'و', 'در', 'همین', 'محدوده', 'از', 'خود', 'قاطعیت', 'به', 'خرج', 'می\\\\u200cدهند', '.', 'یکی', 'دیگر', 'از', 'محورهای', 'گفت', 'وگو', 'بهره', 'گیری', 'از', 'کارشناسان', 'است', 'که', 'به', 'اعتقاد', 'دکتر', 'عظیمی', '،', 'کارکارشناسی', '،', 'زیر', 'بنای', 'حرکتی', 'است', 'که', 'منجر', 'به', 'توسعه', 'می\\\\u200cشود', '.', 'دنباله', 'این', 'بحث', 'را', 'می\\\\u200cخوانیم', '.', 'سرویس', 'مقالات', 'همشهری', ':', 'شما', 'می\\\\u200cفرمایید', 'که', 'کار', 'کارشناسی', 'و', 'مطالعه', 'علمی', 'است', 'که', 'مشخص', 'می', 'کند', 'دولت', 'در', 'کدام', 'حوزه', 'هامی', 'تواند', 'دخالت', 'کند', 'و', 'کدام', 'حوزه\\\\u200cها', 'باید', 'در', 'اختیاربخش', 'خصوصی', 'قرار', 'گیرد', '،', 'اما', 'تجربه', 'نشان', 'می\\\\u200cدهد', 'که', 'کار', 'کارشناسی', 'و', 'تحقیقات', 'علمی', 'در', 'مسایل', 'مختلف', 'اقتصادی', '،', 'فرهنگی', '،', 'آموزش', 'و', 'پرورش', 'و', 'غیره', 'نتایج', 'یکسانی', 'به', 'دست', 'نمی\\\\u200cدهد', 'و', 'این', 'نتایج', 'گاه', 'متضاد', 'هم', 'هستند', '.', 'به', 'عبارت', 'دیگر', 'به', 'نظر', 'می\\\\u200cرسد', 'که', 'کار', 'علمی', 'به', 'دلیل', 'وجود', 'نتایج', 'متفاوت', 'و', 'گاه', 'متضاد', 'نمی\\\\u200cتواند', 'مشخص', 'کننده', 'میزان', 'و', 'محدوده', 'دخالت', 'دولت', 'و', 'بخش', 'غیردولتی', 'در', 'امور', 'باشد', '.', '.', 'دکتر', 'عظیمی', ':', 'در', 'اینجا', 'بحث', 'مقداری', 'ظریفترمی', 'شود', '.', 'اجازه', 'دهید', 'بپرسیم', '،', 'وقتی', 'می\\\\u200cگوییم', 'کارشناسی', 'و', 'مطرح', 'می\\\\u200cکنیم', 'که', 'نظرات', 'کارشناسی', 'متفاوت', 'است', '.', 'منظورمان', 'از', 'کارشناسی', 'و', 'نظرات', 'کارشناسی', '؟', 'چیست', 'اگر', 'وضعیتی', 'را', 'که', 'در', 'ایران', 'مرسوم', 'است', 'در', 'نظربگیریم', '،', 'براساس', 'این', 'وضعیت', 'هر', 'کسی', 'که', 'مدرکی', 'داردو', 'چندسالی', 'هم', 'در', 'اداره\\\\u200cای', 'کارکرده', 'کارشناس', 'است', '.', 'در', 'این', 'صورت', 'نکته\\\\u200cای', 'که', 'مطرح', 'فرمودید', 'درست', 'است', 'یعنی', 'این', 'یک', 'واقعیت', 'است', 'که', 'کارشناسانی', 'نظریات', 'مختلفی', 'دارند', '.', 'ولی', 'اگر', 'به', 'مفهوم', 'علمی', 'کارشناس', 'آن', 'هم', 'در', 'حوزه', 'کلان', 'سیاستگزاری', 'که', 'مورد', 'بحث', 'ما', 'بود', 'دقت', 'کنیم', 'خواهیم_دید', 'که', 'کارشناسان', 'در', 'واقع', 'بنیانگذاران', 'تحولات', 'فکری', 'هستند', '.', 'به', 'این', 'مفهوم', 'تعداد', 'کارشناسان', 'در', 'هر', 'جامعه\\\\u200cای', 'به', 'ویژه', 'در', 'جامعه', 'ما', 'بسیار', 'بسیار', 'محدودتر', 'از', 'آن', 'است', 'که', 'این', 'همه', 'اختلاف', 'نظر', 'کارشناسی', 'در', 'بین', 'باشد', '.', 'در', 'این', 'مورد', 'بارها', 'تاکید', 'کرده\\\\u200cایم', 'که', 'درجامعه', 'مان', 'نظریه', 'پردازی', 'یا', 'صورت', 'نمی\\\\u200cگیرد', 'یا', 'بسیار', 'محدود', 'است', 'و', 'لذا', 'ما', 'دچار', 'ضعف', 'بسیار', 'اساسی', 'در', 'بعدکارشناسی', 'هستیم', '.', 'ما', 'متاسفانه', 'هنوز', 'حاضر', 'نشده\\\\u200cایم', 'که', 'به', 'این', 'مفاهیم', 'فکر', 'کنیم', 'همه', 'چیز', 'را', 'ساده', 'می\\\\u200cانگاریم', 'و', 'با', 'سادگی', 'ظاهرا', 'مسایل', 'را', 'حل', 'هنوز', 'می\\\\u200cکنیم', 'در', 'جامعه', 'ما', '،', 'این', 'نکته', 'به', 'درستی', 'درک', 'نشده', 'که', 'بحث', 'در', 'باره', 'مفاهیم', '،', 'بحثی', 'بسیار', 'اساسی', 'است', '.', 'اگر', 'مفاهیم', 'درست', 'درک', 'نشده_باشند', 'و', 'روشن', 'نباشند', 'در', 'عمل', 'دچار', 'مشکل', 'اساسی', 'خواهیم_بود', '.', 'در', 'همین', 'زمینه', 'کارشناسی', 'ما', 'معمولا', 'اینگونه', 'عمل', 'می\\\\u200cکنیم', 'که', 'مثلا', 'تعدادی', 'افراد', '،', 'حداکثر', 'دارای', 'مدرک', 'دانشگاهی', 'را', 'کنار', 'هم', 'می', 'نشانیم', 'که', 'البته', 'اهمیت', 'دادن', 'به', 'تحصیلات', 'دانشگاهی', 'کاری', 'ارزشمند', 'است', 'و', 'به', 'کیفیت', 'تحصیلی', 'این', 'تحصیل', 'کردگان', '،', 'تجربه', 'و', 'عمل', 'آنها', '،', 'علاقه', 'آنها', 'به', 'کارشان', 'و', 'درجه', 'ارشدیت', 'آنها', 'در', 'حوزه', 'علمی', 'خودشان', 'توجه', 'نمی', 'کنیم', 'وهمه', 'آنها', 'را', 'به', 'عنوان', 'کارشناس', 'معرفی', 'می\\\\u200cکنیم', '.', 'وقتی', 'تعدادی', 'از', 'این', 'افراد', 'که', 'اینگونه', 'انتخاب', 'شده\\\\u200cاند', 'به', 'عنوان', 'کارشناس', 'در', 'کنار', 'هم', 'قرار', 'بگیرند', 'و', 'در', 'باره', 'مسایل', 'بحث', 'کنند', 'مشخص', 'است', 'که', 'به', 'تعداد', 'افراد', '،', 'نظریات', 'هم', 'متفاوت', 'می\\\\u200cشود', '.', 'اما', 'آیا', 'باید', 'نتیجه', 'گرفت', 'که', 'نظریات', 'کارشناس', 'متفاوت', '؟', 'است', 'و', 'یا', 'باید', 'این', 'احتمال', 'را', 'بررسی', 'کرد', 'که', 'ممکن', 'است', 'در', 'این', 'مجموعه', 'از', 'افراد', 'تعداد', 'کارشناسان', 'بسیار', 'محدود', 'باشد', '.', 'اگر', 'به', 'ارشدیتی', 'که', 'در', 'علم', 'مطرح', 'است', 'بها', 'بدهیم', 'و', 'علم', 'باوری', 'را', 'تحقق', 'ببخشیم', '،', 'با', 'توجه', 'به', 'اینکه', 'معیارها', 'و', 'بررسی\\\\u200cهای', 'علمی', 'مشخصند', 'خود', 'علم', 'به', 'ما', 'خواهد_گفت', 'کارشناس', 'کیست', 'و', 'چه', 'ویژگی', 'هایی', 'دارد', '.', 'دراین', 'صورت', '،', 'زمانی', 'که', 'به', 'کارشناسان', 'واقعی', 'رجوع', 'کنیم', 'و', 'کارکارشناسی', 'به', 'معنای', 'واقعی', 'کلمه', 'انجام', 'دهیم', '،', 'خواهیم_دید', 'که', 'اختلافات', 'بسیار', 'محدودتر', 'از', 'آن', 'است', 'که', 'به', 'نظر', 'می', 'آید', 'و', 'نتایج', 'چنین', 'کارکارشناسی', 'هم', 'مشخص', 'خواهد_کرد', 'که', 'دولت', 'و', 'بخش', 'غیردولتی', 'چه', 'توانایی', 'هایی', 'دارند', '،', 'واقعیتهای', 'جامعه', 'چیست', 'و', 'دولت', 'در', 'چه', 'حوزه', 'هایی', 'باید', 'دخالت', 'کند', 'و', 'چه', 'حوزه', 'هایی', 'را', 'به', 'بخش', 'خصوصی', 'بسپارد', '.', 'چنین', 'مطالعه', 'کارشناسانه\\\\u200cای', 'حکومت', 'دولت', 'سالار', 'را', 'نه', 'تنها', 'توصیه', 'نمی\\\\u200cکند', 'بلکه', 'وجود', 'آن', 'را', 'با', 'توسعه', 'ناسازگار', 'می\\\\u200cبیند', '.', 'تجارب', 'کشورهای', 'دیگر', 'هم', 'این', 'امر', 'را', 'کاملا', 'نشان', 'می\\\\u200cدهد', '.', 'گرچه', 'ممکن', 'است', 'حکومتهای', 'دولت', 'سالار', 'گاهی', 'در', 'مقطعی', 'از', 'زمان', 'به', 'صورت', 'تصادفی', 'به', 'توسعه', 'یک', 'کشور', 'کمک', 'کرده_باشند', 'اما', 'این', 'روند', 'بسیار', 'ناهماهنگ', 'و', 'کوتاه', 'مدت', 'بوده', 'و', 'پس', 'از', 'مدتی', 'باعث', 'بحرانهای', 'عمیق', 'و', 'بیشمار', 'شده_است', '.', 'در', 'واقع', 'نتیجه', 'این', 'توسعه', 'که', 'تحت', 'فشار', 'و', 'با', 'زور', 'انجام', 'می\\\\u200cگیرد', '،', 'بحرانهای', 'ساختاری', 'است', 'که', 'پس', 'از', 'مدتی', 'خود', 'را', 'نشان', 'می\\\\u200cدهد', 'و', 'حتی', 'همان', 'نتایج', 'کوتاه', 'مدت', 'توسعه', 'را', 'نیز', 'از', 'بین', 'برده', 'و', 'نابود', 'می\\\\u200cکند', '.', 'همشهری', ':', 'عده\\\\u200cای', 'معتقدند', 'فرآیند', 'توسعه', 'اعم', 'ازاقتصادی', 'و', 'سیاسی', 'در', 'کشورهای', 'تازه', 'توسعه', 'یافته', 'اینگونه', 'است', 'که', 'در', 'ابتدا', 'حکومتی', 'دولت', 'سالارقدرت', 'را', 'در', 'دست', 'گرفته', 'و', 'به', 'وسیله', 'اهرم\\\\u200cهای', 'موجودامکان', 'توسعه', 'اقتصادی', 'را', 'فراهم', 'آورده', 'و', 'همین', 'توسعه', 'اقتصادی', 'به', 'دلیل', 'ناهمگونی', 'با', 'حکومت', 'دولت', 'سالاراین', 'نوع', 'حکومت', 'را', 'نفی', 'کرده', 'و', 'فرآیند', 'توسعه', 'سیاسی', 'شکل', 'گرفته_است', '.', 'یعنی', 'لازمه', 'توسعه', 'اقتصادی', '،', 'وجود', 'حکومت', 'دولت', 'سالار', 'است', 'که', 'پس', 'از', 'توسعه', 'اقتصادی', '،', 'جبرا', 'توسعه', 'سیاسی', 'هم', 'پدید', 'خواهد_آمد', '.', '.', 'دکتر', 'عظیمی', ':', '.', 'من', 'تصورم', 'این', 'است', 'که', 'چنین', 'حرکتی', 'اصلا', 'امکان', 'پذیر', 'نیست', 'و', 'در', 'واقع', 'یک', 'تضاد', 'است', '.', 'وضعیت', 'دوران', 'قبل', 'از', 'انقلاب', 'کشور', 'ما', 'مثال', 'خوبی', 'برای', 'این', 'موضوع', 'درک', 'است', 'من', 'ازتحولات', 'دوران', 'قبل', 'از', 'انقلاب', 'این', 'است', 'که', 'از', 'سال', '۱۳۳۵', 'بعد', 'از', 'سرنگونی', 'حکومت', 'دکتر', 'مصدق', 'حکومت', 'ایران', 'به', 'سمت', 'تمرکزگرایی', 'پیش', 'رفت', 'و', 'و', 'این', 'تمرکزگرایی', 'در', 'ساختار', 'سیاسی', 'کشور', 'به', 'تدریج', 'تشدید', 'شد', 'و', 'در', 'نهایت', 'به', 'صورتی', 'وسیع', 'بر', 'همه', 'ابعاد', 'زندگی', 'کشور', 'سایه', 'انداخت', '.', 'در', 'کنار', 'این', 'حرکت', 'تمرکز', 'گرایانه', 'دولت', 'سالارانه', 'در', 'دوران', '-', '۱۳۳۵', '۵۶', 'کشور', 'مطالعه', 'وضعیت', 'اقتصادی', 'آن', 'زمان', 'و', 'برای', 'اسناد', 'موجود', 'مثلا', 'تصمیمات', 'و', 'گفتگوهای', 'شورای', 'اقتصاد', 'و', 'سرمایه', 'گذاری\\\\u200cهای', 'انجام', 'شده', '،', 'تردیدی', 'برای', 'محقق', 'باقی', 'نمی\\\\u200cگذارد', 'که', 'حکومت', 'آن', 'دوره', 'ایران', 'به', 'دنبال', 'صنعتی', 'کردن', 'جامعه', 'بوده', 'و', 'کارهای', 'فیزیکی', 'زیادی', 'هم', 'دراین', 'زمینه', 'انجام', 'داده_است', '.', 'به', 'عبارت', 'دیگر', 'این', 'بررسی', 'نشان', 'می\\\\u200cدهد', 'که', 'دو', 'فرآیند', 'در', 'جامعه', 'در', 'حال', 'شکل', 'گیری', 'بوده_است', ':', 'اول', 'فرآیند', 'تمرکزگرایی', 'و', 'دولت', 'سالاری', 'در', 'ساختار', 'سیاسی', 'و', 'دوم', 'فرآیند', 'سرمایه', 'گذاری', 'برای', 'صنعتی', 'شدن', 'جامعه', 'که', 'نیازمند', 'آزادی', 'و', 'اصالت', 'فرد', 'بوده_است', '،', 'به', 'این', 'ترتیب', 'به', 'نظر', 'می\\\\u200cرسد', 'که', 'دو', 'فرآیند', 'دارای', 'تضاد', 'درونی', 'می\\\\u200cشوند', 'و', 'این', 'تضاد', 'است', 'که', 'وضعیت', 'ناپایداری', 'را', 'به', 'وجود', 'می\\\\u200cآورد', '.', 'به', 'عبارت', 'دیگر', 'یک', 'فرآیند', 'اقتصادی', 'وجود', 'داشت', 'که', 'می\\\\u200cخواست', 'اوضاع', 'را', 'به', 'طرف', 'عصرجدید', 'پیش', 'ببرد', 'و', 'آن', 'را', 'صنعتی', 'نماید', 'ولی', 'در', 'طرف', 'دیگر', 'فرآیندی', 'سیاسی', 'بر', 'جامعه', 'حاکم', 'بود', 'که', 'گذشته', 'نگر', 'بود', 'و', 'می\\\\u200cکوشید', 'جامعه', 'را', 'به', 'سمتی', 'ببرد', 'که', 'شاهی', 'داشته_باشد', 'همانند', 'کورش', 'یا', 'داریوش', '.', 'این', 'کار', 'شدنی', 'نبود', 'مگر', 'آنکه', 'ساختار', 'سیاسی', 'تمرکزگرا', 'و', 'سنتی', 'باشد', 'و', 'چنین', 'ساختاری', 'از', 'حکومت', 'تناسبی', 'با', 'صنعتی', 'شدن', 'ندارد', '.', 'تاریخ', 'کشورهایی', 'که', 'وارد', 'دنیای', 'جدید', 'شده', 'و', 'توسعه', 'یافته\\\\u200cاند', 'نشان', 'می', 'دهد', 'که', 'ساختار', 'سیاسی', 'آنها', 'همسوبا', 'ساختار', 'اقتصادی', 'مناسب', 'با', 'الزامات', 'و', 'دنیای', 'صنعتی', 'و', 'مدرن', 'تغییر', 'یافته_است', '.', 'به', 'هر', 'حال', 'نکته', 'این', 'است', 'که', 'در', 'دوره', '۵۶', '-', 'در', '۱۳۳۵', 'ایران', 'حرکت', 'نامتناسب', 'ساختار', 'سیاسی', 'باعث', 'شدکه', 'نهایتا', 'همان', 'فعالیت\\\\u200cهای', 'اقتصادی', 'توسعه\\\\u200cای', 'درتضاد', 'با', 'ساختار', 'سیاسی', 'قرار', 'گیرد', '،', 'انفجار', 'اجتماعی', 'واقع', 'شود', 'و', 'حتی', 'بسیاری', 'از', 'دستاوردهای', 'اقتصادی', 'آن', 'دوره', 'نیز', 'در', 'تحولات', 'بعدی', 'از', 'دست', 'برود', '.', 'اساسا', 'در', 'تجربه', 'تاریخی', 'جهانی', 'به', 'نظر', 'نمی\\\\u200cرسد', 'که', 'بتوانیم', 'شواهد', 'معنی', 'دار', 'و', 'قابل', 'توجیهی', 'پیدا', 'کنیم', 'که', 'بر', 'اساس', 'آن', 'بتوان', 'نتیجه', 'گرفت', 'که', 'ساختار', 'سیاسی', 'دولت', 'سالار', 'و', 'تمرکزگرا', 'توانسته_باشد', 'به', 'نحوی', 'نمادی', 'و', 'موفقیت', 'آمیز', 'با', 'شکوفایی', 'اقتصادی', 'پیوند', 'بخورد', '.', 'این', 'نکته', 'در', 'تحلیلهای', 'نظری', 'هم', 'قابل', 'تایید', 'است', '.', 'البته', 'این', 'طور', 'نیست', 'که', 'نتوان', 'برای', 'مدتی', 'کوتاه', 'مثلا', 'پنج', 'یا', 'ده', 'سال', 'با', 'حکومت\\\\u200cهای', 'دولت', 'سالار', 'و', 'با', 'هتک', 'حرمت', 'فرد', 'فرد', 'اعضای', 'جامعه', '،', 'دستاوردهای', 'اقتصادی', 'خاص', 'به', 'دست', 'آورد', '،', 'ولی', 'نباید', 'از', 'این', 'نکته', 'نیز', 'غافل', 'ماند', 'که', 'این', 'نوع', 'دستاوردها', 'در', 'نهایت', 'آنچنان', 'عدم', 'تعادلهایی', '،', 'در', 'جامعه', 'ایجاد', 'می\\\\u200cکند', 'که', 'آشوبهای', 'اجتماعی', '،', 'بحرانها', 'و', 'در', 'هم', 'ریختگی\\\\u200cها', 'را', 'به', 'دنبال', 'دارد', 'و', 'معلوم', 'نیست', 'خالص', 'سود', 'اقتصادی', 'این', 'چنین', 'وضعیتی', 'مثبت', 'باشد', '.', 'همشهری', ':', 'منظور', 'از', 'سوال', 'قبلی', 'بیشتر', 'بررسی', 'وضعیت', 'کشورهای', 'آسیای', 'جنوبشرقی', 'است', 'که', 'به', 'نظر', 'برخی', 'محققان', 'در', 'ابتدای', 'فرآیند', 'توسعه', 'یافتگی', 'و', 'در', 'دوران', 'گذار', 'شاهد', 'حکومت', 'متمرکز', 'ودولت', 'سالار', 'بودند', 'وبه', 'این', 'وسیله', 'توسعه', 'اقتصادی', 'پدید', 'آمد', 'که', 'پس', 'از', 'آن', '،', 'توسعه', 'سیاسی', 'هم', '،', 'به', 'نوعی', 'تحت', 'فشار', 'توسعه', 'اقتصادی', '،', 'شکل', 'گرفت', '.', '.', 'دکتر', 'عظیمی', ':', '.', 'تا', 'آنجا', 'که', 'مطالعات', 'و', 'اطلاعات', 'بنده', 'اجازه', 'قضاوت', 'می', 'دهد', 'باید', 'عرض', 'کنم', 'که', 'واقعیت', 'تجربه', 'توسعه', 'در', 'کشورهایی', 'که', 'مطرح', 'فرمودید', 'به', 'گونه\\\\u200cای', 'دیگر', 'بوده_است', 'مثلا', 'این', 'طور', 'نیست', 'که', 'حکومت', 'این', 'کشورها', 'هر', 'نوع', 'حرکتی', 'در', 'مقابل', 'دولت', 'را', 'سرکوب', 'کرده_باشند', 'و', 'از', 'طریق', 'این', 'سرکوبها', 'توانسته_باشند', 'ساختارهای', 'مناسب', 'توسعه', 'اقتصادی', 'را', 'فراهم', 'آورده_باشند', 'و', 'پس', 'از', 'دستیابی', 'به', 'درجه\\\\u200cای', 'از', 'توسعه', 'اقتصادی', '،', 'ساختار', 'سیاسی', 'به', 'طور', 'ارادی', 'یا', 'تحت', 'فشار', 'شرایط', 'صنعتی', 'توسعه', 'پیدا', 'به', 'کند', 'نظر', 'می', 'رسد', 'تجارب', 'این', 'کشورها', 'به', 'این', 'سادگی', 'قابل', 'جمع', 'بندی', 'نباشد', '.', 'آنچه', 'اتفاق', 'افتاده', 'این', 'نیست', 'که', 'حکومتی', 'با', 'ساختار', 'سیاسی', 'دولت', 'سالار', 'حاکم', 'بوده_باشد', 'بلکه', 'حکومت', 'آن', 'جوامع', 'به', 'شدت', 'اجازه', 'داده_است', 'که', 'بخش', 'مردمی', 'اش', 'در', 'اموردخالت', 'و', 'مشارکت', 'کنند', '…', '.', 'همشهری', ':', 'در', 'عرصه\\\\u200cهای', 'سیاسی', 'و', 'اقتصادی', 'یا', 'صرفا', '؟', 'اقتصادی', '.', 'دکتر', 'عظیمی', ':', '.', 'در', 'هر', 'دو', 'عرصه', 'و', 'عمده\\\\u200cتر', 'در', 'عرصه\\\\u200cهای', 'اقتصادی', '.', 'دخالت', 'دولت', 'در', 'حوزه', 'هایی', 'بوده', 'که', 'نتایج', 'مثبتی', 'به', 'همراه', 'داشته', 'و', 'در', 'مابقی', 'حوزه\\\\u200cها', 'دخالتی', 'نداشته_است', '.', 'این', 'دخالت', 'باعث', 'جلوگیری', 'از', 'شخصیت', 'سازی', 'و', 'سرکوب', 'مخالفتها', 'نشده_است', '.', 'مگر', 'شما', 'می\\\\u200cتوانید', 'مثلا', 'در', 'کره', 'جنوبی', 'سالها', 'و', 'سالها', 'بیش', 'از', 'دو', 'درصد', 'از', 'تولید', 'ملی', 'را', 'صرف', 'امور', 'تحقیق', 'و', 'توسعه', 'نمایید', 'و', 'در', 'عین', 'حال', 'اجازه', 'ندهید', 'شخصیتهای', 'علمی', 'در', 'جامعه', 'شکل', 'بگیرند', '،', 'مگر', 'می\\\\u200cتوان', 'اجازه', 'داد', 'شخصیتهای', 'علمی', 'در', 'جامعه', 'شکل', 'بگیرد', 'و', 'آزادی', 'فکر', 'و', 'اندیشه', 'وجود', 'نداشته_باشد', '،', 'و', '…', '.', 'در', 'عرصه', 'بین', 'المللی', 'هم', 'این', 'جوامع', 'طوری', 'عمل', 'می\\\\u200cکردند', 'که', 'نه', 'در', 'دامن', 'غرب', 'قرار', 'گرفتند', 'و', 'نه', 'یکپارچه', 'در', 'مقابل', 'آن', 'موضع', 'به', 'گرفتند', 'هر', 'حال', 'در', 'جریان', 'توسعه', 'یافتگی', 'کشورهای', 'آسیای', 'جنوبشرقی', 'یک', 'ساختار', 'سیاسی', 'متمرکز', 'که', 'همه', 'مخالفتها', 'را', 'سرکوب', 'کند', 'و', 'توسعه', 'اقتصادی', 'را', 'محقق', 'ساخته_باشد', 'وجود', 'نداشته_است', '.', 'ادامه', 'دارد']\n",
      "['برنامه', 'هفته', 'دوم', 'لیگ', 'کشتی', 'آزاد', 'گروه', 'ورزشی', ':', 'هفته', 'دوم', 'مسابقات', 'کشتی', 'آزاد', 'دسته', 'اول', 'باشگاه\\\\u200cهای', 'ایران', 'روز', 'پنجشنبه', 'هفته', 'جاری', 'بطور', 'همزمان', 'در', '۳', 'استان', 'کشور', 'برگزار', 'خواهد_شد', '.', 'در', 'این', 'دوره', 'از', 'رقابتها', 'که', 'با', 'شرکت', '۷', 'تیم', 'برگزار', 'می\\\\u200cشود', 'در', 'هفته', 'دوم', 'تیم', 'گواه', 'تهران', 'با', 'قرعه', 'استراحت', 'مواجه', 'شده_است', '.', 'برنامه', 'هفته', 'دوم', 'همراه', 'با', 'اسامی', 'داوران', 'و', 'نمایندگان', 'فدراسیون', 'کشتی', 'به', 'شرح', 'زیر', 'است', ':', 'صنام', 'تهران', 'با', 'راه', 'آهن', 'خراسان', 'در', 'تهران', 'داوران', ':', 'اصغر', 'رامبد', '،', 'حسین', 'تام', '،', 'فرج', 'الله', 'شبنورد', 'و', 'سید', 'حسین', 'حسینی', 'نماینده', 'فدراسیون', ':', 'مهدی', 'خالدی', 'نارنجستان', 'با', 'هما', 'تهران', 'در', 'مازندران', 'نور', 'داوران', ':', 'حجت', 'الله', 'گودرزی', '،', 'باقر', 'بهزاد', 'نژاد', '،', 'محمدتقی', 'حاج', 'میری', 'و', 'طاهر', 'زنگنه', 'نماینده', 'فدراسیون', ':', 'رضا', 'غلامی', 'ایران', 'سوئیچ', 'نهاوند', 'با', 'آهن', 'بافق', 'در', 'نهاوند', 'داوران', ':', 'علی', 'اکبر', 'طهماسبی', '،', 'اکبر', 'پساوند', '،', 'عین', 'الله', 'محمدی', 'و', 'جعفر', 'عرصه', 'وزیری', 'نماینده', 'فدراسیون', ':', 'ابوالقاسم', 'رایگان', 'در', 'ایام', 'ماه', 'مبارک', 'رمضان', 'این', 'پیکارها', 'دو', 'ساعت', 'پس', 'از', 'افطار', 'برگزار', 'می\\\\u200cشود', '.', 'در', 'پایان', 'هفته', 'نخست', 'این', 'مسابقات', 'تیمهای', 'صنام', 'تهران', '،', 'نارنجستان', 'نور', 'و', 'هما', 'تهران', 'با', 'کسب', '۲', 'امتیاز', 'در', 'مکان\\\\u200cهای', 'اول', 'تا', 'سوم', 'قرار', 'دارند', '.']\n",
      "['رضا', 'سلمان', ':', 'مسئولین', 'محترم', 'صدا', 'و', 'سیما', 'پاسخ', 'دهند', 'که', 'آیا', 'ما', 'به', 'تبلیغات', 'در', 'حین', 'پخش', 'فیلم', 'نیاز', '؟', 'داریم', 'چرا', 'ما', 'باید', 'در', 'این', 'زمینه', 'از', 'کشورهای', 'مصرف', 'زده', 'تقلید', 'کنیم', '.', 'اگر', 'بدعت', 'بود', 'بله', 'اما', 'قطع', 'برنامه', 'دقیقا', 'در', 'نقطه', 'حساس', 'آن', 'به', 'خاطر', 'تبلیغ', 'تقلید', 'شایسته\\\\u200cای', 'نیست', '.', 'زینب', '.', 'آ', 'از', 'رشت', ':', 'مسئولین', 'محترم', 'اداره\\\\u200cها', '،', 'کارخانجات', '،', 'شرکت\\\\u200cهای', 'خصوصی', 'و', 'سایر', 'مدیران', 'محترم', 'آیا', 'این', 'درست', 'است', 'که', 'فقط', 'از', 'مهندسین', 'و', 'کارشناسان', 'باسابقه', 'آنهم', 'حداقل', '۵', 'سال', 'و', 'به', 'بالا', 'دعوت', 'به', 'همکاری', 'من', 'نمایند', 'آگاهم', 'که', 'همه', 'شما', 'عزیزان', 'می\\\\u200cخواهید', 'از', 'تجارب', 'افراد', 'تحصیل', 'کرده', 'استفاده', 'نمایید', 'اما', 'این', 'نکته', 'نیز', 'قابل', 'توجه', 'است', 'که', 'اگر', 'اینگونه', 'باشد', 'پس', 'آنانی', 'که', 'تازه', 'فارغ', 'التحصیل', 'شده\\\\u200cاند', 'چطور', 'می', 'توانند', 'این', 'سابقه', 'کاری', 'را', 'کسب', 'نمایند', '،', 'لذا', 'از', 'همه', 'شما', 'مدیران', 'تقاضا', 'دارم', 'که', 'در', 'آگهی\\\\u200cهای', 'استخدامی', 'خود', 'محدودیت', 'سابقه', 'کار', 'را', 'حذف', 'کنید', 'و', 'از', 'فکرهای', 'جوان', 'و', 'بدون', 'تجربه', 'نیز', 'استفاده', 'کنید', '.', 'مگر', 'خود', 'شما', 'در', 'هنگام', 'فارغ', 'التحصیل', 'شدن', 'سابقه', 'کار', '؟', 'داشتید', 'ع', '.', 'معتمدی', ':', 'با', 'کمال', 'تاسف', 'ضایعه', 'حمله', 'به', 'جهانگردان', 'خارجی', 'در', 'اصفهان', 'را', 'از', 'روزنامه', 'شما', 'خواندم', 'و', 'برحسب', 'علاقه', 'پی', 'گیر', 'این', 'مساله', 'این', 'بودم', 'عمل', 'غیر', 'منطقی', 'و', 'جاهلانه', 'را', 'چیزی', 'جز', 'لگدمال', 'کردن', 'آبرو', 'و', 'تمدن', 'ایرانی', 'اسلامی', '،', 'ملت', 'ایران', 'و', 'بالاخص', 'مردم', 'اصفهان', 'نیافتم', '.', 'لذا', 'عاجزانه', 'از', 'مسئولین', 'ذیربط', 'خواهشمندم', 'با', 'شناسائی', 'این', 'افراد', 'مانع', 'فعالیت\\\\u200cهای', 'شوم', 'آنها', 'شده', 'و', 'یا', 'لااقل', 'با', 'آموزش', 'جمعی', 'در', 'این', 'موقعیت', 'زمانی', 'و', 'در', 'موارد', 'خاص', 'که', 'تعداد', 'جهانگردان', 'بنابه', 'علل', 'خاص', 'زیادتر', 'از', 'معمول', 'است', 'از', 'تکرار', 'این', 'فجایع', 'جلوگیری', 'گردد', '،', 'چرا', 'که', 'بازتاب', 'بسیار', 'بدی', 'در', 'کشورهای', 'دیگر', 'به', 'دنبال', 'خواهد_داشت', 'و', 'چهره', 'کشور', 'و', 'نام', 'پر', 'افتخار', 'ایران', 'زمین', 'را', 'مخدوش', 'می\\\\u200cنماید', '.', 'پیامهای', 'کتبی', 'خود', 'را', 'برای', 'درج', 'در', 'این', 'ستون', 'حداکثر', 'در', 'ده', 'سطر', 'به', 'صندوق', '/', '۱۹۳۹۵', '۵۴۴۶', 'پستی', 'یا', 'نمابر', 'فاکس', '۲۰۵۸۸۱۱', 'ارسال', 'کنید', '.']\n",
      "['مدیرعامل', 'سازمان', 'بیمه', 'خدمات', 'روستائیان', 'کشور', 'درمانی', ':', 'تحت', 'پوشش', 'بیمه', 'خدمات', 'درمانی', 'قرار', 'می\\\\u200cگیرند', 'گروه', 'شهری', ':', 'سرانه', 'بیمه', 'و', 'سهم', 'بخش', 'درمان', 'از', 'بودجه', 'کل', 'کشوربه', 'منظور', 'ارتقاء', 'کیفی', 'و', 'کمی', 'خدمات', 'بیمه\\\\u200cای', 'و', 'درمانی', 'بایدافزایش', 'یابد', '.', 'احمد', 'خالقی', 'نژاد', '-مدیرعامل', 'سازمان', 'بیمه', 'خدمات', 'درمانی', '،', 'در', 'یک', 'برنامه', 'خبری', '،', 'با', 'اعلام', 'مطلب', 'فوق', 'گفت', ':', 'عدم', 'همسان', 'سازی', 'سرانه', 'بیمه', 'شهروندان', 'با', 'هزینه\\\\u200cهای', 'درمان', 'می\\\\u200cتواند', 'اثر', 'سوء', 'در', 'جریان', 'بیمه', 'و', 'کیفیت', 'خدمات', 'درمانی', 'داشته_باشد', 'و', 'از', 'این', 'رو', 'خواستار', 'اصلاح', 'سرانه', 'بیمه', 'البته', 'هستیم', 'در', 'صورت', 'اصلاح', 'سرانه', 'مذکور', '،', 'پرداخت', 'مطالبات', 'مراکز', 'درمانی', 'طرف', 'قراردادسامانه\\\\u200cهای', 'بیمه\\\\u200cای', 'بهنگام', 'خواهد_شد', 'و', 'طبیعی\\\\u200cترین', 'وضعیت', 'به', 'وجود', 'آمده', '،', 'ارتقاء', 'کیفی', 'خدمات', 'درمانی', 'است', '.', 'وی', 'گفت', ':', 'تمام', 'بدهی\\\\u200cهای', 'سازمان', 'بیمه', 'خدمات', 'درمانی', 'به', 'مراکزدرمانی', 'تا', '۶', 'ماه', 'نخست', 'سال', 'جاری', 'پرداخت', 'می\\\\u200cشود', '.', 'خالق', 'نژاد', 'تنها', 'زیان', 'انباشته', 'سازمان', 'بیمه', 'خدمات', 'درمانی', 'را', 'از', 'سوی', 'بیمه', 'خویش', 'فرمایان', 'دانست', 'و', 'افزودمیلیارد', '۳۳۷', 'ریال', 'در', 'این', 'باره', 'زیان', 'انباشته', 'داریم', 'که', 'به', 'نظر', 'ما', 'تنها', 'راه', 'حل', 'این', 'مشکل', '،', 'اجباری', 'کردن', 'بیمه', 'خویش', 'فرمایان', 'در', 'دوره', 'سلامت', 'است', '.', 'وی', 'گفت', ':', 'تاکنون', '۱۲', 'هزار', 'نفر', 'از', 'بیماران', 'خاص', 'از', 'طریق', 'بیمه', 'خویش', 'فرما', 'تحت', 'پوشش', 'قرار', 'گرفتند', 'و', 'تاکنون', 'حدود', '۸۰', 'میلیارد', 'ریال', 'در', 'سال', 'هزینه', 'پرداخت', 'کردیم', 'و', 'این', 'در', 'حالی', 'است', 'که', 'سرانه', 'دریافتی', 'از', 'آنها', 'بابت', 'بیمه', 'حدود', '۳', 'هزار', 'میلیون', 'ریال', 'بوده_است', '.', 'در', 'این', 'برنامه', 'خبری', 'گفته_شد', 'که', 'تمام', 'روستائیان', 'که', 'جمعیتی', 'بالغ', 'بر', '۲۱', 'میلیون', 'نفر', 'هستند', 'تحت', 'پوشش', 'بیمه', 'درمانی', 'قرار', 'گرفتند', 'و', '/۱', '۵تنها', 'میلیون', 'عشایر', 'به', 'دلیل', 'عدم', 'اسکان', 'تاکنون', 'تحت', 'پوشش', 'قرار', 'نگرفته\\\\u200cاند', 'که', 'این', 'مهم', 'نیز', 'به', 'تدریج', 'محقق', 'خواهد_شد', '.', 'روستائیان', 'با', 'در', 'دست', 'داشتن', 'کارت', 'بیمه', 'می\\\\u200cتوانند', 'به', 'مراکز', 'درمانی', 'طرف', 'قرارداد', 'سازمان', 'بیمه', 'خدمات', 'درمانی', 'مراجعه', 'کرده', 'و', 'از', 'پرداخت', '۷۵', 'درصد', 'هزینه\\\\u200cهای', 'درمانی', 'معاف', 'هستند', '.', 'تاکنون', '۳۰', 'میلیون', 'و', '۴۶۰', 'هزار', 'شهروند', 'ایرانی', 'تحت', 'پوشش', 'سازمان', 'بیمه', 'خدمات', 'درمانی', 'قرار', 'گرفته\\\\u200cاند', '.']\n",
      "['تشکیل', 'هیات', 'مشترک', 'کمیسیون', 'اصل', '۹۰', 'و', 'کمیسیون', 'حقوق', 'بشراسلامی', 'گروه', 'سیاسی', ':', 'محمد', 'دادفر', 'مخبر', 'کمیسیون', 'اصل', 'دیروز', '۹۰به', 'خبرنگار', 'ما', 'گفت', ':', 'قرار', 'است', 'از', 'دادگستری', 'تهران', 'اطلاعات', 'کافی', 'در', 'مورد', 'وضعیت', 'عزت', 'الله', 'سحابی', 'و', 'ترتیب', 'دادن', 'ملاقات', 'نمایندگان', 'با', 'وی', 'درخواست', 'شود', '.', 'دادفر', 'با', 'اشاره', 'به', 'تشکیل', 'هیات', 'مشترک', 'کمیسیون', 'اصل', '۹۰', 'کمیسیون', 'حقوق', 'بشر', 'اسلامی', 'و', 'هیات', 'پیگیری', 'قانون', 'اساسی', 'در', 'آینده', 'نزدیک', 'گفت', ':', 'قرار', 'است', 'این', 'هیات', 'راههای', 'پیشگیری', 'از', 'تخلفات', 'و', 'مجازات', 'متخلفین', 'از', 'قانون', 'اساسی', 'را', 'بررسی', 'کند', '.', 'وی', 'اضافه', 'در', 'کرد', 'جلسه\\\\u200cای', 'که', 'روز', 'یکشنبه', 'گذشته', 'با', 'حضور', 'ضیائی', 'فر', 'رئیس', 'کمیسیون', 'حقوق', 'بشر', 'اسلامی', 'در', 'کمیسیون', 'اصل', 'تشکیل', 'شد', '۹۰', 'مسئولین', 'کمیسیون', 'حقوق', 'بشر', 'اسلامی', 'تاکید', 'داشتند', 'که', 'پیگیری\\\\u200cهای', 'آنها', 'در', 'مورد', 'پرونده', 'مطبوعات', 'و', 'روزنامه', 'نگاران', 'ناکام', 'مانده_است', '.', 'مخبر', 'کمیسیون', 'اصل', '۹۰', 'با', 'اشاره', 'به', 'ارائه', 'گزارش', 'رئیس', 'جمهور', 'در', 'خصوص', 'موارد', 'نقض', 'قانون', 'اساسی', 'به', 'مجلس', 'گفت', ':', 'پس', 'از', 'بررسی', 'این', 'گزارش', 'در', 'صدد', 'یافتن', 'راههای', 'پیشگیری', 'از', 'نقض', 'قانون', 'اساسی', 'و', 'مجازات', 'متخلفین', 'بودیم', 'که', 'یکی', 'از', 'این', 'راهها', 'افزایش', 'اختیارات', 'رئیس', 'جمهوری', 'برای', 'جلوگیری', 'از', 'ادامه', 'تخلف', 'بود', '.', 'دادفر', 'گفت', ':', 'در', 'مورد', 'افزایش', 'اختیارات', 'رئیس', 'جمهوری', 'با', 'توجه', 'به', 'جوسازی', 'محافظه', 'کاران', 'که', 'این', 'حرکت', 'را', 'تغییر', 'قانون', 'اساسی', 'عنوان', 'کردند', 'قرار', 'شد', 'موضوع', 'اصلاح', 'قانون', 'اختیارات', 'رئیس', 'جمهوری', 'به', 'زمان', 'دیگری', 'موکول', 'شود', '.']\n",
      "['بردیوار', 'نگارخانه\\\\u200cها', 'نگارخانه', 'نقش', 'جهان', 'نمایشگاه', 'نقاشی', 'گروهی', 'از', 'هنرجویان', '/منوچهرملکشاهی', 'تا', 'دوم', '/مهر', 'از', 'ساعت', '۱۷', '/تا', '۲۱', 'نشانی', ':', 'خیابان', 'زعفرانیه', 'نبش', 'پرزین', 'تماشاگه', '/زمان', 'تلفن', '.', '۲۴۱۸۴۹۰', 'نگارخانه', 'آتشزاد', 'نمایشگاه', 'نقاشی', 'محمدرضا', '/آتشزاد', 'از', 'دوم', '/مهر', 'نشانی', ':', 'توانیر', 'ساختان', '۴۳', 'طبقه', 'دوم', '/واحد', '۸', 'تلفن', '.', '۸۸۸۴۴۰۷', 'گالری', 'برگ', 'نمایشگاه', 'آثار', 'پامن', 'پریرا', 'هنرمند', '/اسپانیایی', 'تا', 'سوم', '/مهر', 'ازساعت', '۹', '/۱۲', '۳۰تا', 'و', '۱۵', '/تا', '۱۹', 'نشانی', ':', 'خیابان', 'ولی', 'عصر', 'دامن', 'افشار', '/۱۲', '_پ', '۱/لاک', 'تلفن', '.', '۸۷۹۷۹۲۷', 'نگارخانه', 'شیو', 'پنجمین', 'نمایشگاه', 'سالانه', 'از', 'آثار', 'هنری', 'کودکان', '۵', 'تا', '۱۲', 'ساله', 'جوانه', '/', 'V', 'از', 'اول', 'تا', 'پنجم', '/مهر', 'ازساعت', '۱۷', '/تا', '۲۱', 'نشانی', ':', 'خیابان', 'مطهری', 'روبه', 'روی', '/', '۲۲۱', '۱شماره', 'جم', '/', 'تلفن', ':', '۸۷۳۰۸۶۴', 'نگارخانه', 'فرامرزی', 'نمایشگاه', 'عکاسی', 'محمدرضا', '/تهماسبپور', 'تا', 'سوم', '/مهر', 'از', 'ساعت', '۱۹', '۱۶', '/تا', 'نشانی', ':', 'میدان', 'ونک', 'خیابان', 'خدامی', 'جنب', 'هتل', 'هما', 'کوچه', 'ارم', '/شماره', '۵۴', 'تلفن', '.', '۸۷۹۱۴۵۹']\n",
      "['آغاز', 'عملیات', 'اجرایی', 'طرح', 'گازرسانی', 'به', 'شهر', 'پردیس', 'عملیات', 'اجرایی', 'طرح', 'گازرسانی', 'به', 'شهر', 'جدید', 'پردیس', 'هفته', 'پیش', 'با', 'حضور', 'وزیر', 'مسکن', 'و', 'شهرسازی', 'آغاز', 'شد', '.', 'عبدالعلی', 'زاده', 'وزیر', 'مسکن', 'و', 'شهرسازی', 'در', 'مراسم', 'آغاز', 'عملیات', 'اجرایی', 'طرح', 'گازرسانی', 'به', 'شهر', 'پردیس', 'گفت', ':', 'با', 'تصویب', 'قانون', 'شهرهای', 'جدید', 'تحول', 'نوینی', 'در', 'شهرهای', 'جدید', 'کشور', 'و', 'رفتار', 'دولت', 'در', 'قبال', 'این', 'شهرها', 'ایجاد', 'خواهد_شد', '.', 'وی', 'افزود', ':', 'براساس', 'توافق', 'انجام', 'شده', 'با', 'شرکت', 'ملی', 'گاز', 'ایران', '،', 'عملیات', 'اجرایی', 'این', 'طرح', 'زودتر', 'از', 'زمان', 'مقرر', 'شروع', 'شد', '.', 'محمدنژاد', 'مدیرعامل', 'شرکت', 'ملی', 'گاز', 'ایران', 'نیز', 'در', 'این', 'مراسم', 'گفت', ':', 'گازرسانی', 'به', 'شهرها', 'و', 'شهرک\\\\u200cهای', 'اطراف', 'تهران', 'در', 'اولویت', 'طرح\\\\u200cهای', 'عمرانی', 'گازرسانی', 'قرار', 'دارد', 'که', 'باید', 'در', 'زمان', 'کوتاه', 'اجرا', 'شود', '.', 'وی', 'ادامه', 'داد', ':', 'درحال', 'حاضر', '۴۰۰', 'شهر', 'کشور', 'با', 'جمعیتی', 'حدود', 'میلیون', '۳۲', 'نفر', '/۷', '۸معادل', 'میلیون', 'خانوار', 'زیر', 'پوشش', 'شبکه', 'گازرسانی', 'کشور', 'قرار', 'دارند', '.', 'محمدنژاد', 'تصریح', 'کرد', ':', 'طی', 'دو', 'سال', 'گذشته', 'به', '۲۸', 'شهرک', 'صنعتی', 'گازرسانی', 'شده_است', 'به', 'طوری', 'که', 'الان', '۵۷۰۰', 'واحد', 'صنعتی', 'بزرگ', 'و', 'فعال', 'از', 'نعمت', 'گاز', 'برخوردار', 'هستند', '.', 'وی', 'هزینه', 'اجرایی', 'طرح', 'گازرسانی', 'به', '۲۸', 'شهرک', 'صنعتی', 'را', '۱۵', 'میلیارد', 'ریال', 'اعلام', 'کرد', '.', 'در', 'مراسم', 'افتتاح', 'گازرسانی', 'به', 'شهرک', 'پردیس', '،', 'مختارنیا', 'مدیر', 'اجرایی', 'این', 'طرح', 'نیز', 'گفت', ':', 'برای', 'اجرای', 'این', 'طرح', 'هفت', 'ایستگاه', 'تقلیل', 'فشار', 'گاز', 'به', 'ظرفیت', '۱۰', 'هزار', 'مترمربع', 'و', 'فشار', 'خروجی', 'پوند', '۶۰', 'بر', 'اینچ', 'مربع', 'پیش', 'بینی', 'شده_است', '.', 'وی', 'افزود', ':', 'فازهای', 'یک', 'و', 'دو', 'این', 'شهر', 'و', 'منطقه', 'صنعتی', 'خرمدشت', 'در', 'اولویت', 'نخست', 'و', 'و۴', '۳فازهای', 'و', '۵', 'شهر', 'پردیس', 'در', 'اولویت', 'بعدی', 'قرار', 'دارند', '.', 'وی', 'تصریح', 'کرد', ':', 'عملیات', 'اجرایی', 'این', 'طرح', 'در', 'فازهای', '۱', 'و', '۲', 'از', 'بهمن', 'ماه', 'گذشته', 'شروع', 'شده', 'و', '۵۲۰۰', 'متر', 'کانال', 'کشی', 'و', '۳۲۰۰', 'متر', 'لوله', 'گذاری', 'شده_است', '.', 'مختارنیا', 'با', 'اشاره', 'به', 'این', 'موضوع', 'که', 'هزینه', 'اجرایی', 'این', 'طرح', 'را', 'مالکان', 'تامین', 'خواهند_کرد', '،', 'افزود', ':', 'سرانه\\\\u200cای', 'برای', 'دریافت', 'هزینه', 'از', 'ساکنان', 'شهر', 'جدید', 'پردیس', 'تعیین', 'شده', 'که', 'دریافت', 'خواهد_شد', 'و', 'برای', 'آن', 'دسته', 'ازمالکان', 'که', 'توان', 'پرداخت', 'نقدی', 'این', 'هزینه', 'را', 'ندارند', 'تسهیلاتی', 'در', 'نظر', 'گرفته_شده_است', '.']\n",
      "['جشنواره', 'موسیقی', 'مقامی', 'و', 'سنتی', 'خوزستان', 'امروز', 'در', 'آبادان', 'برگزار', 'می\\\\u200cشود', 'گروه', 'شهرستانها', ':', 'دومین', 'جشنواره', 'موسیقی', 'مقامی', 'و', 'سنتی', 'استان', 'خوزستان', 'از', '۲۶', 'تا', '۳۰', 'مهرماه', 'جاری', 'در', 'محل', 'سینما', 'تاج', 'آبادان', 'برگزار', 'می\\\\u200cشود', '.', 'به', 'گزارش', 'خبرنگار', 'همشهری', 'در', 'اهواز', 'به', 'نقل', 'از', 'روابط', 'عمومی', 'اداره', 'فرهنگ', 'و', 'ارشاد', 'اسلامی', 'آبادان', '،', 'بیست', 'گروه', 'موسیقی', 'از', 'سراسر', 'استان', 'در', 'این', 'جشنواره', 'شرکت', 'می\\\\u200cکنند', 'که', '۷', 'گروه', 'آن', 'از', 'شهرستان', 'آبادان', 'و', 'بقیه', 'متعلق', 'به', 'شهرستانهای', 'اهواز', '،', 'دزفول', '،', 'شوشتر', '،', 'ایذه', '،', 'سوسنگرد', '،', 'رامهرمز', 'و', 'ماهشهر', 'هستند', '.', 'در', 'اولین', 'جشنواره', 'موسیقی', 'مقامی', 'که', 'سال', 'گذشته', 'در', 'اهواز', 'برگزار', 'شد', '،', 'شهرستان', 'سوسنگرد', 'مقام', 'اول', 'را', 'کسب', 'کرد', '.']\n",
      "['واجپایی', 'در', 'دیدار', 'با', 'حسن', 'روحانی', ':', 'هند', 'علاقمند', 'به', 'توسعه', 'روابط', 'با', 'ایران', 'است', 'گروه', 'سیاسی', ':', 'آتل', 'بیهاری', 'واجپایی', 'نخست', 'وزیر', 'هند', 'دیروز', 'در', 'دیدار', 'با', 'حسن', 'روحانی', 'دبیر', 'شورای', 'عالی', 'امنیت', 'ملی', 'گفت', ':', 'توسعه', 'روابط', 'ایران', 'و', 'هند', 'در', 'زمینه\\\\u200cهای', 'مختلف', '،', 'مورد', 'علاقه', 'دهلی', 'نو', 'است', '.', 'به', 'گزارش', 'ایرنا', 'وی', 'افزود', ':', 'همکاریهای', 'ایران', 'و', 'هند', 'در', 'زمینه', 'نفت', 'و', 'گاز', 'باید', 'بطور', 'گسترده\\\\u200cای', 'فعال', 'شود', 'و', 'من', 'مایلم', 'که', 'گاز', 'ایران', 'سریعتر', 'به', 'هند', 'انتقال', 'یابد', '.', 'نخست', 'وزیر', 'هند', 'با', 'اعلام', 'آمادگی', 'کشورش', 'برای', 'همکاری', 'در', 'زمینه\\\\u200cهای', 'انرژی', 'گفت', ':', 'دهلی', 'نو', 'آماده', 'سرمایه', 'گذاری', 'در', 'پروژه\\\\u200cهای', 'نفت', 'و', 'گاز', 'و', 'پتروشیمی', 'ایران', 'است', '.', 'واجپایی', 'با', 'اشاره', 'به', 'بحران', 'خاورمیانه', 'افزود', ':', 'هند', 'همیشه', 'خواستار', 'احقاق', 'حقوق', 'حقه', 'مردم', 'فلسطین', 'بوده', 'و', 'اکنون', 'هم', 'همین', 'خط', 'مشی', 'را', 'دنبال', 'می\\\\u200cکند', '.', 'دبیر', 'شورای', 'عالی', 'امنیت', 'ملی', 'ایران', 'نیز', 'در', 'این', 'دیدار', 'با', 'اشاره', 'به', 'تحولات', 'ایجاد', 'شده', 'در', 'روابط', 'دو', 'کشور', '،', 'گفت', ':', 'خط', 'لوله', 'گاز', 'ایران', 'به', 'هند', 'از', 'پروژه\\\\u200cهای', 'استراتژیک', 'مورد', 'علاقه', 'تهران', 'و', 'دهلی', 'نو', 'است', '.', 'دکتر', 'روحانی', '،', 'همکاری', 'در', 'زمینه', 'فناوری', 'را', 'برای', 'تهران', 'با', 'اهمیت', 'خواند', 'و', 'افزود', ':', 'تهران', 'از', 'روابط', 'توسعه', 'یافته', 'در', 'تمامی', 'زمینه\\\\u200cهای', 'سیاسی', '،', 'اقتصادی', '،', 'دفاعی', 'و', 'امنیتی', 'با', 'هند', 'استقبال', 'می\\\\u200cکند', '.', 'وی', 'همکاری\\\\u200cهای', 'مشترک', 'ایران', 'و', 'هند', 'در', 'تحولات', 'افغانستان', 'را', 'ستود', 'و', 'مقابله', 'سازمان', 'یافته', 'با', 'تروریسم', 'را', 'از', 'محورهای', 'مهم', 'تلاش', 'تهران', '-', 'دهلی', 'نو', 'در', 'سطوح', 'منطقه\\\\u200cای', 'و', 'بین', 'المللی', 'خواند', '.', 'روحانی', '،', 'حضور', 'نیروهای', 'خارجی', 'در', 'منطقه', 'را', 'عامل', 'تقویت', 'تروریسم', 'توصیف', 'کرد', 'و', 'خواستار', 'خروج', 'نیروهای', 'بیگانه', 'از', 'منطقه', 'شد', '.', 'دبیر', 'شورای', 'عالی', 'امنیت', 'ملی', 'در', 'ادامه', 'گفت', 'وگوهای', 'خود', 'با', 'نخست', 'وزیر', 'هند', 'کشتار', 'بی', 'رحمانه', 'مردم', 'فلسطین', 'را', 'از', 'معضلات', 'مهم', 'منطقه', 'و', 'به', 'عنوان', 'فاجعه', 'بشری', 'یاد', 'کرد', 'و', 'تروریسم', 'دولتی', 'اسرائیل', 'را', 'از', 'ریشه\\\\u200cهای', 'اصلی', 'پیدایش', 'و', 'توسعه', 'افراطی\\\\u200cگری', 'دانست', '.', 'روحانی', '،', 'رفتار', 'آمریکا', 'را', 'باعث', 'تضعیف', 'نهادهای', 'معتبر', 'بین', 'المللی', 'همچون', 'سازمان', 'ملل', 'خواند', 'و', 'گفت', ':', 'این', 'روند', 'برای', 'صلح', 'و', 'ثبات', 'و', 'امنیت', 'جهانی', 'خطرناک', 'است', '.', 'وی', 'تشدید', 'تنش', 'در', 'روابط', 'هند', 'و', 'پاکستان', 'را', 'باعث', 'سوءاستفاده', 'قدرتهای', 'فرامنطقه\\\\u200cای', 'برای', 'حضور', 'و', 'دخالت', 'در', 'منطقه', 'دانست', '.', 'دبیر', 'شورای', 'عالی', 'امنیت', 'ملی', 'ایران', 'روز', 'دوشنبه', 'در', 'راس', 'هیاتی', 'برای', 'سفر', 'رسمی', 'چهار', 'روزه', 'از', 'هند', 'و', 'دیدار', 'با', 'مقامهای', 'ارشد', 'این', 'کشور', 'از', 'جمله', 'براجیش', 'میشرا', 'همتای', 'هندی', 'خود', 'وارد', 'دهلی', 'نو', 'شد', '.']\n",
      "['خبرهای', 'کوتاه', '*', 'کمال', 'خرازی', 'وزیر', 'خارجه', 'و', 'کوفی', 'عنان', 'دبیر', 'کل', 'سازمان', 'ملل', 'در', 'یک', 'مکالمه', 'تلفنی', 'درباره', 'همکاری', 'میان', 'ایران', 'و', 'سازمان', 'ملل', 'و', 'همچنین', 'تحولات', 'مربوط', 'به', 'افغانستان', '،', 'بحث', 'و', 'تبادل', 'نظر', 'کردند', '.', 'کوفی', 'عنان', 'گفت', ':', 'سازمان', 'ملل', 'موضوع', 'برخورد', 'با', 'تروریسم', 'را', 'در', 'دستور', 'کار', 'خود', 'دارد', 'و', 'چنانچه', 'کلیه', 'کشورها', 'بر', 'محوریت', 'این', 'سازمان', 'نظر', 'داشته_باشند', '،', 'کارها', 'با', 'سهولت', 'انجام', 'خواهد_شد', '.', 'خرازی', 'نیز', 'تاکید', 'کرد', 'که', 'ایران', 'بر', 'این', 'باور', 'است', 'که', 'سازمان', 'ملل', 'باید', 'محور', 'برخورد', 'با', 'تروریسم', 'باشد', 'تا', 'اجماع', 'لازم', 'برای', 'مقابله', 'با', 'این', 'پدیده', 'شوم', 'بدست', 'آید', '.', '*', 'محسن', 'امین', 'زاده', 'معاون', 'آسیا', 'و', 'اقیانوسیه', 'وزارت', 'خارجه', 'و', 'فرستاده', 'رئیس', 'جمهوری', 'ایران', 'دیروز', 'با', 'امامعلی', 'رحمانف', 'رئیس', 'جمهوری', 'تاجیکستان', 'دیدار', 'و', 'درباره', 'مهمترین', 'مسایل', 'منطقه\\\\u200cای', 'با', 'وی', 'گفت', 'وگو', 'کرد', '.', 'محسن', 'امین', 'زاده', 'دلیل', 'سفرش', 'به', 'تاجیکستان', 'را', 'بررسی', 'اوضاع', 'حساس', 'منطقه', 'به', 'ویژه', 'افغانستان', 'ذکر', 'کرد', '.', '*', 'سازمان', 'مجاهدین', 'انقلاب', 'اسلامی', 'در', 'بیانیه\\\\u200cای', 'شش', 'صفحه\\\\u200cای', 'با', 'محکوم', 'کردن', 'حمله', 'تروریستی', 'به', 'نیویورک', 'و', 'واشنگتن', 'اعلام', 'کرد', ':', 'به', 'جای', 'تروریسم', 'و', 'جنگ', 'باید', 'عدالت', 'و', 'صلح', 'را', 'پاس', 'داشت', '.', '*', 'نماینده', 'ویژه', 'دولت', 'ژاپن', 'اوایل', 'هفته', 'آینده', 'با', 'پیامی', 'از', 'جونیچیرو', 'کوایزومی', '،', 'نخست', 'وزیر', 'این', 'کشور', '،', 'برای', 'رئیس', 'جمهور', 'ایران', '،', 'عازم', 'تهران', 'می\\\\u200cشود', '.', 'یاسوئو', 'فوکودا', 'دبیر', 'ارشد', 'و', 'سخنگوی', 'دولت', 'ژاپن', 'روز', 'جمعه', 'در', 'کنفرانسی', 'خبری', 'گفت', ':', 'ماساهیکو', 'کومورا', 'وزیر', 'خارجه', 'پیشین', '،', 'در', 'مقام', 'فرستاده', 'ویژه', 'نخست', 'وزیر', 'ژاپن', '،', 'از', 'ایران', 'برای', 'همکاری', 'در', 'مبارزه', 'جهانی', 'علیه', 'تروریسم', 'دعوت', 'خواهد_کرد', '.']\n",
      "['سه', 'رشته', 'جدید', 'در', 'دانشگاه', 'صنعتی', 'خواجه', 'نصیر', 'راه', 'اندازی', 'شد', 'گروه', 'علمی', 'فرهنگی', ':', 'شورای', 'گسترش', 'آموزش', 'عالی', 'در', 'سال', 'جاری', 'با', 'ایجاد', 'رشته\\\\u200cهای', 'مهندسی', 'عمران', 'مهندسی', '،', 'مواد', 'و', 'مهندسی', 'پزشکی', 'در', 'مقطع', 'کارشناسی', 'ارشد', 'در', 'دانشگاه', 'صنعتی', 'خواجه', 'نصیرالدین', 'طوسی', 'موافقت', 'کرد', '.', 'به', 'گزارش', 'روابط', 'عمومی', 'دانشگاه', 'صنعتی', 'خواجه', 'نصیر', '،', 'این', 'دانشگاه', 'از', 'مهرماه', 'سال', 'جاری', 'در', 'این', 'سه', 'رشته', 'جدید', 'دانشجو', 'می', 'پذیرد', '.', 'با', 'موافقت', 'قطعی', 'شورای', 'گسترش', 'آموزش', 'عالی', 'با', 'راه', 'اندازی', 'این', 'رشته\\\\u200cها', 'در', 'دانشگاه', 'خواجه', 'نصیر', '،', 'تعداد', 'رشته\\\\u200cها', 'و', 'گرایش\\\\u200cهای', 'آن', 'در', 'مقطع', 'کارشناسی', 'ارشد', 'به', '۳۸', 'رشته', 'افزایش', 'یافته_است', '.']\n",
      "['یمن', 'خواستار', 'راه', 'اندازی', 'منطقه', 'آزاد', 'عدن', 'توسط', 'ایران', 'شد', 'کشور', 'یمن', 'تمایل', 'جدی', 'خود', 'را', 'برای', 'استفاده', 'از', 'امکانات', 'و', 'تخصص', 'ایران', 'در', 'زمینه', 'ساخت', 'اسکله', '،', 'اجرای', 'پروژه\\\\u200cهای', 'راهسازی', '،', 'تاسیسات', 'و', 'ساختمان', '،', 'صنایع', 'بهداشتی', '،', 'راه', 'اندازی', 'کارخانه\\\\u200cهای', 'تولید', 'سیمان', 'و', 'آهن', 'و', 'خریداری', 'انرژی', 'برق', 'به', 'روش', 'جدید', 'اعلام', 'کرد', '.', 'به', 'گزارش', 'روابط', 'عمومی', 'اتاق', 'ایران', 'عبدالعزیز', 'عبدالغنی', 'رئیس', 'مجلس', 'مشورتی', 'یمن', 'در', 'دیدار', 'با', 'اعضای', 'اتاق', 'بازرگانی', 'و', 'صنایع', 'و', 'معادن', 'ایران', 'در', 'مجموعه', 'حافظیه', 'اعلام', 'کرد', ':', 'یمن', 'به', 'ایجاد', 'شرکتهای', 'پیمانکاری', 'مشترک', 'در', 'زمینه\\\\u200cهای', 'یادشده', 'می', 'اندیشد', 'و', 'محدودیتی', 'در', 'زمینه', 'درصدهای', 'مشارکت', 'با', 'ایرانیان', 'قایل', 'نیست', '.', 'وی', 'گفت', ':', 'ما', 'رابطه', 'اقتصادی', 'با', 'ایران', 'را', 'بسیار', 'سودمند', 'تشخیص', 'داده\\\\u200cایم', 'و', 'تاکنون', 'برگزاری', '۱۳', 'نمایشگاه', 'از', 'ایران', 'نشان', 'داده_است', 'که', 'کالاهای', 'ایرانی', 'با', 'استقبال', 'روبه', 'رو', 'می\\\\u200cشود', 'و', 'در', 'حال', 'حاضر', 'فرش', '،', 'محصولات', 'برقی', 'و', 'تولیدات', 'غذایی', 'و', 'صنعتی', 'ایران', 'در', 'یمن', 'بازار', 'بسیار', 'خوبی', 'دارد', '.', 'رئیس', 'مجلس', 'مشورتی', 'یمن', 'اظهار', 'داشت', 'ما', 'به', 'سمت', 'اقتصاد', 'آزاد', 'رفته\\\\u200cایم', 'و', 'در', 'صدد', 'ایجاد', 'منطقه', 'آزاد', 'در', 'عدن', 'هستیم', 'که', 'موقعیت', 'خاصی', 'برای', 'ارتباط', 'آسیا', 'و', 'آفریقاست', '.', 'ایجاد', 'صنایع', 'در', 'بندر', 'عدن', 'بدون', 'تردید', 'بازار', 'آسیا', 'و', 'شرق', 'افریقا', 'را', 'به', 'سمت', 'کشور', 'شما', 'می\\\\u200cگشاید', '.', 'وی', 'در', 'همین', 'مورد', 'افزود', ':', 'همکاری', 'با', 'ایران', 'به', 'نفع', 'ماست', 'ما', 'تمام', 'تسهیلات', 'را', 'برای', 'شما', 'در', 'زمینه', 'ایجاد', 'و', 'راه', 'اندازی', 'این', 'منطقه', 'آزاد', 'فراهم', 'می\\\\u200cآوریم', '.', 'وی', 'در', 'بخش', 'دیگری', 'از', 'سخنان', 'خودموضوع', 'ایجاد', 'بانک', 'مشترک', 'دو', 'کشور', 'را', 'تحت', 'عنوان', 'بانک', 'ایران', 'و', 'یمن', 'مطرح', 'کرد', 'و', 'اعلام', 'داشت', 'در', 'این', 'زمینه', 'مذاکراتی', 'نیز', 'صورت', 'گرفته_است', '.', 'بر', 'پایه', 'این', 'گزارش', '،', 'فریدون', 'انتظاری', 'در', 'ابتدای', 'این', 'گردهمایی', 'ضمن', 'خیرمقدم', 'به', 'وزرای', 'حمل', 'و', 'نقل', '،', 'شیلات', '،', 'مسکن', 'و', 'شهرسازی', 'کشور', 'یمن', 'طی', 'گزارشی', 'از', 'میزان', 'فعالیت', 'بخش', 'خصوصی', 'در', 'ایران', 'سخن', 'گفت', 'و', 'سیاست', 'دولت', 'ایران', 'را', 'به', 'گسترش', 'فعالیت', 'این', 'بخش', 'اعلام', 'کرد', '.', 'همکاری', 'ایران', 'و', 'یمن', '،', 'در', 'حمل', 'و', 'نقل', 'هوایی', 'و', 'شیلات', 'در', 'پایان', 'سفر', 'سه', 'روزه', 'رئیس', 'جمهوری', 'یمن', 'به', 'جمهوری', 'اسلامی', 'ایران', 'سه', 'سندهمکاری', 'در', 'زمینه\\\\u200cهای', 'سیاسی', '،', 'حمل', 'و', 'نقل', 'هوایی', 'و', 'شیلات', 'به', 'امضاء', 'مقام\\\\u200cهای', 'تهران', '-', 'صنعا', 'رسید', '.', 'این', 'اسناد', 'که', 'روز', 'چهارشنبه', 'در', 'حضور', 'سید', 'محمد', 'خاتمی', 'و', 'علی', 'عبدالله', 'صالح', 'رئیسان', 'جمهوری', 'ایران', 'و', 'یمن', 'امضاء', 'شد', 'زمینه', 'تعمیق', 'و', 'گسترش', 'هر', 'چه', 'بیشتر', 'روابط', 'و', 'مناسبات', 'دو', 'کشور', 'را', 'فراهم', 'خواهد_کرد', '.', 'براساس', 'یادداشت', 'تفاهم', 'همکاری\\\\u200cهای', 'دوجانبه', 'سیاسی', 'که', 'میان', 'دکتر', 'کمال', 'خرازی', 'و', 'عبدالقادر', 'باجمال', 'وزیران', 'خارجه', 'ایران', 'و', 'یمن', 'امضا', 'شد', 'طرفین', 'ضمن', 'استقبال', 'از', 'هماهنگی', 'هر', 'چه', 'بیشتر', 'دو', 'کشور', 'در', 'مجامع', 'و', 'سازمان\\\\u200cهای', 'بین', 'المللی', '،', 'برلزوم', 'گسترش', 'همکاری\\\\u200cهای', 'سیاسی', 'و', 'همکاری', 'وزارتخانه\\\\u200cهای', 'امور', 'خارجه', 'دو', 'کشوردر', 'زمینه', 'آموزش', '،', 'تحقیقات', '،', 'تبادل', 'اسناد', '،', 'کتب', 'و', 'نسخه\\\\u200cهای', 'خطی', 'و', 'برگزاری', 'سمینارهای', 'مختلف', 'تاکید', 'کردند', '.', 'همچنین', 'براساس', 'موافقت', 'نامه', 'دوجانبه', 'حمل', 'و', 'نقل', 'هوایی', '،', 'مقام\\\\u200cهای', 'جمهوری', 'اسلامی', 'ایران', 'و', 'یمن', 'با', 'تاسیس', 'و', 'بهره', 'برداری', 'از', 'سرویس\\\\u200cهای', 'هوایی', 'منظم', 'بین', 'دوکشور', 'و', 'ماوراء', 'سرزمین\\\\u200cهای', 'یکدیگر', 'موافقت', 'کردند', '.', 'این', 'موافقت', 'نامه', 'را', 'محمود', 'حجتی', 'وزیر', 'راه', 'و', 'ترابری', 'ایران', 'و', 'عبدالملک', 'السیانی', 'وزیر', 'حمل', 'و', 'نقل', 'یمن', 'امضا', 'کردند', '.', 'همچنین', 'بر', 'اساس', 'یادداشت', 'تفاهم', 'همکاری\\\\u200cهای', 'شیلات', 'که', 'میان', 'محمد', 'سعیدی', 'کیا', 'وزیر', 'جهادسازندگی', 'ایران', 'و', 'احمد', 'مساعد', 'حسین', 'وزیر', 'شیلات', 'یمن', 'امضاءشد', '،', 'طرفین', 'لزوم', 'آموزش', '،', 'تبادل', 'و', 'تجارب', 'و', 'همکاری', 'در', 'زمینه\\\\u200cهای', 'تحقیقاتی', 'وشیلات', 'را', 'ضروری', 'دانستند', '.', 'بر', 'اساس', 'این', 'یادداشت', 'تفاهم', 'جمهوری', 'اسلامی', 'ایران', 'مجوز', 'صید', 'در', 'آبهای', 'یمن', 'را', 'دریافت', 'کرد', 'و', 'قرار', 'است', 'ایران', 'سه', 'فروند', 'کشتی', 'برای', 'صید', 'و', 'ارزیابی', 'ذخایردریایی', 'یمن', 'به', 'آبهای', 'این', 'کشور', 'اعزام', 'کند', '.']\n",
      "['همشهری', 'به', 'یادماندنی', 'فصلی', 'از', 'کتاب', 'طلوع', 'کین', 'همشهری', 'کین', 'بیش', 'از', 'آنکه', 'یک', 'تراژدی', 'باشد', 'کمدی', 'است', 'و', 'شاید', 'بهترین', 'توصیف', 'آن', 'کمدی', 'گوتیک', 'باشد', 'پالین', 'کیل', 'ترجمه', 'پارمیس', 'ایزدپناه', 'فیلم', 'همشهری', 'کین', 'بدون', 'شک', 'از', 'آن', 'دسته', 'فیلم\\\\u200cهای', 'آمریکایی', 'است', 'که', 'جذابیت', 'و', 'تازگی', 'خود', 'را', 'از', 'زمان', 'اکران', 'و', 'ساخت', 'تاکنون', 'حفظ', 'کرده', 'و', 'شاید', 'به', 'مرور', 'زمان', 'بدیع\\\\u200cتر', 'و', 'جذابتر', 'از', 'گذشته', 'به', 'نظر', 'برسد', '.', 'بسیاری', 'از', 'نکات', 'فیلم', 'که', 'در', 'زمان', 'اکران', 'یعنی', 'سال', '۱۹۴۱', 'پیش', 'پاافتاده', 'و', 'عادی', 'به', 'نظر', 'می\\\\u200cرسیدند', 'امروزه', 'جایگاه', 'ویژه\\\\u200cای', 'یافته\\\\u200cاند', 'و', 'از', 'دیدگاه', 'والاتری', 'به', 'آنها', 'نگاه', 'می', 'شود', 'و', 'شاید', 'با', 'گذر', 'زمان', 'نوآوری\\\\u200cها', 'و', 'خلاقیت\\\\u200cهای', 'نوین', 'در', 'این', 'فیلم', 'کشف', 'شود', '.', 'این', 'کشفیات', 'و', 'یافته\\\\u200cهای', 'جدید', 'خاص', 'نگاه', 'مدرن', 'است', 'که', 'ارزش', 'آثار', 'گذشتگان', 'را', 'بیش', 'از', 'پیش', 'نمایان', 'می\\\\u200cسازد', '.', 'بسیاری', 'از', 'مخاطبین', 'نسل', 'جدید', 'فیلم', 'همشهری', 'کین', 'و', 'دیگر', 'آثار', 'اورسن', 'ولز', 'صحنه\\\\u200cهای', 'باشکوه', 'تئاتری', 'فیلم', 'را', 'مدنظر', 'قرار', 'می\\\\u200cدهند', 'و', 'از', 'آن', 'لذت', 'می\\\\u200cبرند', '،', 'چیزی', 'که', 'شاید', 'چندان', 'مورد', 'توجه', 'مخاطبین', 'نسل\\\\u200cهای', 'پیش', 'قرار', 'نمی\\\\u200cگرفت', 'چرا', 'که', 'آنها', 'به', 'کارگیری', 'سنت\\\\u200cهای', 'تئاتری', 'در', 'سینما', 'را', 'قبول', 'نداشتند', 'یا', 'شاید', 'هم', 'از', 'زیبایی', 'به', 'کارگیری', 'این', 'روش\\\\u200cها', 'بی', 'اطلاع', 'بودند', '.', 'اورسن', 'ولز', 'جوان', 'در', 'زمان', 'اکران', 'فیلم', 'به', 'زیاده', 'روی', 'و', 'افراط', 'در', 'به', 'کارگیری', 'شیوه\\\\u200cهای', 'نمایشی', 'متهم', 'شد', 'و', 'اکران', 'عمومی', 'فیلم', 'با', 'شکست', 'تجاری', 'مواجه', 'شد', '.', 'اما', 'برخی', 'از', 'طعنه\\\\u200cها', 'و', 'کنایه\\\\u200cهای', 'سیاسی', 'مطرح', 'شده', 'در', 'فیلم', 'چندان', 'برای', 'نسل', 'جوان', 'مخاطبین', 'فیلم', 'قابل', 'فهم', 'و', 'لمس', 'نیست', '،', 'مانند', 'آن', 'صحنه\\\\u200cای', 'که', 'کین', 'در', 'یک', 'صحنه', 'نمایش', '،', 'با', 'یک', 'سخنرانی', 'عوام', 'فریبانه', 'درباره', 'مصونیت', 'و', 'بخشودگی', 'کودکان', 'و', 'دانش', 'آموزان', 'فراری', 'و', 'ولگرد', 'با', 'تشویق', 'پرشور', 'آنان', 'مواجه', 'می\\\\u200cشود', '،', 'و', 'این', 'که', 'خود', 'تلمیحی', 'از', 'حقیقت', 'تاریخ', 'آن', 'دوران', 'است', '،', 'نمی\\\\u200cتواند', 'برای', 'تماشاگران', 'نسل', 'نو', 'نکته\\\\u200cای', 'جذاب', 'باشد', 'چرا', 'که', 'از', 'سوژه', 'اصلی', 'غافلند', '.', 'همشهری', 'کین', 'و', 'بسیاری', 'از', 'وقایع', 'فیلم', 'براساس', 'زندگی', 'مرد', 'قدرتمند', 'مطبوعات', 'ویلیام', 'راندولف', 'هرست', 'است', '،', 'کسی', 'که', 'با', 'اکران', 'عمومی', 'این', 'فیلم', 'مخالفت', 'شدیدی', 'ابراز', 'کرده_بود', '.', 'از', 'این', 'روست', 'که', 'میزان', 'تلاش', '،', 'جسارت', 'و', 'خطرپذیری', 'ولز', 'در', 'ساخت', 'این', 'اثر', 'بر', 'بسیاری', 'پوشیده', 'مانده_است', '.', 'حرفه', 'هرست', 'و', 'قدرت', 'او', '،', 'موضوع', 'خطرآفرینی', 'برای', 'ساخت', 'فیلم', 'با', 'محوریت', 'زندگی', 'شخصی', 'بود', '،', 'اما', 'شاید', 'این', 'خود', 'خالق', 'انگیزه\\\\u200cای', 'قوی', 'و', 'نیرویی', 'مضاعف', 'برای', 'دست', 'اندرکاران', 'این', 'فیلم', 'به', 'شمار', 'می\\\\u200cآمد', '.', 'بسیاری', 'نیز', 'در', 'این', 'اندیشه', 'بودند', 'که', 'در', 'حال', 'تکمیل', 'پروژه\\\\u200cای', 'هستند', 'که', 'با', 'ساخت', 'آن', 'درگیر', 'هیچ', 'مسئله', 'سیاسی', '_', 'اجتماعی', 'نخواهند_شد', 'و', 'برخی', 'خود', 'را', 'درگیر', 'سوژه\\\\u200cای', 'خطرآفرین', 'و', 'دشوار', 'می\\\\u200cدیدند', '،', 'اما', 'شاید', 'آنچه', 'از', 'همشهری', 'کین', 'اثر', 'جاودان', 'ساخته', 'همین', 'جسارت', 'در', 'پرداخت', 'به', 'شیوه\\\\u200cای', 'نوین', 'باشد', '.', 'به', 'قول', 'فرانسوا', 'تروفو', '،', 'همشهری', 'کین', 'فیلمی', 'متمایز', 'و', 'منحصر', 'به', 'فرد', 'است', '،', 'چرا', 'که', 'ولز', 'همچون', 'سایر', 'فیلمسازان', 'در', 'انتقال', 'مفاهیم', 'از', 'شیوه\\\\u200cهای', 'عادی', 'و', 'متداول', 'بهره', 'نبرده_است', '،', 'و', 'این', 'نکته', 'شایان', 'توجه', 'و', 'تامل', 'است', 'که', 'این', 'فیلم', 'از', 'معدود', 'آثار', 'آمریکایی', 'است', 'که', 'در', 'آزادی', 'کامل', 'ساخته_شده_است', 'منظور', 'از', 'آزادی', '،', 'عدم', 'مداخله', 'در', 'انتقال', 'موضوع', 'نیست', 'بلکه', 'این', 'آزادی', 'به', 'آن', 'معنا', 'است', 'که', 'همشهری', 'کین', 'عاری', 'از', 'هرگونه', 'روش\\\\u200cهای', 'کلیشه\\\\u200cای', 'و', 'تجربیات', 'متداول', 'فیلمسازان', 'پیشین', 'است', '.', 'جورج', 'جی', 'شفر', 'کسی', 'که', 'به', 'یاری', 'نلسون', 'راکفلر', 'به', 'مقام', 'Oریاست', '.', 'K', '.', 'R', 'رسید', '،', 'در', 'اواخر', 'سال', 'درحالی', '۱۹۳۸', 'که', 'با', 'ورشکستگی', 'دست', 'و', 'پنجه', 'نرم', 'می\\\\u200cکرد', 'برای', 'نجات', 'کمپانی', 'نیازمند', 'یک', 'معجزه', 'بود', '.', 'در', 'همین', 'سال\\\\u200cها', 'با', 'غوغاها', 'و', 'جنجال', 'هایی', 'که', 'در', 'اطراف', 'اورسن', 'ولز', 'به', 'پا', 'شده', '،', 'راکفلر', 'دریافت', 'که', 'او', 'می\\\\u200cتواند', 'با', 'اندیشه', 'نو', 'و', 'بدعت', 'گذارش', 'همه', 'چیز', 'را', 'دگرگون', 'کند', '.', 'از', 'این', 'رو', 'شفر', 'را', 'واداشت', 'تا', 'او', 'را', 'بیابد', '.', 'اما', 'ولز', 'که', 'شیفته', 'دنیای', 'تئاتر', 'بود', 'و', 'چندان', 'علاقه\\\\u200cای', 'به', 'سینما', 'نشان', 'نداده_بود', 'پیشنهاد', 'شفر', 'را', 'رد', 'کرد', 'و', 'هنگامی', 'این', 'پیشنهاد', 'را', 'پذیرفت', 'که', 'اختیار', 'تام', 'تولید', 'و', 'ساخت', 'را', 'به', 'او', 'واگذار', 'کند', 'و', 'سپس', 'ولز', 'از', 'نیویورک', 'به', 'هالیوود', 'رفت', 'و', 'گروه', 'تئاتر', 'مرکوری', 'و', 'عده\\\\u200cای', 'از', 'هنرپیشگان', 'و', 'همکاران', 'خود', 'را', 'به', 'همراه', 'برد', '،', 'و', 'چون', 'سابقه', 'فیلمسازی', 'در', 'هالیوود', 'را', 'نداشت', 'و', 'همچنین', 'باهوش', 'بود', 'و', 'جوان', 'و', 'دارای', 'اختیار', 'تام', 'و', 'آزادی', 'عمل', 'بود', 'توانست', 'ایده\\\\u200cهای', 'جدیدی', 'را', 'با', 'امکانات', 'بهینه', 'به', 'تصویر', 'درآورد', '.', 'بنابراین', 'معجزه', 'رخ', 'داد', '،', 'اما', 'نه', 'آن', 'معجزه\\\\u200cای', 'که', 'کمپانی', 'O', '.', 'K', '.', 'R', 'به', 'آن', 'احتیاج', 'داشت', '.', 'همشهری', 'کین', 'فیلمی', 'فوق', 'العاده', 'شد', '،', 'آنچه', 'که', 'سرشار', 'از', 'بدعت', '،', 'جذابیت', 'و', 'جامعیت', 'یک', 'فیلم', 'خوب', 'است', 'از', 'اورسن', 'ولز', 'برجای', 'ماند', 'و', 'چیزی', 'که', 'سالیان', 'سال', 'نسل\\\\u200cهای', 'آینده', 'را', 'نیز', 'راضی', 'و', 'سیراب', 'کرد', '.', 'روشن', 'است', 'که', 'دگرگونی', 'المان\\\\u200cهای', 'عادی', 'و', 'متداول', 'و', 'تبدیل', 'آنها', 'به', 'شاهکاری', 'مملو', 'از', 'عقاید', 'و', 'اندیشه\\\\u200cهای', 'نو', '،', 'غرورآفرین', 'خواهد_بود', '.', 'والتر', 'کر', 'Kerr', 'Walter', 'در', 'کتاب', 'بازبینی', 'تئاترهای', 'برادوی', 'از', 'سالیان', '۱۹۲۸', 'تا', '۱۹۶۹', 'به', 'نکته', 'بسیار', 'جالبی', 'اشاره', 'می\\\\u200cکند;', 'او', 'می\\\\u200cگوید', ':', 'در', 'آن', 'روزگاران', 'یک', 'نمایش', 'همچون', 'یک', 'ماشین', 'عمل', 'می\\\\u200cکرده', 'است', '،', 'ماشینی', 'که', 'از', 'هر', 'طریق', 'و', 'روش', 'چه', 'منطقی', '،', 'چه', 'دیوانه', 'وار', 'و', 'چه', 'توصیفی', 'مولد', 'شادی', 'و', 'شگفتی', 'توامان', 'با', 'ادراک', 'و', 'زیرکی', 'باشد', '.', 'اما', 'ساختار', 'و', 'متعاقبا', 'عملکرد', 'فیلم\\\\u200cها', 'کمتر', 'همانند', 'تئاترها', 'و', 'نمایش\\\\u200cها', 'شادی', 'آور', 'بوده\\\\u200cاند', '،', 'اما', 'همشهری', 'کین', 'دارای', 'اسکلتی', 'استوار', 'است', 'که', 'بسیار', 'زیرکانه', 'و', 'آگاهانه', 'طراحی', 'شده', 'که', 'تماشاگر', 'را', 'در', 'حین', 'سرگرم', 'کردن', 'و', 'سرخوش', 'ساختن', 'به', 'فکر', 'و', 'تامل', 'وامی', 'دارد', 'و', 'این', 'ویژگی', 'یک', 'هنر', 'واقعی', 'است', '.', 'آنچه', 'که', 'از', 'دیدگاه', 'ما', 'کمی', 'مضحک', 'به', 'نظر', 'می\\\\u200cرسد', 'آمیزش', 'دو', 'نکته', 'متضاد', 'در', 'ساختار', 'آثار', 'ولز', 'است', '،', 'یعنی', 'پدید', 'آوردن', 'موقعیتی', 'دشوار', 'و', 'سخت', 'برای', 'بیان', 'خشن', 'اهمال', 'و', 'سهل', 'انگاری', 'شخصیت', 'اصلی', 'اثر', 'در', 'شیوه', 'بیان', 'او', '.', 'ابزار', 'و', 'فناوری', 'چندان', 'بر', 'شیوه', 'نمایشی', 'و', 'تئاتری', 'فیلم', 'تاثیرگذار', 'نیستند', '،', 'اما', 'گویا', 'این', 'روند', 'بر', 'خود', 'او', 'و', 'شیوه', 'نگارش', 'او', 'تاثیر', 'گذارده', 'و', 'تمامی', 'ابعاد', 'وجودی', 'او', 'را', 'تحت', 'پوشش', 'قرار', 'می\\\\u200cدهد', 'اما', 'این', 'زبردستی', 'و', 'زیرکی', 'اوست', 'که', 'ما', 'را', 'با', 'وجود', 'آگاهی', 'مان', 'گاه', 'به', 'بازی', 'می\\\\u200cگیرد', '.', 'همشهری', 'کین', 'فیلمی', 'سرشار', 'از', 'نکات', 'تکنیکی', 'و', 'پرداختی', 'ماهرانه', 'و', 'زیرکانه', 'به', 'موضوعی', 'با', 'بن', 'مایه', 'اجتماعی', 'است', '.', 'طرح', 'اولیه', 'صحیح', 'و', 'بسط', 'و', 'گسترش', 'دقیق', 'در', 'نوشتن', 'فیلمنامه', 'و', 'ریزبینی', 'بر', 'نکات', 'حساس', '،', 'فیلمنامه', 'همشهری', 'کین', 'را', 'از', 'بهترین', 'نمونه\\\\u200cهای', 'این', 'دست', 'نیز', 'متمایز', 'و', 'برتر', 'می', 'سازد', '.', 'برای', 'بیان', 'و', 'توصیف', 'اینکه', 'چرا', 'یک', 'کار', 'هنری', 'فوق', 'العاده', 'و', 'برتر', 'است', 'گاه', 'کلمات', 'نمی\\\\u200cتوانند', 'ابزار', 'مناسبی', 'باشند', 'و', 'تشریح', 'دلایل', 'برتری', 'کاری', 'دشوار', 'می\\\\u200cنماید', '،', 'به', 'ویژه', 'اینکه', 'این', 'اثر', 'یک', 'فیلم', 'باشد', 'و', 'خصوصا', 'که', 'این', 'فیلم', 'همشهری', 'کین', 'باشد', '.', 'چرا', 'که', 'این', 'فیلم', 'یک', 'اثر', 'هنری', 'عمیق', 'و', 'زیبایی', 'شناسانه', 'نیست', 'بلکه', 'یک', 'کار', 'سطحی', 'است', 'یا', 'شاید', 'کلام', 'بهتر', 'این', 'باشد', 'که', 'همشهری', 'کین', 'یک', 'شاهکار', 'سطحی', 'است', '.', 'کسانی', 'که', 'درصدد', 'یافتن', 'نکاتی', 'ژرف', 'و', 'پنهان', 'در', 'روایت', 'این', 'فیلم', 'هستند', 'سخت', 'در', 'اشتباهند', 'و', 'شاید', 'در', 'کار', 'خود', 'طفره', 'می\\\\u200cروند', 'و', 'شاید', 'اینکه', 'می\\\\u200cخواهند', 'از', 'سادگی', 'و', 'بیان', 'روان', 'فیلم', 'پدیده\\\\u200cای', 'بغرنج', 'و', 'غیرقابل', 'فهم', 'بسازند', '.', 'و', 'این', 'روایت', 'خاص', 'همشهری', 'کین', 'است', 'که', 'این', 'فیلم', 'را', 'طی', 'سالیان', 'متمایز', 'از', 'سایر', 'فیلم\\\\u200cها', 'قرار', 'داده', 'و', 'نسل\\\\u200cهای', 'گوناگون', 'را', 'به', 'خود', 'جذب', 'کرده_است', 'و', 'به', 'این', 'دلیل', 'است', 'که', 'باید', 'آن', 'را', 'یک', 'شاهکار', 'دانست', 'چرا', 'که', 'همواره', 'تازگی', 'خود', 'را', 'حفظ', 'کرده', 'و', 'برای', 'هر', 'نسلی', 'نکته\\\\u200cای', 'برای', 'کشف', 'در', 'خود', 'گنجانیده', 'است', '،', 'چرا', 'که', 'برای', 'مردم', 'و', 'به', 'زبان', 'مردم', 'ساخته_شده_است', '.', 'فیلم', 'همشهری', 'کین', 'قهرمانی', 'مدرن', 'را', 'به', 'دنیای', 'قهرمانان', 'معرفی', 'می\\\\u200cکند', 'که', 'این', 'قهرمان', 'یک', 'انسان', 'نیست', 'بلکه', 'زمان', 'است', '،', 'و', 'این', 'بر', 'اهمیت', 'و', 'تازگی', 'فیلم', 'می\\\\u200cافزاید', '.', 'همشهری', 'کین', 'بیش', 'از', 'آنکه', 'یک', 'تراژدی', 'باشد', '،', 'کمدی', 'است', 'و', 'شاید', 'بهترین', 'توصیف', 'آن', 'کمدی', 'گوتیک', 'باشد', '.', 'همشهری', 'کین', 'یک', 'شاهکار', 'مردمی', 'و', 'عام', 'است', 'نه', 'به', 'دلیل', 'پرداخت', 'ساده', 'بلکه', 'به', 'دلیل', 'انتقال', 'روان', 'و', 'ساده', 'مفاهیم', 'و', 'آشکار', 'کردن', 'نکات', 'و', 'مفرح', 'ساختن', 'فیلم', 'اثری', 'بسیار', 'مردم', 'پسند', 'است', '.', 'هرچند', 'که', 'در', 'ابتدا', 'از', 'نظر', 'تجاری', 'با', 'شکست', 'مواجه', 'شد', 'اما', 'فیلم', 'تاثیر', 'عمیق', 'و', 'به', 'سزایی', 'بر', 'سینماگران', 'سراسر', 'جهان', 'باقی', 'گذارد', 'و', 'معیارها', 'و', 'ضوابط', 'تازه\\\\u200cای', 'در', 'ارزش\\\\u200cهای', 'سینمایی', 'به', 'وجود', 'آورد', '.', 'چرا', 'که', 'این', 'فیلم', 'در', 'عین', 'تماشاگرپسند', 'بودن', 'سرشار', 'از', 'نوآوری\\\\u200cهای', 'تکنیکی', 'بود', 'و', 'بهترین', 'وجه', 'این', 'فیلم', 'توصیف', 'شخصیت', 'کین', 'است', '،', 'که', 'در', 'نوع', 'خود', 'نیز', 'بسیار', 'تازه', 'و', 'جذاب', 'بوده_است', '.']\n",
      "['آستارا', 'در', 'تلاش', 'برای', 'مبدل', 'شدن', 'به', 'منطقه', 'ویژه', 'اقتصادی', 'در', 'شهرستان', 'مرزی', 'آستارا', '،', 'به', 'گونه\\\\u200cای', 'است', 'که', 'تبدیل', 'این', 'شهرستان', 'به', 'منطقه', 'ویژه', 'اقتصادی', '،', 'از', 'توجیه', 'کامل', 'برخوردار', 'است', '.', 'شهرستان', 'آستارا', 'در', 'شمال', 'استان', 'گیلان', 'و', 'مجاورت', 'جمهوری', 'آذربایجان', 'قرار', 'دارد', 'و', 'در', 'ده', 'سال', 'گذشته', 'فعال\\\\u200cترین', 'مبداصادراتی', '۷', 'در', 'شمال', 'کشور', 'بوده_است', '.', 'براساس', 'گزارش', 'ناظر', 'گمرکات', 'استان', 'گیلان', 'در', 'شش', 'ماه', 'نخست', 'امسال', '۲۳۹', 'هزار', 'و', '۶۷۹', 'تن', 'کالا', 'از', 'گمرک\\\\u200cهای', 'استان', 'گیلان', 'صادر', 'شده', 'که', 'از', 'این', 'مقدار', '۲۱۵', 'هزار', 'و', '۶۱۳', 'تن', 'از', 'گمرک', 'آستارا', 'و', 'بقیه', 'از', 'گمرک', 'انزلی', 'صادر', 'شده_است', '.', 'حجم', 'کلی', 'واردات', '،', 'صادرات', 'وترانزیت', 'کالا', 'از', 'مرز', 'آستارا', 'سالانه', 'به', 'یک', 'میلیون', 'تن', 'می\\\\u200cرسد', '.', 'آستارا', 'درگلوگاه', 'حساس', 'اقتصادی', 'کشور', 'قرار', 'دارد', 'و', 'از', 'تنها', 'راه', 'جلگه\\\\u200cای', 'غرب', 'دریای', 'خزر', '،', 'امکان', 'ارتباط', 'ایران', 'با', 'منطقه', '۲۵', 'میلیون', 'نفری', 'قفقاز', 'و', '۷۰', 'میلیون', 'نفری', 'غرب', 'جامعه', 'کشورهای', 'مستقل', 'را', 'فراهم', 'با', 'می\\\\u200cکند', 'نبود', 'این', 'گلوگاه', 'مهم', '،', 'بارهای', 'تجاری', 'ایران', 'باید', 'از', 'طریق', 'مرزهای', 'دوردست', 'شمال', 'غرب', 'کشور', 'یا', 'بندرهایی', 'مانند', 'انزلی', 'و', 'نوشهر', 'به', 'این', 'منطقه', 'صادر', 'می\\\\u200cشد', '.', 'کارشناسان', 'اقتصادی', 'تاکید', 'دارند', ':', 'با', 'برنامه\\\\u200cهای', 'مهم', 'عمرانی', 'دولت', 'در', 'تقویت', 'زیرساخت\\\\u200cهای', 'ترابری', 'آستارا', '،', 'این', 'منطقه', 'در', 'آینده', 'نزدیک', 'به', 'قطب', 'مهم', 'مبادلات', 'کالا', 'در', 'غرب', 'دریای', 'خزر', 'مبدل', 'خواهد_شد', '.', 'در', 'این', 'راستا', 'بندر', 'چند', 'منظوره', 'آستارا', 'به', 'سرعت', 'درحال', 'تکمیل', 'است', 'و', 'طی', 'مدت', 'کوتاهی', 'امکان', 'پذیرش', 'کشتی\\\\u200cهای', 'متوسط', 'باربری', 'را', 'خواهد_داشت', '.', 'علاوه', 'بر', 'این', 'براساس', 'توافق\\\\u200cهای', 'ماه', 'گذشته', 'تهران', 'و', 'باکو', '،', 'به', 'زودی', 'خط', 'آهن', 'جمهوری', 'آذربایجان', 'به', 'داخل', 'شهرستان', 'آستارای', 'ایران', 'امتداد', 'خواهد_یافت', 'و', 'با', 'این', 'کار', '،', 'این', 'منطقه', 'از', 'کشور', 'به', 'راه', 'آهن', 'سراسری', 'شوروی', 'سابق', 'متصل', 'خواهد_شد', '.', 'مسوولان', 'محلی', 'آستارا', 'تاکید', 'دارند', ':', 'این', 'شهرستان', 'باتوجه', 'به', 'سهولت', 'دسترسی', 'به', 'مناطق', 'غربی', '،', 'شرقی', 'و', 'مرکزی', 'ایران', 'می\\\\u200cتواند', 'به', 'بارانداز', 'و', 'محل', 'بسته', 'بندی', 'و', 'فرآوری', 'بارهای', 'فله', 'ایرانی', 'و', 'صدور', 'آنها', 'به', 'بازار', 'مستعد', 'همسایه\\\\u200cهای', 'شمالی', 'مبدل', 'شود', '.', 'در', 'این', 'راستا', 'هم', 'اکنون', 'نخستین', 'گام\\\\u200cها', 'برای', 'ایجاد', 'صنایع', 'بسته', 'بندی', 'عسل', 'در', 'این', 'شهرستان', 'که', 'در', 'قطب', 'بزرگ', 'تولید', 'این', 'محصول', 'قرار', 'دارد', '،', 'برداشته', 'شده_است', 'و', 'به', 'زودی', 'امکان', 'صدور', 'مناسب', 'آن', 'به', 'کشورهای', 'همسایه', 'براساس', 'سلیقه\\\\u200cهای', 'خریداران', 'فراهم', 'خواهد_شد', '.', 'در', 'حوزه', 'مرز', 'آستارا', 'هم', 'اکنون', 'دو', 'شهرک', 'صنعتی', 'نوبنیاد', 'آستارا', 'و', 'تالش', 'قرار', 'دارد', 'که', 'از', 'توان', 'بالقوه', 'آنها', 'می\\\\u200cتوان', 'برای', 'ایجاد', 'صنایع', 'مهمی', 'مانند', 'بسته', 'بندی', 'و', 'فرآوری', 'استفاده', 'کرد', '.', 'اهالی', 'آستارا', 'در', 'ده', 'سال', 'گذشته', 'راه', 'سختی', 'را', 'برای', 'شناسایی', 'و', 'گشودن', 'بازارهای', 'همسایگان', 'شمالی', 'پیموده\\\\u200cاند', 'و', 'وجود', 'هزار', 'شرکت', 'بازرگانی', 'و', 'حمل', 'و', 'نقل', 'خارجی', 'گواه', 'این', 'مدعا', 'است', '.', 'براساس', 'برنامه', 'ریزی\\\\u200cهای', 'مسوولان', 'ارشد', 'وزارت', 'راه', 'و', 'ترابری', '،', 'آستارا', 'یکی', 'از', 'مسیرهای', 'اصلی', 'گذر', 'راهرو', 'بین', 'المللی', 'شمال', '-', 'جنوب', 'است', 'و', 'با', 'چهار', 'بانده', 'شدن', 'جاده', 'آستارا', '-', 'رشت', '،', 'ایجاد', 'خط', 'آهن', 'قزوین', '-', 'آستارا', '،', 'ایجاد', 'اتوبان', 'آستارا', '-', 'باکو', 'و', 'امتداد', 'خطآهن', 'آذربایجان', '،', 'به', 'زودی', 'به', 'عنوان', 'یک', 'نقطه', 'اصلی', 'ترابری', 'کشور', 'نیز', 'مبدل', 'خواهد_شد', '.', 'این', 'شهرستان', 'همچنین', 'در', '۶۰', 'کیلومتری', 'جاده', 'ابریشمی', 'قرار', 'دارد', 'که', 'به', 'ابتکار', 'اتحادیه', 'اروپا', 'و', 'تحت', 'عنوان', 'تراسیکا', 'از', 'چین', 'تا', 'مرکز', 'اروپا', 'امتداد', 'یافته_است', '.', 'تراسیکا', 'از', 'چین', 'شروع', 'می', 'شود', 'و', 'با', 'عبور', 'از', 'آسیای', 'مرکزی', 'و', 'عرض', 'دریای', 'خزر', '،', 'وارد', 'قفقاز', 'شده', 'و', 'با', 'عبور', 'از', 'دریای', 'سیاه', 'به', 'اروپا', 'ختم', 'می\\\\u200cشود', '.', 'در', 'مسیر', 'تراسیکا', 'سالانه', 'میلیون\\\\u200cها', 'تن', 'بار', 'جابه', 'جا', 'می\\\\u200cشود', 'و', 'مرز', 'آستارا', 'در', 'میانه', 'این', 'مسیر', 'نیز', 'بدون', 'شک', 'مبداصدور', '۷', 'کالاهای', 'کشورمان', 'به', 'هر', 'دو', 'سمت', 'شرقی', 'و', 'غربی', 'این', 'شاهراه', 'جهانی', 'خواهد_بود', '.', 'آستارا', 'از', 'نقطه', 'نظر', 'حفاظت\\\\u200cهای', 'مناطق', 'ویژه', 'نیز', 'شرایط', 'خوبی', 'دارد', 'و', 'باتوجه', 'به', 'وجود', 'تنها', 'دو', 'مسیر', 'خروجی', 'داخلی', 'غربی', 'منتهی', 'به', 'اردبیل', 'و', 'جنوبی', 'منتهی', 'به', 'رشت', 'امکان', 'نظارت', 'و', 'جلوگیری', 'از', 'تخلفاتی', 'مانند', 'قاچاق', 'نیز', 'مهیاست', '.', 'کارشناسان', 'اقتصادی', 'هدف', 'عمده', 'ایجاد', 'مناطق', 'ویژه', 'اقتصادی', 'را', 'اعمال', 'گذشت\\\\u200cهای', 'ویژه', 'دولت', 'مرکزی', 'به', 'سرمایه', 'گذاران', 'در', 'وارد', 'کردن', 'مواد', 'اولیه', 'و', 'فرآوری', 'آنها', 'با', 'معافیت\\\\u200cهای', 'ویژه', 'عوارض', 'و', 'مالیات', '،', 'ایجاد', 'شرایط', 'رقابتی', 'بهتر', 'کالاهای', 'صادراتی', 'در', 'بازارهای', 'مصرفی', 'جهان', 'می\\\\u200cدانند', '.', 'به', 'گفته', 'آنها', 'این', 'مناطق', 'اقتصادی', 'می\\\\u200cتوانند', 'زمینه', 'جلب', 'سرمایه', 'گذاری', 'خارجی', 'را', 'از', 'طریق', 'ایجاد', 'شرکت\\\\u200cهای', 'مشترک', '،', 'رفع', 'معضل', 'بیکاری', 'از', 'طریق', 'توسعه', 'صنایع', 'کوچک', 'و', 'متوسط', 'و', 'آماده', 'شدن', 'برای', 'همگرایی', 'با', 'اقتصاد', 'جهانی', 'را', 'فراهم', 'کنند', '.', 'این', 'کارشناسان', 'تاکید', 'دارند', ':', 'مناطق', 'ویژه', 'اقتصادی', 'علاوه', 'بر', 'اجرای', 'سیاست\\\\u200cهای', 'صنعتی', 'دولت', 'مرکزی', 'می\\\\u200cتوانند', '،', 'الگوهای', 'محلی', 'توسعه', 'را', 'نیز', 'اجرا', 'کنند', 'و', 'همچنین', 'از', 'بارهای', 'سنگین', 'بودجه\\\\u200cای', 'دولت', 'مرکزی', 'برای', 'توسعه', 'بکاهند', '.', 'محمد', 'اخوان', '،', 'فرماندار', 'آستارا', 'می\\\\u200cگوید', ':', 'این', 'نقطه', 'استثنایی', 'کشور', 'از', 'تمام', 'شرایط', 'لازم', 'برای', 'مبدل', 'شدن', 'به', 'منطقه', 'ویژه', 'اقتصادی', 'برخوردار', 'است', 'و', 'توسعه', 'پایدار', 'صادرات', 'غیرنفتی', 'در', 'این', 'منطقه', 'در', 'ده', 'سال', 'گذشته', 'گواهی', 'بر', 'توان', 'عملیاتی', 'آن', 'است', '.', 'وی', 'گفت', ':', 'مسوولان', 'شهرستان', 'مرزی', 'آستارا', 'در', 'جریان', 'سفر', 'اخیر', 'آقای', 'محمد', 'خاتمی', '،', 'رئیس', 'جمهور', 'اسلامی', 'ایران', 'از', 'وی', 'مصرانه', 'خواستند', 'تا', 'زمینه', 'ایجاد', 'این', 'مهم', 'اقتصادی', 'را', 'فراهم', 'کند', '.', 'اخوان', 'تاکید', 'کرد', ':', 'بسیاری', 'از', 'اهالی', 'آستارا', 'که', 'در', 'دهه', 'گذشته', 'به', 'تجارت', 'با', 'همسایگان', 'شمالی', 'مشغول', 'بودند', '،', 'اکنون', 'به', 'شدت', 'به', 'فکر', 'جلب', 'سرمایه\\\\u200cهای', 'خود', 'در', 'امور', 'تولیدی', '-', 'صادراتی', 'هستند', 'و', 'بدون', 'شک', 'در', 'صورت', 'برآورده', 'شدن', 'خواسته', 'هایشان', 'سرمایه', 'گذاران', 'اصلی', 'در', 'موطنشان', 'خواهند_بود', '.']\n",
      "['کارشناسان', 'در', 'گفت', 'و', 'گو', 'با', 'همشهری', ':', 'کم', 'آبی', 'تهران', 'حتی', 'بابارش', 'کافی', 'هم', 'برطرف', 'نخواهد_شد', 'نمای', 'یکی', 'از', 'تصفیه', 'خانه\\\\u200cهای', 'تهران', '.', 'آب', 'تهران', 'به', 'دلیل', 'برخورداری', 'ازفرایند', 'پیچیده', 'و', 'پر', 'هزینه', '۹', 'بار', 'تصفیه', 'سازی', 'یکی', 'از', 'پاکترین', 'و', 'گرانترین', 'آبهای', 'آشامیدنی', 'در', 'شهرهای', 'بزرگ', 'جهان', 'به', 'شمار', 'می\\\\u200cآید', '.', 'اما', 'متاسفانه', 'این', 'آب', 'پاک', 'و', 'گرانبها', 'به', 'دلایل', 'گوناگون', 'به', 'هدر', 'می\\\\u200cرود', '*', 'براساس', 'اعلام', 'بانک', 'جهانی', '،', 'تهران', 'در', 'شمار', 'شهرهایی', 'قرار', 'دارد', 'که', 'در', 'مرز', 'بحران', 'کم', 'آبی', 'است', '*', 'اکنون', 'جمعیت', 'تهران', 'f', 'نزدیک', 'به', 'دو', 'برابر', 'ظرفیت', 'طبیعی', 'آن', 'است', 'و', 'همین', 'امر', 'موجب', 'می', 'شود', 'حتی', 'در', 'صورت', 'بارش', 'کافی', '،', 'باز', 'هم', 'این', 'شهر', 'با', 'مسئله', 'کم', 'آبی', 'مواجه', 'باشد', 'گروه', 'شهری', ':', 'بررسی', 'حجم', 'نهایی', 'منابع', 'تامین', 'آب', 'استان', 'تهران', 'بیانگر', 'آن', 'است', 'که', 'حتی', 'به', 'فرض', 'بارش', 'کافی', 'برف', 'و', 'باران', 'و', 'پربودن', 'مطلوب', 'این', 'منابع', '،', 'باز', 'هم', 'افزایش', 'بی', 'رویه', 'مصرف', 'آب', 'و', 'محدودیت', 'شبکه\\\\u200cهای', 'آبرسانی', 'موجب', 'خواهد_شد', 'تهران', 'با', 'بحران', 'کم', 'آبی', 'مواجه', 'باشد', '.', 'به', 'گزارش', 'خبرنگار', 'ما', 'با', 'توجه', 'به', 'همین', 'امر', '،', 'بانک', 'جهانی', '،', 'در', 'یکی', 'از', 'آخرین', 'گزارش\\\\u200cهای', 'خود', 'تاکید', 'کرده_است', 'تهران', 'از', 'جمله', 'شهرهایی', 'به', 'شمار', 'می\\\\u200cآید', 'که', 'در', 'مرز', 'بحران', 'کم', 'آبی', 'قرار', 'دارد', '.', 'مهندس', 'جمالی', 'فر', 'در', 'این', 'باره', 'به', 'خبرنگار', 'ما', 'گفت', ':', 'در', 'اولین', 'طرح', 'جامع', 'تهران', 'که', 'سال', '۱۳۴۵', 'تهیه', 'شده_بود', 'وسعت', 'نهایی', 'این', 'شهر', '۷۲۵', 'کیلومتر', 'مربع', 'و', 'حداکثر', 'جمعیت', '/۵', '۵آن', 'میلیون', 'نفر', 'پیش', 'بینی', 'شده_بود', 'در', 'حالی', 'که', 'هم', 'اکنون', 'وسعت', 'تهران', 'به', 'بیش', 'از', '۸۰۰', 'کیلومتر', 'مربع', 'رسیده', 'و', 'جمعیت', 'آن', 'در', 'روز', 'از', 'ده', 'میلیون', 'نفر', 'هم', 'افزون\\\\u200cتر', 'شده_است', '.', 'وی', 'تاکید', 'کرد', 'در', 'طرح', 'جامع', 'حوزه\\\\u200cهای', 'گسترش', 'فیزیکی', 'و', 'جمعیتی', 'تهران', 'برمبنای', 'توانمندی', 'منابع', 'طبیعی', 'آن', 'پیش', 'بینی', 'شده_بود', 'و', 'اکنون', 'رشد', 'مهارناپذیر', 'تهران', 'موجب', 'افزونی', 'نیازهای', 'این', 'شهر', 'نسبت', 'به', 'منابع', 'طبیعی', 'آن', 'شده_است', '.', 'وی', 'اشاره', 'کرد', 'در', 'سال\\\\u200cهای', 'اخیر', 'اغلب', '،', 'بارش', 'در', 'استان', 'تهران', 'کمتر', 'از', 'متوسط', 'سالانه', 'بوده_است', 'اما', 'قطعا', 'حتی', 'اگر', 'این', 'بارش', 'به', 'حد', 'کافی', 'برسد', '،', 'باز', 'با', 'توجه', 'به', 'عدم', 'تعادل', 'بین', 'نیازها', 'و', 'منابع', 'موجود', '،', 'تهران', 'دچار', 'کم', 'آبی', 'خواهد_بود', '.', 'خبرنگار', 'ما', 'در', 'گزارش', 'خود', 'می\\\\u200cافزاید', ':', 'با', 'درنظرگرفتن', 'رشد', '/۲', '۴جمعیت', 'درصد', 'شهر', 'تهران', 'در', 'سال', '۱۴۰۰', 'یعنی', 'کمتر', 'از', '۲۵', 'سال', 'آینده', 'جمعیتی', 'برابر', 'با', '۱۷', 'میلیون', 'نفر', 'خواهد_داشت', 'که', 'برای', 'تامین', '۱۷۰۰', 'میلیون', 'متر', 'مکعب', 'آب', 'آن', 'با', 'فرض', 'مصرف', 'سرانه', 'کمتر', 'از', '۲۸۰', 'لیتر', 'در', 'روز', 'تنها', 'می\\\\u200cتوان', 'کمتر', 'از', 'نصف', 'این', 'مقدار', 'را', 'از', 'سدهای', 'لار', '،', 'کن', 'و', 'لتیان', 'تامین', 'کرد', '.', 'از', 'سوی', 'دیگر', 'هزینه', 'استخراج', 'از', 'آبهای', 'سطحی', 'جدید', 'در', 'حوزه', 'آبریز', 'تهران', 'به', 'شدت', 'در', 'حال', 'افزایش', 'است', '،', 'زیرا', 'ساختگاه\\\\u200cهای', 'جدید', 'برای', 'ایجاد', 'سد', 'و', 'ذخیره', 'و', 'انتقال', 'آب', 'از', 'نظر', 'فنی', 'پیچیده', 'و', 'از', 'نظر', 'اقتصادی', 'پرهزینه', 'است', '.', 'همچنین', 'باید', 'توجه', 'داشت', 'که', 'هرگونه', 'انتقال', 'آب', 'از', 'حوزه\\\\u200cهای', 'اطراف', 'باعث', 'تخریب', 'بیشتر', 'کشاورزی', 'منطقه', 'خواهد_شد', '.', 'چنانکه', 'تاکنون', 'موجب', 'متروک', 'شدن', 'ده\\\\u200cها', 'روستا', 'در', 'اطراف', 'گرمسار', '،', 'ایوانکی', '،', 'شهریار', '،', 'کرج', 'و', '.', '.', 'و', 'مهاجرت', 'ساکنان', 'آنها', 'به', 'تهران', 'و', 'دیگر', 'شهرهای', 'همجوار', 'آن', 'شده_است', '.', 'علی', 'رضا', 'اسدی', 'کارشناس', 'جغرافیای', 'طبیعی', 'در', 'گفت', 'و', 'گو', 'با', 'خبرنگار', 'ما', 'ضمن', 'اشاره', 'به', 'میزان', 'آبدهی', 'هر', 'کدام', 'از', 'منابع', 'سطحی', 'و', 'زیرزمینی', 'تامین', 'آب', 'استان', 'تهران', 'گفت', ':', 'می\\\\u200cبایست', 'توجه', 'داشت', 'که', 'در', 'تهران', 'مشکل', 'دفع', 'فاضلاب', 'به', 'موازات', 'مسئله', 'کمبود', 'آب', 'است', '،', 'زیرا', 'با', 'توجه', 'به', 'نبود', 'سامانه', 'مناسب', 'دفع', 'فاضلاب', '،', 'می\\\\u200cبایست', 'به', 'هر', 'نحو', 'شده', 'میزان', 'مصرف', 'آب', 'شهر', 'را', 'کاهش', 'داد', 'وگرنه', 'موجب', 'آلودگی', 'افزون\\\\u200cتر', 'منابع', 'آب', 'و', 'خاک', 'حوزه', 'تهران', 'خواهد_شد', '.', 'وی', 'تاکید', 'کرد', 'همین', 'مسئله', 'نشان', 'می', 'دهد', 'معضل', 'کم', 'آبی', 'در', 'تهران', 'بیشتر', 'از', 'آنکه', 'ناشی', 'از', 'جریانات', 'اقلیمی', 'و', 'حجم', 'بارش', 'باشد', '،', 'برخاسته', 'از', 'توسعه', 'بی', 'رویه', 'و', 'برنامه', 'ریزی', 'نشده', 'این', 'شهر', 'است', '.', 'خبرنگار', 'ما', 'در', 'گزارش', 'خود', 'می\\\\u200cافزاید', 'کارشناسان', 'توصیه', 'می', 'کنند', 'شهروندان', 'برای', 'کاهش', 'مصرف', 'آب', 'این', 'روش\\\\u200cهای', 'ساده', 'را', 'مورد', 'توجه', 'قرار', 'دهند', ':', '-', 'استفاده', 'از', 'مخازن', 'کوچک', 'توالت\\\\u200cها', '،', 'با', 'استفاده', 'از', 'مخازن', 'لیتری', '۱۰', 'به', 'جای', 'مخازن', 'معمول', '۲۰', 'لیتری', 'مصرف', 'آب', 'تقریبا', 'نصف', 'می\\\\u200cشود', '.', '-', 'استفاده', 'از', 'سردوش\\\\u200cهای', 'مخصوص', 'در', 'این', 'استحمام', 'سردوش\\\\u200cها', 'که', 'دارای', 'فشار', 'زیاد', 'و', 'خروجی', 'کم', 'هستند', 'آب', 'خروجی', 'را', 'از', '۲۵', 'لیتر', 'در', 'دقیقه', 'به', '۱۰', 'لیتر', 'در', 'دقیقه', 'یا', 'کمتر', 'کاهش', 'می\\\\u200cدهند', '.', '-', 'استفاده', 'از', 'سرشیرهای', 'پودرکننده', 'آب', '.', 'با', 'استفاده', 'از', 'این', 'سرشیرها', 'در', 'آشپزخانه', 'می\\\\u200cتوان', 'مقدار', 'آب', 'خروجی', 'را', 'از', '۲۰', 'لیتر', 'در', 'دقیقه', 'به', '۱۰', 'لیتر', 'در', 'دقیقه', 'رساند', '.', 'بنابراین', 'برای', 'یک', 'خانوار', '۴', 'نفری', 'مقدار', 'آب', 'صرفه', 'جویی', 'شده', 'در', 'یک', 'ماه', 'لیتر', '۱۰۰۰', 'معادل', 'خواهد_حال', 'بود', 'اگر', 'ده', 'هزار', 'خانوار', 'از', 'این', 'وسیله', 'استفاده', 'نمایند', 'سالانه', '۱۳۲', 'میلیون', 'لیتر', 'آب', 'صرفه', 'جویی', 'خواهد_شد', '.', '-', 'تهیه', 'دستورالعمل', 'هایی', 'توسط', 'سازمان', 'آب', 'که', 'میزان', 'آب', 'مورد', 'نیاز', 'درختان', '،', 'گلها', 'و', 'گیاهان', 'تزئینی', 'را', 'به', 'شهروندان', 'تهرانی', 'معرفی', 'نماید', '.', 'با', 'انجام', 'این', 'کار', 'می\\\\u200cتوان', 'از', 'آب', 'اضافی', 'که', 'به', 'گیاهان', 'داده_می\\\\u200cشود', 'جلوگیری', 'و', 'درصد', '۵۲حداقل', 'در', 'مصرف', 'آب', 'فضای', 'سبز', 'صرفه', 'جویی', 'مصرف', 'کرد', 'آب', 'فضای', 'سبز', 'در', 'الگوی', 'مصرف', 'شهری', 'برابر', '۳۰', 'لیتر', 'در', 'روز', 'برای', 'هر', 'شهروند', 'در', 'حال', 'حاضر', 'و', '۳۵', 'لیتر', 'در', 'روز', 'برای', 'سال', '۱۳۹۵', 'در', 'نظر', 'گرفته_شده_است', '.', '-', 'معرفی', 'گونه', 'هایی', 'از', 'گیاهان', 'که', 'آب', 'کمتری', 'برای', 'رشد', 'نیاز', 'دارند', 'توسط', 'شرکتهای', 'گل', 'و', 'گیاه', 'وابسته', 'به', 'شهرداری', '.', 'موظف', 'کردن', 'ادارات', 'دولتی', 'و', 'شرکتهای', 'تابع', 'دولت', 'به', 'منظور', 'استفاده', 'از', 'این', 'گونه', 'گیاهان', 'در', 'ایجاد', 'فضای', 'سبز', 'محوطه', 'خود', '.', 'معرفی', 'این', 'گونه', 'گیاهان', 'در', 'فضای', 'سبز', 'می\\\\u200cتواند', 'تا', 'حدود', 'درصد', '۵۰در', 'مصرف', 'آب', 'مختص', 'فضای', 'سبز', 'عمومی', 'صرفه', 'جویی', 'کند', '.', '-', 'آموزش', 'همگانی', 'در', 'مصرف', 'بهینه', 'از', 'منابع', 'آب', 'و', 'صرفه', 'جویی', 'با', 'استفاده', 'از', 'روزنامه', '،', 'مجلات', '،', 'نشریه\\\\u200cها', 'و', 'پوسترهای', 'عمومی', '.', 'آموزش', 'کودکان', 'و', 'دانش', 'آموزان', 'از', 'طریق', 'رادیو', 'و', 'تلویزیون', 'و', 'مراکز', 'آموزشی', '.', '-', 'عوض', 'کردن', 'لوله\\\\u200cهای', 'فرسوده', 'و', 'ارزان', 'و', 'در', 'دسترس', 'قراردادن', 'واشرهای', 'شیر', 'آب', 'به', 'مشترکین', '.', 'چکه', 'کردن', 'و', 'نشت', 'آب', 'از', 'شیر', 'و', 'لوله\\\\u200cها', 'موجب', 'هدررفتن', 'بیش', 'از', '۲۰۰', 'لیتر', 'آب', 'در', 'هر', 'شبانه', 'روز', 'می\\\\u200cشود', '.']\n",
      "['فینال', 'فوتبال', 'جام', 'ملتهای', 'آمریکا', 'برزیل', 'بدون', 'روماریو', 'به', 'قهرمانی', 'می\\\\u200cاندیشد', '.', 'واحد', 'رسانه\\\\u200cهای', 'خارجی', ':', 'امشب', 'در', 'شهر', 'لاپاز', '،', 'فینال', 'سی', 'و', 'هشتمین', 'دوره', 'رقابتهای', 'فوتبال', 'جام', 'ملتهای', 'آمریکا', 'میان', 'دو', 'کشور', 'بولیوی', 'و', 'برزیل', 'برگزار', 'می\\\\u200cشود', '.', 'تیم', 'پرقدرت', 'برزیل', 'که', 'تنها', 'در', 'چهار', 'دوره', 'این', 'رقابتها', 'قهرمان', 'شده_است', 'قصد', 'دارد', 'برای', 'اولین', 'بار', 'در', 'خارج', 'از', 'خانه', 'صاحب', 'جام', 'قهرمانی', 'شود', '.', 'آخرین', 'باری', 'که', 'تیم', 'برزیل', 'قهرمان', 'جام', 'ملتها', 'شد', 'مربوط', 'به', 'سال', '۱۹۸۹', 'می\\\\u200cشود', '.', 'تیم', 'برزیل', 'در', 'این', 'دیدار', 'دو', 'مشکل', 'دارد', '،', 'آسیب', 'دیدگی', 'روماریو', 'و', 'ارتفاع', 'وحشتناک', 'شهر', 'لاپاز', '.', 'در', 'صورتیکه', 'روماریو', 'به', 'بازی', 'ادموندو', 'امشبنرسد', '،', 'مهاجم', 'تیم', 'واسکودوگاما', 'جانشین', 'وی', 'خواهد_شد', '.', 'ماریو', 'زاگالو', 'مربی', 'تیم', 'برزیل', 'در', 'مورد', 'بازی', 'امشب', 'می\\\\u200cگوید', ':', 'حریف', 'ما', 'در', 'بازی', 'فینال', 'تیم', 'بولیوی', 'است', 'نه', 'ارتفاع', '۳۶۰۰', 'متری', 'شهر', 'لاپاز', '.', 'بولیوی', 'هرگز', 'در', 'شهرهای', 'کم', 'ارتفاع', 'موفق', 'به', 'شکست', 'دادن', 'برزیل', 'نشده', 'و', 'در', 'دو', 'بازی', 'با', '۸', 'گل', 'مغلوب', 'این', 'تیم', 'شداما', 'چهار', 'سال', 'قبل', 'تیم', 'برزیل', 'در', 'شهر', 'لاپاز', 'در', 'چارچوب', 'رقابتهای', 'مقدماتی', 'جام', 'جهانی', '۱۹۹۴', 'آمریکا', 'مغلوب', 'تیم', 'بولیوی', 'شد', 'و', 'هنوز', 'خاطره', 'این', 'شکست', 'تلخ', 'در', 'ذهن', 'بازیکنان', 'برزیلی', 'باقی', 'است', '.', 'آخرین', 'باری', 'که', 'تیم', 'بولیوی', 'فاتح', 'این', 'رقابتها', 'شد', 'مربوط', 'به', 'سال', '۱۹۶۳', 'می', 'شود', 'که', 'در', 'آن', 'رقابتها', 'این', 'تیم', 'با', 'نتیجه', '۴', 'بر', '۳', 'تیم', 'برزیل', 'را', 'شکست', 'داد', '.']\n",
      "['محسن', 'نوربخش', ':', 'وزارت', 'اقتصاد', 'و', 'بانک', 'مرکزی', 'هیچ', 'اختلاف', 'نظری', 'ندارند', 'رئیس', 'کل', 'بانک', 'مرکزی', 'ایران', 'گفت', ':', 'سیاستهای', 'جدید', 'بانک', 'مرکزی', 'و', 'وزارت', 'امور', 'اقتصادی', 'و', 'دارایی', 'در', 'جهت', 'اصلاح', 'و', 'بازنگری', 'امور', 'و', 'شرایط', 'موجود', 'اقتصادی', 'کشور', 'می\\\\u200cباشد', '.', 'محسن', 'نوربخش', '،', 'در', 'گفتگو', 'با', 'ایسنا', '،', 'در', 'عین', 'حال', 'اصلاح', 'و', 'بازنگری', 'امور', 'را', 'به', 'معنای', 'مخالفت', 'ندانست', 'و', 'با', 'اشاره', 'به', 'اینکه', 'بین', 'وزارت', 'امور', 'اقتصادی', 'و', 'دارایی', 'و', 'بانک', 'مرکزی', 'هیچ', 'اختلاف', 'نظری', 'در', 'راستای', 'سیاستهای', 'اتخاذ', 'شده', 'و', 'برنامه\\\\u200cها', 'وجود', 'ندارد', '،', 'خاطرنشان', 'ساخت', ':', 'بانک', 'مرکزی', 'برنامه', 'سوم', 'را', 'مبنای', 'کار', 'خود', 'قرار', 'داده', 'و', 'به', 'عنوان', 'سیاستهای', 'کلی', 'در', 'بخش', 'اقتصادی', 'از', 'آن', 'بهره', 'می\\\\u200cگیرد', '.', 'رئیس', 'بانک', 'مرکزی', 'ایران', '،', 'هماهنگی', 'را', 'در', 'هر', 'بخشی', 'مفید', 'و', 'مناسب', 'دانست', 'و', 'تصریح', 'کرد', ':', 'هماهنگی', 'بیش', 'از', 'حد', 'دولت', 'و', 'بانک', 'مرکزی', 'موجبات', 'کاهش', 'رشد', 'اقتصادی', 'را', 'به', 'وجود', 'نیاورده', '،', 'بلکه', 'این', 'امر', 'نشان', 'از', 'این', 'دارد', 'که', 'بانک', 'مرکزی', 'سیاستها', 'و', 'برنامه\\\\u200cهای', 'دولت', 'را', 'هدف', 'قرار', 'داده', 'و', 'در', 'مسیر', 'درست', 'برنامه\\\\u200cها', 'و', 'اهداف', 'گام', 'برداشته', 'است', '.', 'به', 'اعتقاد', 'وی', 'هماهنگی', 'بین', 'سازمانها', 'و', 'نهادهای', 'دولت', 'در', 'هر', 'کشور', 'بر', 'اساس', 'سیاستهای', 'کلی', 'مصوب', 'مجامع', 'قانونی', 'هدف', 'بخشهای', 'مختلف', 'قرار', 'گرفته', 'که', 'در', 'این', 'راستا', 'بخشهای', 'مختلف', 'اقتصادی', 'نظام', 'نظیر', 'بانک', 'مرکزی', 'به', 'این', 'هدف', 'دست', 'یافته_است', '.', 'نوربخش', 'قوانین', 'مصوب', 'در', 'بودجه', 'سال', '۸۰', 'را', 'عامل', 'عدم', 'اقدام', 'سریع', 'بانک', 'مرکزی', 'درخصوص', 'تک', 'نرخی', 'شدن', 'ارز', 'دانست', 'و', 'گفت', ':', 'سیاست', 'تک', 'نرخی', 'شدن', 'ارز', 'براساس', 'قانون', 'بودجه', 'سال', '۸۰', 'به', 'عنوان', 'یک', 'تکلیف', 'قانونی', 'برای', 'سال', '۸۱', 'در', 'نظر', 'گرفته_شده_بود', 'که', 'بانک', 'مرکزی', 'موظف', 'است', 'این', 'طرح', 'را', 'در', 'همان', 'زمان', 'به', 'اجرا', 'درآورد', '،', 'زیرا', 'نمی\\\\u200cتواند', 'فراتر', 'از', 'قانون', 'عمل', 'کند', '.']\n",
      "['تجلیل', 'از', 'رتبه', 'اول', 'آزمون', 'سراسری', 'گروه', 'آزمایشی', 'علوم', 'ریاضی', 'و', 'فنی', 'گروه', 'علمی', 'فرهنگی', ':', 'به', 'منظور', 'تجلیل', 'از', 'سجاد', 'بنابی', 'نفر', 'اول', 'آزمون', 'سراسری', 'گروه', 'آزمایشی', 'علوم', 'ریاضی', 'و', 'فنی', '،', 'مراسم', 'باشکوهی', 'در', 'مسجدالنبی', 'دانشگاه', 'خواجه', 'نصیر', 'برگزار', 'شد', '.', 'به', 'گزارش', 'روابط', 'عمومی', 'دانشگاه', 'صنعتی', 'خواجه', 'نصیرالدین', 'طوسی', 'در', 'این', 'مراسم', 'دکتر', 'ظفرقندی', '،', 'شکوری', 'راد', 'نماینده', 'مردم', 'تهران', 'در', 'مجلس', 'شورای', 'اسلامی', 'و', 'تنی', 'چند', 'از', 'مسئولین', 'عالی', 'رتبه', 'کشور', 'حضور', 'داشتند', '.']\n"
     ]
    }
   ],
   "source": [
    "count = 0\n",
    "for i in tokens_train:\n",
    "    if \":\" in i:\n",
    "        count += 1\n",
    "        print(i)\n",
    "    if count > 20:\n",
    "        break\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 216,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "98595"
      ]
     },
     "execution_count": 216,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "count"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'امیری'"
      ]
     },
     "execution_count": 70,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tfidf.get_feature_names()[2001]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Economy\n",
      "نکته\\u200cها   coef:  7.442496074108143\n",
      "مسوولان   coef:  5.760101798182887\n",
      "پارسال   coef:  5.602589934262603\n",
      "جنان   coef:  5.508345825088189\n",
      "مسوول   coef:  5.414654198854963\n",
      "مثقال   coef:  5.247329777366754\n",
      "ستد   coef:  5.091769265951231\n",
      "دادوستد   coef:  5.085798092669646\n",
      "اوپک   coef:  5.043192036967042\n",
      "گذاری\\u200cهای   coef:  4.922812267943668\n",
      "Words with the most Negative Effect: \n",
      "سنندج   coef:  -3.6479055195935497\n",
      "ناطق   coef:  -3.4819080268591223\n",
      "اذان   coef:  -3.181028309532249\n",
      "===================\n",
      "Literature and Art\n",
      "نقاش   coef:  4.967871733480061\n",
      "تئاتری   coef:  4.71874468909102\n",
      "آثارش   coef:  4.475377988086324\n",
      "بیننده   coef:  4.211805222078013\n",
      "/تا   coef:  4.150480928917235\n",
      "نمایشنامه   coef:  4.076598786964643\n",
      "گالری   coef:  4.053650113401888\n",
      "فیلمساز   coef:  3.922951580172431\n",
      "فیلمبرداری   coef:  3.9106712857149826\n",
      "جشنواره\\u200cهای   coef:  3.834998667012885\n",
      "Words with the most Negative Effect: \n",
      "قرآنی   coef:  -2.025272706194635\n",
      "تقاطع   coef:  -2.011963140912307\n",
      "پرسپولیس   coef:  -1.7389358908435975\n",
      "===================\n",
      "Miscellaneous\n",
      "روزنفلد   coef:  6.231216239459813\n",
      "بگردیم   coef:  4.9936497627027014\n",
      "محفوظ   coef:  4.900941030704036\n",
      "نقدروز   coef:  4.767275320382865\n",
      "فرحناز   coef:  4.663626366172954\n",
      "تندرست   coef:  4.603138258035635\n",
      "۲۰۵۸۸۱۱   coef:  4.513315159365553\n",
      "برپاست   coef:  4.438231982343964\n",
      "دارآباد   coef:  4.328143985078919\n",
      "الویری   coef:  4.145576446143284\n",
      "Words with the most Negative Effect: \n",
      "مسوولان   coef:  -5.702213405264014\n",
      "خرازی   coef:  -5.475282696503412\n",
      "شاهرودی   coef:  -4.566723495922948\n",
      "===================\n",
      "Natural Environment\n",
      "جانوران   coef:  4.098932845406975\n",
      "اقلیمی   coef:  3.8040633118178864\n",
      "ژنتیکی   coef:  3.4880581280462923\n",
      "موجودات   coef:  3.422696736184131\n",
      "زیستی   coef:  3.4129705547234823\n",
      "گازهای   coef:  3.3725226428228856\n",
      "آمازون   coef:  3.0551209383673497\n",
      "دریاچه   coef:  3.003533949330735\n",
      "جنگلها   coef:  2.9129685484030245\n",
      "زمین\\u200cهای   coef:  2.827923336434225\n",
      "Words with the most Negative Effect: \n",
      "اذان   coef:  -0.8661071834575241\n",
      "اوپک   coef:  -0.8138550377934808\n",
      "زادوولد   coef:  -0.7558866886292721\n",
      "===================\n",
      "Politics\n",
      "خرازی   coef:  7.479747148058064\n",
      "ناطق   coef:  7.052717390860602\n",
      "واخبار   coef:  6.081287097648382\n",
      "راهروهای   coef:  5.671874448259791\n",
      "آصفی   coef:  5.533777276180435\n",
      "انتخابیه   coef:  5.367788468093752\n",
      "شاهرودی   coef:  5.189407858103483\n",
      "کروبی   coef:  5.0398730993059475\n",
      "امورخارجه   coef:  4.961524019819491\n",
      "لاری   coef:  4.890462638335969\n",
      "Words with the most Negative Effect: \n",
      "فرحناز   coef:  -3.231455840405021\n",
      "پارسال   coef:  -2.5193650945938484\n",
      "نقدروز   coef:  -2.5027314538738956\n",
      "===================\n",
      "Science and Culture\n",
      "اشاره;   coef:  5.359053157295841\n",
      "/نسخه   coef:  4.952503407353428\n",
      "مسجدجامعی   coef:  4.898673296281947\n",
      "کاوش   coef:  4.70451232701567\n",
      "پرورشی   coef:  4.51242462862834\n",
      "مظفر   coef:  4.448759270470345\n",
      "فرهنگیان   coef:  4.4087078073466115\n",
      "قاجار   coef:  4.2736862350392535\n",
      "جامعی   coef:  4.149828564518171\n",
      "دانشگاهیان   coef:  4.13841932731205\n",
      "Words with the most Negative Effect: \n",
      "روزنفلد   coef:  -3.4463251188259694\n",
      "دارآباد   coef:  -2.9583380339231584\n",
      "برپاست   coef:  -2.7440816862526427\n",
      "===================\n",
      "Social\n",
      "۱۴۱۰   coef:  5.317491090051808\n",
      "مدیرمسئول   coef:  5.049613714252132\n",
      "ارغنده   coef:  4.846113434194355\n",
      "شجاعی   coef:  4.785144798714909\n",
      "سانحه   coef:  4.7108061167352355\n",
      "یونیسف   coef:  4.696798426927996\n",
      "جنسی   coef:  4.638428596651547\n",
      "زنانی   coef:  4.4078270048010975\n",
      "ماهنامه   coef:  4.2250527717416695\n",
      "کودکانی   coef:  4.1579316574948235\n",
      "Words with the most Negative Effect: \n",
      "اذان   coef:  -2.353761395228327\n",
      "خبرگان   coef:  -2.3515211871339514\n",
      "سنندج   coef:  -2.2026372537797623\n",
      "===================\n",
      "Sport\n",
      "مربیگری   coef:  7.923546421471825\n",
      "باشگاه\\u200cهای   coef:  7.480944106364877\n",
      "تدارکاتی   coef:  7.254561168678924\n",
      "کنفدراسیون   coef:  7.184266596834217\n",
      "پرسپولیس   coef:  7.064857438114754\n",
      "فیفا   coef:  6.599792260997624\n",
      "پیکارهای   coef:  6.482284059869323\n",
      "پوشان   coef:  6.3709788262250795\n",
      "بسکتبال   coef:  6.302506934265109\n",
      "فرنگی   coef:  6.291388801967442\n",
      "Words with the most Negative Effect: \n",
      "اذان   coef:  -2.6489822546246695\n",
      "اوپک   coef:  -2.398151809030282\n",
      "خرازی   coef:  -2.3668684373843907\n",
      "===================\n",
      "Tourism\n",
      "گردشگران   coef:  6.437786161800126\n",
      "جهانگردی   coef:  5.219178884800009\n",
      "مسافرتی   coef:  4.793849316781567\n",
      "توریسم   coef:  4.161973149897635\n",
      "مسوولان   coef:  3.4700465272779644\n",
      "تورهای   coef:  3.3464524107488747\n",
      "هتل\\u200cها   coef:  3.2096659764855944\n",
      "تعطیلات   coef:  3.1639209161827138\n",
      "نوروزی   coef:  3.0673586141859035\n",
      "گردشگر   coef:  2.952315709491172\n",
      "Words with the most Negative Effect: \n",
      "معزالدین   coef:  -1.379831145568866\n",
      "هتلها   coef:  -0.5009376539249506\n",
      "اذان   coef:  -0.47847756192641516\n",
      "===================\n"
     ]
    }
   ],
   "source": [
    "for j in range(9):\n",
    "    print(label_encoder.classes_[j])\n",
    "    for i in lr.coef_[j].argsort()[-10:][::-1]:\n",
    "        print (tfidf.get_feature_names()[i], \"  coef: \", lr.coef_[j][i])\n",
    "    print('Words with the most Negative Effect: ')\n",
    "    for i in lr.coef_[j].argsort()[:3]:\n",
    "        print (tfidf.get_feature_names()[i], \"  coef: \", lr.coef_[j][i])\n",
    "    print('===================')\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Tokenize and make ready examples"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 302,
   "metadata": {},
   "outputs": [],
   "source": [
    "sample1 = \"\"\"\n",
    "به گزارش همشهریآنلاین به نقل از شرق،  «در بعضی جاها اختیار رئیس‌جمهور از اختیار یک شهروند عادی کمتر است... لوایح دوگانه حداقل‌هایی است که باید باشد... بدون رعایت روح لوایح، دیگر رئیس‌جمهور خیلی کاره‌ای نیست». این جملات سیدمحمد خاتمی در روزهایی بیان شد که لوایح دوگانه پیشنهادی‌اش بین شورای نگهبان و مجلس در رفت‌وآمد بود؛ لوایحی که به اعتقاد برخی از صاحب‌نظران برای اجرای قانون اساسی و رعایت حقوق ملت لازم و ضروری بود و البته مخالفان نیز معتقد بودند این لوایح، مشکلی از مشکلات مردم را حل نمی‌کند و نباید به ‌دنبال اضافه‌کردن اختیارات رئیس‌جمهور بود.‌\n",
    "\n",
    "حالا اما باز هم انگار تاریخ تکرار می‌شود و باز هم رئیس‌جمهوری دیگر از کمبود اختیاراتش حرف می‌زند و بار دیگر بحث‌ها و نظرها در مجلس، شورای نگهبان و احزاب و گروه‌های سیاسی بر سر اصلاح‌ قانون انتخابات داغ است و جالب‌تر از اینها روایتی است که اخیرا علی صوفی، فعال سیاسی اصلاح‌طلب در گفت‌وگو با «برنا» درباره موضع محمد یزدی در مواجهه با لوایح دوقلو بیان کرده است: «فردی از مرحوم آیت‌الله یزدی خاطره جالبی نقل کرده است. وقتی آقای خاتمی لایحه دوقلوی انتخابات را به مجلس داده است یکی از موارد این بوده که ببینند مسئول اجرای قانون اساسی در کشور که در قانون اساسی، رئیس‌جمهور نام برده شده شامل همه اصول قانون اساسی می‌شود یا نه؟ آقای یزدی گفته است که مسلم است که شامل همه‌چیز می‌شود. گفته‌اند پس چرا شما در شورای نگهبان رد کرده‌اید، گفته‌اند چون آقای خاتمی سؤال کرد!».\n",
    "\n",
    "ماجرای لوایح دوقلو و حواشی آن\n",
    "\n",
    "سیدمحمد خاتمی پس از انتخاب مجددش به‌عنوان رئیس‌جمهور در ۱۸ خرداد سال ۱۳۸۰، لایحه‌ای که سال‌ها پیش، یعنی در تاریخ ۲۲ آبان ۶۵، با عنوان اصلاح مواد فصل دوم قانون تعیین حدود وظایف و اختیارات ریاست‌جمهوری اسلامی ایران آماده شده بود، بار دیگر مورد توجه قرار گرفت و دولت در تاریخ ۲۷ شهریور ۸۱ آن را تصویب کرد. خاتمی تصمیم گرفت تمام تلاش خود را برای تبیین اختیارات رئیس‌جمهور و اصلاح قانون انتخابات در قالب دو لایحه به کار بگیرد؛ لوایحی که بعدها لوایح دوگانه رئیس‌جمهور و مهم‌ترین لوایح دولت خاتمی در هشت سال ریاست‌جمهوری او لقب گرفت. دولت این لوایح را تقدیم مجلس کرد، اما بین مجلس و شورای نگهبان بارها در رفت‌وآمد گرفتار شد.\n",
    "\n",
    "خاتمی پیش از رد مجدد لوایح در شورای نگهبان گفته بود لایحه تبیین اختیارات «اگر تصویب نشود، دیگر رئیس‌جمهوری آن نیست که قانون اساسی معین کرده و مردم باید بدانند که به چه رئیس‌جمهوری رأی می‌دهند و چه توقعی از او دارند»؛ خاتمی لایحه اصلاح قانون انتخابات را نیز برای تثبیت حق مسلم مردم و اهتمام به آن می‌دانست، آن‌طوری‌که مورد نظر جمهوری اسلامی ایران است.\n",
    "\"\"\"\n",
    "# A sample  of political newsfrom 27 December https://www.hamshahrionline.ir/news/575438/%D8%A7%D8%AE%D8%AA%DB%8C%D8%A7%D8%B1%D8%A7%D8%AA-%D8%B1%D8%A6%DB%8C%D8%B3-%D8%AC%D9%85%D9%87%D9%88%D8%B1-%D8%A7%D8%B2-%D9%84%D9%88%D8%A7%DB%8C%D8%AD-%D8%AF%D9%88%D9%82%D9%84%D9%88%DB%8C-%D8%AE%D8%A7%D8%AA%D9%85%DB%8C-%D8%AA%D8%A7-%DA%AF%D9%84%D8%A7%DB%8C%D9%87-%D9%87%D8%A7%DB%8C-%D8%B1%D9%88%D8%AD%D8%A7%D9%86%DB%8C\n",
    "# A sample  of social news  from 27 December https://www.hamshahrionline.ir/news/575642/%D9%88%D8%A7%DA%A9%D9%86%D8%B4-%D8%AA%D9%86%D8%AF-%D8%A7%D8%A8%D8%AA%DA%A9%D8%A7%D8%B1-%D8%A8%D9%87-%D9%85%D8%B4%D8%A7%D9%88%D8%B1-%D9%88%D8%B2%DB%8C%D8%B1-%D8%A8%D9%87%D8%AF%D8%A7%D8%B4%D8%AA-%D8%AE%D9%88%D8%AF%D8%AA%D8%A7%D9%86-%D8%AD%D8%A7%D8%B6%D8%B1%DB%8C%D8%AF-%D8%AF%D8%AE%D8%AA%D8%B1-%D8%AE%D8%B1%D8%AF%D8%B3%D8%A7%D9%84%D8%AA%D8%A7%D9%86\n",
    "sample2 = \"\"\"\n",
    "معاون رئیس‌جمهوری در امور زنان و خانواده با تاکید بر اینکه «به هیچ عنوان به دنبال تعیین سن ازدواج یا افزایش سن ازدواج به بالای ۱۸ سال نیستیم» از موافقان کودک‌همسری پرسید که آیا حاضرند دخترکان خود را به عقد و ازدواج مردان سن بالا درآورند؟\n",
    "معصومه ابتکار\n",
    "\n",
    "به گزارش همشهری آنلاین به نقل از ایرنا، معصومه ابتکار معاون رئیس‌جمهوری در امور زنان و خانواده گفت: در فرهنگ ایرانی- اسلامی موضوع ازدواج سالم یکی از مسائل مهم است که پیمایش‌های صورت‌گرفته از میزان تمایل خانواده های ایرانی به امر ازدواج، تاییدکننده این موضوع است، چنانچه شاهدیم که شرایط کرونا و وضعیت کنونی هم مانع امر ازدواج نشده است.\n",
    "\n",
    "وی ادامه داد: ازدواج در فرهنگ دینی هم بسیار مورد توجه قرار گرفته و آیات قرآن کریم تاکید بر این دارند که ازدواج در سن و شرایط مناسب باید صورت گیرد. ضمن اینکه در احادیث هم تاکید شده که دوره کودکی را از کودکان دریغ نکنید که یکی از روش‌های دریغ کردن دوره کودکی این است که آنها را زیر سن قانونی و کودکی وادار به ازدواج کنیم.\n",
    "\n",
    "معاون رئیس جمهوری در امور زنان و خانواده درباره پیامدهای کودک همسری اظهار کرد: از جمله پیامدهای  ازدواج در دوره ای که کودک به سن رشدی که قرآن کریم بر آن تاکید دارد نرسیده، این است که هیچگونه اشراف و تشخیص نسبت به ازدواج ندارد، افزون بر اینکه از حقوق مدنی کافی همچون باز کردن حساب بانکی یا در راهروهای دادگاه به دنبال حق و حقوق خود رفتن برخوردار نیست.\n",
    "\n",
    "وی یادآور شد: وقتی رشد فیزیولوژی و جسمی دختر اتفاق نیفتاده باشد، آسیب های بسیار زیادی از لحاظ بهداشتی خواهد دید که خطرناک است.\n",
    "\n",
    "دراین‌باره ببینید؛ اظهارات جنجالی مشاور وزیر بهداشت درباره انتقادات به کودک‌ همسری: مزخرفات است\n",
    "\n",
    "ابتکار گفت: خوشبختانه در حال حاضر قانون حمایت از اطفال و نوجوانان در موضوع حقوق کودک راهگشا و کمک کننده است، تصریح کرد: مباحثی هم روی موضوع سن ازدواج مطرح شده و موضع گیری و نگاه و فتاوی بزرگان و مراجع عالیقدر بر آن بسیار قابل توجه است. از جمله آیت الله مکارم شیرازی به صراحت عقد کودک زیر ۱۳ سال را باطل اعلام کردند. همچنین رهبر معظم انقلاب به صراحت به موضوع کودک همسری واکنش نشان داده و فرموده اند که واداشتن دختران کم سن و سال به ازدواج، حرکتی در جهت تضعیف زن و نادیده گرفتن حقوق اوست و قانون باید با آن مقابله کند و زنان نیز با آگاهی، هوشیاری و رشد و معرفت خود در مقابل این گونه تعدیات بایستند.\n",
    "\n",
    "به گفته وی، آنچه معاونت هم بر آن تاکید دارد ازدواج در سن قانونی ۱۳ سال به بالا و پیشگیری از ۳۰ هزار ازدواج زیر سن قانونی و کودک همسری در سال است؛ شاید عنوان شود رقم آنچنانی نیست اما معتقدیم یک مورد کودک همسری هم زیان بار و اشتباه است.   \n",
    "\n",
    "    کودک‌همسری بازیچه سیاسی شده است\n",
    "\n",
    "ابتکار گفت: سیاست ما، تشویق جوانان به امر ازدواج در سن مناسب است، پیشنهاد و تاکید ما ممنوع شدن ازدواج زیر ۱۳ سال است؛ به این معنا که تبصره و هر راه یا مسیری که مجوز ازدواج زیر ۱۳ سال را می دهد حذف شود.\n",
    "\n",
    "معاون رئیس جمهوری تاکید کرد: به هیچ عنوان به دنبال تعیین سن ازدواج یا افزایش سن ازدواج به بالای ۱۸ سال نیستیم، تصریح کرد: معتقدیم دختر اگر شرایط لازم برای ازدواج را داراست، این امر می تواند در سن بالای ۱۳ سال اتفاق بیافتد.\n",
    "\n",
    "وی از موضع‌گیری مخالفان که اقدامات پیشگیری از کودک‌همسری را امنیتی و سیاسی می کنند، گلایه کرد و توضیح داد: فقط باید به نگاه مخالفان خندید و تاسف خورد که یک معضل واقعی جامعه که باید مسئولانه در قبال آن موضع‌گیری شود، به یک بازیچه سیاسی در دست عده‌ای برای کوبیدن عده‌ای دیگر تبدیل شده است.\n",
    "\n",
    "ابتکار گفت: باید از مخالفان این موضوع پرسید که آیا حاضر هستید دخترکان خود را به عقد و ازدواج مردان سن بالا درآورید؟ باید از این افراد پرسید چطور یک کودک زیر سن قانونی نمی تواند حساب بانکی، حق رای و گواهینامه داشته باشد اما برای امر مهم ازدواج توانایی دارد؟  \n",
    "\n",
    "او با تاکید بر اینکه کودک‌همسری دغدغه علما و مراجع و بسیاری از صاحبنظران فرهنگی و اجتماعی است که باید همه برای پیشگیری از آن تلاش کنیم، افزود: وجدان عمومی جامعه هم اجازه چنین موضوعی را نمی‌دهد. توجه و تاکید دولت هم این است که ازدواج بین ۱۳ تا ۱۵ زیر نظر خانواده و قاضی امکانپذیر باشد و ۱۳ سال به پایین کلا متوقف شود.\n",
    "\"\"\"\n",
    "\n",
    "# A sample of economic news from 27 December  https://www.hamshahrionline.ir/news/575516/%D9%87%D8%B4%D8%AF%D8%A7%D8%B1-%D8%B3%DB%8C%D8%A7%D8%B3%DB%8C-%D8%A8%D9%87-%D8%A8%D8%A7%D8%B2%D8%A7%D8%B1-%D8%B3%DA%A9%D9%87-%D9%81%D9%84%D8%B2-%DA%AF%D8%B1%D8%A7%D9%86%D8%A8%D9%87%D8%A7%DB%8C-%D8%AF%D8%A7%D8%AE%D9%84%DB%8C-%D8%A8%D8%A7-%D8%AF%D9%84%D8%A7%D8%B1-%D8%AD%D8%B1%DA%A9%D8%AA-%D8%AE%D9%88%D8%A7%D9%87%D8%AF\n",
    "sample3 = \"\"\"\n",
    "هشدار سیاسی به بازار سکه | فلز گرانبهای داخلی با دلار حرکت خواهد کرد؟\n",
    "\n",
    "\n",
    "سکه برای اینکه با سرعت زیادی افزایشی شود، سه مانع را در مقابل خود می بیند.\n",
    "سكه هوم پيج\n",
    "\n",
    "به گزارش همشهری آنلاین به نقل از اقتصادنیوز، «وضعیت هشدار در بغداد به بالاترین سطح خود رسیده است». خبرهایی مشابه با این عنوان، از اواخر روز جمعه، به میزان زیادی در کانال های اطلاع رسانی معامله گران منتشر شد. طبیعتا هدف از انتشار وسیع این اخبار این بود که سطح نگرانی معامله گران بالا رود و خریدهای سکه و ارز افزایش پیدا کند.  \n",
    "\n",
    "    آخرین قیمت طلا و انواع سکه در بازار | حباب سکه چقدر شد؟\n",
    "\n",
    "با این حال، قیمت سکه برای اینکه با سرعت زیادی افزایشی شود، سه مانع را در مقابل خود می بیند. اولین مانع، حباب این فلز گران بهاست؛ فلز گران بهای داخلی در انتهای هفته گذشته حدود ۵۰۰ هزار تومان حباب داشت و در واقع نزدیک به ۵ درصد بالاتر از ارزش ذاتی خود معامله می شد.\n",
    "\n",
    "دومین مانع برای قیمت سکه، افزایش فروش ها در نزدیکی محدوده ۱۲ میلیون و ۲۰۰ هزار تومانی است. به عبارت دیگر، ممکن است سکه در واکنش به اخبار و نگرانی های سیاسی حتی به بالای ۱۲ میلیون تومان برود، ولی برای عبور از مقاومت ۱۲ میلیون و ۲۰۰ هزار تومان دشواری های زیادی دارد.\n",
    "\n",
    "    سکه وارد کانال ۱۲ میلیونی شد | جدیدترین قیمت طلا و انواع سکه در ۴ دیماه ۹۹\n",
    "\n",
    "سومین مانع سکه، تعطیلی بازار طلای جهانی است؛ این مساله موجب می شود که سکه بیشتر از همیشه به روند دلار متکی باشد. اسکناس آمریکایی هم به طور خاص در چهار هفته اخیر، توان عبور از سطح ۲۶ هزار و ۳۰۰ تومان را نداشته است، در نتیجه برای بازیگران بازار سکه دشوار است که با تکیه بر متغیر دلار بخواهند خریدهای خود را بسیار شدت ببخشند.\n",
    "\n",
    "به گفته برخی فعالان، ممکن است سکه در واکنش به نگرانی های سیاسی تا حدی افزایشی شود، ولی نمی توان گفت که این افزایش باعث ثبت رکوردهای جدید در بازار شود. اگر تنش ها در عراق ادامه پیدا نکند، حتی احتمال افت سکه نیز وجود خواهد داشت.\n",
    "\"\"\"\n",
    "# A sample of sports news from 27 December \n",
    "sample4 = \"\"\"\n",
    "\n",
    "نگرانی بزرگ محمود فکری؛ وضعیت مبهم سه ستاره استقلال برای دربی\n",
    "\n",
    "۳ستاره آبی ها با توجه به اظهارنظر کادرپزشکی و صحبت‌هایی که امروز محمود فکری انجام داده به دیدار روز چهارشنبه ۱۰ دیماه با گل‌گهر سیرجان نخواهند رسید.\n",
    "استقلال\n",
    "\n",
    "به گزارش همشهری آنلاین اگرچه امروز دیاباته درتمرینات گروهی استقلال حاضر شد اما گفته می شود فکری در مورد این بازیکن ریسک نخواهد و او را برابر گل گهر به میدان نخواهد فرستاد تا مهاجم آبی ها در صورت رسیدن به آمادگی کامل مهیای دربی شود.. به جز دیاباته دو بازیکن دیگر اسقلال هم تقریبا همین شرایط را دارند.  داریوش شجاعیان و محمد نادری ۲ بازیکن مصدوم استقلال هستند که اگرچه در تمرینات حضور دارند اما هنوز شرایط بازی کردن را پیدا نکرده‌اند و مشخص نیست این امکان را چه زمانی به دست خواهند آورد.\n",
    "\n",
    "۳ستاره آبی ها با توجه به اظهارنظر کادرپزشکی و صحبت‌هایی که امروز محمود فکری انجام داده به دیدار روز چهارشنبه ۱۰ دیماه با گل‌گهر سیرجان نخواهند رسید.\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 303,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "به گزارش همشهریآنلاین به نقل از شرق،  «در بعضی جاها اختیار رئیس‌جمهور از اختیار یک شهروند عادی کمتر است... لوایح دوگانه حداقل‌هایی است که باید باشد... بدون رعایت روح لوایح، دیگر رئیس‌جمهور خیلی کاره‌ای نیست». این جملات سیدمحمد خاتمی در روزهایی بیان شد که لوایح دوگانه پیشنهادی‌اش بین شورای نگهبان و مجلس در رفت‌وآمد بود؛ لوایحی که به اعتقاد برخی از صاحب‌نظران برای اجرای قانون اساسی و رعایت حقوق ملت لازم و ضروری بود و البته مخالفان نیز معتقد بودند این لوایح، مشکلی از مشکلات مردم را حل نمی‌کند و نباید به ‌دنبال اضافه‌کردن اختیارات رئیس‌جمهور بود.‌\n",
      "\n",
      "حالا اما باز هم انگار تاریخ تکرار می‌شود و باز هم رئیس‌جمهوری دیگر از کمبود اختیاراتش حرف می‌زند و بار دیگر بحث‌ها و نظرها در مجلس، شورای نگهبان و احزاب و گروه‌های سیاسی بر سر اصلاح‌ قانون انتخابات داغ است و جالب‌تر از اینها روایتی است که اخیرا علی صوفی، فعال سیاسی اصلاح‌طلب در گفت‌وگو با «برنا» درباره موضع محمد یزدی در مواجهه با لوایح دوقلو بیان کرده است: «فردی از مرحوم آیت‌الله یزدی خاطره جالبی نقل کرده است. وقتی آقای خاتمی لایحه دوقلوی انتخابات را به مجلس داده است یکی از موارد این بوده که ببینند مسئول اجرای قانون اساسی در کشور که در قانون اساسی، رئیس‌جمهور نام برده شده شامل همه اصول قانون اساسی می‌شود یا نه؟ آقای یزدی گفته است که مسلم است که شامل همه‌چیز می‌شود. گفته‌اند پس چرا شما در شورای نگهبان رد کرده‌اید، گفته‌اند چون آقای خاتمی سؤال کرد!».\n",
      "\n",
      "ماجرای لوایح دوقلو و حواشی آن\n",
      "\n",
      "سیدمحمد خاتمی پس از انتخاب مجددش به‌عنوان رئیس‌جمهور در ۱۸ خرداد سال ۱۳۸۰، لایحه‌ای که سال‌ها پیش، یعنی در تاریخ ۲۲ آبان ۶۵، با عنوان اصلاح مواد فصل دوم قانون تعیین حدود وظایف و اختیارات ریاست‌جمهوری اسلامی ایران آماده شده بود، بار دیگر مورد توجه قرار گرفت و دولت در تاریخ ۲۷ شهریور ۸۱ آن را تصویب کرد. خاتمی تصمیم گرفت تمام تلاش خود را برای تبیین اختیارات رئیس‌جمهور و اصلاح قانون انتخابات در قالب دو لایحه به کار بگیرد؛ لوایحی که بعدها لوایح دوگانه رئیس‌جمهور و مهم‌ترین لوایح دولت خاتمی در هشت سال ریاست‌جمهوری او لقب گرفت. دولت این لوایح را تقدیم مجلس کرد، اما بین مجلس و شورای نگهبان بارها در رفت‌وآمد گرفتار شد.\n",
      "\n",
      "خاتمی پیش از رد مجدد لوایح در شورای نگهبان گفته بود لایحه تبیین اختیارات «اگر تصویب نشود، دیگر رئیس‌جمهوری آن نیست که قانون اساسی معین کرده و مردم باید بدانند که به چه رئیس‌جمهوری رأی می‌دهند و چه توقعی از او دارند»؛ خاتمی لایحه اصلاح قانون انتخابات را نیز برای تثبیت حق مسلم مردم و اهتمام به آن می‌دانست، آن‌طوری‌که مورد نظر جمهوری اسلامی ایران است.\n",
      "\n",
      "*******************\n",
      "*******************\n",
      "\n",
      "معاون رئیس‌جمهوری در امور زنان و خانواده با تاکید بر اینکه «به هیچ عنوان به دنبال تعیین سن ازدواج یا افزایش سن ازدواج به بالای ۱۸ سال نیستیم» از موافقان کودک‌همسری پرسید که آیا حاضرند دخترکان خود را به عقد و ازدواج مردان سن بالا درآورند؟\n",
      "معصومه ابتکار\n",
      "\n",
      "به گزارش همشهری آنلاین به نقل از ایرنا، معصومه ابتکار معاون رئیس‌جمهوری در امور زنان و خانواده گفت: در فرهنگ ایرانی- اسلامی موضوع ازدواج سالم یکی از مسائل مهم است که پیمایش‌های صورت‌گرفته از میزان تمایل خانواده های ایرانی به امر ازدواج، تاییدکننده این موضوع است، چنانچه شاهدیم که شرایط کرونا و وضعیت کنونی هم مانع امر ازدواج نشده است.\n",
      "\n",
      "وی ادامه داد: ازدواج در فرهنگ دینی هم بسیار مورد توجه قرار گرفته و آیات قرآن کریم تاکید بر این دارند که ازدواج در سن و شرایط مناسب باید صورت گیرد. ضمن اینکه در احادیث هم تاکید شده که دوره کودکی را از کودکان دریغ نکنید که یکی از روش‌های دریغ کردن دوره کودکی این است که آنها را زیر سن قانونی و کودکی وادار به ازدواج کنیم.\n",
      "\n",
      "معاون رئیس جمهوری در امور زنان و خانواده درباره پیامدهای کودک همسری اظهار کرد: از جمله پیامدهای  ازدواج در دوره ای که کودک به سن رشدی که قرآن کریم بر آن تاکید دارد نرسیده، این است که هیچگونه اشراف و تشخیص نسبت به ازدواج ندارد، افزون بر اینکه از حقوق مدنی کافی همچون باز کردن حساب بانکی یا در راهروهای دادگاه به دنبال حق و حقوق خود رفتن برخوردار نیست.\n",
      "\n",
      "وی یادآور شد: وقتی رشد فیزیولوژی و جسمی دختر اتفاق نیفتاده باشد، آسیب های بسیار زیادی از لحاظ بهداشتی خواهد دید که خطرناک است.\n",
      "\n",
      "دراین‌باره ببینید؛ اظهارات جنجالی مشاور وزیر بهداشت درباره انتقادات به کودک‌ همسری: مزخرفات است\n",
      "\n",
      "ابتکار گفت: خوشبختانه در حال حاضر قانون حمایت از اطفال و نوجوانان در موضوع حقوق کودک راهگشا و کمک کننده است، تصریح کرد: مباحثی هم روی موضوع سن ازدواج مطرح شده و موضع گیری و نگاه و فتاوی بزرگان و مراجع عالیقدر بر آن بسیار قابل توجه است. از جمله آیت الله مکارم شیرازی به صراحت عقد کودک زیر ۱۳ سال را باطل اعلام کردند. همچنین رهبر معظم انقلاب به صراحت به موضوع کودک همسری واکنش نشان داده و فرموده اند که واداشتن دختران کم سن و سال به ازدواج، حرکتی در جهت تضعیف زن و نادیده گرفتن حقوق اوست و قانون باید با آن مقابله کند و زنان نیز با آگاهی، هوشیاری و رشد و معرفت خود در مقابل این گونه تعدیات بایستند.\n",
      "\n",
      "به گفته وی، آنچه معاونت هم بر آن تاکید دارد ازدواج در سن قانونی ۱۳ سال به بالا و پیشگیری از ۳۰ هزار ازدواج زیر سن قانونی و کودک همسری در سال است؛ شاید عنوان شود رقم آنچنانی نیست اما معتقدیم یک مورد کودک همسری هم زیان بار و اشتباه است.   \n",
      "\n",
      "    کودک‌همسری بازیچه سیاسی شده است\n",
      "\n",
      "ابتکار گفت: سیاست ما، تشویق جوانان به امر ازدواج در سن مناسب است، پیشنهاد و تاکید ما ممنوع شدن ازدواج زیر ۱۳ سال است؛ به این معنا که تبصره و هر راه یا مسیری که مجوز ازدواج زیر ۱۳ سال را می دهد حذف شود.\n",
      "\n",
      "معاون رئیس جمهوری تاکید کرد: به هیچ عنوان به دنبال تعیین سن ازدواج یا افزایش سن ازدواج به بالای ۱۸ سال نیستیم، تصریح کرد: معتقدیم دختر اگر شرایط لازم برای ازدواج را داراست، این امر می تواند در سن بالای ۱۳ سال اتفاق بیافتد.\n",
      "\n",
      "وی از موضع‌گیری مخالفان که اقدامات پیشگیری از کودک‌همسری را امنیتی و سیاسی می کنند، گلایه کرد و توضیح داد: فقط باید به نگاه مخالفان خندید و تاسف خورد که یک معضل واقعی جامعه که باید مسئولانه در قبال آن موضع‌گیری شود، به یک بازیچه سیاسی در دست عده‌ای برای کوبیدن عده‌ای دیگر تبدیل شده است.\n",
      "\n",
      "ابتکار گفت: باید از مخالفان این موضوع پرسید که آیا حاضر هستید دخترکان خود را به عقد و ازدواج مردان سن بالا درآورید؟ باید از این افراد پرسید چطور یک کودک زیر سن قانونی نمی تواند حساب بانکی، حق رای و گواهینامه داشته باشد اما برای امر مهم ازدواج توانایی دارد؟  \n",
      "\n",
      "او با تاکید بر اینکه کودک‌همسری دغدغه علما و مراجع و بسیاری از صاحبنظران فرهنگی و اجتماعی است که باید همه برای پیشگیری از آن تلاش کنیم، افزود: وجدان عمومی جامعه هم اجازه چنین موضوعی را نمی‌دهد. توجه و تاکید دولت هم این است که ازدواج بین ۱۳ تا ۱۵ زیر نظر خانواده و قاضی امکانپذیر باشد و ۱۳ سال به پایین کلا متوقف شود.\n",
      "\n",
      "*******************\n",
      "*******************\n",
      "\n",
      "هشدار سیاسی به بازار سکه | فلز گرانبهای داخلی با دلار حرکت خواهد کرد؟\n",
      "\n",
      "\n",
      "سکه برای اینکه با سرعت زیادی افزایشی شود، سه مانع را در مقابل خود می بیند.\n",
      "سكه هوم پيج\n",
      "\n",
      "به گزارش همشهری آنلاین به نقل از اقتصادنیوز، «وضعیت هشدار در بغداد به بالاترین سطح خود رسیده است». خبرهایی مشابه با این عنوان، از اواخر روز جمعه، به میزان زیادی در کانال های اطلاع رسانی معامله گران منتشر شد. طبیعتا هدف از انتشار وسیع این اخبار این بود که سطح نگرانی معامله گران بالا رود و خریدهای سکه و ارز افزایش پیدا کند.  \n",
      "\n",
      "    آخرین قیمت طلا و انواع سکه در بازار | حباب سکه چقدر شد؟\n",
      "\n",
      "با این حال، قیمت سکه برای اینکه با سرعت زیادی افزایشی شود، سه مانع را در مقابل خود می بیند. اولین مانع، حباب این فلز گران بهاست؛ فلز گران بهای داخلی در انتهای هفته گذشته حدود ۵۰۰ هزار تومان حباب داشت و در واقع نزدیک به ۵ درصد بالاتر از ارزش ذاتی خود معامله می شد.\n",
      "\n",
      "دومین مانع برای قیمت سکه، افزایش فروش ها در نزدیکی محدوده ۱۲ میلیون و ۲۰۰ هزار تومانی است. به عبارت دیگر، ممکن است سکه در واکنش به اخبار و نگرانی های سیاسی حتی به بالای ۱۲ میلیون تومان برود، ولی برای عبور از مقاومت ۱۲ میلیون و ۲۰۰ هزار تومان دشواری های زیادی دارد.\n",
      "\n",
      "    سکه وارد کانال ۱۲ میلیونی شد | جدیدترین قیمت طلا و انواع سکه در ۴ دیماه ۹۹\n",
      "\n",
      "سومین مانع سکه، تعطیلی بازار طلای جهانی است؛ این مساله موجب می شود که سکه بیشتر از همیشه به روند دلار متکی باشد. اسکناس آمریکایی هم به طور خاص در چهار هفته اخیر، توان عبور از سطح ۲۶ هزار و ۳۰۰ تومان را نداشته است، در نتیجه برای بازیگران بازار سکه دشوار است که با تکیه بر متغیر دلار بخواهند خریدهای خود را بسیار شدت ببخشند.\n",
      "\n",
      "به گفته برخی فعالان، ممکن است سکه در واکنش به نگرانی های سیاسی تا حدی افزایشی شود، ولی نمی توان گفت که این افزایش باعث ثبت رکوردهای جدید در بازار شود. اگر تنش ها در عراق ادامه پیدا نکند، حتی احتمال افت سکه نیز وجود خواهد داشت.\n",
      "\n",
      "*******************\n",
      "*******************\n",
      "\n",
      "\n",
      "نگرانی بزرگ محمود فکری؛ وضعیت مبهم سه ستاره استقلال برای دربی\n",
      "\n",
      "۳ستاره آبی ها با توجه به اظهارنظر کادرپزشکی و صحبت‌هایی که امروز محمود فکری انجام داده به دیدار روز چهارشنبه ۱۰ دیماه با گل‌گهر سیرجان نخواهند رسید.\n",
      "استقلال\n",
      "\n",
      "به گزارش همشهری آنلاین اگرچه امروز دیاباته درتمرینات گروهی استقلال حاضر شد اما گفته می شود فکری در مورد این بازیکن ریسک نخواهد و او را برابر گل گهر به میدان نخواهد فرستاد تا مهاجم آبی ها در صورت رسیدن به آمادگی کامل مهیای دربی شود.. به جز دیاباته دو بازیکن دیگر اسقلال هم تقریبا همین شرایط را دارند.  داریوش شجاعیان و محمد نادری ۲ بازیکن مصدوم استقلال هستند که اگرچه در تمرینات حضور دارند اما هنوز شرایط بازی کردن را پیدا نکرده‌اند و مشخص نیست این امکان را چه زمانی به دست خواهند آورد.\n",
      "\n",
      "۳ستاره آبی ها با توجه به اظهارنظر کادرپزشکی و صحبت‌هایی که امروز محمود فکری انجام داده به دیدار روز چهارشنبه ۱۰ دیماه با گل‌گهر سیرجان نخواهند رسید.\n",
      "\n",
      "*******************\n",
      "*******************\n"
     ]
    }
   ],
   "source": [
    "samples = (sample1, sample2, sample3, sample4)\n",
    "for i in samples:\n",
    "    print(i)\n",
    "    print('*******************')\n",
    "    print('*******************')\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 304,
   "metadata": {},
   "outputs": [],
   "source": [
    "normalize = hazm.Normalizer()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 305,
   "metadata": {},
   "outputs": [],
   "source": [
    "norm_samples = [normalize.normalize(sample) for sample in samples]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 306,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "به گزارش همشهریآنلاین به نقل از شرق، «در بعضی جاها اختیار رئیس‌جمهور از اختیار یک شهروند عادی کمتر است … لوایح دوگانه حداقل‌هایی است که باید باشد … بدون رعایت روح لوایح، دیگر رئیس‌جمهور خیلی کاره‌ای نیست». این جملات سیدمحمد خاتمی در روزهایی بیان شد که لوایح دوگانه پیشنهادی‌اش بین شورای نگهبان و مجلس در رفت‌وآمد بود؛ لوایحی که به اعتقاد برخی از صاحب‌نظران برای اجرای قانون اساسی و رعایت حقوق ملت لازم و ضروری بود و البته مخالفان نیز معتقد بودند این لوایح، مشکلی از مشکلات مردم را حل نمی‌کند و نباید به ‌دنبال اضافه‌کردن اختیارات رئیس‌جمهور بود. ‌\n",
      "\n",
      "حالا اما باز هم انگار تاریخ تکرار می‌شود و باز هم رئیس‌جمهوری دیگر از کمبود اختیاراتش حرف می‌زند و بار دیگر بحث‌ها و نظرها در مجلس، شورای نگهبان و احزاب و گروه‌های سیاسی بر سر اصلاح‌ قانون انتخابات داغ است و جالب‌تر از اینها روایتی است که اخیرا علی صوفی، فعال سیاسی اصلاح‌طلب در گفت‌وگو با «برنا» درباره موضع محمد یزدی در مواجهه با لوایح دوقلو بیان کرده است: «فردی از مرحوم آیت‌الله یزدی خاطره جالبی نقل کرده است. وقتی آقای خاتمی لایحه دوقلوی انتخابات را به مجلس داده است یکی از موارد این بوده که ببینند مسئول اجرای قانون اساسی در کشور که در قانون اساسی، رئیس‌جمهور نام برده شده شامل همه اصول قانون اساسی می‌شود یا نه؟ آقای یزدی گفته است که مسلم است که شامل همه‌چیز می‌شود. گفته‌اند پس چرا شما در شورای نگهبان رد کرده‌اید، گفته‌اند چون آقای خاتمی سؤال کرد!». \n",
      "\n",
      "ماجرای لوایح دوقلو و حواشی آن\n",
      "\n",
      "سیدمحمد خاتمی پس از انتخاب مجددش به‌عنوان رئیس‌جمهور در ۱۸ خرداد سال ۱۳۸۰، لایحه‌ای که سال‌ها پیش، یعنی در تاریخ ۲۲ آبان ۶۵، با عنوان اصلاح مواد فصل دوم قانون تعیین حدود وظایف و اختیارات ریاست‌جمهوری اسلامی ایران آماده شده بود، بار دیگر مورد توجه قرار گرفت و دولت در تاریخ ۲۷ شهریور ۸۱ آن را تصویب کرد. خاتمی تصمیم گرفت تمام تلاش خود را برای تبیین اختیارات رئیس‌جمهور و اصلاح قانون انتخابات در قالب دو لایحه به کار بگیرد؛ لوایحی که بعدها لوایح دوگانه رئیس‌جمهور و مهم‌ترین لوایح دولت خاتمی در هشت سال ریاست‌جمهوری او لقب گرفت. دولت این لوایح را تقدیم مجلس کرد، اما بین مجلس و شورای نگهبان بارها در رفت‌وآمد گرفتار شد. \n",
      "\n",
      "خاتمی پیش از رد مجدد لوایح در شورای نگهبان گفته بود لایحه تبیین اختیارات «اگر تصویب نشود، دیگر رئیس‌جمهوری آن نیست که قانون اساسی معین کرده و مردم باید بدانند که به چه رئیس‌جمهوری رأی می‌دهند و چه توقعی از او دارند»؛ خاتمی لایحه اصلاح قانون انتخابات را نیز برای تثبیت حق مسلم مردم و اهتمام به آن می‌دانست، آن‌طوری‌که مورد نظر جمهوری اسلامی ایران است. \n",
      "\n"
     ]
    }
   ],
   "source": [
    "print(norm_samples[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 307,
   "metadata": {},
   "outputs": [],
   "source": [
    "sample_tokens = [hazm.word_tokenize(sample) for sample in norm_samples]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 308,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['به',\n",
       "  'گزارش',\n",
       "  'همشهریآنلاین',\n",
       "  'به',\n",
       "  'نقل',\n",
       "  'از',\n",
       "  'شرق',\n",
       "  '،',\n",
       "  '«',\n",
       "  'در',\n",
       "  'بعضی',\n",
       "  'جاها',\n",
       "  'اختیار',\n",
       "  'رئیس\\u200cجمهور',\n",
       "  'از',\n",
       "  'اختیار',\n",
       "  'یک',\n",
       "  'شهروند',\n",
       "  'عادی',\n",
       "  'کمتر',\n",
       "  'است',\n",
       "  '…',\n",
       "  'لوایح',\n",
       "  'دوگانه',\n",
       "  'حداقل\\u200cهایی',\n",
       "  'است',\n",
       "  'که',\n",
       "  'باید',\n",
       "  'باشد',\n",
       "  '…',\n",
       "  'بدون',\n",
       "  'رعایت',\n",
       "  'روح',\n",
       "  'لوایح',\n",
       "  '،',\n",
       "  'دیگر',\n",
       "  'رئیس\\u200cجمهور',\n",
       "  'خیلی',\n",
       "  'کاره\\u200cای',\n",
       "  'نیست',\n",
       "  '»',\n",
       "  '.',\n",
       "  'این',\n",
       "  'جملات',\n",
       "  'سیدمحمد',\n",
       "  'خاتمی',\n",
       "  'در',\n",
       "  'روزهایی',\n",
       "  'بیان',\n",
       "  'شد',\n",
       "  'که',\n",
       "  'لوایح',\n",
       "  'دوگانه',\n",
       "  'پیشنهادی\\u200cاش',\n",
       "  'بین',\n",
       "  'شورای',\n",
       "  'نگهبان',\n",
       "  'و',\n",
       "  'مجلس',\n",
       "  'در',\n",
       "  'رفت\\u200cوآمد',\n",
       "  'بود',\n",
       "  '؛',\n",
       "  'لوایحی',\n",
       "  'که',\n",
       "  'به',\n",
       "  'اعتقاد',\n",
       "  'برخی',\n",
       "  'از',\n",
       "  'صاحب\\u200cنظران',\n",
       "  'برای',\n",
       "  'اجرای',\n",
       "  'قانون',\n",
       "  'اساسی',\n",
       "  'و',\n",
       "  'رعایت',\n",
       "  'حقوق',\n",
       "  'ملت',\n",
       "  'لازم',\n",
       "  'و',\n",
       "  'ضروری',\n",
       "  'بود',\n",
       "  'و',\n",
       "  'البته',\n",
       "  'مخالفان',\n",
       "  'نیز',\n",
       "  'معتقد',\n",
       "  'بودند',\n",
       "  'این',\n",
       "  'لوایح',\n",
       "  '،',\n",
       "  'مشکلی',\n",
       "  'از',\n",
       "  'مشکلات',\n",
       "  'مردم',\n",
       "  'را',\n",
       "  'حل',\n",
       "  'نمی\\u200cکند',\n",
       "  'و',\n",
       "  'نباید',\n",
       "  'به',\n",
       "  '\\u200cدنبال',\n",
       "  'اضافه\\u200cکردن',\n",
       "  'اختیارات',\n",
       "  'رئیس\\u200cجمهور',\n",
       "  'بود',\n",
       "  '.',\n",
       "  '\\u200c',\n",
       "  'حالا',\n",
       "  'اما',\n",
       "  'باز',\n",
       "  'هم',\n",
       "  'انگار',\n",
       "  'تاریخ',\n",
       "  'تکرار',\n",
       "  'می\\u200cشود',\n",
       "  'و',\n",
       "  'باز',\n",
       "  'هم',\n",
       "  'رئیس\\u200cجمهوری',\n",
       "  'دیگر',\n",
       "  'از',\n",
       "  'کمبود',\n",
       "  'اختیاراتش',\n",
       "  'حرف',\n",
       "  'می\\u200cزند',\n",
       "  'و',\n",
       "  'بار',\n",
       "  'دیگر',\n",
       "  'بحث\\u200cها',\n",
       "  'و',\n",
       "  'نظرها',\n",
       "  'در',\n",
       "  'مجلس',\n",
       "  '،',\n",
       "  'شورای',\n",
       "  'نگهبان',\n",
       "  'و',\n",
       "  'احزاب',\n",
       "  'و',\n",
       "  'گروه\\u200cهای',\n",
       "  'سیاسی',\n",
       "  'بر',\n",
       "  'سر',\n",
       "  'اصلاح\\u200c',\n",
       "  'قانون',\n",
       "  'انتخابات',\n",
       "  'داغ',\n",
       "  'است',\n",
       "  'و',\n",
       "  'جالب\\u200cتر',\n",
       "  'از',\n",
       "  'اینها',\n",
       "  'روایتی',\n",
       "  'است',\n",
       "  'که',\n",
       "  'اخیرا',\n",
       "  'علی',\n",
       "  'صوفی',\n",
       "  '،',\n",
       "  'فعال',\n",
       "  'سیاسی',\n",
       "  'اصلاح\\u200cطلب',\n",
       "  'در',\n",
       "  'گفت\\u200cوگو',\n",
       "  'با',\n",
       "  '«',\n",
       "  'برنا',\n",
       "  '»',\n",
       "  'درباره',\n",
       "  'موضع',\n",
       "  'محمد',\n",
       "  'یزدی',\n",
       "  'در',\n",
       "  'مواجهه',\n",
       "  'با',\n",
       "  'لوایح',\n",
       "  'دوقلو',\n",
       "  'بیان',\n",
       "  'کرده_است',\n",
       "  ':',\n",
       "  '«',\n",
       "  'فردی',\n",
       "  'از',\n",
       "  'مرحوم',\n",
       "  'آیت\\u200cالله',\n",
       "  'یزدی',\n",
       "  'خاطره',\n",
       "  'جالبی',\n",
       "  'نقل',\n",
       "  'کرده_است',\n",
       "  '.',\n",
       "  'وقتی',\n",
       "  'آقای',\n",
       "  'خاتمی',\n",
       "  'لایحه',\n",
       "  'دوقلوی',\n",
       "  'انتخابات',\n",
       "  'را',\n",
       "  'به',\n",
       "  'مجلس',\n",
       "  'داده_است',\n",
       "  'یکی',\n",
       "  'از',\n",
       "  'موارد',\n",
       "  'این',\n",
       "  'بوده',\n",
       "  'که',\n",
       "  'ببینند',\n",
       "  'مسئول',\n",
       "  'اجرای',\n",
       "  'قانون',\n",
       "  'اساسی',\n",
       "  'در',\n",
       "  'کشور',\n",
       "  'که',\n",
       "  'در',\n",
       "  'قانون',\n",
       "  'اساسی',\n",
       "  '،',\n",
       "  'رئیس\\u200cجمهور',\n",
       "  'نام',\n",
       "  'برده',\n",
       "  'شده',\n",
       "  'شامل',\n",
       "  'همه',\n",
       "  'اصول',\n",
       "  'قانون',\n",
       "  'اساسی',\n",
       "  'می\\u200cشود',\n",
       "  'یا',\n",
       "  'نه',\n",
       "  '؟',\n",
       "  'آقای',\n",
       "  'یزدی',\n",
       "  'گفته_است',\n",
       "  'که',\n",
       "  'مسلم',\n",
       "  'است',\n",
       "  'که',\n",
       "  'شامل',\n",
       "  'همه\\u200cچیز',\n",
       "  'می\\u200cشود',\n",
       "  '.',\n",
       "  'گفته\\u200cاند',\n",
       "  'پس',\n",
       "  'چرا',\n",
       "  'شما',\n",
       "  'در',\n",
       "  'شورای',\n",
       "  'نگهبان',\n",
       "  'رد',\n",
       "  'کرده\\u200cاید',\n",
       "  '،',\n",
       "  'گفته\\u200cاند',\n",
       "  'چون',\n",
       "  'آقای',\n",
       "  'خاتمی',\n",
       "  'سؤال',\n",
       "  'کرد',\n",
       "  '!',\n",
       "  '»',\n",
       "  '.',\n",
       "  'ماجرای',\n",
       "  'لوایح',\n",
       "  'دوقلو',\n",
       "  'و',\n",
       "  'حواشی',\n",
       "  'آن',\n",
       "  'سیدمحمد',\n",
       "  'خاتمی',\n",
       "  'پس',\n",
       "  'از',\n",
       "  'انتخاب',\n",
       "  'مجددش',\n",
       "  'به\\u200cعنوان',\n",
       "  'رئیس\\u200cجمهور',\n",
       "  'در',\n",
       "  '۱۸',\n",
       "  'خرداد',\n",
       "  'سال',\n",
       "  '۱۳۸۰',\n",
       "  '،',\n",
       "  'لایحه\\u200cای',\n",
       "  'که',\n",
       "  'سال\\u200cها',\n",
       "  'پیش',\n",
       "  '،',\n",
       "  'یعنی',\n",
       "  'در',\n",
       "  'تاریخ',\n",
       "  '۲۲',\n",
       "  'آبان',\n",
       "  '۶۵',\n",
       "  '،',\n",
       "  'با',\n",
       "  'عنوان',\n",
       "  'اصلاح',\n",
       "  'مواد',\n",
       "  'فصل',\n",
       "  'دوم',\n",
       "  'قانون',\n",
       "  'تعیین',\n",
       "  'حدود',\n",
       "  'وظایف',\n",
       "  'و',\n",
       "  'اختیارات',\n",
       "  'ریاست\\u200cجمهوری',\n",
       "  'اسلامی',\n",
       "  'ایران',\n",
       "  'آماده',\n",
       "  'شده_بود',\n",
       "  '،',\n",
       "  'بار',\n",
       "  'دیگر',\n",
       "  'مورد',\n",
       "  'توجه',\n",
       "  'قرار',\n",
       "  'گرفت',\n",
       "  'و',\n",
       "  'دولت',\n",
       "  'در',\n",
       "  'تاریخ',\n",
       "  '۲۷',\n",
       "  'شهریور',\n",
       "  '۸۱',\n",
       "  'آن',\n",
       "  'را',\n",
       "  'تصویب',\n",
       "  'کرد',\n",
       "  '.',\n",
       "  'خاتمی',\n",
       "  'تصمیم',\n",
       "  'گرفت',\n",
       "  'تمام',\n",
       "  'تلاش',\n",
       "  'خود',\n",
       "  'را',\n",
       "  'برای',\n",
       "  'تبیین',\n",
       "  'اختیارات',\n",
       "  'رئیس\\u200cجمهور',\n",
       "  'و',\n",
       "  'اصلاح',\n",
       "  'قانون',\n",
       "  'انتخابات',\n",
       "  'در',\n",
       "  'قالب',\n",
       "  'دو',\n",
       "  'لایحه',\n",
       "  'به',\n",
       "  'کار',\n",
       "  'بگیرد',\n",
       "  '؛',\n",
       "  'لوایحی',\n",
       "  'که',\n",
       "  'بعدها',\n",
       "  'لوایح',\n",
       "  'دوگانه',\n",
       "  'رئیس\\u200cجمهور',\n",
       "  'و',\n",
       "  'مهم\\u200cترین',\n",
       "  'لوایح',\n",
       "  'دولت',\n",
       "  'خاتمی',\n",
       "  'در',\n",
       "  'هشت',\n",
       "  'سال',\n",
       "  'ریاست\\u200cجمهوری',\n",
       "  'او',\n",
       "  'لقب',\n",
       "  'گرفت',\n",
       "  '.',\n",
       "  'دولت',\n",
       "  'این',\n",
       "  'لوایح',\n",
       "  'را',\n",
       "  'تقدیم',\n",
       "  'مجلس',\n",
       "  'کرد',\n",
       "  '،',\n",
       "  'اما',\n",
       "  'بین',\n",
       "  'مجلس',\n",
       "  'و',\n",
       "  'شورای',\n",
       "  'نگهبان',\n",
       "  'بارها',\n",
       "  'در',\n",
       "  'رفت\\u200cوآمد',\n",
       "  'گرفتار',\n",
       "  'شد',\n",
       "  '.',\n",
       "  'خاتمی',\n",
       "  'پیش',\n",
       "  'از',\n",
       "  'رد',\n",
       "  'مجدد',\n",
       "  'لوایح',\n",
       "  'در',\n",
       "  'شورای',\n",
       "  'نگهبان',\n",
       "  'گفته_بود',\n",
       "  'لایحه',\n",
       "  'تبیین',\n",
       "  'اختیارات',\n",
       "  '«',\n",
       "  'اگر',\n",
       "  'تصویب',\n",
       "  'نشود',\n",
       "  '،',\n",
       "  'دیگر',\n",
       "  'رئیس\\u200cجمهوری',\n",
       "  'آن',\n",
       "  'نیست',\n",
       "  'که',\n",
       "  'قانون',\n",
       "  'اساسی',\n",
       "  'معین',\n",
       "  'کرده',\n",
       "  'و',\n",
       "  'مردم',\n",
       "  'باید',\n",
       "  'بدانند',\n",
       "  'که',\n",
       "  'به',\n",
       "  'چه',\n",
       "  'رئیس\\u200cجمهوری',\n",
       "  'رأی',\n",
       "  'می\\u200cدهند',\n",
       "  'و',\n",
       "  'چه',\n",
       "  'توقعی',\n",
       "  'از',\n",
       "  'او',\n",
       "  'دارند',\n",
       "  '»',\n",
       "  '؛',\n",
       "  'خاتمی',\n",
       "  'لایحه',\n",
       "  'اصلاح',\n",
       "  'قانون',\n",
       "  'انتخابات',\n",
       "  'را',\n",
       "  'نیز',\n",
       "  'برای',\n",
       "  'تثبیت',\n",
       "  'حق',\n",
       "  'مسلم',\n",
       "  'مردم',\n",
       "  'و',\n",
       "  'اهتمام',\n",
       "  'به',\n",
       "  'آن',\n",
       "  'می\\u200cدانست',\n",
       "  '،',\n",
       "  'آن\\u200cطوری\\u200cکه',\n",
       "  'مورد',\n",
       "  'نظر',\n",
       "  'جمهوری',\n",
       "  'اسلامی',\n",
       "  'ایران',\n",
       "  'است',\n",
       "  '.'],\n",
       " ['معاون',\n",
       "  'رئیس\\u200cجمهوری',\n",
       "  'در',\n",
       "  'امور',\n",
       "  'زنان',\n",
       "  'و',\n",
       "  'خانواده',\n",
       "  'با',\n",
       "  'تاکید',\n",
       "  'بر',\n",
       "  'اینکه',\n",
       "  '«',\n",
       "  'به',\n",
       "  'هیچ',\n",
       "  'عنوان',\n",
       "  'به',\n",
       "  'دنبال',\n",
       "  'تعیین',\n",
       "  'سن',\n",
       "  'ازدواج',\n",
       "  'یا',\n",
       "  'افزایش',\n",
       "  'سن',\n",
       "  'ازدواج',\n",
       "  'به',\n",
       "  'بالای',\n",
       "  '۱۸',\n",
       "  'سال',\n",
       "  'نیستیم',\n",
       "  '»',\n",
       "  'از',\n",
       "  'موافقان',\n",
       "  'کودک\\u200cهمسری',\n",
       "  'پرسید',\n",
       "  'که',\n",
       "  'آیا',\n",
       "  'حاضرند',\n",
       "  'دخترکان',\n",
       "  'خود',\n",
       "  'را',\n",
       "  'به',\n",
       "  'عقد',\n",
       "  'و',\n",
       "  'ازدواج',\n",
       "  'مردان',\n",
       "  'سن',\n",
       "  'بالا',\n",
       "  'درآورند',\n",
       "  '؟',\n",
       "  'معصومه',\n",
       "  'ابتکار',\n",
       "  'به',\n",
       "  'گزارش',\n",
       "  'همشهری',\n",
       "  'آنلاین',\n",
       "  'به',\n",
       "  'نقل',\n",
       "  'از',\n",
       "  'ایرنا',\n",
       "  '،',\n",
       "  'معصومه',\n",
       "  'ابتکار',\n",
       "  'معاون',\n",
       "  'رئیس\\u200cجمهوری',\n",
       "  'در',\n",
       "  'امور',\n",
       "  'زنان',\n",
       "  'و',\n",
       "  'خانواده',\n",
       "  'گفت',\n",
       "  ':',\n",
       "  'در',\n",
       "  'فرهنگ',\n",
       "  'ایرانی-',\n",
       "  'اسلامی',\n",
       "  'موضوع',\n",
       "  'ازدواج',\n",
       "  'سالم',\n",
       "  'یکی',\n",
       "  'از',\n",
       "  'مسائل',\n",
       "  'مهم',\n",
       "  'است',\n",
       "  'که',\n",
       "  'پیمایش\\u200cهای',\n",
       "  'صورت\\u200cگرفته',\n",
       "  'از',\n",
       "  'میزان',\n",
       "  'تمایل',\n",
       "  'خانواده\\u200cهای',\n",
       "  'ایرانی',\n",
       "  'به',\n",
       "  'امر',\n",
       "  'ازدواج',\n",
       "  '،',\n",
       "  'تاییدکننده',\n",
       "  'این',\n",
       "  'موضوع',\n",
       "  'است',\n",
       "  '،',\n",
       "  'چنانچه',\n",
       "  'شاهدیم',\n",
       "  'که',\n",
       "  'شرایط',\n",
       "  'کرونا',\n",
       "  'و',\n",
       "  'وضعیت',\n",
       "  'کنونی',\n",
       "  'هم',\n",
       "  'مانع',\n",
       "  'امر',\n",
       "  'ازدواج',\n",
       "  'نشده_است',\n",
       "  '.',\n",
       "  'وی',\n",
       "  'ادامه',\n",
       "  'داد',\n",
       "  ':',\n",
       "  'ازدواج',\n",
       "  'در',\n",
       "  'فرهنگ',\n",
       "  'دینی',\n",
       "  'هم',\n",
       "  'بسیار',\n",
       "  'مورد',\n",
       "  'توجه',\n",
       "  'قرار',\n",
       "  'گرفته',\n",
       "  'و',\n",
       "  'آیات',\n",
       "  'قرآن',\n",
       "  'کریم',\n",
       "  'تاکید',\n",
       "  'بر',\n",
       "  'این',\n",
       "  'دارند',\n",
       "  'که',\n",
       "  'ازدواج',\n",
       "  'در',\n",
       "  'سن',\n",
       "  'و',\n",
       "  'شرایط',\n",
       "  'مناسب',\n",
       "  'باید',\n",
       "  'صورت',\n",
       "  'گیرد',\n",
       "  '.',\n",
       "  'ضمن',\n",
       "  'اینکه',\n",
       "  'در',\n",
       "  'احادیث',\n",
       "  'هم',\n",
       "  'تاکید',\n",
       "  'شده',\n",
       "  'که',\n",
       "  'دوره',\n",
       "  'کودکی',\n",
       "  'را',\n",
       "  'از',\n",
       "  'کودکان',\n",
       "  'دریغ',\n",
       "  'نکنید',\n",
       "  'که',\n",
       "  'یکی',\n",
       "  'از',\n",
       "  'روش\\u200cهای',\n",
       "  'دریغ',\n",
       "  'کردن',\n",
       "  'دوره',\n",
       "  'کودکی',\n",
       "  'این',\n",
       "  'است',\n",
       "  'که',\n",
       "  'آنها',\n",
       "  'را',\n",
       "  'زیر',\n",
       "  'سن',\n",
       "  'قانونی',\n",
       "  'و',\n",
       "  'کودکی',\n",
       "  'وادار',\n",
       "  'به',\n",
       "  'ازدواج',\n",
       "  'کنیم',\n",
       "  '.',\n",
       "  'معاون',\n",
       "  'رئیس',\n",
       "  'جمهوری',\n",
       "  'در',\n",
       "  'امور',\n",
       "  'زنان',\n",
       "  'و',\n",
       "  'خانواده',\n",
       "  'درباره',\n",
       "  'پیامدهای',\n",
       "  'کودک',\n",
       "  'همسری',\n",
       "  'اظهار',\n",
       "  'کرد',\n",
       "  ':',\n",
       "  'از',\n",
       "  'جمله',\n",
       "  'پیامدهای',\n",
       "  'ازدواج',\n",
       "  'در',\n",
       "  'دوره\\u200cای',\n",
       "  'که',\n",
       "  'کودک',\n",
       "  'به',\n",
       "  'سن',\n",
       "  'رشدی',\n",
       "  'که',\n",
       "  'قرآن',\n",
       "  'کریم',\n",
       "  'بر',\n",
       "  'آن',\n",
       "  'تاکید',\n",
       "  'دارد',\n",
       "  'نرسیده',\n",
       "  '،',\n",
       "  'این',\n",
       "  'است',\n",
       "  'که',\n",
       "  'هیچگونه',\n",
       "  'اشراف',\n",
       "  'و',\n",
       "  'تشخیص',\n",
       "  'نسبت',\n",
       "  'به',\n",
       "  'ازدواج',\n",
       "  'ندارد',\n",
       "  '،',\n",
       "  'افزون',\n",
       "  'بر',\n",
       "  'اینکه',\n",
       "  'از',\n",
       "  'حقوق',\n",
       "  'مدنی',\n",
       "  'کافی',\n",
       "  'همچون',\n",
       "  'باز',\n",
       "  'کردن',\n",
       "  'حساب',\n",
       "  'بانکی',\n",
       "  'یا',\n",
       "  'در',\n",
       "  'راهروهای',\n",
       "  'دادگاه',\n",
       "  'به',\n",
       "  'دنبال',\n",
       "  'حق',\n",
       "  'و',\n",
       "  'حقوق',\n",
       "  'خود',\n",
       "  'رفتن',\n",
       "  'برخوردار',\n",
       "  'نیست',\n",
       "  '.',\n",
       "  'وی',\n",
       "  'یادآور',\n",
       "  'شد',\n",
       "  ':',\n",
       "  'وقتی',\n",
       "  'رشد',\n",
       "  'فیزیولوژی',\n",
       "  'و',\n",
       "  'جسمی',\n",
       "  'دختر',\n",
       "  'اتفاق',\n",
       "  'نیفتاده',\n",
       "  'باشد',\n",
       "  '،',\n",
       "  'آسیب\\u200cهای',\n",
       "  'بسیار',\n",
       "  'زیادی',\n",
       "  'از',\n",
       "  'لحاظ',\n",
       "  'بهداشتی',\n",
       "  'خواهد_دید',\n",
       "  'که',\n",
       "  'خطرناک',\n",
       "  'است',\n",
       "  '.',\n",
       "  'دراین\\u200cباره',\n",
       "  'ببینید',\n",
       "  '؛',\n",
       "  'اظهارات',\n",
       "  'جنجالی',\n",
       "  'مشاور',\n",
       "  'وزیر',\n",
       "  'بهداشت',\n",
       "  'درباره',\n",
       "  'انتقادات',\n",
       "  'به',\n",
       "  'کودک\\u200c',\n",
       "  'همسری',\n",
       "  ':',\n",
       "  'مزخرفات',\n",
       "  'است',\n",
       "  'ابتکار',\n",
       "  'گفت',\n",
       "  ':',\n",
       "  'خوشبختانه',\n",
       "  'در',\n",
       "  'حال',\n",
       "  'حاضر',\n",
       "  'قانون',\n",
       "  'حمایت',\n",
       "  'از',\n",
       "  'اطفال',\n",
       "  'و',\n",
       "  'نوجوانان',\n",
       "  'در',\n",
       "  'موضوع',\n",
       "  'حقوق',\n",
       "  'کودک',\n",
       "  'راهگشا',\n",
       "  'و',\n",
       "  'کمک',\n",
       "  'کننده',\n",
       "  'است',\n",
       "  '،',\n",
       "  'تصریح',\n",
       "  'کرد',\n",
       "  ':',\n",
       "  'مباحثی',\n",
       "  'هم',\n",
       "  'روی',\n",
       "  'موضوع',\n",
       "  'سن',\n",
       "  'ازدواج',\n",
       "  'مطرح',\n",
       "  'شده',\n",
       "  'و',\n",
       "  'موضع',\n",
       "  'گیری',\n",
       "  'و',\n",
       "  'نگاه',\n",
       "  'و',\n",
       "  'فتاوی',\n",
       "  'بزرگان',\n",
       "  'و',\n",
       "  'مراجع',\n",
       "  'عالیقدر',\n",
       "  'بر',\n",
       "  'آن',\n",
       "  'بسیار',\n",
       "  'قابل',\n",
       "  'توجه',\n",
       "  'است',\n",
       "  '.',\n",
       "  'از',\n",
       "  'جمله',\n",
       "  'آیت',\n",
       "  'الله',\n",
       "  'مکارم',\n",
       "  'شیرازی',\n",
       "  'به',\n",
       "  'صراحت',\n",
       "  'عقد',\n",
       "  'کودک',\n",
       "  'زیر',\n",
       "  '۱۳',\n",
       "  'سال',\n",
       "  'را',\n",
       "  'باطل',\n",
       "  'اعلام',\n",
       "  'کردند',\n",
       "  '.',\n",
       "  'همچنین',\n",
       "  'رهبر',\n",
       "  'معظم',\n",
       "  'انقلاب',\n",
       "  'به',\n",
       "  'صراحت',\n",
       "  'به',\n",
       "  'موضوع',\n",
       "  'کودک',\n",
       "  'همسری',\n",
       "  'واکنش',\n",
       "  'نشان',\n",
       "  'داده',\n",
       "  'و',\n",
       "  'فرموده\\u200cاند',\n",
       "  'که',\n",
       "  'واداشتن',\n",
       "  'دختران',\n",
       "  'کم',\n",
       "  'سن',\n",
       "  'و',\n",
       "  'سال',\n",
       "  'به',\n",
       "  'ازدواج',\n",
       "  '،',\n",
       "  'حرکتی',\n",
       "  'در',\n",
       "  'جهت',\n",
       "  'تضعیف',\n",
       "  'زن',\n",
       "  'و',\n",
       "  'نادیده',\n",
       "  'گرفتن',\n",
       "  'حقوق',\n",
       "  'اوست',\n",
       "  'و',\n",
       "  'قانون',\n",
       "  'باید',\n",
       "  'با',\n",
       "  'آن',\n",
       "  'مقابله',\n",
       "  'کند',\n",
       "  'و',\n",
       "  'زنان',\n",
       "  'نیز',\n",
       "  'با',\n",
       "  'آگاهی',\n",
       "  '،',\n",
       "  'هوشیاری',\n",
       "  'و',\n",
       "  'رشد',\n",
       "  'و',\n",
       "  'معرفت',\n",
       "  'خود',\n",
       "  'در',\n",
       "  'مقابل',\n",
       "  'این',\n",
       "  'گونه',\n",
       "  'تعدیات',\n",
       "  'بایستند',\n",
       "  '.',\n",
       "  'به',\n",
       "  'گفته',\n",
       "  'وی',\n",
       "  '،',\n",
       "  'آنچه',\n",
       "  'معاونت',\n",
       "  'هم',\n",
       "  'بر',\n",
       "  'آن',\n",
       "  'تاکید',\n",
       "  'دارد',\n",
       "  'ازدواج',\n",
       "  'در',\n",
       "  'سن',\n",
       "  'قانونی',\n",
       "  '۱۳',\n",
       "  'سال',\n",
       "  'به',\n",
       "  'بالا',\n",
       "  'و',\n",
       "  'پیشگیری',\n",
       "  'از',\n",
       "  '۳۰',\n",
       "  'هزار',\n",
       "  'ازدواج',\n",
       "  'زیر',\n",
       "  'سن',\n",
       "  'قانونی',\n",
       "  'و',\n",
       "  'کودک',\n",
       "  'همسری',\n",
       "  'در',\n",
       "  'سال',\n",
       "  'است',\n",
       "  '؛',\n",
       "  'شاید',\n",
       "  'عنوان',\n",
       "  'شود',\n",
       "  'رقم',\n",
       "  'آنچنانی',\n",
       "  'نیست',\n",
       "  'اما',\n",
       "  'معتقدیم',\n",
       "  'یک',\n",
       "  'مورد',\n",
       "  'کودک',\n",
       "  'همسری',\n",
       "  'هم',\n",
       "  'زیان',\n",
       "  'بار',\n",
       "  'و',\n",
       "  'اشتباه',\n",
       "  'است',\n",
       "  '.',\n",
       "  'کودک\\u200cهمسری',\n",
       "  'بازیچه',\n",
       "  'سیاسی',\n",
       "  'شده_است',\n",
       "  'ابتکار',\n",
       "  'گفت',\n",
       "  ':',\n",
       "  'سیاست',\n",
       "  'ما',\n",
       "  '،',\n",
       "  'تشویق',\n",
       "  'جوانان',\n",
       "  'به',\n",
       "  'امر',\n",
       "  'ازدواج',\n",
       "  'در',\n",
       "  'سن',\n",
       "  'مناسب',\n",
       "  'است',\n",
       "  '،',\n",
       "  'پیشنهاد',\n",
       "  'و',\n",
       "  'تاکید',\n",
       "  'ما',\n",
       "  'ممنوع',\n",
       "  'شدن',\n",
       "  'ازدواج',\n",
       "  'زیر',\n",
       "  '۱۳',\n",
       "  'سال',\n",
       "  'است',\n",
       "  '؛',\n",
       "  'به',\n",
       "  'این',\n",
       "  'معنا',\n",
       "  'که',\n",
       "  'تبصره',\n",
       "  'و',\n",
       "  'هر',\n",
       "  'راه',\n",
       "  'یا',\n",
       "  'مسیری',\n",
       "  'که',\n",
       "  'مجوز',\n",
       "  'ازدواج',\n",
       "  'زیر',\n",
       "  '۱۳',\n",
       "  'سال',\n",
       "  'را',\n",
       "  'می\\u200cدهد',\n",
       "  'حذف',\n",
       "  'شود',\n",
       "  '.',\n",
       "  'معاون',\n",
       "  'رئیس',\n",
       "  'جمهوری',\n",
       "  'تاکید',\n",
       "  'کرد',\n",
       "  ':',\n",
       "  'به',\n",
       "  'هیچ',\n",
       "  'عنوان',\n",
       "  'به',\n",
       "  'دنبال',\n",
       "  'تعیین',\n",
       "  'سن',\n",
       "  'ازدواج',\n",
       "  'یا',\n",
       "  'افزایش',\n",
       "  'سن',\n",
       "  'ازدواج',\n",
       "  'به',\n",
       "  'بالای',\n",
       "  '۱۸',\n",
       "  'سال',\n",
       "  'نیستیم',\n",
       "  '،',\n",
       "  'تصریح',\n",
       "  'کرد',\n",
       "  ':',\n",
       "  'معتقدیم',\n",
       "  'دختر',\n",
       "  'اگر',\n",
       "  'شرایط',\n",
       "  'لازم',\n",
       "  'برای',\n",
       "  'ازدواج',\n",
       "  'را',\n",
       "  'داراست',\n",
       "  '،',\n",
       "  'این',\n",
       "  'امر',\n",
       "  'می\\u200cتواند',\n",
       "  'در',\n",
       "  'سن',\n",
       "  'بالای',\n",
       "  '۱۳',\n",
       "  'سال',\n",
       "  'اتفاق',\n",
       "  'بیافتد',\n",
       "  '.',\n",
       "  'وی',\n",
       "  'از',\n",
       "  'موضع\\u200cگیری',\n",
       "  'مخالفان',\n",
       "  'که',\n",
       "  'اقدامات',\n",
       "  'پیشگیری',\n",
       "  'از',\n",
       "  'کودک\\u200cهمسری',\n",
       "  'را',\n",
       "  'امنیتی',\n",
       "  'و',\n",
       "  'سیاسی',\n",
       "  'می\\u200cکنند',\n",
       "  '،',\n",
       "  'گلایه',\n",
       "  'کرد',\n",
       "  'و',\n",
       "  'توضیح',\n",
       "  'داد',\n",
       "  ':',\n",
       "  'فقط',\n",
       "  'باید',\n",
       "  'به',\n",
       "  'نگاه',\n",
       "  'مخالفان',\n",
       "  'خندید',\n",
       "  'و',\n",
       "  'تاسف',\n",
       "  'خورد',\n",
       "  'که',\n",
       "  'یک',\n",
       "  'معضل',\n",
       "  'واقعی',\n",
       "  'جامعه',\n",
       "  'که',\n",
       "  'باید',\n",
       "  'مسئولانه',\n",
       "  'در',\n",
       "  'قبال',\n",
       "  'آن',\n",
       "  'موضع\\u200cگیری',\n",
       "  'شود',\n",
       "  '،',\n",
       "  'به',\n",
       "  'یک',\n",
       "  'بازیچه',\n",
       "  'سیاسی',\n",
       "  'در',\n",
       "  'دست',\n",
       "  'عده\\u200cای',\n",
       "  'برای',\n",
       "  'کوبیدن',\n",
       "  'عده\\u200cای',\n",
       "  'دیگر',\n",
       "  'تبدیل',\n",
       "  'شده_است',\n",
       "  '.',\n",
       "  'ابتکار',\n",
       "  'گفت',\n",
       "  ':',\n",
       "  'باید',\n",
       "  'از',\n",
       "  'مخالفان',\n",
       "  'این',\n",
       "  'موضوع',\n",
       "  'پرسید',\n",
       "  'که',\n",
       "  'آیا',\n",
       "  'حاضر',\n",
       "  'هستید',\n",
       "  'دخترکان',\n",
       "  'خود',\n",
       "  'را',\n",
       "  'به',\n",
       "  'عقد',\n",
       "  'و',\n",
       "  'ازدواج',\n",
       "  'مردان',\n",
       "  'سن',\n",
       "  'بالا',\n",
       "  'درآورید',\n",
       "  '؟',\n",
       "  'باید',\n",
       "  'از',\n",
       "  'این',\n",
       "  'افراد',\n",
       "  'پرسید',\n",
       "  'چطور',\n",
       "  'یک',\n",
       "  'کودک',\n",
       "  'زیر',\n",
       "  'سن',\n",
       "  'قانونی',\n",
       "  'نمی\\u200cتواند',\n",
       "  'حساب',\n",
       "  'بانکی',\n",
       "  '،',\n",
       "  'حق',\n",
       "  'رای',\n",
       "  'و',\n",
       "  'گواهینامه',\n",
       "  'داشته_باشد',\n",
       "  'اما',\n",
       "  'برای',\n",
       "  'امر',\n",
       "  'مهم',\n",
       "  'ازدواج',\n",
       "  'توانایی',\n",
       "  'دارد',\n",
       "  '؟',\n",
       "  'او',\n",
       "  'با',\n",
       "  'تاکید',\n",
       "  'بر',\n",
       "  'اینکه',\n",
       "  'کودک\\u200cهمسری',\n",
       "  'دغدغه',\n",
       "  'علما',\n",
       "  'و',\n",
       "  'مراجع',\n",
       "  'و',\n",
       "  'بسیاری',\n",
       "  'از',\n",
       "  'صاحبنظران',\n",
       "  'فرهنگی',\n",
       "  'و',\n",
       "  'اجتماعی',\n",
       "  'است',\n",
       "  'که',\n",
       "  'باید',\n",
       "  'همه',\n",
       "  'برای',\n",
       "  'پیشگیری',\n",
       "  'از',\n",
       "  'آن',\n",
       "  'تلاش',\n",
       "  'کنیم',\n",
       "  '،',\n",
       "  'افزود',\n",
       "  ':',\n",
       "  'وجدان',\n",
       "  'عمومی',\n",
       "  'جامعه',\n",
       "  'هم',\n",
       "  'اجازه',\n",
       "  'چنین',\n",
       "  'موضوعی',\n",
       "  'را',\n",
       "  'نمی\\u200cدهد',\n",
       "  '.',\n",
       "  'توجه',\n",
       "  'و',\n",
       "  'تاکید',\n",
       "  'دولت',\n",
       "  'هم',\n",
       "  'این',\n",
       "  'است',\n",
       "  'که',\n",
       "  'ازدواج',\n",
       "  'بین',\n",
       "  '۱۳',\n",
       "  'تا',\n",
       "  '۱۵',\n",
       "  'زیر',\n",
       "  'نظر',\n",
       "  'خانواده',\n",
       "  'و',\n",
       "  'قاضی',\n",
       "  'امکانپذیر',\n",
       "  'باشد',\n",
       "  'و',\n",
       "  '۱۳',\n",
       "  'سال',\n",
       "  'به',\n",
       "  'پایین',\n",
       "  'کلا',\n",
       "  'متوقف',\n",
       "  'شود',\n",
       "  '.'],\n",
       " ['هشدار',\n",
       "  'سیاسی',\n",
       "  'به',\n",
       "  'بازار',\n",
       "  'سکه',\n",
       "  '|',\n",
       "  'فلز',\n",
       "  'گرانبهای',\n",
       "  'داخلی',\n",
       "  'با',\n",
       "  'دلار',\n",
       "  'حرکت',\n",
       "  'خواهد_کرد',\n",
       "  '؟',\n",
       "  'سکه',\n",
       "  'برای',\n",
       "  'اینکه',\n",
       "  'با',\n",
       "  'سرعت',\n",
       "  'زیادی',\n",
       "  'افزایشی',\n",
       "  'شود',\n",
       "  '،',\n",
       "  'سه',\n",
       "  'مانع',\n",
       "  'را',\n",
       "  'در',\n",
       "  'مقابل',\n",
       "  'خود',\n",
       "  'می\\u200cبیند',\n",
       "  '.',\n",
       "  'سکه',\n",
       "  'هوم',\n",
       "  'پیج',\n",
       "  'به',\n",
       "  'گزارش',\n",
       "  'همشهری',\n",
       "  'آنلاین',\n",
       "  'به',\n",
       "  'نقل',\n",
       "  'از',\n",
       "  'اقتصادنیوز',\n",
       "  '،',\n",
       "  '«',\n",
       "  'وضعیت',\n",
       "  'هشدار',\n",
       "  'در',\n",
       "  'بغداد',\n",
       "  'به',\n",
       "  'بالاترین',\n",
       "  'سطح',\n",
       "  'خود',\n",
       "  'رسیده_است',\n",
       "  '»',\n",
       "  '.',\n",
       "  'خبرهایی',\n",
       "  'مشابه',\n",
       "  'با',\n",
       "  'این',\n",
       "  'عنوان',\n",
       "  '،',\n",
       "  'از',\n",
       "  'اواخر',\n",
       "  'روز',\n",
       "  'جمعه',\n",
       "  '،',\n",
       "  'به',\n",
       "  'میزان',\n",
       "  'زیادی',\n",
       "  'در',\n",
       "  'کانال\\u200cهای',\n",
       "  'اطلاع',\n",
       "  'رسانی',\n",
       "  'معامله',\n",
       "  'گران',\n",
       "  'منتشر',\n",
       "  'شد',\n",
       "  '.',\n",
       "  'طبیعتا',\n",
       "  'هدف',\n",
       "  'از',\n",
       "  'انتشار',\n",
       "  'وسیع',\n",
       "  'این',\n",
       "  'اخبار',\n",
       "  'این',\n",
       "  'بود',\n",
       "  'که',\n",
       "  'سطح',\n",
       "  'نگرانی',\n",
       "  'معامله',\n",
       "  'گران',\n",
       "  'بالا',\n",
       "  'رود',\n",
       "  'و',\n",
       "  'خریدهای',\n",
       "  'سکه',\n",
       "  'و',\n",
       "  'ارز',\n",
       "  'افزایش',\n",
       "  'پیدا',\n",
       "  'کند',\n",
       "  '.',\n",
       "  'آخرین',\n",
       "  'قیمت',\n",
       "  'طلا',\n",
       "  'و',\n",
       "  'انواع',\n",
       "  'سکه',\n",
       "  'در',\n",
       "  'بازار',\n",
       "  '|',\n",
       "  'حباب',\n",
       "  'سکه',\n",
       "  'چقدر',\n",
       "  'شد',\n",
       "  '؟',\n",
       "  'با',\n",
       "  'این',\n",
       "  'حال',\n",
       "  '،',\n",
       "  'قیمت',\n",
       "  'سکه',\n",
       "  'برای',\n",
       "  'اینکه',\n",
       "  'با',\n",
       "  'سرعت',\n",
       "  'زیادی',\n",
       "  'افزایشی',\n",
       "  'شود',\n",
       "  '،',\n",
       "  'سه',\n",
       "  'مانع',\n",
       "  'را',\n",
       "  'در',\n",
       "  'مقابل',\n",
       "  'خود',\n",
       "  'می\\u200cبیند',\n",
       "  '.',\n",
       "  'اولین',\n",
       "  'مانع',\n",
       "  '،',\n",
       "  'حباب',\n",
       "  'این',\n",
       "  'فلز',\n",
       "  'گران',\n",
       "  'بهاست',\n",
       "  '؛',\n",
       "  'فلز',\n",
       "  'گران',\n",
       "  'بهای',\n",
       "  'داخلی',\n",
       "  'در',\n",
       "  'انتهای',\n",
       "  'هفته',\n",
       "  'گذشته',\n",
       "  'حدود',\n",
       "  '۵۰۰',\n",
       "  'هزار',\n",
       "  'تومان',\n",
       "  'حباب',\n",
       "  'داشت',\n",
       "  'و',\n",
       "  'در',\n",
       "  'واقع',\n",
       "  'نزدیک',\n",
       "  'به',\n",
       "  '۵',\n",
       "  'درصد',\n",
       "  'بالاتر',\n",
       "  'از',\n",
       "  'ارزش',\n",
       "  'ذاتی',\n",
       "  'خود',\n",
       "  'معامله',\n",
       "  'می\\u200cشد',\n",
       "  '.',\n",
       "  'دومین',\n",
       "  'مانع',\n",
       "  'برای',\n",
       "  'قیمت',\n",
       "  'سکه',\n",
       "  '،',\n",
       "  'افزایش',\n",
       "  'فروش\\u200cها',\n",
       "  'در',\n",
       "  'نزدیکی',\n",
       "  'محدوده',\n",
       "  '۱۲',\n",
       "  'میلیون',\n",
       "  'و',\n",
       "  '۲۰۰',\n",
       "  'هزار',\n",
       "  'تومانی',\n",
       "  'است',\n",
       "  '.',\n",
       "  'به',\n",
       "  'عبارت',\n",
       "  'دیگر',\n",
       "  '،',\n",
       "  'ممکن',\n",
       "  'است',\n",
       "  'سکه',\n",
       "  'در',\n",
       "  'واکنش',\n",
       "  'به',\n",
       "  'اخبار',\n",
       "  'و',\n",
       "  'نگرانی\\u200cهای',\n",
       "  'سیاسی',\n",
       "  'حتی',\n",
       "  'به',\n",
       "  'بالای',\n",
       "  '۱۲',\n",
       "  'میلیون',\n",
       "  'تومان',\n",
       "  'برود',\n",
       "  '،',\n",
       "  'ولی',\n",
       "  'برای',\n",
       "  'عبور',\n",
       "  'از',\n",
       "  'مقاومت',\n",
       "  '۱۲',\n",
       "  'میلیون',\n",
       "  'و',\n",
       "  '۲۰۰',\n",
       "  'هزار',\n",
       "  'تومان',\n",
       "  'دشواری\\u200cهای',\n",
       "  'زیادی',\n",
       "  'دارد',\n",
       "  '.',\n",
       "  'سکه',\n",
       "  'وارد',\n",
       "  'کانال',\n",
       "  '۱۲',\n",
       "  'میلیونی',\n",
       "  'شد',\n",
       "  '|',\n",
       "  'جدیدترین',\n",
       "  'قیمت',\n",
       "  'طلا',\n",
       "  'و',\n",
       "  'انواع',\n",
       "  'سکه',\n",
       "  'در',\n",
       "  '۴',\n",
       "  'دیماه',\n",
       "  '۹۹',\n",
       "  'سومین',\n",
       "  'مانع',\n",
       "  'سکه',\n",
       "  '،',\n",
       "  'تعطیلی',\n",
       "  'بازار',\n",
       "  'طلای',\n",
       "  'جهانی',\n",
       "  'است',\n",
       "  '؛',\n",
       "  'این',\n",
       "  'مساله',\n",
       "  'موجب',\n",
       "  'می\\u200cشود',\n",
       "  'که',\n",
       "  'سکه',\n",
       "  'بیشتر',\n",
       "  'از',\n",
       "  'همیشه',\n",
       "  'به',\n",
       "  'روند',\n",
       "  'دلار',\n",
       "  'متکی',\n",
       "  'باشد',\n",
       "  '.',\n",
       "  'اسکناس',\n",
       "  'آمریکایی',\n",
       "  'هم',\n",
       "  'به',\n",
       "  'طور',\n",
       "  'خاص',\n",
       "  'در',\n",
       "  'چهار',\n",
       "  'هفته',\n",
       "  'اخیر',\n",
       "  '،',\n",
       "  'توان',\n",
       "  'عبور',\n",
       "  'از',\n",
       "  'سطح',\n",
       "  '۲۶',\n",
       "  'هزار',\n",
       "  'و',\n",
       "  '۳۰۰',\n",
       "  'تومان',\n",
       "  'را',\n",
       "  'نداشته_است',\n",
       "  '،',\n",
       "  'در',\n",
       "  'نتیجه',\n",
       "  'برای',\n",
       "  'بازیگران',\n",
       "  'بازار',\n",
       "  'سکه',\n",
       "  'دشوار',\n",
       "  'است',\n",
       "  'که',\n",
       "  'با',\n",
       "  'تکیه',\n",
       "  'بر',\n",
       "  'متغیر',\n",
       "  'دلار',\n",
       "  'بخواهند',\n",
       "  'خریدهای',\n",
       "  'خود',\n",
       "  'را',\n",
       "  'بسیار',\n",
       "  'شدت',\n",
       "  'ببخشند',\n",
       "  '.',\n",
       "  'به',\n",
       "  'گفته',\n",
       "  'برخی',\n",
       "  'فعالان',\n",
       "  '،',\n",
       "  'ممکن',\n",
       "  'است',\n",
       "  'سکه',\n",
       "  'در',\n",
       "  'واکنش',\n",
       "  'به',\n",
       "  'نگرانی\\u200cهای',\n",
       "  'سیاسی',\n",
       "  'تا',\n",
       "  'حدی',\n",
       "  'افزایشی',\n",
       "  'شود',\n",
       "  '،',\n",
       "  'ولی',\n",
       "  'نمی\\u200cتوان',\n",
       "  'گفت',\n",
       "  'که',\n",
       "  'این',\n",
       "  'افزایش',\n",
       "  'باعث',\n",
       "  'ثبت',\n",
       "  'رکوردهای',\n",
       "  'جدید',\n",
       "  'در',\n",
       "  'بازار',\n",
       "  'شود',\n",
       "  '.',\n",
       "  'اگر',\n",
       "  'تنش\\u200cها',\n",
       "  'در',\n",
       "  'عراق',\n",
       "  'ادامه',\n",
       "  'پیدا',\n",
       "  'نکند',\n",
       "  '،',\n",
       "  'حتی',\n",
       "  'احتمال',\n",
       "  'افت',\n",
       "  'سکه',\n",
       "  'نیز',\n",
       "  'وجود',\n",
       "  'خواهد_داشت',\n",
       "  '.'],\n",
       " ['نگرانی',\n",
       "  'بزرگ',\n",
       "  'محمود',\n",
       "  'فکری',\n",
       "  '؛',\n",
       "  'وضعیت',\n",
       "  'مبهم',\n",
       "  'سه',\n",
       "  'ستاره',\n",
       "  'استقلال',\n",
       "  'برای',\n",
       "  'دربی',\n",
       "  '۳ستاره',\n",
       "  'آبی\\u200cها',\n",
       "  'با',\n",
       "  'توجه',\n",
       "  'به',\n",
       "  'اظهارنظر',\n",
       "  'کادرپزشکی',\n",
       "  'و',\n",
       "  'صحبت\\u200cهایی',\n",
       "  'که',\n",
       "  'امروز',\n",
       "  'محمود',\n",
       "  'فکری',\n",
       "  'انجام',\n",
       "  'داده',\n",
       "  'به',\n",
       "  'دیدار',\n",
       "  'روز',\n",
       "  'چهارشنبه',\n",
       "  '۱۰',\n",
       "  'دیماه',\n",
       "  'با',\n",
       "  'گل\\u200cگهر',\n",
       "  'سیرجان',\n",
       "  'نخواهند_رسید',\n",
       "  '.',\n",
       "  'استقلال',\n",
       "  'به',\n",
       "  'گزارش',\n",
       "  'همشهری',\n",
       "  'آنلاین',\n",
       "  'اگرچه',\n",
       "  'امروز',\n",
       "  'دیاباته',\n",
       "  'درتمرینات',\n",
       "  'گروهی',\n",
       "  'استقلال',\n",
       "  'حاضر',\n",
       "  'شد',\n",
       "  'اما',\n",
       "  'گفته_می\\u200cشود',\n",
       "  'فکری',\n",
       "  'در',\n",
       "  'مورد',\n",
       "  'این',\n",
       "  'بازیکن',\n",
       "  'ریسک',\n",
       "  'نخواهد_و',\n",
       "  'او',\n",
       "  'را',\n",
       "  'برابر',\n",
       "  'گل',\n",
       "  'گهر',\n",
       "  'به',\n",
       "  'میدان',\n",
       "  'نخواهد_فرستاد',\n",
       "  'تا',\n",
       "  'مهاجم',\n",
       "  'آبی\\u200cها',\n",
       "  'در',\n",
       "  'صورت',\n",
       "  'رسیدن',\n",
       "  'به',\n",
       "  'آمادگی',\n",
       "  'کامل',\n",
       "  'مهیای',\n",
       "  'دربی',\n",
       "  'شود',\n",
       "  '.',\n",
       "  '.',\n",
       "  'به',\n",
       "  'جز',\n",
       "  'دیاباته',\n",
       "  'دو',\n",
       "  'بازیکن',\n",
       "  'دیگر',\n",
       "  'اسقلال',\n",
       "  'هم',\n",
       "  'تقریبا',\n",
       "  'همین',\n",
       "  'شرایط',\n",
       "  'را',\n",
       "  'دارند',\n",
       "  '.',\n",
       "  'داریوش',\n",
       "  'شجاعیان',\n",
       "  'و',\n",
       "  'محمد',\n",
       "  'نادری',\n",
       "  '۲',\n",
       "  'بازیکن',\n",
       "  'مصدوم',\n",
       "  'استقلال',\n",
       "  'هستند',\n",
       "  'که',\n",
       "  'اگرچه',\n",
       "  'در',\n",
       "  'تمرینات',\n",
       "  'حضور',\n",
       "  'دارند',\n",
       "  'اما',\n",
       "  'هنوز',\n",
       "  'شرایط',\n",
       "  'بازی',\n",
       "  'کردن',\n",
       "  'را',\n",
       "  'پیدا',\n",
       "  'نکرده\\u200cاند',\n",
       "  'و',\n",
       "  'مشخص',\n",
       "  'نیست',\n",
       "  'این',\n",
       "  'امکان',\n",
       "  'را',\n",
       "  'چه',\n",
       "  'زمانی',\n",
       "  'به',\n",
       "  'دست',\n",
       "  'خواهند_آورد',\n",
       "  '.',\n",
       "  '۳ستاره',\n",
       "  'آبی\\u200cها',\n",
       "  'با',\n",
       "  'توجه',\n",
       "  'به',\n",
       "  'اظهارنظر',\n",
       "  'کادرپزشکی',\n",
       "  'و',\n",
       "  'صحبت\\u200cهایی',\n",
       "  'که',\n",
       "  'امروز',\n",
       "  'محمود',\n",
       "  'فکری',\n",
       "  'انجام',\n",
       "  'داده',\n",
       "  'به',\n",
       "  'دیدار',\n",
       "  'روز',\n",
       "  'چهارشنبه',\n",
       "  '۱۰',\n",
       "  'دیماه',\n",
       "  'با',\n",
       "  'گل\\u200cگهر',\n",
       "  'سیرجان',\n",
       "  'نخواهند_رسید',\n",
       "  '.']]"
      ]
     },
     "execution_count": 308,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sample_tokens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 309,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "464\n",
      "765\n",
      "368\n",
      "158\n"
     ]
    }
   ],
   "source": [
    "for i in sample_tokens:\n",
    "    print(len(i))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 310,
   "metadata": {},
   "outputs": [],
   "source": [
    "vec_sample = tfidf.transform(sample_tokens)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 311,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<4x22685 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 207 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 311,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vec_sample"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 312,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[array(['۸۱', '۶۵', '۱۳۸۰', 'یزدی', 'گفته_بود', 'گفته_است', 'گرفتار',\n",
      "       'نگهبان', 'نظرها', 'موضع', 'مواجهه', 'معین', 'مشکلی', 'مسلم',\n",
      "       'مرحوم', 'مخالفان', 'مجدد', 'ماجرای', 'لوایحی', 'لوایح', 'لقب',\n",
      "       'لایحه', 'صوفی', 'شهریور', 'شهروند', 'سیدمحمد', 'روزهایی', 'روح',\n",
      "       'روایتی', 'دوگانه', 'دوقلوی', 'دوقلو', 'داغ', 'خاطره', 'حواشی',\n",
      "       'جملات', 'جاها', 'جالبی', 'توقعی', 'تقدیم', 'تثبیت', 'تبیین',\n",
      "       'بعدها', 'برده', 'بدانند', 'ببینند', 'بارها', 'اهتمام', 'انگار',\n",
      "       'اختیارات', 'احزاب', 'آبان'], dtype='<U21')]\n",
      "[array(['گواهینامه', 'گلایه', 'کودکی', 'کوبیدن', 'کلا', 'کریم', 'چنانچه',\n",
      "       'چطور', 'پیشگیری', 'پیامدهای', 'پرسید', 'وجدان', 'واداشتن',\n",
      "       'وادار', 'هیچگونه', 'هوشیاری', 'همسری', 'هستید', 'نیفتاده',\n",
      "       'نیستیم', 'نکنید', 'نرسیده', 'نادیده', 'مکارم', 'موضوعی', 'موضع',\n",
      "       'موافقان', 'ممنوع', 'معنا', 'معضل', 'معصومه', 'معرفت', 'معتقدیم',\n",
      "       'مشاور', 'مسیری', 'مسئولانه', 'مراجع', 'مدنی', 'مخالفان', 'مباحثی',\n",
      "       'قرآن', 'قبال', 'قاضی', 'فیزیولوژی', 'علما', 'عقد', 'عالیقدر',\n",
      "       'صراحت', 'صاحبنظران', 'شیرازی', 'شاهدیم', 'زیان', 'رشدی', 'راهگشا',\n",
      "       'راهروهای', 'دغدغه', 'دریغ', 'درآورند', 'دختران', 'دختر', 'داراست',\n",
      "       'خوشبختانه', 'خورد', 'خواهد_دید', 'خطرناک', 'حرکتی', 'حاضرند',\n",
      "       'جنجالی', 'جسمی', 'تمایل', 'تضعیف', 'تبصره', 'تاسف', 'بیافتد',\n",
      "       'بزرگان', 'ببینید', 'بایستند', 'بانکی', 'باطل', 'بازیچه', 'اوست',\n",
      "       'انتقادات', 'امکانپذیر', 'افزون', 'اظهارات', 'اطفال', 'اشراف',\n",
      "       'اشتباه', 'ازدواج', 'احادیث', 'ابتکار', 'آیات', 'آنچنانی'],\n",
      "      dtype='<U21')]\n",
      "[array(['۹۹', 'گرانبهای', 'گران', 'کانال', 'چقدر', 'وسیع', 'نکند',\n",
      "       'نزدیکی', 'نداشته_است', 'میلیونی', 'معامله', 'محدوده', 'متکی',\n",
      "       'متغیر', 'فلز', 'فعالان', 'طلای', 'طلا', 'طبیعتا', 'سکه',\n",
      "       'رکوردهای', 'ذاتی', 'دیماه', 'دشوار', 'خریدهای', 'خبرهایی', 'حدی',\n",
      "       'حباب', 'جدیدترین', 'تکیه', 'تومانی', 'تعطیلی', 'بهای', 'بغداد',\n",
      "       'برود', 'بخواهند', 'ببخشند', 'بالاترین', 'بازیگران', 'اواخر',\n",
      "       'انتهای', 'افزایشی', 'افت', 'اسکناس', 'ارز', 'اخبار'], dtype='<U21')]\n",
      "[array(['گهر', 'نادری', 'مهاجم', 'مصدوم', 'محمود', 'مبهم', 'سیرجان',\n",
      "       'ستاره', 'ریسک', 'دیماه', 'دربی', 'داریوش', 'خواهند_آورد',\n",
      "       'تمرینات', 'اگرچه', 'اظهارنظر'], dtype='<U21')]\n"
     ]
    }
   ],
   "source": [
    "for vec in vec_sample:\n",
    "    print(tfidf.inverse_transform(vec))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 313,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['Politics', 'Miscellaneous', 'Economy', 'Sport'], dtype=object)"
      ]
     },
     "execution_count": 313,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "label_encoder.inverse_transform(lr.predict(vec_sample))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 314,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Economy']  :  1.35 %\n",
      "['Literature and Art']  :  0.389 %\n",
      "['Miscellaneous']  :  9.73 %\n",
      "['Natural Environment']  :  0.0699 %\n",
      "['Politics']  :  87.3 %\n",
      "['Science and Culture']  :  0.554 %\n",
      "['Social']  :  0.384 %\n",
      "['Sport']  :  0.187 %\n",
      "['Tourism']  :  0.0434 %\n"
     ]
    }
   ],
   "source": [
    "pred_classes(sample_tokens[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 315,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Economy']  :  0.501 %\n",
      "['Literature and Art']  :  0.243 %\n",
      "['Miscellaneous']  :  62.5 %\n",
      "['Natural Environment']  :  0.0567 %\n",
      "['Politics']  :  1.55 %\n",
      "['Science and Culture']  :  0.364 %\n",
      "['Social']  :  34.7 %\n",
      "['Sport']  :  0.106 %\n",
      "['Tourism']  :  0.0326 %\n"
     ]
    }
   ],
   "source": [
    "pred_classes(sample_tokens[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 316,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Economy']  :  96.8 %\n",
      "['Literature and Art']  :  0.314 %\n",
      "['Miscellaneous']  :  1.5 %\n",
      "['Natural Environment']  :  0.0708 %\n",
      "['Politics']  :  0.607 %\n",
      "['Science and Culture']  :  0.283 %\n",
      "['Social']  :  0.23 %\n",
      "['Sport']  :  0.141 %\n",
      "['Tourism']  :  0.0297 %\n"
     ]
    }
   ],
   "source": [
    "pred_classes(sample_tokens[2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 317,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Economy']  :  7.29 %\n",
      "['Literature and Art']  :  3.8 %\n",
      "['Miscellaneous']  :  28.4 %\n",
      "['Natural Environment']  :  0.729 %\n",
      "['Politics']  :  7.15 %\n",
      "['Science and Culture']  :  7.79 %\n",
      "['Social']  :  3.19 %\n",
      "['Sport']  :  41.0 %\n",
      "['Tourism']  :  0.577 %\n"
     ]
    }
   ],
   "source": [
    "pred_classes(sample_tokens[3])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 277,
   "metadata": {},
   "outputs": [],
   "source": [
    "LogisticRegression?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 285,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 17 µs, sys: 0 ns, total: 17 µs\n",
      "Wall time: 22.4 µs\n"
     ]
    }
   ],
   "source": [
    "%time lr_sparse = LogisticRegression(max_iter=10, penalty='l1', solver='saga', verbose=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 287,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "max_iter reached after 15 seconds\n",
      "max_iter reached after 10 seconds\n",
      "max_iter reached after 24 seconds\n",
      "max_iter reached after 5 seconds\n",
      "max_iter reached after 14 seconds\n",
      "max_iter reached after 14 seconds\n",
      "max_iter reached after 12 seconds\n",
      "max_iter reached after 7 seconds\n",
      "max_iter reached after 4 seconds\n",
      "CPU times: user 1min 44s, sys: 135 ms, total: 1min 44s\n",
      "Wall time: 1min 45s\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[Parallel(n_jobs=1)]: Done   9 out of   9 | elapsed:  1.8min finished\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,\n",
       "                   intercept_scaling=1, l1_ratio=None, max_iter=10,\n",
       "                   multi_class='warn', n_jobs=None, penalty='l1',\n",
       "                   random_state=None, solver='saga', tol=0.0001, verbose=True,\n",
       "                   warm_start=False)"
      ]
     },
     "execution_count": 287,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%time lr_sparse.fit(X_train, label_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 288,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "176"
      ]
     },
     "execution_count": 288,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import gc;gc.collect()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 290,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.8233370642788616"
      ]
     },
     "execution_count": 290,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr_sparse.score(X_train, label_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 292,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,\n",
       "                   intercept_scaling=1, l1_ratio=None, max_iter=10,\n",
       "                   multi_class='warn', n_jobs=None, penalty='l1',\n",
       "                   random_state=None, solver='saga', tol=0.0001, verbose=True,\n",
       "                   warm_start=False)"
      ]
     },
     "execution_count": 292,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr_sparse.sparsify()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 293,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<9x22685 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 22825 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 293,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr_sparse.coef_"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 297,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,\n",
       "                   intercept_scaling=1, l1_ratio=None, max_iter=1000,\n",
       "                   multi_class='multinomial', n_jobs=None, penalty='l2',\n",
       "                   random_state=None, solver='sag', tol=0.0001, verbose=True,\n",
       "                   warm_start=False)"
      ]
     },
     "execution_count": 297,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.sparsify()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 298,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<9x22685 sparse matrix of type '<class 'numpy.float64'>'\n",
       "\twith 204165 stored elements in Compressed Sparse Row format>"
      ]
     },
     "execution_count": 298,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.coef_"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 300,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                     precision    recall  f1-score   support\n",
      "\n",
      "            Economy       0.85      0.82      0.83      5892\n",
      " Literature and Art       0.72      0.58      0.64      1621\n",
      "      Miscellaneous       0.78      0.89      0.83     19272\n",
      "Natural Environment       0.52      0.11      0.18       233\n",
      "           Politics       0.80      0.70      0.75      4884\n",
      "Science and Culture       0.69      0.56      0.62      3383\n",
      "             Social       0.71      0.51      0.60      2373\n",
      "              Sport       0.97      0.95      0.96      3925\n",
      "            Tourism       0.65      0.27      0.38       111\n",
      "\n",
      "           accuracy                           0.80     41694\n",
      "          macro avg       0.74      0.60      0.64     41694\n",
      "       weighted avg       0.79      0.80      0.79     41694\n",
      "\n",
      "[[ 4802     1   895     0   116    40    21     9     8]\n",
      " [   10   943   559     0     4    76    23     6     0]\n",
      " [  507   257 17106    14   531   538   250    64     5]\n",
      " [    8     3   178    25     1    14     4     0     0]\n",
      " [  167     3  1141     0  3427    51    87     7     1]\n",
      " [   70    84  1139     9    76  1894    93    16     2]\n",
      " [   58    25   823     0   138   110  1211     8     0]\n",
      " [    5     0   176     0    10     8     7  3719     0]\n",
      " [   16     0    51     0     0    14     0     0    30]]\n",
      "0.7888895692596939\n"
     ]
    }
   ],
   "source": [
    "eval_results(label_test, lr_sparse.predict(X_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 319,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 3.74 ms, sys: 0 ns, total: 3.74 ms\n",
      "Wall time: 2.75 ms\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "array([[0.03855363, 0.01661163, 0.14945471, 0.00181199, 0.0478397 ,\n",
       "        0.05403346, 0.00705236, 0.68356312, 0.00107939]])"
      ]
     },
     "execution_count": 319,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%time lr_sparse.predict_proba(vec_sample[3])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 323,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 2.52 ms, sys: 15 µs, total: 2.54 ms\n",
      "Wall time: 1.9 ms\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "array([[0.07287228, 0.03796737, 0.28443607, 0.00729043, 0.07154442,\n",
       "        0.07788938, 0.03194072, 0.41029204, 0.00576728]])"
      ]
     },
     "execution_count": 323,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%time lr.predict_proba(vec_sample[3])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Doc2vec Model "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "ename": "NameError",
     "evalue": "name 'X_train' is not defined",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mNameError\u001b[0m                                 Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-13-e577ac611fc9>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0;32mdel\u001b[0m \u001b[0mX_train\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mX_test\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;31mNameError\u001b[0m: name 'X_train' is not defined"
     ]
    }
   ],
   "source": [
    "del X_train, X_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "28"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import gc;gc.collect()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "from  gensim.models.doc2vec import Doc2Vec, TaggedDocument"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "documents = [TaggedDocument(doc, [i]) for i, doc in enumerate(tokens_train)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "def discard_freq(word, count, min_count):\n",
    "    if count <= 1000:\n",
    "        return gensim.utils.RULE_KEEP\n",
    "    return gensim.utils.RULE_DISCARD"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "import logging\n",
    "logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "documents_test = [TaggedDocument(doc, [str(label)])\n",
    "                 for label, doc in zip(label_test, tokens_test)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2020-12-27 05:00:26,179 : INFO : collecting all words and their counts\n",
      "2020-12-27 05:00:26,182 : INFO : PROGRESS: at example #0, processed 0 words (0/s), 0 word types, 0 tags\n",
      "2020-12-27 05:00:27,009 : INFO : PROGRESS: at example #10000, processed 3947153 words (4782120/s), 105112 word types, 10000 tags\n",
      "2020-12-27 05:00:27,860 : INFO : PROGRESS: at example #20000, processed 7954995 words (4711571/s), 159336 word types, 20000 tags\n",
      "2020-12-27 05:00:28,685 : INFO : PROGRESS: at example #30000, processed 11951836 words (4849223/s), 204660 word types, 30000 tags\n",
      "2020-12-27 05:00:29,514 : INFO : PROGRESS: at example #40000, processed 15886072 words (4752122/s), 244068 word types, 40000 tags\n",
      "2020-12-27 05:00:30,387 : INFO : PROGRESS: at example #50000, processed 19932242 words (4637887/s), 279089 word types, 50000 tags\n",
      "2020-12-27 05:00:31,324 : INFO : PROGRESS: at example #60000, processed 23892239 words (4230051/s), 310832 word types, 60000 tags\n",
      "2020-12-27 05:00:32,237 : INFO : PROGRESS: at example #70000, processed 27876904 words (4363739/s), 341735 word types, 70000 tags\n",
      "2020-12-27 05:00:33,167 : INFO : PROGRESS: at example #80000, processed 31853867 words (4279521/s), 371233 word types, 80000 tags\n",
      "2020-12-27 05:00:34,125 : INFO : PROGRESS: at example #90000, processed 35871901 words (4200610/s), 398028 word types, 90000 tags\n",
      "2020-12-27 05:00:35,067 : INFO : PROGRESS: at example #100000, processed 39863787 words (4241570/s), 425265 word types, 100000 tags\n",
      "2020-12-27 05:00:36,031 : INFO : PROGRESS: at example #110000, processed 43835167 words (4120188/s), 451036 word types, 110000 tags\n",
      "2020-12-27 05:00:36,959 : INFO : PROGRESS: at example #120000, processed 47754417 words (4226720/s), 475005 word types, 120000 tags\n",
      "2020-12-27 05:00:37,403 : INFO : collected 487264 word types and 125080 unique tags from a corpus of 125080 examples and 49762270 words\n",
      "2020-12-27 05:00:37,404 : INFO : Loading a fresh vocabulary\n",
      "2020-12-27 05:00:38,961 : INFO : effective_min_count=100 retains 18827 unique words (3% of original 487264, drops 468437)\n",
      "2020-12-27 05:00:38,962 : INFO : effective_min_count=100 leaves 47593922 word corpus (95% of original 49762270, drops 2168348)\n",
      "2020-12-27 05:00:39,037 : INFO : deleting the raw counts dictionary of 487264 items\n",
      "2020-12-27 05:00:39,053 : INFO : sample=0.001 downsamples 25 most-common words\n",
      "2020-12-27 05:00:39,054 : INFO : downsampling leaves estimated 37466754 word corpus (78.7% of prior 47593922)\n",
      "2020-12-27 05:00:39,132 : INFO : estimated required memory for 18827 words and 300 dimensions: 204694300 bytes\n",
      "2020-12-27 05:00:39,132 : INFO : resetting layer weights\n",
      "2020-12-27 05:01:08,647 : INFO : training model with 4 workers on 18827 vocabulary and 300 features, using sg=1 hs=0 sample=0.001 negative=5 window=5\n",
      "2020-12-27 05:01:09,666 : INFO : EPOCH 1 - PROGRESS: at 1.25% examples, 465789 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:10,671 : INFO : EPOCH 1 - PROGRESS: at 2.76% examples, 521389 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:11,678 : INFO : EPOCH 1 - PROGRESS: at 3.61% examples, 452585 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:12,678 : INFO : EPOCH 1 - PROGRESS: at 4.52% examples, 423007 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:13,678 : INFO : EPOCH 1 - PROGRESS: at 5.75% examples, 430925 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:14,720 : INFO : EPOCH 1 - PROGRESS: at 6.89% examples, 427024 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:15,725 : INFO : EPOCH 1 - PROGRESS: at 7.96% examples, 420114 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:16,739 : INFO : EPOCH 1 - PROGRESS: at 8.74% examples, 403949 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:17,747 : INFO : EPOCH 1 - PROGRESS: at 9.63% examples, 396677 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:18,756 : INFO : EPOCH 1 - PROGRESS: at 10.58% examples, 392646 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:19,765 : INFO : EPOCH 1 - PROGRESS: at 11.26% examples, 381149 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:20,784 : INFO : EPOCH 1 - PROGRESS: at 11.99% examples, 372973 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:21,797 : INFO : EPOCH 1 - PROGRESS: at 12.69% examples, 363654 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:22,810 : INFO : EPOCH 1 - PROGRESS: at 13.39% examples, 356865 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:23,831 : INFO : EPOCH 1 - PROGRESS: at 14.13% examples, 350392 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:24,884 : INFO : EPOCH 1 - PROGRESS: at 15.11% examples, 349701 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:25,903 : INFO : EPOCH 1 - PROGRESS: at 15.91% examples, 346727 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:26,904 : INFO : EPOCH 1 - PROGRESS: at 16.89% examples, 346777 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:27,932 : INFO : EPOCH 1 - PROGRESS: at 17.78% examples, 345811 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:28,963 : INFO : EPOCH 1 - PROGRESS: at 18.83% examples, 348338 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:29,969 : INFO : EPOCH 1 - PROGRESS: at 19.76% examples, 348655 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:30,972 : INFO : EPOCH 1 - PROGRESS: at 20.80% examples, 351220 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:31,990 : INFO : EPOCH 1 - PROGRESS: at 21.83% examples, 351694 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:32,996 : INFO : EPOCH 1 - PROGRESS: at 23.29% examples, 360748 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:33,996 : INFO : EPOCH 1 - PROGRESS: at 25.12% examples, 373279 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:35,006 : INFO : EPOCH 1 - PROGRESS: at 26.99% examples, 385752 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:36,010 : INFO : EPOCH 1 - PROGRESS: at 28.85% examples, 396454 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:37,037 : INFO : EPOCH 1 - PROGRESS: at 30.81% examples, 406821 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:38,058 : INFO : EPOCH 1 - PROGRESS: at 32.76% examples, 417388 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:39,060 : INFO : EPOCH 1 - PROGRESS: at 34.60% examples, 426655 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:40,066 : INFO : EPOCH 1 - PROGRESS: at 36.47% examples, 435582 words/s, in_qsize 6, out_qsize 0\n",
      "2020-12-27 05:01:41,075 : INFO : EPOCH 1 - PROGRESS: at 38.23% examples, 443286 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:42,077 : INFO : EPOCH 1 - PROGRESS: at 40.11% examples, 451673 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:43,092 : INFO : EPOCH 1 - PROGRESS: at 42.01% examples, 458654 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:44,112 : INFO : EPOCH 1 - PROGRESS: at 43.89% examples, 465938 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:45,141 : INFO : EPOCH 1 - PROGRESS: at 45.76% examples, 471762 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:46,146 : INFO : EPOCH 1 - PROGRESS: at 47.68% examples, 478508 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:47,159 : INFO : EPOCH 1 - PROGRESS: at 49.52% examples, 483593 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:48,175 : INFO : EPOCH 1 - PROGRESS: at 51.23% examples, 487721 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:49,181 : INFO : EPOCH 1 - PROGRESS: at 53.03% examples, 492374 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:50,184 : INFO : EPOCH 1 - PROGRESS: at 54.85% examples, 496833 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:51,189 : INFO : EPOCH 1 - PROGRESS: at 56.27% examples, 497865 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:52,193 : INFO : EPOCH 1 - PROGRESS: at 57.85% examples, 500137 words/s, in_qsize 7, out_qsize 1\n",
      "2020-12-27 05:01:53,196 : INFO : EPOCH 1 - PROGRESS: at 59.38% examples, 501943 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:54,215 : INFO : EPOCH 1 - PROGRESS: at 60.91% examples, 502785 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:55,234 : INFO : EPOCH 1 - PROGRESS: at 62.63% examples, 505379 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:56,240 : INFO : EPOCH 1 - PROGRESS: at 64.20% examples, 507644 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:01:57,251 : INFO : EPOCH 1 - PROGRESS: at 65.37% examples, 506537 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:01:58,267 : INFO : EPOCH 1 - PROGRESS: at 67.17% examples, 509587 words/s, in_qsize 7, out_qsize 0\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2020-12-27 05:01:59,282 : INFO : EPOCH 1 - PROGRESS: at 68.93% examples, 512413 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:00,289 : INFO : EPOCH 1 - PROGRESS: at 70.76% examples, 515496 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:01,294 : INFO : EPOCH 1 - PROGRESS: at 72.47% examples, 518240 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:02,299 : INFO : EPOCH 1 - PROGRESS: at 74.00% examples, 519413 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:03,300 : INFO : EPOCH 1 - PROGRESS: at 75.72% examples, 521803 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:04,303 : INFO : EPOCH 1 - PROGRESS: at 77.53% examples, 525028 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:05,307 : INFO : EPOCH 1 - PROGRESS: at 79.20% examples, 526719 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:06,314 : INFO : EPOCH 1 - PROGRESS: at 81.19% examples, 530513 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:07,322 : INFO : EPOCH 1 - PROGRESS: at 83.00% examples, 532735 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:08,328 : INFO : EPOCH 1 - PROGRESS: at 85.01% examples, 536245 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:09,334 : INFO : EPOCH 1 - PROGRESS: at 86.74% examples, 538290 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:10,346 : INFO : EPOCH 1 - PROGRESS: at 88.68% examples, 541199 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:11,362 : INFO : EPOCH 1 - PROGRESS: at 90.42% examples, 542993 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:12,372 : INFO : EPOCH 1 - PROGRESS: at 92.48% examples, 546164 words/s, in_qsize 8, out_qsize 1\n",
      "2020-12-27 05:02:13,386 : INFO : EPOCH 1 - PROGRESS: at 93.71% examples, 544569 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:14,390 : INFO : EPOCH 1 - PROGRESS: at 95.37% examples, 545588 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:15,413 : INFO : EPOCH 1 - PROGRESS: at 96.84% examples, 545183 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:16,437 : INFO : EPOCH 1 - PROGRESS: at 98.09% examples, 544117 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:17,440 : INFO : EPOCH 1 - PROGRESS: at 99.39% examples, 543014 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:17,833 : INFO : worker thread finished; awaiting finish of 3 more threads\n",
      "2020-12-27 05:02:17,848 : INFO : worker thread finished; awaiting finish of 2 more threads\n",
      "2020-12-27 05:02:17,854 : INFO : worker thread finished; awaiting finish of 1 more threads\n",
      "2020-12-27 05:02:17,855 : INFO : worker thread finished; awaiting finish of 0 more threads\n",
      "2020-12-27 05:02:17,856 : INFO : EPOCH - 1 : training on 49762270 raw words (37580480 effective words) took 69.2s, 543040 effective words/s\n",
      "2020-12-27 05:02:18,881 : INFO : EPOCH 2 - PROGRESS: at 1.50% examples, 568504 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:19,900 : INFO : EPOCH 2 - PROGRESS: at 2.82% examples, 529566 words/s, in_qsize 8, out_qsize 1\n",
      "2020-12-27 05:02:20,941 : INFO : EPOCH 2 - PROGRESS: at 4.38% examples, 537018 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:21,958 : INFO : EPOCH 2 - PROGRESS: at 5.45% examples, 502505 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:22,977 : INFO : EPOCH 2 - PROGRESS: at 7.04% examples, 516148 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:23,987 : INFO : EPOCH 2 - PROGRESS: at 8.57% examples, 522361 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:25,014 : INFO : EPOCH 2 - PROGRESS: at 10.31% examples, 539671 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:26,016 : INFO : EPOCH 2 - PROGRESS: at 11.86% examples, 549421 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:27,022 : INFO : EPOCH 2 - PROGRESS: at 13.72% examples, 563978 words/s, in_qsize 6, out_qsize 1\n",
      "2020-12-27 05:02:28,023 : INFO : EPOCH 2 - PROGRESS: at 15.28% examples, 565243 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:29,061 : INFO : EPOCH 2 - PROGRESS: at 16.33% examples, 547425 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:30,083 : INFO : EPOCH 2 - PROGRESS: at 17.58% examples, 538914 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:31,091 : INFO : EPOCH 2 - PROGRESS: at 18.95% examples, 538482 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:32,098 : INFO : EPOCH 2 - PROGRESS: at 19.94% examples, 527165 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:33,162 : INFO : EPOCH 2 - PROGRESS: at 21.09% examples, 519823 words/s, in_qsize 6, out_qsize 1\n",
      "2020-12-27 05:02:34,172 : INFO : EPOCH 2 - PROGRESS: at 22.31% examples, 514973 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:35,190 : INFO : EPOCH 2 - PROGRESS: at 23.58% examples, 512598 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:36,238 : INFO : EPOCH 2 - PROGRESS: at 24.78% examples, 507418 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:37,261 : INFO : EPOCH 2 - PROGRESS: at 26.06% examples, 505753 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:38,290 : INFO : EPOCH 2 - PROGRESS: at 27.49% examples, 507329 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:39,301 : INFO : EPOCH 2 - PROGRESS: at 28.83% examples, 505453 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:40,326 : INFO : EPOCH 2 - PROGRESS: at 30.22% examples, 504923 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:41,355 : INFO : EPOCH 2 - PROGRESS: at 31.53% examples, 503196 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:42,366 : INFO : EPOCH 2 - PROGRESS: at 33.03% examples, 505132 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:43,368 : INFO : EPOCH 2 - PROGRESS: at 34.29% examples, 504074 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:44,369 : INFO : EPOCH 2 - PROGRESS: at 35.73% examples, 505633 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:45,371 : INFO : EPOCH 2 - PROGRESS: at 36.94% examples, 504217 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:46,372 : INFO : EPOCH 2 - PROGRESS: at 38.37% examples, 506122 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:47,393 : INFO : EPOCH 2 - PROGRESS: at 39.64% examples, 505284 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:48,426 : INFO : EPOCH 2 - PROGRESS: at 41.21% examples, 507010 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:49,465 : INFO : EPOCH 2 - PROGRESS: at 42.28% examples, 503106 words/s, in_qsize 6, out_qsize 1\n",
      "2020-12-27 05:02:50,471 : INFO : EPOCH 2 - PROGRESS: at 43.58% examples, 502947 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:51,477 : INFO : EPOCH 2 - PROGRESS: at 44.88% examples, 501936 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:52,485 : INFO : EPOCH 2 - PROGRESS: at 46.33% examples, 503714 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:53,488 : INFO : EPOCH 2 - PROGRESS: at 47.60% examples, 502902 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:54,494 : INFO : EPOCH 2 - PROGRESS: at 48.97% examples, 502635 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:55,496 : INFO : EPOCH 2 - PROGRESS: at 50.00% examples, 499747 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:56,506 : INFO : EPOCH 2 - PROGRESS: at 51.43% examples, 500901 words/s, in_qsize 8, out_qsize 1\n",
      "2020-12-27 05:02:57,510 : INFO : EPOCH 2 - PROGRESS: at 52.34% examples, 497185 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:02:58,518 : INFO : EPOCH 2 - PROGRESS: at 53.83% examples, 497744 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:02:59,523 : INFO : EPOCH 2 - PROGRESS: at 55.01% examples, 496831 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:00,529 : INFO : EPOCH 2 - PROGRESS: at 56.79% examples, 501021 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:01,535 : INFO : EPOCH 2 - PROGRESS: at 58.57% examples, 505124 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:02,535 : INFO : EPOCH 2 - PROGRESS: at 60.51% examples, 509557 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:03,538 : INFO : EPOCH 2 - PROGRESS: at 62.28% examples, 512950 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:04,556 : INFO : EPOCH 2 - PROGRESS: at 64.15% examples, 516848 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:05,562 : INFO : EPOCH 2 - PROGRESS: at 65.66% examples, 518289 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:06,568 : INFO : EPOCH 2 - PROGRESS: at 67.58% examples, 522045 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:07,569 : INFO : EPOCH 2 - PROGRESS: at 69.16% examples, 523650 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:08,575 : INFO : EPOCH 2 - PROGRESS: at 71.04% examples, 527006 words/s, in_qsize 7, out_qsize 0\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2020-12-27 05:03:09,585 : INFO : EPOCH 2 - PROGRESS: at 72.83% examples, 530218 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:10,597 : INFO : EPOCH 2 - PROGRESS: at 74.50% examples, 532059 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:11,609 : INFO : EPOCH 2 - PROGRESS: at 75.95% examples, 532045 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:12,623 : INFO : EPOCH 2 - PROGRESS: at 77.42% examples, 532757 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:13,641 : INFO : EPOCH 2 - PROGRESS: at 79.08% examples, 534164 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:14,656 : INFO : EPOCH 2 - PROGRESS: at 80.88% examples, 536525 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:15,693 : INFO : EPOCH 2 - PROGRESS: at 82.08% examples, 534632 words/s, in_qsize 6, out_qsize 1\n",
      "2020-12-27 05:03:16,700 : INFO : EPOCH 2 - PROGRESS: at 83.47% examples, 534107 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:17,716 : INFO : EPOCH 2 - PROGRESS: at 84.64% examples, 532453 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:18,730 : INFO : EPOCH 2 - PROGRESS: at 85.76% examples, 530475 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:19,734 : INFO : EPOCH 2 - PROGRESS: at 87.06% examples, 529872 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:20,758 : INFO : EPOCH 2 - PROGRESS: at 88.20% examples, 527935 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:21,794 : INFO : EPOCH 2 - PROGRESS: at 89.25% examples, 525669 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:22,824 : INFO : EPOCH 2 - PROGRESS: at 90.38% examples, 523898 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:23,829 : INFO : EPOCH 2 - PROGRESS: at 91.33% examples, 521028 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:24,830 : INFO : EPOCH 2 - PROGRESS: at 92.86% examples, 521722 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:25,833 : INFO : EPOCH 2 - PROGRESS: at 94.50% examples, 522951 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:26,848 : INFO : EPOCH 2 - PROGRESS: at 95.78% examples, 522062 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:27,867 : INFO : EPOCH 2 - PROGRESS: at 97.55% examples, 523772 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:28,889 : INFO : EPOCH 2 - PROGRESS: at 98.80% examples, 522864 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:29,705 : INFO : worker thread finished; awaiting finish of 3 more threads\n",
      "2020-12-27 05:03:29,719 : INFO : worker thread finished; awaiting finish of 2 more threads\n",
      "2020-12-27 05:03:29,728 : INFO : worker thread finished; awaiting finish of 1 more threads\n",
      "2020-12-27 05:03:29,730 : INFO : worker thread finished; awaiting finish of 0 more threads\n",
      "2020-12-27 05:03:29,731 : INFO : EPOCH - 2 : training on 49762270 raw words (37576943 effective words) took 71.9s, 522840 effective words/s\n",
      "2020-12-27 05:03:30,759 : INFO : EPOCH 3 - PROGRESS: at 1.17% examples, 427762 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:31,759 : INFO : EPOCH 3 - PROGRESS: at 2.33% examples, 439986 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:32,766 : INFO : EPOCH 3 - PROGRESS: at 3.79% examples, 473508 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:33,773 : INFO : EPOCH 3 - PROGRESS: at 4.69% examples, 438438 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:34,807 : INFO : EPOCH 3 - PROGRESS: at 5.70% examples, 424449 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:35,810 : INFO : EPOCH 3 - PROGRESS: at 7.00% examples, 432631 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:36,819 : INFO : EPOCH 3 - PROGRESS: at 8.31% examples, 438834 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:37,819 : INFO : EPOCH 3 - PROGRESS: at 9.40% examples, 436852 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:38,833 : INFO : EPOCH 3 - PROGRESS: at 11.16% examples, 461774 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:39,851 : INFO : EPOCH 3 - PROGRESS: at 12.65% examples, 471355 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:40,855 : INFO : EPOCH 3 - PROGRESS: at 14.00% examples, 474514 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:41,866 : INFO : EPOCH 3 - PROGRESS: at 15.78% examples, 489249 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:42,876 : INFO : EPOCH 3 - PROGRESS: at 17.59% examples, 502078 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:43,881 : INFO : EPOCH 3 - PROGRESS: at 19.36% examples, 514566 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:44,882 : INFO : EPOCH 3 - PROGRESS: at 20.98% examples, 522569 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:45,884 : INFO : EPOCH 3 - PROGRESS: at 22.37% examples, 521818 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:46,888 : INFO : EPOCH 3 - PROGRESS: at 24.08% examples, 528566 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:47,894 : INFO : EPOCH 3 - PROGRESS: at 25.90% examples, 537062 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:48,894 : INFO : EPOCH 3 - PROGRESS: at 27.22% examples, 535638 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:49,905 : INFO : EPOCH 3 - PROGRESS: at 29.00% examples, 540664 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:50,910 : INFO : EPOCH 3 - PROGRESS: at 30.88% examples, 546792 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:51,919 : INFO : EPOCH 3 - PROGRESS: at 32.71% examples, 552437 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:52,929 : INFO : EPOCH 3 - PROGRESS: at 34.57% examples, 558810 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:53,935 : INFO : EPOCH 3 - PROGRESS: at 36.24% examples, 561886 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:54,941 : INFO : EPOCH 3 - PROGRESS: at 37.60% examples, 560683 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:55,942 : INFO : EPOCH 3 - PROGRESS: at 39.34% examples, 565156 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:56,994 : INFO : EPOCH 3 - PROGRESS: at 40.59% examples, 560270 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:03:58,002 : INFO : EPOCH 3 - PROGRESS: at 42.01% examples, 558878 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:03:59,005 : INFO : EPOCH 3 - PROGRESS: at 42.95% examples, 551944 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:00,007 : INFO : EPOCH 3 - PROGRESS: at 44.48% examples, 552743 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:01,009 : INFO : EPOCH 3 - PROGRESS: at 46.02% examples, 553625 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:02,012 : INFO : EPOCH 3 - PROGRESS: at 47.75% examples, 556832 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:03,015 : INFO : EPOCH 3 - PROGRESS: at 49.69% examples, 561547 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:04,026 : INFO : EPOCH 3 - PROGRESS: at 51.49% examples, 565367 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:05,026 : INFO : EPOCH 3 - PROGRESS: at 53.43% examples, 569390 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:06,072 : INFO : EPOCH 3 - PROGRESS: at 55.05% examples, 570115 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:07,083 : INFO : EPOCH 3 - PROGRESS: at 56.52% examples, 569592 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:08,097 : INFO : EPOCH 3 - PROGRESS: at 58.21% examples, 571263 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:09,105 : INFO : EPOCH 3 - PROGRESS: at 59.93% examples, 573034 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:10,142 : INFO : EPOCH 3 - PROGRESS: at 61.83% examples, 575605 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:11,148 : INFO : EPOCH 3 - PROGRESS: at 63.52% examples, 577085 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:12,152 : INFO : EPOCH 3 - PROGRESS: at 64.54% examples, 572478 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:13,164 : INFO : EPOCH 3 - PROGRESS: at 66.13% examples, 573439 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:14,189 : INFO : EPOCH 3 - PROGRESS: at 67.94% examples, 575117 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:15,197 : INFO : EPOCH 3 - PROGRESS: at 69.84% examples, 578266 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:16,199 : INFO : EPOCH 3 - PROGRESS: at 71.65% examples, 580685 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:17,202 : INFO : EPOCH 3 - PROGRESS: at 73.47% examples, 582855 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:18,213 : INFO : EPOCH 3 - PROGRESS: at 75.32% examples, 585111 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:19,230 : INFO : EPOCH 3 - PROGRESS: at 77.18% examples, 587639 words/s, in_qsize 8, out_qsize 0\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2020-12-27 05:04:20,234 : INFO : EPOCH 3 - PROGRESS: at 78.92% examples, 588814 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:21,249 : INFO : EPOCH 3 - PROGRESS: at 80.76% examples, 590748 words/s, in_qsize 8, out_qsize 1\n",
      "2020-12-27 05:04:22,260 : INFO : EPOCH 3 - PROGRESS: at 82.64% examples, 592523 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:23,265 : INFO : EPOCH 3 - PROGRESS: at 84.31% examples, 592946 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:24,285 : INFO : EPOCH 3 - PROGRESS: at 86.06% examples, 594120 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:25,301 : INFO : EPOCH 3 - PROGRESS: at 87.67% examples, 594193 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:26,305 : INFO : EPOCH 3 - PROGRESS: at 89.38% examples, 595145 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:27,316 : INFO : EPOCH 3 - PROGRESS: at 91.24% examples, 596472 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:28,328 : INFO : EPOCH 3 - PROGRESS: at 93.17% examples, 598308 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:29,340 : INFO : EPOCH 3 - PROGRESS: at 95.10% examples, 600046 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:30,351 : INFO : EPOCH 3 - PROGRESS: at 97.03% examples, 601675 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:31,353 : INFO : EPOCH 3 - PROGRESS: at 98.88% examples, 603149 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:31,895 : INFO : worker thread finished; awaiting finish of 3 more threads\n",
      "2020-12-27 05:04:31,908 : INFO : worker thread finished; awaiting finish of 2 more threads\n",
      "2020-12-27 05:04:31,910 : INFO : worker thread finished; awaiting finish of 1 more threads\n",
      "2020-12-27 05:04:31,912 : INFO : worker thread finished; awaiting finish of 0 more threads\n",
      "2020-12-27 05:04:31,913 : INFO : EPOCH - 3 : training on 49762270 raw words (37579143 effective words) took 62.2s, 604416 effective words/s\n",
      "2020-12-27 05:04:32,931 : INFO : EPOCH 4 - PROGRESS: at 1.91% examples, 708520 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:33,941 : INFO : EPOCH 4 - PROGRESS: at 3.79% examples, 709100 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:34,954 : INFO : EPOCH 4 - PROGRESS: at 5.70% examples, 708715 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:35,961 : INFO : EPOCH 4 - PROGRESS: at 7.67% examples, 709463 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:36,962 : INFO : EPOCH 4 - PROGRESS: at 9.33% examples, 694340 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:37,966 : INFO : EPOCH 4 - PROGRESS: at 11.11% examples, 691910 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:38,983 : INFO : EPOCH 4 - PROGRESS: at 12.83% examples, 685166 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:39,984 : INFO : EPOCH 4 - PROGRESS: at 14.61% examples, 680750 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:40,984 : INFO : EPOCH 4 - PROGRESS: at 16.31% examples, 675574 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:41,993 : INFO : EPOCH 4 - PROGRESS: at 18.06% examples, 672610 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:42,996 : INFO : EPOCH 4 - PROGRESS: at 19.87% examples, 675609 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:44,011 : INFO : EPOCH 4 - PROGRESS: at 21.49% examples, 669269 words/s, in_qsize 6, out_qsize 1\n",
      "2020-12-27 05:04:45,033 : INFO : EPOCH 4 - PROGRESS: at 22.85% examples, 656483 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:46,040 : INFO : EPOCH 4 - PROGRESS: at 24.23% examples, 645420 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:47,065 : INFO : EPOCH 4 - PROGRESS: at 25.53% examples, 634528 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:48,076 : INFO : EPOCH 4 - PROGRESS: at 26.99% examples, 629149 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:49,081 : INFO : EPOCH 4 - PROGRESS: at 28.93% examples, 633515 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:50,089 : INFO : EPOCH 4 - PROGRESS: at 30.61% examples, 631450 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:51,129 : INFO : EPOCH 4 - PROGRESS: at 31.92% examples, 623347 words/s, in_qsize 8, out_qsize 1\n",
      "2020-12-27 05:04:52,142 : INFO : EPOCH 4 - PROGRESS: at 33.64% examples, 623959 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:53,171 : INFO : EPOCH 4 - PROGRESS: at 35.31% examples, 623288 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:54,172 : INFO : EPOCH 4 - PROGRESS: at 36.97% examples, 623991 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:55,180 : INFO : EPOCH 4 - PROGRESS: at 38.69% examples, 625646 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:04:56,202 : INFO : EPOCH 4 - PROGRESS: at 40.39% examples, 626084 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:57,216 : INFO : EPOCH 4 - PROGRESS: at 42.09% examples, 625817 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:58,218 : INFO : EPOCH 4 - PROGRESS: at 43.77% examples, 626594 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:04:59,219 : INFO : EPOCH 4 - PROGRESS: at 45.68% examples, 629275 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:00,239 : INFO : EPOCH 4 - PROGRESS: at 47.44% examples, 630427 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:01,246 : INFO : EPOCH 4 - PROGRESS: at 49.24% examples, 631283 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:02,256 : INFO : EPOCH 4 - PROGRESS: at 50.77% examples, 630056 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:03,259 : INFO : EPOCH 4 - PROGRESS: at 52.45% examples, 630193 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:04,259 : INFO : EPOCH 4 - PROGRESS: at 54.04% examples, 628197 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:05,260 : INFO : EPOCH 4 - PROGRESS: at 55.69% examples, 628512 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:06,261 : INFO : EPOCH 4 - PROGRESS: at 57.32% examples, 628032 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:07,271 : INFO : EPOCH 4 - PROGRESS: at 58.94% examples, 628098 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:08,276 : INFO : EPOCH 4 - PROGRESS: at 60.68% examples, 627712 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:09,283 : INFO : EPOCH 4 - PROGRESS: at 62.43% examples, 628293 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:10,290 : INFO : EPOCH 4 - PROGRESS: at 64.10% examples, 628431 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:11,291 : INFO : EPOCH 4 - PROGRESS: at 65.56% examples, 627066 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:12,307 : INFO : EPOCH 4 - PROGRESS: at 67.25% examples, 626713 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:13,316 : INFO : EPOCH 4 - PROGRESS: at 68.97% examples, 627021 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:14,319 : INFO : EPOCH 4 - PROGRESS: at 70.69% examples, 627070 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:15,336 : INFO : EPOCH 4 - PROGRESS: at 72.40% examples, 627653 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:16,338 : INFO : EPOCH 4 - PROGRESS: at 74.11% examples, 628122 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:17,347 : INFO : EPOCH 4 - PROGRESS: at 75.57% examples, 626550 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:18,377 : INFO : EPOCH 4 - PROGRESS: at 77.19% examples, 626143 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:19,379 : INFO : EPOCH 4 - PROGRESS: at 78.88% examples, 626130 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:20,383 : INFO : EPOCH 4 - PROGRESS: at 80.59% examples, 626287 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:21,392 : INFO : EPOCH 4 - PROGRESS: at 82.28% examples, 626277 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:22,403 : INFO : EPOCH 4 - PROGRESS: at 83.97% examples, 626090 words/s, in_qsize 7, out_qsize 1\n",
      "2020-12-27 05:05:23,417 : INFO : EPOCH 4 - PROGRESS: at 85.70% examples, 626579 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:24,422 : INFO : EPOCH 4 - PROGRESS: at 87.39% examples, 626736 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:25,439 : INFO : EPOCH 4 - PROGRESS: at 89.15% examples, 627283 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:26,446 : INFO : EPOCH 4 - PROGRESS: at 90.85% examples, 627187 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:27,447 : INFO : EPOCH 4 - PROGRESS: at 92.46% examples, 626560 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:28,451 : INFO : EPOCH 4 - PROGRESS: at 94.25% examples, 627226 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:29,471 : INFO : EPOCH 4 - PROGRESS: at 96.07% examples, 627566 words/s, in_qsize 7, out_qsize 0\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2020-12-27 05:05:30,473 : INFO : EPOCH 4 - PROGRESS: at 97.78% examples, 627914 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:31,477 : INFO : EPOCH 4 - PROGRESS: at 99.49% examples, 627721 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:31,768 : INFO : worker thread finished; awaiting finish of 3 more threads\n",
      "2020-12-27 05:05:31,780 : INFO : worker thread finished; awaiting finish of 2 more threads\n",
      "2020-12-27 05:05:31,785 : INFO : worker thread finished; awaiting finish of 1 more threads\n",
      "2020-12-27 05:05:31,786 : INFO : worker thread finished; awaiting finish of 0 more threads\n",
      "2020-12-27 05:05:31,787 : INFO : EPOCH - 4 : training on 49762270 raw words (37577402 effective words) took 59.9s, 627666 effective words/s\n",
      "2020-12-27 05:05:32,797 : INFO : EPOCH 5 - PROGRESS: at 1.83% examples, 685818 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:33,810 : INFO : EPOCH 5 - PROGRESS: at 3.59% examples, 675043 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:34,810 : INFO : EPOCH 5 - PROGRESS: at 5.48% examples, 686779 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:35,813 : INFO : EPOCH 5 - PROGRESS: at 7.24% examples, 675164 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:36,815 : INFO : EPOCH 5 - PROGRESS: at 9.12% examples, 679034 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:37,829 : INFO : EPOCH 5 - PROGRESS: at 10.97% examples, 684239 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:38,844 : INFO : EPOCH 5 - PROGRESS: at 12.83% examples, 686359 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:39,846 : INFO : EPOCH 5 - PROGRESS: at 14.76% examples, 688802 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:40,852 : INFO : EPOCH 5 - PROGRESS: at 16.65% examples, 688304 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:41,857 : INFO : EPOCH 5 - PROGRESS: at 18.49% examples, 690252 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:42,864 : INFO : EPOCH 5 - PROGRESS: at 19.99% examples, 679934 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:43,867 : INFO : EPOCH 5 - PROGRESS: at 21.66% examples, 675116 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:44,871 : INFO : EPOCH 5 - PROGRESS: at 23.39% examples, 674217 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:45,880 : INFO : EPOCH 5 - PROGRESS: at 25.16% examples, 673097 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:46,895 : INFO : EPOCH 5 - PROGRESS: at 26.91% examples, 671136 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:47,903 : INFO : EPOCH 5 - PROGRESS: at 28.49% examples, 665397 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:48,913 : INFO : EPOCH 5 - PROGRESS: at 30.13% examples, 660880 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:49,922 : INFO : EPOCH 5 - PROGRESS: at 31.77% examples, 657343 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:50,931 : INFO : EPOCH 5 - PROGRESS: at 33.39% examples, 654102 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:51,941 : INFO : EPOCH 5 - PROGRESS: at 34.99% examples, 651298 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:52,945 : INFO : EPOCH 5 - PROGRESS: at 36.57% examples, 648573 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:53,946 : INFO : EPOCH 5 - PROGRESS: at 38.10% examples, 646528 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:54,971 : INFO : EPOCH 5 - PROGRESS: at 39.76% examples, 645745 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:55,983 : INFO : EPOCH 5 - PROGRESS: at 41.27% examples, 641581 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:05:56,987 : INFO : EPOCH 5 - PROGRESS: at 42.99% examples, 641684 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:57,988 : INFO : EPOCH 5 - PROGRESS: at 44.60% examples, 640335 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:58,991 : INFO : EPOCH 5 - PROGRESS: at 46.21% examples, 639421 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:05:59,993 : INFO : EPOCH 5 - PROGRESS: at 47.90% examples, 639019 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:01,006 : INFO : EPOCH 5 - PROGRESS: at 49.62% examples, 638896 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:02,017 : INFO : EPOCH 5 - PROGRESS: at 51.25% examples, 637988 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:03,025 : INFO : EPOCH 5 - PROGRESS: at 52.99% examples, 638440 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:04,033 : INFO : EPOCH 5 - PROGRESS: at 54.70% examples, 637956 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:05,036 : INFO : EPOCH 5 - PROGRESS: at 56.38% examples, 638306 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:06,054 : INFO : EPOCH 5 - PROGRESS: at 58.07% examples, 638086 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:07,060 : INFO : EPOCH 5 - PROGRESS: at 59.82% examples, 638592 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:08,062 : INFO : EPOCH 5 - PROGRESS: at 61.54% examples, 638328 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:09,073 : INFO : EPOCH 5 - PROGRESS: at 63.26% examples, 638323 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:10,080 : INFO : EPOCH 5 - PROGRESS: at 64.93% examples, 638433 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:11,084 : INFO : EPOCH 5 - PROGRESS: at 66.65% examples, 638576 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:12,089 : INFO : EPOCH 5 - PROGRESS: at 68.39% examples, 638922 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:13,115 : INFO : EPOCH 5 - PROGRESS: at 70.17% examples, 638828 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:14,117 : INFO : EPOCH 5 - PROGRESS: at 71.81% examples, 638947 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:15,128 : INFO : EPOCH 5 - PROGRESS: at 73.56% examples, 639148 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:16,132 : INFO : EPOCH 5 - PROGRESS: at 75.28% examples, 639285 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:17,137 : INFO : EPOCH 5 - PROGRESS: at 76.83% examples, 638266 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:18,146 : INFO : EPOCH 5 - PROGRESS: at 78.41% examples, 637349 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:19,151 : INFO : EPOCH 5 - PROGRESS: at 80.03% examples, 636502 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:20,158 : INFO : EPOCH 5 - PROGRESS: at 81.51% examples, 635019 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:21,201 : INFO : EPOCH 5 - PROGRESS: at 83.34% examples, 634996 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:22,231 : INFO : EPOCH 5 - PROGRESS: at 84.91% examples, 633699 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:23,234 : INFO : EPOCH 5 - PROGRESS: at 86.48% examples, 633011 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:24,236 : INFO : EPOCH 5 - PROGRESS: at 88.08% examples, 632319 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:25,243 : INFO : EPOCH 5 - PROGRESS: at 89.79% examples, 632518 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:26,245 : INFO : EPOCH 5 - PROGRESS: at 91.52% examples, 632550 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:27,254 : INFO : EPOCH 5 - PROGRESS: at 93.27% examples, 632580 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:28,264 : INFO : EPOCH 5 - PROGRESS: at 95.04% examples, 632766 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:29,265 : INFO : EPOCH 5 - PROGRESS: at 96.51% examples, 631240 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:30,276 : INFO : EPOCH 5 - PROGRESS: at 98.03% examples, 630240 words/s, in_qsize 8, out_qsize 0\n",
      "2020-12-27 05:06:31,279 : INFO : EPOCH 5 - PROGRESS: at 99.61% examples, 629211 words/s, in_qsize 7, out_qsize 0\n",
      "2020-12-27 05:06:31,468 : INFO : worker thread finished; awaiting finish of 3 more threads\n",
      "2020-12-27 05:06:31,478 : INFO : worker thread finished; awaiting finish of 2 more threads\n",
      "2020-12-27 05:06:31,483 : INFO : worker thread finished; awaiting finish of 1 more threads\n",
      "2020-12-27 05:06:31,491 : INFO : worker thread finished; awaiting finish of 0 more threads\n",
      "2020-12-27 05:06:31,492 : INFO : EPOCH - 5 : training on 49762270 raw words (37576844 effective words) took 59.7s, 629434 effective words/s\n",
      "2020-12-27 05:06:31,493 : INFO : training on a 248811350 raw words (187890812 effective words) took 322.8s, 581984 effective words/s\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 14min 21s, sys: 11.9 s, total: 14min 33s\n",
      "Wall time: 6min 5s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "doc2vec_1 = Doc2Vec(documents=documents,\n",
    "        dm=0,\n",
    "        vector_size=300,\n",
    "        min_count=100,\n",
    "        negative=5,\n",
    "#         trim_rule=discard_freq,\n",
    "        verbose=True,\n",
    "        workers=4\n",
    "       )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 334,
   "metadata": {},
   "outputs": [],
   "source": [
    "from collections import Counter\n",
    "def reinfer_ranking(d2v):\n",
    "    ranks = []\n",
    "    for i in range(len(documents[:100])):\n",
    "        inferred_vector = d2v.infer_vector(documents[i].words, steps=20)\n",
    "        sims = d2v.docvecs.most_similar([inferred_vector],\n",
    "                                        topn=10)\n",
    "        try:\n",
    "            rank = [docid for docid, sim in sims].index(i)\n",
    "        except ValueError:\n",
    "            rank = None\n",
    "        ranks.append(rank)\n",
    "    counts = Counter(ranks)\n",
    "    counts.pop(None)\n",
    "    return sorted(counts.items())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 335,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(0, 98)]"
      ]
     },
     "execution_count": 335,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "reinfer_ranking(doc2vec_1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Nearest neighbors of samples"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 350,
   "metadata": {},
   "outputs": [],
   "source": [
    "def similar_docs(d2v, words):\n",
    "    inferred = d2v.infer_vector(words, steps=20)\n",
    "    sims = d2v.docvecs.most_similar([inferred], topn=3)\n",
    "    return list(map(lambda x: x[0], sims)), list(map(lambda x: x[1], sims))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 370,
   "metadata": {},
   "outputs": [],
   "source": [
    "def show_samples_nns(d2v):\n",
    "    for sample in sample_tokens:\n",
    "        sims_sample = similar_docs(d2v, sample)\n",
    "        print(\"======================\")\n",
    "        print(\"Sample one\")\n",
    "        print(sample[:150])\n",
    "        print(\"======================\")\n",
    "        print(\"nears\")\n",
    "        for i in range(3):\n",
    "            print(documents[sims_sample[0][i]].words[:150])\n",
    "    print(\"***********************\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 369,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Sample one\n",
      "['به', 'گزارش', 'همشهریآنلاین', 'به', 'نقل', 'از', 'شرق', '،', '«', 'در', 'بعضی', 'جاها', 'اختیار', 'رئیس\\u200cجمهور', 'از', 'اختیار', 'یک', 'شهروند', 'عادی', 'کمتر', 'است', '…', 'لوایح', 'دوگانه', 'حداقل\\u200cهایی', 'است', 'که', 'باید', 'باشد', '…', 'بدون', 'رعایت', 'روح', 'لوایح', '،', 'دیگر', 'رئیس\\u200cجمهور', 'خیلی', 'کاره\\u200cای', 'نیست', '»', '.', 'این', 'جملات', 'سیدمحمد', 'خاتمی', 'در', 'روزهایی', 'بیان', 'شد', 'که', 'لوایح', 'دوگانه', 'پیشنهادی\\u200cاش', 'بین', 'شورای', 'نگهبان', 'و', 'مجلس', 'در', 'رفت\\u200cوآمد', 'بود', '؛', 'لوایحی', 'که', 'به', 'اعتقاد', 'برخی', 'از', 'صاحب\\u200cنظران', 'برای', 'اجرای', 'قانون', 'اساسی', 'و', 'رعایت', 'حقوق', 'ملت', 'لازم', 'و', 'ضروری', 'بود', 'و', 'البته', 'مخالفان', 'نیز', 'معتقد', 'بودند', 'این', 'لوایح', '،', 'مشکلی', 'از', 'مشکلات', 'مردم', 'را', 'حل', 'نمی\\u200cکند', 'و', 'نباید', 'به', '\\u200cدنبال', 'اضافه\\u200cکردن', 'اختیارات', 'رئیس\\u200cجمهور', 'بود', '.', '\\u200c', 'حالا', 'اما', 'باز', 'هم', 'انگار', 'تاریخ', 'تکرار', 'می\\u200cشود', 'و', 'باز', 'هم', 'رئیس\\u200cجمهوری', 'دیگر', 'از', 'کمبود', 'اختیاراتش', 'حرف', 'می\\u200cزند', 'و', 'بار', 'دیگر', 'بحث\\u200cها', 'و', 'نظرها', 'در', 'مجلس', '،', 'شورای', 'نگهبان', 'و', 'احزاب', 'و', 'گروه\\u200cهای', 'سیاسی', 'بر', 'سر', 'اصلاح\\u200c', 'قانون', 'انتخابات', 'داغ', 'است', 'و']\n",
      "======================\n",
      "nears\n",
      "['مشکل', 'قانون', 'نیست', 'بررسی', 'حق', 'نظارت', 'و', 'تذکر', 'رئیس', 'جمهور', 'در', 'قوانین', 'موجود', 'مقدمه', ':', 'وقتی', 'سیدمحمد', 'خاتمی', 'در', 'آخرین', 'مصاحبه', 'مطبوعاتی', 'خود', 'از', 'لزوم', 'تبیین', 'اختیارات', 'رئیس', 'جمهور', 'سخن', 'گفت', 'و', 'از', 'ارائه', 'لایحه\\\\u200cای', 'به', 'مجلس', 'در', 'همین', 'زمینه', 'خبرداد', 'اصلاح', 'طلبان', 'آن', 'را', 'به', 'منزله', 'وارد', 'شدن', 'اصلاحات', 'به', 'مرحله\\\\u200cای', 'تازه', 'تعبیر', 'کردند', '.', 'اصلاح', 'طلبان', 'امیدوارند', 'که', 'با', 'اصلاح', 'دو', 'قانون', 'انتخابات', 'و', 'اختیارات', 'ریاست', 'جمهوری', '،', 'زمینه\\\\u200cای', 'فراهم', 'شود', 'که', 'آنها', 'بتوانند', 'برنامه\\\\u200cهای', 'اصلاحی', 'را', 'به', 'پیش', 'ببرند', '.', 'هرچند', 'که', 'برخی', 'نمایندگان', 'مجلس', 'معتقدند', 'که', 'در', 'حال', 'حاضر', 'نیز', 'قانون', 'حدود', 'وظایف', 'و', 'اختیارات', 'ریاست', 'جمهوری', 'و', 'تفاسیری', 'که', 'شورای', 'نگهبان', 'از', 'آن', 'دارد', '،', 'به', 'اندازه', 'کافی', 'دست', 'رئیس', 'جمهور', 'را', 'برای', 'جلوگیری', 'ازنقض', 'قانون', 'اساسی', 'بازگذاشته', 'و', 'رئیس', 'جمهور', 'باید', 'از', 'این', 'اختیارات', 'استفاده', 'اگر', 'کند', 'رئیس', 'جمهور', 'تاکنون', 'نتوانسته', 'از', 'این', 'اختیارات', 'استفاده', 'کند', 'کمبود', 'و', 'یا', 'عدم', 'شفافیت', 'قانون', 'نیست', 'بلکه']\n",
      "['دو', 'لایحه', 'به', 'قامت', 'اصلاحات', 'بازکاوی', 'حقوقی', 'آنچه', 'رئیس', 'جمهور', 'گفت', 'یاشار', 'هدایی', 'کاری', 'که', 'من', 'می\\\\u200cکنم', 'دقیقا', 'مطابق', 'شرع', 'اسلام', 'و', 'قانون', 'اساسی', 'است', 'مگر', 'اینکه', 'با', 'تفسیرهای', 'خاص', 'این', 'حق', 'را', 'خدشه', 'دار', 'کنند', 'اولین', 'لایحه', 'دولت', 'خاتمی', 'در', 'خصوص', 'قانون', 'انتخابات', 'در', 'نیمه', 'نخست', 'سال', '۷۷', 'توسط', 'وزارت', 'کشور', 'تدوین', 'گشت', 'اما', 'با', 'تقدیم', 'آن', 'به', 'مجلس', 'پنجم', 'مشخص', 'شد', 'که', 'قبل', 'از', 'آن', 'مجلسیان', 'طرحی', 'به', 'همان', 'نام', 'یعنی', 'اصلاح', 'قانون', 'انتخابات', 'بر', 'تداوم', 'روش', 'نظارتی', 'گذشته', 'تاکیددارند', 'با', 'تدارک', 'اگر', 'فربهی', 'انتقادات', 'حقوقی', 'در', 'سخنان', 'اخیر', 'رئیس', 'جمهور', '،', 'نخستین', 'تفاوت', 'این', 'اظهارات', 'با', 'موارد', 'مشابه', 'در', 'سنوات', 'گذشته', 'شمرده_شود', '،', 'ارائه', 'راهکار', 'در', 'کنار', 'این', 'انتقادات', '،', 'دومین', 'تفاوت', 'خواهد_بود', '.', 'این', 'بار', 'رئیس', 'جمهور', 'نقد', 'حقوقی', 'خود', 'را', 'در', 'دو', 'محور', 'ارائه', 'داده_است', ':', '_', 'نقد', '۱', 'رویه', 'موجود', 'در', 'استیفای', 'حقوق', 'شهروندان', '_', 'از', 'قبیل', 'انتقاد', 'از', 'عدم', 'حضور', 'هیات', 'منصفه', 'در']\n",
      "['پاسخ', 'دولت', 'و', 'مجلس', 'به', 'مخالفان', 'لوایح', 'انتخابات', 'و', 'اختیارات', 'رئیس', 'جمهور', 'گروه', 'سیاسی', ':', 'لوایح', 'اصلاح', 'قانون', 'انتخابات', 'و', 'تبیین', 'اختیارات', 'رئیس', 'جمهوری', 'که', 'اولی', 'چند', 'روز', 'پیش', 'به', 'مجلس', 'ارسال', 'شد', 'و', 'دومی', 'طی', 'ماه', 'آینده', 'تقدیم', 'مجلس', 'خواهد_شد', 'با', 'واکنش\\\\u200cهای', 'مختلفی', 'روبرو', 'شد', 'و', 'در', 'این', 'میان', 'منتقدان', 'دولت', 'در', 'میان', 'گروههای', 'سیاسی', '،', 'شورای', 'نگهبان', 'و', 'تعدادی', 'از', 'نمایندگان', 'مجلس', 'مواردی', 'را', 'بیان', 'کردند', '.', 'سه', 'شنبه', 'گذشته', 'نیز', 'رئیس', 'قوه', 'قضائیه', 'از', 'لایحه', 'تبیین', 'اختیارات', 'رئیس', 'جمهوری', 'انتقاد', 'کرد', '.', 'در', 'پی', 'این', 'انتقادات', 'دیروز', 'رئیس', 'مجلس', '،', 'معاون', 'پارلمانی', 'رئیس', 'جمهور', 'و', 'سخنگوی', 'دولت', 'به', 'این', 'انتقادها', 'پاسخ', 'دادند', '.', 'به', 'گزارش', 'خبرنگار', 'همشهری', 'مهدی', 'کروبی', 'دیروز', 'در', 'جلسه', 'علنی', 'مجلس', 'از', 'اصحاب', 'قلم', '،', 'گویندگان', 'و', 'ارباب', 'جراید', 'خواست', 'تا', 'با', 'نقد', 'صحیح', 'خود', 'کمک', 'کنند', 'تا', 'لایحه', 'اصلاح', 'قانون', 'انتخابات', 'مجلس', 'به', 'قانونی', 'خوب', 'تبدیل', 'شده', 'و', 'بدون', 'نیاز', 'به', 'ارجاع', 'به']\n",
      "Sample one\n",
      "['معاون', 'رئیس\\u200cجمهوری', 'در', 'امور', 'زنان', 'و', 'خانواده', 'با', 'تاکید', 'بر', 'اینکه', '«', 'به', 'هیچ', 'عنوان', 'به', 'دنبال', 'تعیین', 'سن', 'ازدواج', 'یا', 'افزایش', 'سن', 'ازدواج', 'به', 'بالای', '۱۸', 'سال', 'نیستیم', '»', 'از', 'موافقان', 'کودک\\u200cهمسری', 'پرسید', 'که', 'آیا', 'حاضرند', 'دخترکان', 'خود', 'را', 'به', 'عقد', 'و', 'ازدواج', 'مردان', 'سن', 'بالا', 'درآورند', '؟', 'معصومه', 'ابتکار', 'به', 'گزارش', 'همشهری', 'آنلاین', 'به', 'نقل', 'از', 'ایرنا', '،', 'معصومه', 'ابتکار', 'معاون', 'رئیس\\u200cجمهوری', 'در', 'امور', 'زنان', 'و', 'خانواده', 'گفت', ':', 'در', 'فرهنگ', 'ایرانی-', 'اسلامی', 'موضوع', 'ازدواج', 'سالم', 'یکی', 'از', 'مسائل', 'مهم', 'است', 'که', 'پیمایش\\u200cهای', 'صورت\\u200cگرفته', 'از', 'میزان', 'تمایل', 'خانواده\\u200cهای', 'ایرانی', 'به', 'امر', 'ازدواج', '،', 'تاییدکننده', 'این', 'موضوع', 'است', '،', 'چنانچه', 'شاهدیم', 'که', 'شرایط', 'کرونا', 'و', 'وضعیت', 'کنونی', 'هم', 'مانع', 'امر', 'ازدواج', 'نشده_است', '.', 'وی', 'ادامه', 'داد', ':', 'ازدواج', 'در', 'فرهنگ', 'دینی', 'هم', 'بسیار', 'مورد', 'توجه', 'قرار', 'گرفته', 'و', 'آیات', 'قرآن', 'کریم', 'تاکید', 'بر', 'این', 'دارند', 'که', 'ازدواج', 'در', 'سن', 'و', 'شرایط', 'مناسب', 'باید', 'صورت', 'گیرد', '.', 'ضمن', 'اینکه', 'در']\n",
      "======================\n",
      "nears\n",
      "['پیشگیری', 'از', 'کودک', 'آزاری', 'چگونه', 'ممکن', '؟', 'است', 'گفت', 'و', 'گو', 'با', 'دکتر', 'قاسم', 'قاضی', '،', 'دکتر', 'شیوا', 'دولت', 'آبادی', '،', 'خانم', 'شیرین', 'عبادی', 'و', 'خانم', 'منیر', 'همایونی', 'بخش', 'آخر', 'یکی', 'از', 'اشکال', 'مخفی', 'کودک', 'آزاری', '،', 'آزار', 'و', 'وارد', 'کردن', 'صدمات', 'روحی', 'و', 'روانی', 'بر', 'کودک', 'است', '.', 'آثار', 'چنین', 'صدماتی', 'را', 'برآینده', 'کودک', 'به', 'چه', 'نحوی', 'ارزیابی', '؟', 'می\\\\u200cکنید', 'دکتر', 'دولت', 'آبادی', ':', 'مانشانگان', 'یا', 'سندرم', 'کودکان', 'مطرود', 'راداریم', '.', 'بچه', 'هایی', 'که', 'ضرورتا', 'مورد', 'آزردگی', 'قرار', 'اما', 'نمی\\\\u200cگیرند', '،', 'از', 'آنان', 'غفلت', 'می\\\\u200cشود', '.', 'کودکانی', 'که', 'به', 'نیازهای', 'عاطفی', 'آنان', 'در', 'زمانی', 'که', 'احتیاج', 'به', 'پاسخگویی', 'عاطفی', 'دارند', '،', 'توجه', 'نمی\\\\u200cشود', '.', 'برای', 'آنکه', 'به', 'لحاظ', 'عاطفی', 'از', 'پرورش', 'محیطی', 'برخوردار', 'بایستی', 'شوند', '،', 'میان', 'خود', 'و', 'اطرافیانشان', 'ریسمانی', 'عاطفی', 'در', 'برقرارشود', 'غیر', 'این', 'صورت', 'با', 'کناره', 'گیری', 'و', 'عزلت', 'گزینی', 'کم', 'کم', 'از', 'صحنه', 'اجتماع', 'مطرود', 'می\\\\u200cشوند', '.', 'این', 'کودکان', 'حتی', 'در', 'بزرگسالی', 'وقتی', 'وارد', 'جامعه']\n",
      "['زنان', '،', 'در', 'دادگاهها', 'چوب', 'ناآگاهی', 'حقوقی', 'را', 'می', 'خورند', 'گروه', 'اجتماعی', ':', 'عدم', 'آگاهی', 'زنان', 'نسبت', 'به', 'حقوق', 'خویش', 'و', 'از', 'سوی', 'دیگر', 'عدم', 'توانایی', 'بسیاری', 'از', 'آنان', 'در', 'پرداخت', 'حق', 'الوکاله', 'و', 'گرفتن', 'وکیل', 'به', 'تضییع', 'حقوق', 'و', 'یا', 'طولانی', 'شدن', 'مدت', 'دادرسی', 'آنان', 'در', 'دادگاهها', 'می\\\\u200cانجامد', '.', 'به', 'گزارش', 'خبرگزاری', 'جمهوری', 'اسلامی', '،', 'همچنین', 'به', 'گفته', 'بسیاری', 'از', 'کارشناسان', 'حقوقی', 'و', 'قضایی', '،', 'برخورد', 'سلیقه\\\\u200cای', 'با', 'قوانین', 'از', 'سوی', 'برخی', 'محاکم', '،', 'مشکل', 'زنان', 'را', 'در', 'دادگاهها', 'دو', 'چندان', 'کرده_است', '.', 'این', 'کارشناسان', 'معتقدند', ':', 'گرایش', 'جامعه', '،', 'رسانه\\\\u200cهای', 'عمومی', 'و', 'برخی', 'مسئولان', 'به', 'مسایل', 'سیاسی', 'و', 'غفلت', 'از', 'مشکلات', 'اجتماعی', 'و', 'فرهنگی', 'خود', 'باعث', 'مضاعف', 'شدن', 'مشکلات', 'آحاد', 'مردم', 'بخصوص', 'زنان', 'در', 'محاکم', 'قضایی', 'شده_است', '.', 'توقفی', 'هرچند', 'کوتاه', 'در', 'دادگاههای', 'خانواده', 'تداعی\\\\u200cگر', 'بسیاری', 'از', 'مسایل', 'یاد', 'شده', 'بویژه', 'برای', 'زنان', 'است', '.', 'رویا', '-', 'م', 'یکی', 'از', 'صدها', 'زنی', 'است', 'که', 'به', 'خاطر', 'ناآگاهی', 'از']\n",
      "['رفع', 'خشونت', 'علیه', 'زنان', 'موجب', 'تثبیت', 'نهاد', 'خانواده', 'است', 'گروه', 'اجتماعی', ':', 'صلح', 'زمانی', 'استقرار', 'می\\\\u200cیابد', 'که', 'خشونت', 'علیه', 'زنان', 'از', 'بین', 'برود', '.', 'به', 'گزارش', 'ایسنا', 'قاضی', 'حمیدیان', '،', 'رئیس', 'دادگاه', 'خانواده', 'در', 'مراسم', 'دفاع', 'از', 'حقوق', 'زن', 'که', 'به', 'مناسبت', 'روز', 'نفی', 'خشونت', 'برگزار', 'شد', '،', 'اظهار', 'داشت', ':', 'امروزه', 'خشونت', 'از', 'حساسیت', 'مهمی', 'برخوردار', 'است', '،', 'لذا', 'باید', 'زمینه\\\\u200cهای', 'خشونت', 'بررسی', 'شود', 'و', 'پیامدها', 'و', 'اثرات', 'آن', 'بر', 'سلامت', 'جسمی', 'زنان', 'و', 'نهایتا', 'راهکارهایی', 'برای', 'محو', 'خشونت', 'علیه', 'زنان', 'ارائه', 'شود', '.', 'وی', 'با', 'اعلام', 'این', 'که', 'خشونت', 'می', 'تواند', 'اشکال', 'مختلفی', 'داشته_باشد', '،', 'افزود', ':', 'عقیده', 'ما', 'بر', 'این', 'است', 'که', 'استقرار', 'صلح', 'کامل', 'رفع', 'خشونت', 'علیه', 'زنان', 'است;', 'زیرا', 'نیمی', 'از', 'جمعیت', 'جهان', 'را', 'زنان', 'تشکیل', 'می\\\\u200cدهند', 'و', 'نیمی', 'دیگر', 'توسط', 'زنان', 'تربیت', 'می\\\\u200cشوند', '.', 'قاضی', 'حمیدیان', 'ادامه', 'داد', ':', 'در', 'مبانی', 'دینی', 'ما', 'نیز', 'به', 'بحث', 'حقوق', 'زن', 'توجه', 'زیادی', 'شده_است', '.', 'به', 'طور']\n",
      "Sample one\n",
      "['هشدار', 'سیاسی', 'به', 'بازار', 'سکه', '|', 'فلز', 'گرانبهای', 'داخلی', 'با', 'دلار', 'حرکت', 'خواهد_کرد', '؟', 'سکه', 'برای', 'اینکه', 'با', 'سرعت', 'زیادی', 'افزایشی', 'شود', '،', 'سه', 'مانع', 'را', 'در', 'مقابل', 'خود', 'می\\u200cبیند', '.', 'سکه', 'هوم', 'پیج', 'به', 'گزارش', 'همشهری', 'آنلاین', 'به', 'نقل', 'از', 'اقتصادنیوز', '،', '«', 'وضعیت', 'هشدار', 'در', 'بغداد', 'به', 'بالاترین', 'سطح', 'خود', 'رسیده_است', '»', '.', 'خبرهایی', 'مشابه', 'با', 'این', 'عنوان', '،', 'از', 'اواخر', 'روز', 'جمعه', '،', 'به', 'میزان', 'زیادی', 'در', 'کانال\\u200cهای', 'اطلاع', 'رسانی', 'معامله', 'گران', 'منتشر', 'شد', '.', 'طبیعتا', 'هدف', 'از', 'انتشار', 'وسیع', 'این', 'اخبار', 'این', 'بود', 'که', 'سطح', 'نگرانی', 'معامله', 'گران', 'بالا', 'رود', 'و', 'خریدهای', 'سکه', 'و', 'ارز', 'افزایش', 'پیدا', 'کند', '.', 'آخرین', 'قیمت', 'طلا', 'و', 'انواع', 'سکه', 'در', 'بازار', '|', 'حباب', 'سکه', 'چقدر', 'شد', '؟', 'با', 'این', 'حال', '،', 'قیمت', 'سکه', 'برای', 'اینکه', 'با', 'سرعت', 'زیادی', 'افزایشی', 'شود', '،', 'سه', 'مانع', 'را', 'در', 'مقابل', 'خود', 'می\\u200cبیند', '.', 'اولین', 'مانع', '،', 'حباب', 'این', 'فلز', 'گران', 'بهاست', '؛', 'فلز', 'گران']\n",
      "======================\n",
      "nears\n",
      "['قیمت', 'نفت', 'خام', 'افزایش', 'یافت', 'هفته', 'گذشته', 'در', 'بازارهای', 'جهانی', 'نفت', 'پس', 'از', 'چند', 'هفته', 'کاهش', 'قیمت', '،', 'سرانجام', 'قیمتها', 'افزایش', 'یافت', '.', 'به', 'گزارش', 'واحد', 'مرکزی', 'خبر', 'با', 'وجود', 'کاهش', 'قیمت', 'نفت', 'در', 'اوایل', 'هفته', 'قبل', '،', 'ازروز', 'سه', 'شنبه', 'قیمت\\\\u200cها', 'روند', 'صعودی', 'پیدا', 'کرد', 'و', 'نفت', 'ایران', 'با', 'بیش', 'از', 'یک', 'دلار', 'افزایش', 'در', 'هر', 'بشکه', 'به', '۱۳', 'دلار', 'و', '۹۰', 'سنت', 'رسید', '.', 'پائین\\\\u200cترین', 'سطح', 'قیمت', 'نفت', 'ایران', 'در', 'هفته', 'گذشته', '۱۲', 'دلار', 'و', '۸۸', 'سنت', 'بود', '.', 'در', 'این', 'هفته', 'در', 'بازار', 'خاورمیانه', 'نیز', 'قیمت', 'نفت', 'خام', 'دوبی', 'و', 'عمان', 'افزایش', 'یافت', 'به', 'طوری', 'که', 'نفت', 'خام', 'دوبی', 'در', 'هفته', 'قبل', 'با', 'یک', 'دلار', 'و', '۵', 'سنت', 'افزایش', 'به', '۱۳', 'دلار', 'و', '۶۸', 'سنت', 'و', 'نیز', 'نفت', 'خام', 'عمان', 'با', '۹۹', 'سنت', 'افزایش', 'به', 'دلار', '۱۳', 'و', '۷۵', 'سنت', 'رسید', '.', 'بازار', 'مدیترانه', 'در', 'هفته', 'جاری', 'شاهد', 'افزایش', '۸۵', 'سنتی', 'قیمت', 'نفت', 'خام', 'اورال', 'بود', 'که']\n",
      "['قیمت', 'نفت', 'کاهش', 'یافت', '.', 'واحد', 'رسانه\\\\u200cهای', 'خارجی', 'همشهری', ':', 'قیمت', 'نفت', 'خام', 'در', 'بازارهای', 'جهانی', 'که', 'در', 'پی', 'حملات', 'موشکی', 'آمریکا', 'به', 'عراق', 'تا', 'بشکه\\\\u200cای', '۲۴', 'دلار', 'افزایش', 'یافته_بود', 'رو', 'به', 'کاهش', 'گذاشت', '.', 'به', 'گزارش', 'شبکه', 'تلویزیونی', 'اروپا', 'عصر', 'دیروز', 'هر', 'بشکه', 'نفت', 'خام', 'برنت', 'دریای', 'شمال', 'در', 'بازار', 'لندن', '۲۲', 'دلار', 'و', '۵', 'سنت', 'دادوستد', 'شد', 'که', 'یک', 'دلار', 'و۹۰', 'سنت', 'کمتر', 'از', 'قیمت', 'آن', 'در', 'روز', 'سه', 'شنبه', 'بود', '.']\n",
      "['قیمت', 'طلا', 'در', 'ایران', 'از', 'بازار', 'جهانی', 'پیروی', 'کرد', 'گروه', 'اقتصادی', ':', 'قیمت', 'سکه', 'بهار', 'آزادی', 'در', 'بازار', 'تهران', 'دیروز', 'به', 'دنبال', 'افزایش', 'شدید', 'بهای', 'این', 'فلز', 'قیمتی', 'در', 'بازارهای', 'جهانی', 'همچنان', 'افزایش', 'یافت', 'و', 'هر', 'قطعه', 'سکه', 'به', 'بهای', '۶۲', 'هزار', 'و', '۵۰۰', 'تومان', 'خرید', 'و', 'فروش', 'شد', 'که', 'نسبت', 'به', 'قیمت', 'چهارشنبه', 'هفته', 'گذشته', 'حدود', 'هشتاد', 'هزار', 'ریال', 'بالاتر', 'بود', '،', 'همچنین', 'روز', 'گذشته', 'در', 'بازار', 'تهران', 'هر', 'قطعه', 'سکه', 'نیم', 'بهار', 'آزادی', 'به', 'بهای', '۳۶', 'هزار', 'و', '۵۰۰', 'تومان', 'و', 'هر', 'قطعه', 'سکه', 'ربع', 'بهار', 'آزادی', 'به', 'قیمت', '۱۹', 'هزار', 'و', '۵۰۰', 'تومان', 'داد', 'و', 'ستد', 'شد', '.', 'ارزش', 'یک', 'گرم', 'طلای', '۱۸', 'عیار', 'نیز', 'در', 'معاملات', 'دیروز', '۶', 'هزار', 'و', '۴۰۰', 'تومان', 'بود', '.', 'علت', 'عمده', 'افزایش', 'قیمت', 'طلا', 'در', 'بازار', 'ایران', 'افزایش', 'شدید', 'بهای', 'طلا', 'در', 'بازارهای', 'جهانی', 'است', 'که', 'پس', 'از', 'تصمیم', 'یکشنبه', 'این', 'هفته', 'بانکهای', 'مرکزی', '۱۵', 'کشور', 'عضو', 'اتحادیه', 'اروپا', 'مبنی', 'بر']\n",
      "Sample one\n",
      "['نگرانی', 'بزرگ', 'محمود', 'فکری', '؛', 'وضعیت', 'مبهم', 'سه', 'ستاره', 'استقلال', 'برای', 'دربی', '۳ستاره', 'آبی\\u200cها', 'با', 'توجه', 'به', 'اظهارنظر', 'کادرپزشکی', 'و', 'صحبت\\u200cهایی', 'که', 'امروز', 'محمود', 'فکری', 'انجام', 'داده', 'به', 'دیدار', 'روز', 'چهارشنبه', '۱۰', 'دیماه', 'با', 'گل\\u200cگهر', 'سیرجان', 'نخواهند_رسید', '.', 'استقلال', 'به', 'گزارش', 'همشهری', 'آنلاین', 'اگرچه', 'امروز', 'دیاباته', 'درتمرینات', 'گروهی', 'استقلال', 'حاضر', 'شد', 'اما', 'گفته_می\\u200cشود', 'فکری', 'در', 'مورد', 'این', 'بازیکن', 'ریسک', 'نخواهد_و', 'او', 'را', 'برابر', 'گل', 'گهر', 'به', 'میدان', 'نخواهد_فرستاد', 'تا', 'مهاجم', 'آبی\\u200cها', 'در', 'صورت', 'رسیدن', 'به', 'آمادگی', 'کامل', 'مهیای', 'دربی', 'شود', '.', '.', 'به', 'جز', 'دیاباته', 'دو', 'بازیکن', 'دیگر', 'اسقلال', 'هم', 'تقریبا', 'همین', 'شرایط', 'را', 'دارند', '.', 'داریوش', 'شجاعیان', 'و', 'محمد', 'نادری', '۲', 'بازیکن', 'مصدوم', 'استقلال', 'هستند', 'که', 'اگرچه', 'در', 'تمرینات', 'حضور', 'دارند', 'اما', 'هنوز', 'شرایط', 'بازی', 'کردن', 'را', 'پیدا', 'نکرده\\u200cاند', 'و', 'مشخص', 'نیست', 'این', 'امکان', 'را', 'چه', 'زمانی', 'به', 'دست', 'خواهند_آورد', '.', '۳ستاره', 'آبی\\u200cها', 'با', 'توجه', 'به', 'اظهارنظر', 'کادرپزشکی', 'و', 'صحبت\\u200cهایی', 'که', 'امروز', 'محمود', 'فکری', 'انجام', 'داده', 'به', 'دیدار', 'روز']\n",
      "======================\n",
      "nears\n",
      "['جدایی', 'چهاربازیکن', 'از', 'استقلال', 'گروه', 'ورزشی', ':', 'علیرضا', 'اکبرپور', 'و', 'ستار', 'همدانی', 'دو', 'بازیکن', 'تیم', 'فوتبال', 'استقلال', '،', 'امروز', 'راهی', 'عربستان', 'می\\\\u200cشوند', 'تا', 'به', 'باشگاه', 'الشباب', 'بپیوندند', '.', 'علی', 'فتح', 'الله', 'زاده', 'مدیر', 'استقلال', 'نیز', 'برای', 'مذاکره', 'با', 'مقامات', 'الشباب', 'روز', 'جمعه', 'به', 'عربستان', 'سفر', 'می\\\\u200cکند', '.', 'در', 'خصوص', 'وضعیت', 'احمد', 'مومن', 'زاده', 'نیز', 'گفته_می\\\\u200cشود', ':', 'وی', 'برای', 'مذاکره', 'با', 'مسئولان', 'باشگاه', 'بشیکتاش', 'به', 'ترکیه', 'خواهد_رفت', '.', 'البته', 'در', 'سایت', 'خبری', 'فوتبال', 'ترکیه', 'خبری', 'در', 'این', 'خصوص', 'منتشر', 'نشده', 'دیگر', 'است', 'بازیکن', 'از', 'استقلال', 'جدا', 'شده', '،', 'محمدنوازی', 'است', 'که', 'این', 'هفته', 'راهی', 'اتریش', 'شد', 'تا', 'یک', 'هفته', 'در', 'تمرینات', 'تیم', 'اف', '.', 'ث', '.', 'سالزبورگ', 'تست', 'شود', '.']\n",
      "['عابد', 'زاده', 'پیروانی', '،', 'استیلی', '،', 'و', 'عزیزی', 'غایبان', 'بزرگ', 'از', 'سوی', 'سرمربی', 'تیم', 'ملی', 'فوتبال', 'ایران', 'اسامی', '۲۵', 'بازیکن', 'به', 'کمیته', 'ملی', 'المپیک', 'اعلام', 'شد', 'گروه', 'ورزشی', ':', 'از', 'سوی', 'سرمربی', 'تیم', 'ملی', 'فوتبال', 'ایران', 'اسامی', 'بازیکن', '۲۵', 'برای', 'حضور', 'در', 'بازیهای', 'آسیایی', 'تایلند', 'به', 'کمیته', 'ملی', 'المپیک', 'اعلام', 'شد', 'تا', 'در', 'اختیار', 'مسئولان', 'برگزاری', 'بازیهای', 'آسیایی', 'قرار', 'گیرد', '.', 'به', 'گزارش', 'روابط', 'عمومی', 'فدراسیون', 'فوتبال', 'تا', 'زمان', 'اعزام', 'تیم', 'به', 'تایلند', 'بر', 'روی', 'نام', 'پنج', 'بازیکن', 'قلم', 'قرمز', 'کشیده_خواهد_شد', 'و', 'این', 'تیم', 'با', '۲۰', 'بازیکن', 'در', 'بازیهای', 'آسیایی', 'حاضر', 'می', 'شود', '.', 'بازیکنان', 'دعوت', 'شده', 'می\\\\u200cباید', 'صبح', 'روز', 'دوشنبه', '۱۸', 'آبان', 'ماه', 'خود', 'را', 'در', 'مجموعه', 'ورزشی', 'آزادی', 'به', 'مربیان', 'تیم', 'ملی', 'معرفی', 'کنند', 'و', 'پس', 'از', 'شرکت', 'در', 'یک', 'جلسه', 'هماهنگی', 'و', 'تمرینی', 'سبک', 'از', 'روز', 'سه', 'شنبه', '۱۹', 'آبان', 'ماه', 'مجددا', 'به', 'تیم\\\\u200cهای', 'باشگاهی', 'خود', 'جهت', 'برگزاری', 'هفته', 'دهم', 'مسابقات', 'لیگ', 'آزادگان', 'بپیوندند', '.', 'آخرین', 'مرحله']\n",
      "['فوتبال', 'جام', 'آزادگان', 'استقلال', 'و', 'بهمن', '،', 'بازی', 'بزرگان', 'درورزشگاه', 'آزادی', 'آتیلا', 'حجازی', 'مرکز', 'ثقل', 'استقلال', 'دربازی', 'امروز', 'است', '.', 'پیکار', 'او', 'باستار', 'همدانی', 'در', 'میانه', 'میدان', 'دیدنی', 'است', '.', 'تیم', 'پیروز', 'این', 'بازی', 'خود', 'را', 'به', 'جمع', 'مدعیان', 'قهرمانی', 'خواهد_رساند', '.', 'سرویس', 'ورزشی', ':', 'در', 'فصل', 'سرما', 'ویخبندان', 'رقابتهای', 'جام', 'آزادگان', 'گرمابخش', 'فوتبال', 'کشورمان', 'است', '.', 'این', 'رقابتها', 'پس', 'از', 'پایان', 'بازیهای', 'تیم', 'ملی', 'به', 'طور', 'منظم', 'برگزار', 'شده', 'و', 'همین', 'موضوع', 'انگیزه', 'خاصی', 'در', 'میان', 'تیم\\\\u200cها', 'بوجود', 'آورده', 'و', 'هر', 'هفته', 'بر', 'هیجان', 'و', 'حساسیت', 'بازی\\\\u200cها', 'افزوده', 'می', 'شود', '.', 'حال', 'که', 'اعضای', 'کمیته', 'تیم\\\\u200cهای', 'ملی', 'مشخص', 'شده', 'باید', 'رقابتهای', 'جام', 'آزادگان', 'را', 'با', 'جدیت', 'بیشتری', 'ادامه', 'داد', 'و', 'در', 'هیچ', 'شرایطی', 'آنرا', 'متوقف', 'نکرد', '.', 'در', 'هیچ', 'یک', 'از', 'کشورهای', 'رقابتهای', 'جهان', '،', 'سراسری', 'را', 'به', 'دلیل', 'برگزاری', 'اردوهای', 'تدارکاتی', 'تیم\\\\u200cهای', 'ملی', 'تعطیل', 'نمی\\\\u200cکنند', 'ونظریه', 'برگزاری', 'اردوهای', 'درازمدت', 'برای', 'تیم\\\\u200cهای', 'ملی', 'به', 'کلی', 'منسوخ', 'شده_است', '.', 'رقابتهای']\n",
      "***********************\n"
     ]
    }
   ],
   "source": [
    "show_samples_nns(doc2vec_1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Classificaiton of Doc2vec"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "def make_test(d2v):\n",
    "    X_test = np.array(list(d2v.infer_vector(doc.words, epochs=5)\n",
    "                for doc in tqdm(documents_test)))\n",
    "    return X_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "ename": "AttributeError",
     "evalue": "'Doc2Vec' object has no attribute 'infer'",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mAttributeError\u001b[0m                            Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-22-1ed84676cf91>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mdoc2vec_1\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0minfer\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;31mAttributeError\u001b[0m: 'Doc2Vec' object has no attribute 'infer'"
     ]
    }
   ],
   "source": [
    "doc2vec_1.infer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 41694/41694 [02:56<00:00, 236.36it/s]\n"
     ]
    }
   ],
   "source": [
    "X_test = make_test(doc2vec_1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 373,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(<generator object make_test.<locals>.<genexpr> at 0x7f7a99bd8a50>,\n",
       "      dtype=object)"
      ]
     },
     "execution_count": 373,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "X_train = np.array(list(doc2vec_1.docvecs.doctag_syn0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "X_train = doc2vec_1.docvecs.doctag_syn0.copy()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### lr model "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.linear_model import LogisticRegression"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "LogisticRegression?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "lr = LogisticRegression(max_iter=40, tol=0.009, solver='sag', verbose=True,n_jobs=-1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[Parallel(n_jobs=-1)]: Using backend LokyBackend with 4 concurrent workers.\n",
      "[Parallel(n_jobs=-1)]: Done   9 out of   9 | elapsed:  2.5min finished\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,\n",
       "                   intercept_scaling=1, l1_ratio=None, max_iter=40,\n",
       "                   multi_class='warn', n_jobs=-1, penalty='l2',\n",
       "                   random_state=None, solver='newton-cg', tol=0.009,\n",
       "                   verbose=True, warm_start=False)"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.fit(X_train, label_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.7837384074192517"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lr.score(X_train, label_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                     precision    recall  f1-score   support\n",
      "\n",
      "            Economy       0.82      0.82      0.82      5892\n",
      " Literature and Art       0.63      0.54      0.58      1621\n",
      "      Miscellaneous       0.78      0.84      0.81     19272\n",
      "Natural Environment       0.47      0.24      0.32       233\n",
      "           Politics       0.72      0.71      0.71      4884\n",
      "Science and Culture       0.64      0.55      0.59      3383\n",
      "             Social       0.56      0.50      0.53      2373\n",
      "              Sport       0.97      0.97      0.97      3925\n",
      "            Tourism       0.77      0.40      0.52       111\n",
      "\n",
      "           accuracy                           0.77     41694\n",
      "          macro avg       0.71      0.62      0.65     41694\n",
      "       weighted avg       0.77      0.77      0.77     41694\n",
      "\n",
      "[[ 4843     2   801     2   125    62    43     6     8]\n",
      " [   14   878   551     1    16   106    49     5     1]\n",
      " [  653   351 16095    45   937   609   505    74     3]\n",
      " [   12     0   140    56     0    16     8     1     0]\n",
      " [  190    10  1022     0  3454    84   119     5     0]\n",
      " [   79   114  1013    15   127  1844   179    12     0]\n",
      " [   65    36   782     0   143   161  1178     8     0]\n",
      " [    1     1    93     0    11     6     5  3807     1]\n",
      " [   18     4    36     0     0     7     1     1    44]]\n",
      "0.7684787593458062\n"
     ]
    }
   ],
   "source": [
    "eval_results(label_test, lr.predict(X_test))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### MLP"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "import itertools\n",
    "import os\n",
    "\n",
    "# %matplotlib inline\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "import tensorflow as tf\n",
    "\n",
    "from sklearn.preprocessing import LabelBinarizer, LabelEncoder\n",
    "from sklearn.metrics import confusion_matrix\n",
    "\n",
    "from keras.models import Sequential\n",
    "from keras.layers import Dense, Activation, Dropout\n",
    "from keras.preprocessing import text, sequence\n",
    "from keras import utils\n",
    "from keras.callbacks import EarlyStopping\n",
    "early_stopping = EarlyStopping(restore_best_weights=True, patience=25, \n",
    "                              min_delta=.001)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2020-12-27 05:18:38,448 : WARNING : From /home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:74: The name tf.get_default_graph is deprecated. Please use tf.compat.v1.get_default_graph instead.\n",
      "\n",
      "2020-12-27 05:18:38,474 : WARNING : From /home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:517: The name tf.placeholder is deprecated. Please use tf.compat.v1.placeholder instead.\n",
      "\n",
      "2020-12-27 05:18:38,481 : WARNING : From /home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:4138: The name tf.random_uniform is deprecated. Please use tf.random.uniform instead.\n",
      "\n",
      "2020-12-27 05:18:38,507 : WARNING : From /home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:133: The name tf.placeholder_with_default is deprecated. Please use tf.compat.v1.placeholder_with_default instead.\n",
      "\n",
      "2020-12-27 05:18:38,519 : WARNING : From /home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:3445: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version.\n",
      "Instructions for updating:\n",
      "Please use `rate` instead of `keep_prob`. Rate should be set to `rate = 1 - keep_prob`.\n",
      "2020-12-27 05:18:38,621 : WARNING : From /home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/optimizers.py:790: The name tf.train.Optimizer is deprecated. Please use tf.compat.v1.train.Optimizer instead.\n",
      "\n",
      "2020-12-27 05:18:38,677 : WARNING : From /home/fazel/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:3295: The name tf.log is deprecated. Please use tf.math.log instead.\n",
      "\n"
     ]
    }
   ],
   "source": [
    "batch_size = 1000\n",
    "epochs = 100\n",
    "# encoder = LabelEncoder()\n",
    "# encoder.fit(list(range(11)))\n",
    "# y_train = encoder.transform(label_train)\n",
    "# y_test = encoder.transform(label_test)\n",
    "label_train_cat = utils.to_categorical(label_train, 9)\n",
    "label_test_cat = utils.to_categorical(label_test, 9)\n",
    "# Build the model\n",
    "model = Sequential()\n",
    "model.add(Dense(150, input_shape=(X_test.shape[1],)))\n",
    "model.add(Activation('relu'))\n",
    "model.add(Dropout(0.5))\n",
    "model.add(Dense(50, input_shape=(X_test.shape[1],)))\n",
    "model.add(Activation('relu'))\n",
    "model.add(Dropout(0.5))\n",
    "model.add(Dense(9))\n",
    "model.add(Activation('softmax'))\n",
    "\n",
    "model.compile(loss='categorical_crossentropy',\n",
    "              optimizer='nadam',\n",
    "              metrics=['accuracy'])\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "import keras"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['/job:localhost/replica:0/task:0/device:GPU:0']"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "keras.backend.tensorflow_backend._get_available_gpust()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 112572 samples, validate on 12508 samples\n",
      "Epoch 1/100\n",
      "112572/112572 [==============================] - 2s 21us/step - loss: 0.9127 - acc: 0.6921 - val_loss: 0.6055 - val_acc: 0.7905\n",
      "Epoch 2/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.6817 - acc: 0.7681 - val_loss: 0.5436 - val_acc: 0.8112\n",
      "Epoch 3/100\n",
      "112572/112572 [==============================] - 1s 10us/step - loss: 0.6341 - acc: 0.7848 - val_loss: 0.5170 - val_acc: 0.8192\n",
      "Epoch 4/100\n",
      "112572/112572 [==============================] - 1s 10us/step - loss: 0.6055 - acc: 0.7946 - val_loss: 0.5068 - val_acc: 0.8232\n",
      "Epoch 5/100\n",
      "112572/112572 [==============================] - 1s 10us/step - loss: 0.5909 - acc: 0.8011 - val_loss: 0.4965 - val_acc: 0.8295\n",
      "Epoch 6/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5727 - acc: 0.8057 - val_loss: 0.4868 - val_acc: 0.8305\n",
      "Epoch 7/100\n",
      "112572/112572 [==============================] - 1s 10us/step - loss: 0.5651 - acc: 0.8099 - val_loss: 0.4819 - val_acc: 0.8301\n",
      "Epoch 8/100\n",
      "112572/112572 [==============================] - 1s 10us/step - loss: 0.5568 - acc: 0.8114 - val_loss: 0.4765 - val_acc: 0.8335\n",
      "Epoch 9/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5489 - acc: 0.8137 - val_loss: 0.4720 - val_acc: 0.8330\n",
      "Epoch 10/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5440 - acc: 0.8151 - val_loss: 0.4807 - val_acc: 0.8321\n",
      "Epoch 11/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.5409 - acc: 0.8178 - val_loss: 0.4684 - val_acc: 0.8368\n",
      "Epoch 12/100\n",
      "112572/112572 [==============================] - 1s 10us/step - loss: 0.5380 - acc: 0.8179 - val_loss: 0.4694 - val_acc: 0.8341\n",
      "Epoch 13/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5344 - acc: 0.8194 - val_loss: 0.4618 - val_acc: 0.8376\n",
      "Epoch 14/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.5275 - acc: 0.8221 - val_loss: 0.4601 - val_acc: 0.8381\n",
      "Epoch 15/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5249 - acc: 0.8222 - val_loss: 0.4647 - val_acc: 0.8371\n",
      "Epoch 16/100\n",
      "112572/112572 [==============================] - 1s 10us/step - loss: 0.5236 - acc: 0.8236 - val_loss: 0.4603 - val_acc: 0.8378\n",
      "Epoch 17/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5208 - acc: 0.8235 - val_loss: 0.4584 - val_acc: 0.8418\n",
      "Epoch 18/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5172 - acc: 0.8252 - val_loss: 0.4579 - val_acc: 0.8414\n",
      "Epoch 19/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5161 - acc: 0.8254 - val_loss: 0.4599 - val_acc: 0.8395\n",
      "Epoch 20/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5128 - acc: 0.8274 - val_loss: 0.4598 - val_acc: 0.8383\n",
      "Epoch 21/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5109 - acc: 0.8260 - val_loss: 0.4600 - val_acc: 0.8399\n",
      "Epoch 22/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5095 - acc: 0.8272 - val_loss: 0.4595 - val_acc: 0.8404\n",
      "Epoch 23/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5075 - acc: 0.8271 - val_loss: 0.4573 - val_acc: 0.8397\n",
      "Epoch 24/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5064 - acc: 0.8286 - val_loss: 0.4530 - val_acc: 0.8423\n",
      "Epoch 25/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5039 - acc: 0.8292 - val_loss: 0.4554 - val_acc: 0.8418\n",
      "Epoch 26/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5036 - acc: 0.8293 - val_loss: 0.4556 - val_acc: 0.8405\n",
      "Epoch 27/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5003 - acc: 0.8299 - val_loss: 0.4531 - val_acc: 0.8415\n",
      "Epoch 28/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.5007 - acc: 0.8302 - val_loss: 0.4572 - val_acc: 0.8411\n",
      "Epoch 29/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.5010 - acc: 0.8306 - val_loss: 0.4549 - val_acc: 0.8420\n",
      "Epoch 30/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4978 - acc: 0.8304 - val_loss: 0.4556 - val_acc: 0.8402\n",
      "Epoch 31/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4963 - acc: 0.8314 - val_loss: 0.4551 - val_acc: 0.8420\n",
      "Epoch 32/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4967 - acc: 0.8319 - val_loss: 0.4544 - val_acc: 0.8417\n",
      "Epoch 33/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.4951 - acc: 0.8321 - val_loss: 0.4538 - val_acc: 0.8425\n",
      "Epoch 34/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.4946 - acc: 0.8333 - val_loss: 0.4560 - val_acc: 0.8417\n",
      "Epoch 35/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.4944 - acc: 0.8330 - val_loss: 0.4524 - val_acc: 0.8433\n",
      "Epoch 36/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4932 - acc: 0.8321 - val_loss: 0.4537 - val_acc: 0.8419\n",
      "Epoch 37/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4930 - acc: 0.8335 - val_loss: 0.4535 - val_acc: 0.8435\n",
      "Epoch 38/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4902 - acc: 0.8336 - val_loss: 0.4544 - val_acc: 0.8431\n",
      "Epoch 39/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4891 - acc: 0.8342 - val_loss: 0.4536 - val_acc: 0.8442\n",
      "Epoch 40/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.4896 - acc: 0.8336 - val_loss: 0.4549 - val_acc: 0.8395\n",
      "Epoch 41/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.4885 - acc: 0.8351 - val_loss: 0.4542 - val_acc: 0.8412\n",
      "Epoch 42/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.4882 - acc: 0.8355 - val_loss: 0.4562 - val_acc: 0.8423\n",
      "Epoch 43/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.4864 - acc: 0.8347 - val_loss: 0.4537 - val_acc: 0.8427\n",
      "Epoch 44/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4846 - acc: 0.8359 - val_loss: 0.4543 - val_acc: 0.8412\n",
      "Epoch 45/100\n",
      "112572/112572 [==============================] - 2s 15us/step - loss: 0.4859 - acc: 0.8349 - val_loss: 0.4541 - val_acc: 0.8423\n",
      "Epoch 46/100\n",
      "112572/112572 [==============================] - 2s 19us/step - loss: 0.4868 - acc: 0.8358 - val_loss: 0.4523 - val_acc: 0.8431\n",
      "Epoch 47/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4838 - acc: 0.8356 - val_loss: 0.4501 - val_acc: 0.8427\n",
      "Epoch 48/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4842 - acc: 0.8359 - val_loss: 0.4528 - val_acc: 0.8439\n",
      "Epoch 49/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4827 - acc: 0.8365 - val_loss: 0.4510 - val_acc: 0.8435\n",
      "Epoch 50/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4833 - acc: 0.8367 - val_loss: 0.4513 - val_acc: 0.8431\n",
      "Epoch 51/100\n",
      "112572/112572 [==============================] - 2s 14us/step - loss: 0.4837 - acc: 0.8355 - val_loss: 0.4594 - val_acc: 0.8430\n",
      "Epoch 52/100\n",
      "112572/112572 [==============================] - 2s 16us/step - loss: 0.4838 - acc: 0.8356 - val_loss: 0.4538 - val_acc: 0.8415\n",
      "Epoch 53/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4841 - acc: 0.8368 - val_loss: 0.4570 - val_acc: 0.8425\n",
      "Epoch 54/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4815 - acc: 0.8367 - val_loss: 0.4541 - val_acc: 0.8427\n",
      "Epoch 55/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4806 - acc: 0.8371 - val_loss: 0.4547 - val_acc: 0.8405\n",
      "Epoch 56/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4793 - acc: 0.8372 - val_loss: 0.4547 - val_acc: 0.8435\n",
      "Epoch 57/100\n",
      "112572/112572 [==============================] - 2s 14us/step - loss: 0.4814 - acc: 0.8360 - val_loss: 0.4527 - val_acc: 0.8427\n",
      "Epoch 58/100\n",
      "112572/112572 [==============================] - 2s 14us/step - loss: 0.4777 - acc: 0.8383 - val_loss: 0.4537 - val_acc: 0.8420\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 59/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4791 - acc: 0.8375 - val_loss: 0.4567 - val_acc: 0.8451\n",
      "Epoch 60/100\n",
      "112572/112572 [==============================] - 1s 11us/step - loss: 0.4788 - acc: 0.8376 - val_loss: 0.4554 - val_acc: 0.8427\n",
      "Epoch 61/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4767 - acc: 0.8375 - val_loss: 0.4554 - val_acc: 0.8451\n",
      "Epoch 62/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4775 - acc: 0.8381 - val_loss: 0.4550 - val_acc: 0.8421\n",
      "Epoch 63/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4794 - acc: 0.8384 - val_loss: 0.4525 - val_acc: 0.8443\n",
      "Epoch 64/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4778 - acc: 0.8379 - val_loss: 0.4535 - val_acc: 0.8414\n",
      "Epoch 65/100\n",
      "112572/112572 [==============================] - 1s 12us/step - loss: 0.4754 - acc: 0.8375 - val_loss: 0.4533 - val_acc: 0.8416\n",
      "Epoch 66/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4770 - acc: 0.8387 - val_loss: 0.4538 - val_acc: 0.8450\n",
      "Epoch 67/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4769 - acc: 0.8387 - val_loss: 0.4512 - val_acc: 0.8430\n",
      "Epoch 68/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4721 - acc: 0.8395 - val_loss: 0.4511 - val_acc: 0.8438\n",
      "Epoch 69/100\n",
      "112572/112572 [==============================] - 2s 13us/step - loss: 0.4754 - acc: 0.8380 - val_loss: 0.4513 - val_acc: 0.8443\n",
      "Epoch 70/100\n",
      "112572/112572 [==============================] - 1s 13us/step - loss: 0.4732 - acc: 0.8388 - val_loss: 0.4509 - val_acc: 0.8420\n",
      "Epoch 71/100\n",
      "112572/112572 [==============================] - 2s 14us/step - loss: 0.4735 - acc: 0.8396 - val_loss: 0.4529 - val_acc: 0.8427\n",
      "Epoch 72/100\n",
      "112572/112572 [==============================] - 2s 15us/step - loss: 0.4737 - acc: 0.8394 - val_loss: 0.4536 - val_acc: 0.8421\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f0076ab41d0>"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(X_train, label_train_cat,\n",
    "          batch_size=batch_size,\n",
    "          epochs=epochs,\n",
    "          callbacks=[early_stopping],\n",
    "          validation_split=0.1,\n",
    "         )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.save?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.save(\"mlp1.h5\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2020-12-27 05:38:09,170 : INFO : saving Doc2Vec object under doc2vec_1.save, separately None\n",
      "2020-12-27 05:38:09,171 : INFO : storing np array 'vectors_docs' to doc2vec_1.save.docvecs.vectors_docs.npy\n",
      "2020-12-27 05:38:09,797 : INFO : saved doc2vec_1.save\n"
     ]
    }
   ],
   "source": [
    "doc2vec_1.save(\"doc2vec_1.save\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                     precision    recall  f1-score   support\n",
      "\n",
      "            Economy       0.88      0.86      0.87      5892\n",
      " Literature and Art       0.64      0.70      0.67      1621\n",
      "      Miscellaneous       0.85      0.86      0.86     19272\n",
      "Natural Environment       0.50      0.07      0.13       233\n",
      "           Politics       0.81      0.77      0.79      4884\n",
      "Science and Culture       0.72      0.72      0.72      3383\n",
      "             Social       0.65      0.69      0.67      2373\n",
      "              Sport       0.96      0.98      0.97      3925\n",
      "            Tourism       0.79      0.33      0.47       111\n",
      "\n",
      "           accuracy                           0.83     41694\n",
      "          macro avg       0.76      0.67      0.68     41694\n",
      "       weighted avg       0.83      0.83      0.83     41694\n",
      "\n",
      "[[ 5069     4   579     0   119    46    58    10     7]\n",
      " [    6  1141   350     0     1    85    31     7     0]\n",
      " [  403   431 16642     8   570   595   527    94     2]\n",
      " [    3     1   173    17     0    35     3     1     0]\n",
      " [  170     5   766     0  3748    67   118    10     0]\n",
      " [   56   150   496     9    66  2436   154    16     0]\n",
      " [   46    50   417     0    93   122  1636     9     0]\n",
      " [    0     3    50     0     4     4     7  3856     1]\n",
      " [   39     0    26     0     1     5     1     2    37]]\n",
      "0.827813899125944\n"
     ]
    }
   ],
   "source": [
    "X_pred = model.predict(X_test)\n",
    "y_pred = np.argmax(X_pred, axis=1)\n",
    "eval_results(label_test, y_pred)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### MLP for tfidf "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 41694/41694 [00:07<00:00, 5828.09it/s]\n"
     ]
    }
   ],
   "source": [
    "\n",
    "X_test_tfidf = tfidf.transform(tqdm(tokens_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 112572 samples, validate on 12508 samples\n",
      "Epoch 1/100\n",
      "112572/112572 [==============================] - 30s 269us/step - loss: 1.0712 - acc: 0.6662 - val_loss: 0.5943 - val_acc: 0.8007\n",
      "Epoch 2/100\n",
      "112572/112572 [==============================] - 30s 266us/step - loss: 0.6027 - acc: 0.8046 - val_loss: 0.5638 - val_acc: 0.8098\n",
      "Epoch 3/100\n",
      "112572/112572 [==============================] - 29s 260us/step - loss: 0.4963 - acc: 0.8397 - val_loss: 0.5712 - val_acc: 0.8046\n",
      "Epoch 4/100\n",
      "112572/112572 [==============================] - 31s 274us/step - loss: 0.4195 - acc: 0.8642 - val_loss: 0.5925 - val_acc: 0.8007\n",
      "Epoch 5/100\n",
      "112572/112572 [==============================] - 32s 286us/step - loss: 0.3552 - acc: 0.8851 - val_loss: 0.6340 - val_acc: 0.7982\n",
      "Epoch 6/100\n",
      "112572/112572 [==============================] - 33s 295us/step - loss: 0.3036 - acc: 0.9015 - val_loss: 0.6906 - val_acc: 0.7976\n",
      "Epoch 7/100\n",
      "112572/112572 [==============================] - 33s 293us/step - loss: 0.2586 - acc: 0.9172 - val_loss: 0.7305 - val_acc: 0.7964\n",
      "Epoch 8/100\n",
      "112572/112572 [==============================] - 32s 287us/step - loss: 0.2185 - acc: 0.9302 - val_loss: 0.7754 - val_acc: 0.7956\n",
      "Epoch 9/100\n",
      "112572/112572 [==============================] - 32s 287us/step - loss: 0.1855 - acc: 0.9412 - val_loss: 0.8290 - val_acc: 0.7917\n",
      "Epoch 10/100\n",
      "112572/112572 [==============================] - 33s 293us/step - loss: 0.1596 - acc: 0.9499 - val_loss: 0.8932 - val_acc: 0.7916\n",
      "Epoch 11/100\n",
      "112572/112572 [==============================] - 34s 298us/step - loss: 0.1386 - acc: 0.9564 - val_loss: 0.9440 - val_acc: 0.7922\n",
      "Epoch 12/100\n",
      "112572/112572 [==============================] - 33s 297us/step - loss: 0.1213 - acc: 0.9616 - val_loss: 0.9824 - val_acc: 0.7910\n",
      "Epoch 13/100\n",
      "112572/112572 [==============================] - 33s 289us/step - loss: 0.1076 - acc: 0.9664 - val_loss: 1.0340 - val_acc: 0.7904\n",
      "Epoch 14/100\n",
      "112572/112572 [==============================] - 32s 287us/step - loss: 0.0979 - acc: 0.9698 - val_loss: 1.0857 - val_acc: 0.7904\n",
      "Epoch 15/100\n",
      "112572/112572 [==============================] - 33s 295us/step - loss: 0.0881 - acc: 0.9728 - val_loss: 1.1374 - val_acc: 0.7900\n",
      "Epoch 16/100\n",
      " 25000/112572 [=====>........................] - ETA: 24s - loss: 0.0740 - acc: 0.9767"
     ]
    },
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-53-f72b95e3a7c5>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[1;32m     31\u001b[0m           \u001b[0mepochs\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mepochs\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     32\u001b[0m           \u001b[0mcallbacks\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mearly_stopping\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 33\u001b[0;31m           \u001b[0mvalidation_split\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;36m0.1\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     34\u001b[0m          )\n",
      "\u001b[0;32m~/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/engine/training.py\u001b[0m in \u001b[0;36mfit\u001b[0;34m(self, x, y, batch_size, epochs, verbose, callbacks, validation_split, validation_data, shuffle, class_weight, sample_weight, initial_epoch, steps_per_epoch, validation_steps, **kwargs)\u001b[0m\n\u001b[1;32m   1037\u001b[0m                                         \u001b[0minitial_epoch\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0minitial_epoch\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1038\u001b[0m                                         \u001b[0msteps_per_epoch\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0msteps_per_epoch\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1039\u001b[0;31m                                         validation_steps=validation_steps)\n\u001b[0m\u001b[1;32m   1040\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1041\u001b[0m     def evaluate(self, x=None, y=None,\n",
      "\u001b[0;32m~/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/engine/training_arrays.py\u001b[0m in \u001b[0;36mfit_loop\u001b[0;34m(model, f, ins, out_labels, batch_size, epochs, verbose, callbacks, val_f, val_ins, shuffle, callback_metrics, initial_epoch, steps_per_epoch, validation_steps)\u001b[0m\n\u001b[1;32m    197\u001b[0m                     \u001b[0mins_batch\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mi\u001b[0m\u001b[0;34m]\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mins_batch\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mi\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mtoarray\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    198\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 199\u001b[0;31m                 \u001b[0mouts\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mf\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mins_batch\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    200\u001b[0m                 \u001b[0mouts\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mto_list\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mouts\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    201\u001b[0m                 \u001b[0;32mfor\u001b[0m \u001b[0ml\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mo\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mzip\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mout_labels\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mouts\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py\u001b[0m in \u001b[0;36m__call__\u001b[0;34m(self, inputs)\u001b[0m\n\u001b[1;32m   2713\u001b[0m                 \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_legacy_call\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0minputs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   2714\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 2715\u001b[0;31m             \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_call\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0minputs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   2716\u001b[0m         \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   2717\u001b[0m             \u001b[0;32mif\u001b[0m \u001b[0mpy_any\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mis_tensor\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mx\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mfor\u001b[0m \u001b[0mx\u001b[0m \u001b[0;32min\u001b[0m \u001b[0minputs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py\u001b[0m in \u001b[0;36m_call\u001b[0;34m(self, inputs)\u001b[0m\n\u001b[1;32m   2673\u001b[0m             \u001b[0mfetched\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_callable_fn\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m*\u001b[0m\u001b[0marray_vals\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mrun_metadata\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mrun_metadata\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   2674\u001b[0m         \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 2675\u001b[0;31m             \u001b[0mfetched\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_callable_fn\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m*\u001b[0m\u001b[0marray_vals\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   2676\u001b[0m         \u001b[0;32mreturn\u001b[0m \u001b[0mfetched\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0mlen\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0moutputs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   2677\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/anaconda3/envs/nlp_thesis/lib/python3.7/site-packages/tensorflow/python/client/session.py\u001b[0m in \u001b[0;36m__call__\u001b[0;34m(self, *args, **kwargs)\u001b[0m\n\u001b[1;32m   1456\u001b[0m         ret = tf_session.TF_SessionRunCallable(self._session._session,\n\u001b[1;32m   1457\u001b[0m                                                \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_handle\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0margs\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1458\u001b[0;31m                                                run_metadata_ptr)\n\u001b[0m\u001b[1;32m   1459\u001b[0m         \u001b[0;32mif\u001b[0m \u001b[0mrun_metadata\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1460\u001b[0m           \u001b[0mproto_data\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mtf_session\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mTF_GetBuffer\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mrun_metadata_ptr\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "batch_size = 1000\n",
    "epochs = 100\n",
    "# encoder = LabelEncoder()\n",
    "# encoder.fit(list(range(11)))\n",
    "# y_train = encoder.transform(label_train)\n",
    "# y_test = encoder.transform(label_test)\n",
    "label_train_cat = utils.to_categorical(label_train, 9)\n",
    "label_test_cat = utils.to_categorical(label_test, 9)\n",
    "# Build the model\n",
    "model = Sequential()\n",
    "model.add(Dense(150, input_shape=(X_test_tfidf.shape[1],)))\n",
    "model.add(Activation('relu'))\n",
    "model.add(Dropout(0.5))\n",
    "model.add(Dense(50, input_shape=(X_test_tfidf.shape[1],)))\n",
    "model.add(Activation('relu'))\n",
    "model.add(Dropout(0.5))\n",
    "model.add(Dense(9))\n",
    "model.add(Activation('softmax'))\n",
    "\n",
    "model.compile(loss='categorical_crossentropy',\n",
    "              optimizer='nadam',\n",
    "              metrics=['accuracy'])\n",
    "\n",
    "\n",
    "import keras\n",
    "\n",
    "\n",
    "\n",
    "model.fit(X_train, label_train_cat,\n",
    "          batch_size=batch_size,\n",
    "          epochs=epochs,\n",
    "          callbacks=[early_stopping],\n",
    "          validation_split=0.1,\n",
    "         )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                     precision    recall  f1-score   support\n",
      "\n",
      "            Economy       0.84      0.83      0.83      5892\n",
      " Literature and Art       0.67      0.63      0.65      1621\n",
      "      Miscellaneous       0.80      0.84      0.82     19272\n",
      "Natural Environment       0.45      0.22      0.30       233\n",
      "           Politics       0.74      0.73      0.73      4884\n",
      "Science and Culture       0.65      0.61      0.63      3383\n",
      "             Social       0.62      0.57      0.60      2373\n",
      "              Sport       0.98      0.96      0.97      3925\n",
      "            Tourism       0.74      0.29      0.42       111\n",
      "\n",
      "           accuracy                           0.79     41694\n",
      "          macro avg       0.72      0.63      0.66     41694\n",
      "       weighted avg       0.79      0.79      0.79     41694\n",
      "\n",
      "[[ 4880     5   743     0   164    52    37     5     6]\n",
      " [    6  1021   466     0     4    92    29     3     0]\n",
      " [  595   354 16178    42   826   745   467    63     2]\n",
      " [    7     1   143    52     0    25     5     0     0]\n",
      " [  168     5   936     0  3542    75   150     8     0]\n",
      " [   74   106   892    21    83  2066   127    13     1]\n",
      " [   57    37   620     0   176   119  1359     4     1]\n",
      " [    9     5   108     0    17    11    10  3764     1]\n",
      " [   30     0    33     0     1    14     1     0    32]]\n",
      "0.7867968210311307\n"
     ]
    }
   ],
   "source": [
    "X_pred = model.predict(X_test_tfidf)\n",
    "y_pred = np.argmax(X_pred, axis=1)\n",
    "eval_results(label_test, y_pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}