shencecup_chusai_tfiwf.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import datetime\n",
    "import math\n",
    "import jieba\n",
    "import jieba.posseg as psg\n",
    "from gensim import corpora, models\n",
    "from jieba import analyse\n",
    "import functools\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 108295 entries, 0 to 108294\n",
      "Data columns (total 3 columns):\n",
      "id       108295 non-null object\n",
      "title    108295 non-null object\n",
      "text     108295 non-null object\n",
      "dtypes: object(3)\n",
      "memory usage: 2.5+ MB\n",
      "None\n",
      "        id                title  \\\n",
      "0  D000001   林志颖老婆深夜敷面膜，睫毛太长好吓人   \n",
      "1  D000002   小s夸杨幂身材好，杨幂回复太精彩了！   \n",
      "2  D000003    年轻时的她风华绝代，现却无人送祝福   \n",
      "3  D000004   林心如屡曝霍建华私生活被怼蹭老公人气   \n",
      "4  D000005  曾是TVB颜值担当，近照曝光发现真老了   \n",
      "\n",
      "                                                text  \n",
      "0  早年林志颖带kimi上《爸爸去哪儿》的时候，当时遮遮掩掩的林志颖老婆低调探班，总让人觉得格外...  \n",
      "1  翩若惊鸿，婉若游龙。曹植形容洛神的这两句，实在太抽象，以至于始终寻不到承受对象。直到在《大军...  \n",
      "2  上个世纪香港影视界涌现出了不少高颜值女星，在《大话西游之月光宝盒》中饰演春三十娘和蜘蛛精的蓝...  \n",
      "3  霍建华林心如1905电影网讯近日，林心如在接受采访时爆料称老公霍建华会主动向女儿索吻，笑称他...  \n",
      "4  不知道有多少人是看TVB剧集长大的，小时候我每一天晚上都会守着电视看TVB剧集的。可以说对于...  \n"
     ]
    }
   ],
   "source": [
    "all_docs_df = pd.read_csv('../../data/chusai/all_docs.txt', sep='\\001', header=None)\n",
    "all_docs_df.columns = ['id', 'title', 'text']\n",
    "all_docs_df['title'] = all_docs_df['title'].astype(str)\n",
    "all_docs_df['text'] = all_docs_df['text'].astype(str)\n",
    "print(all_docs_df.info())\n",
    "print(all_docs_df.head())\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "        id            keyword           keyword_list\n",
      "0  D012650         三生三世,凤九,东华         [三生三世, 凤九, 东华]\n",
      "1  D047118              南宁,美食               [南宁, 美食]\n",
      "2  D098970             凉菜,北京人              [凉菜, 北京人]\n",
      "3  D092010          华为,P30pro           [华为, P30pro]\n",
      "4  D103408             酒吧,世界杯              [酒吧, 世界杯]\n",
      "5  D103809            烧烤,人生一串             [烧烤, 人生一串]\n",
      "6  D003823         惠若琪,杨颖,奔跑吧         [惠若琪, 杨颖, 奔跑吧]\n",
      "7  D023499  我与你的光年距离2,王以纶,许晓诺  [我与你的光年距离2, 王以纶, 许晓诺]\n",
      "8  D063937          无人机,军用,美军          [无人机, 军用, 美军]\n",
      "9  D059085           女兵,剪影,欧美           [女兵, 剪影, 欧美]\n"
     ]
    }
   ],
   "source": [
    "train_doc_keyword_df = pd.read_csv('../../data/chusai/train_docs_keywords.txt', sep='\\t', header=None)\n",
    "train_doc_keyword_df.columns = ['id', 'keyword']\n",
    "train_doc_keyword_df['keyword_list'] = train_doc_keyword_df['keyword'].map(lambda x: x.split(','))\n",
    "print(train_doc_keyword_df.head(10))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Building prefix dict from the default dictionary ...\n",
      "Loading model from cache /tmp/jieba.cache\n",
      "Loading model cost 1.101 seconds.\n",
      "Prefix dict has been built succesfully.\n"
     ]
    }
   ],
   "source": [
    "#给jieba添加自定义词\n",
    "for keyword_list in train_doc_keyword_df['keyword_list']:\n",
    "    for keyword in keyword_list:\n",
    "        jieba.add_word(keyword)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "        id                   title  \\\n",
      "0  D000001      林志颖老婆深夜敷面膜，睫毛太长好吓人   \n",
      "1  D000002      小s夸杨幂身材好，杨幂回复太精彩了！   \n",
      "2  D000003       年轻时的她风华绝代，现却无人送祝福   \n",
      "3  D000004      林心如屡曝霍建华私生活被怼蹭老公人气   \n",
      "4  D000005     曾是TVB颜值担当，近照曝光发现真老了   \n",
      "5  D000006  16岁的范冰冰有多美？塞娅公主看一眼被惊艳到   \n",
      "6  D000007        一样的北京，不一样的周迅与周冬雨   \n",
      "7  D000008      张杰自嘲是废物，赞谢娜是新时代好女性   \n",
      "8  D000009    杨幂获杂志主编夸奖：大幂幂瘦了越来越漂亮   \n",
      "9  D000010       杨幂女扮男装现身新节目瞬间年轻十岁   \n",
      "\n",
      "                                                text  \\\n",
      "0  早年林志颖带kimi上《爸爸去哪儿》的时候，当时遮遮掩掩的林志颖老婆低调探班，总让人觉得格外...   \n",
      "1  翩若惊鸿，婉若游龙。曹植形容洛神的这两句，实在太抽象，以至于始终寻不到承受对象。直到在《大军...   \n",
      "2  上个世纪香港影视界涌现出了不少高颜值女星，在《大话西游之月光宝盒》中饰演春三十娘和蜘蛛精的蓝...   \n",
      "3  霍建华林心如1905电影网讯近日，林心如在接受采访时爆料称老公霍建华会主动向女儿索吻，笑称他...   \n",
      "4  不知道有多少人是看TVB剧集长大的，小时候我每一天晚上都会守着电视看TVB剧集的。可以说对于...   \n",
      "5  范冰冰，家喻户晓的人物了，在出演还珠格格之前已经亭亭玉立十分美丽，在一些影剧中饰演一些小角色...   \n",
      "6  不知道刘若英与陈可辛之间有怎样的交情。《后来的我们》首映请来了陈可辛，他看完后笑着说很羡慕刘...   \n",
      "7  本文是企鹅号\"不八卦会死人\"原创文章，独家发布企鹅号，未经允许，不得转载!最新一期《向往的生...   \n",
      "8  网易娱乐4月29日报道  4月29日，时尚主编张宇晒出一组与杨幂的自拍合影，并发文：“今天与...   \n",
      "9  杨幂前段时间录制的综艺节目《我是大侦探》在4月29日播出预告，杨幂穿着校服的模样，甜死人了！...   \n",
      "\n",
      "                       title_list  \\\n",
      "0   [林志颖, 老婆, 深夜, 面膜, 睫毛, 太长, 吓人]   \n",
      "1           [杨幂, 身材, 杨幂, 回复, 太精彩]   \n",
      "2             [年轻, 风华绝代, 无人, 送祝福]   \n",
      "3      [林心如, 曝霍, 建华, 私生活, 老公, 人气]   \n",
      "4      [TVB, 颜值, 担当, 照曝光, 发现, 真老]   \n",
      "5   [16, 范冰冰, 多美, 塞娅, 公主, 一眼, 惊艳]   \n",
      "6                   [北京, 周迅, 周冬雨]   \n",
      "7        [张杰, 自嘲, 废物, 谢娜, 时代, 女性]   \n",
      "8   [杨幂, 杂志, 主编, 夸奖, 大幂, 越来越, 漂亮]   \n",
      "9  [杨幂, 女扮男装, 现身, 节目, 瞬间, 年轻, 十岁]   \n",
      "\n",
      "                                           text_list  \\\n",
      "0  [早年, 林志颖, kimi, 爸爸, 当时, 遮遮掩掩, 林志颖, 老婆, 低调, 探班,...   \n",
      "1  [翩若惊鸿, 婉若游龙, 曹植, 形容, 洛神, 两句, 实在太, 抽象, 始终, 不到, ...   \n",
      "2  [上个世纪, 香港, 影视界, 涌现出, 不少, 颜值, 女星, 大话西游, 月光宝盒, 饰...   \n",
      "3  [建华, 林心如, 1905, 电影, 网讯, 近日, 林心如, 接受, 采访, 爆料, 老...   \n",
      "4  [知道, TVB, 剧集, 长大, 小时候, 一天, 晚上, 电视, TVB, 剧集, 时期...   \n",
      "5  [范冰冰, 家喻户晓, 人物, 出演, 还珠格格, 之前, 已经, 亭亭玉立, 十分, 美丽...   \n",
      "6  [知道, 刘若英, 陈可辛, 之间, 交情, 后来的我们, 首映, 请来, 陈可辛, 看完,...   \n",
      "7  [本文, 企鹅, 八卦, 原创, 文章, 独家, 发布, 企鹅, 未经, 允许, 不得, 转...   \n",
      "8  [网易娱乐, 29, 报道, 29, 时尚, 主编, 张宇, 一组, 杨幂, 自拍, 合影,...   \n",
      "9  [杨幂, 前段时间, 录制, 综艺节目, 我是大侦探, 29, 播出, 预告, 杨幂, 穿着...   \n",
      "\n",
      "                                          title_text  \\\n",
      "0  林志颖老婆深夜敷面膜，睫毛太长好吓人。早年林志颖带kimi上《爸爸去哪儿》的时候，当时遮遮掩...   \n",
      "1  小s夸杨幂身材好，杨幂回复太精彩了！。翩若惊鸿，婉若游龙。曹植形容洛神的这两句，实在太抽象，...   \n",
      "2  年轻时的她风华绝代，现却无人送祝福。上个世纪香港影视界涌现出了不少高颜值女星，在《大话西游之...   \n",
      "3  林心如屡曝霍建华私生活被怼蹭老公人气。霍建华林心如1905电影网讯近日，林心如在接受采访时爆...   \n",
      "4  曾是TVB颜值担当，近照曝光发现真老了。不知道有多少人是看TVB剧集长大的，小时候我每一天晚...   \n",
      "5  16岁的范冰冰有多美？塞娅公主看一眼被惊艳到。范冰冰，家喻户晓的人物了，在出演还珠格格之前已...   \n",
      "6  一样的北京，不一样的周迅与周冬雨。不知道刘若英与陈可辛之间有怎样的交情。《后来的我们》首映请...   \n",
      "7  张杰自嘲是废物，赞谢娜是新时代好女性。本文是企鹅号\"不八卦会死人\"原创文章，独家发布企鹅号，...   \n",
      "8  杨幂获杂志主编夸奖：大幂幂瘦了越来越漂亮。网易娱乐4月29日报道  4月29日，时尚主编张宇...   \n",
      "9  杨幂女扮男装现身新节目瞬间年轻十岁。杨幂前段时间录制的综艺节目《我是大侦探》在4月29日播出...   \n",
      "\n",
      "                                     title_text_list  \n",
      "0  [林志颖, 老婆, 深夜, 面膜, 睫毛, 太长, 吓人, 早年, 林志颖, kimi, 爸...  \n",
      "1  [杨幂, 身材, 杨幂, 回复, 太精彩, 翩若惊鸿, 婉若游龙, 曹植, 形容, 洛神, ...  \n",
      "2  [年轻, 风华绝代, 无人, 送祝福, 上个世纪, 香港, 影视界, 涌现出, 不少, 颜值...  \n",
      "3  [林心如, 曝霍, 建华, 私生活, 老公, 人气, 建华, 林心如, 1905, 电影, ...  \n",
      "4  [TVB, 颜值, 担当, 照曝光, 发现, 真老, 知道, TVB, 剧集, 长大, 小时...  \n",
      "5  [16, 范冰冰, 多美, 塞娅, 公主, 一眼, 惊艳, 范冰冰, 家喻户晓, 人物, 出...  \n",
      "6  [北京, 周迅, 周冬雨, 知道, 刘若英, 陈可辛, 之间, 交情, 后来的我们, 首映,...  \n",
      "7  [张杰, 自嘲, 废物, 谢娜, 时代, 女性, 本文, 企鹅, 八卦, 原创, 文章, 独...  \n",
      "8  [杨幂, 杂志, 主编, 夸奖, 大幂, 越来越, 漂亮, 网易娱乐, 29, 报道, 29...  \n",
      "9  [杨幂, 女扮男装, 现身, 节目, 瞬间, 年轻, 十岁, 杨幂, 前段时间, 录制, 综...  \n"
     ]
    }
   ],
   "source": [
    "#停用词表加载方法\n",
    "def get_stopword_list():\n",
    "    #停用词表存储路径，每一行为一个词，按行读取进行加载\n",
    "    #进行编码转换确保匹配准确率\n",
    "    stop_word_path = '../stopword.txt'\n",
    "    stop_word_list = [sw.replace('\\n', '') for sw in open(stop_word_path).readlines()]\n",
    "    return stop_word_list\n",
    "\n",
    "#分词方法，调用结巴接口\n",
    "def seg_to_list(sentence, pos=False):\n",
    "    if not pos:\n",
    "        #不进行词性标注的分词方法\n",
    "        seg_list = jieba.cut(sentence)\n",
    "    else:\n",
    "        #进行词性标注的分词方法\n",
    "        seg_list = psg.cut(sentence)\n",
    "    return seg_list\n",
    "\n",
    "#去除干扰词\n",
    "def word_filter(seg_list, stopword_list, pos=False):\n",
    "    \n",
    "    filter_list = []\n",
    "    #根据pos参数选择是否词性过滤\n",
    "    #不进行词性过滤，则将词性都标记为n，表示全部保留\n",
    "    for seg in seg_list:\n",
    "        if not pos:\n",
    "            word = seg\n",
    "            flag = 'n'\n",
    "        else:\n",
    "            word = seg.word\n",
    "            flag = seg.flag\n",
    "        if not flag.startswith('n'):\n",
    "            continue\n",
    "        #过滤高停用词表中的词，以及长度为<2的词\n",
    "        if not word in stopword_list and len(word) > 1:\n",
    "            filter_list.append(word)\n",
    "    \n",
    "    return filter_list\n",
    "\n",
    "def jieba_word_deal(sentence, stopword_list, pos=False):\n",
    "    #调用上面方式对数据集进行处理，处理后的每条数据仅保留非干扰词\n",
    "    seg_list = seg_to_list(sentence, pos)\n",
    "    filter_list = word_filter(seg_list, stopword_list, pos)\n",
    "    return filter_list\n",
    "\n",
    "stopword_list = get_stopword_list()\n",
    "all_docs_df['title_list'] = all_docs_df['title'].map(lambda x : jieba_word_deal(x, stopword_list, False))\n",
    "all_docs_df['text_list'] = all_docs_df['text'].map(lambda x : jieba_word_deal(x, stopword_list, False))\n",
    "all_docs_df['title_text'] = all_docs_df['title'] + '。' + all_docs_df['text']\n",
    "all_docs_df['title_text_list'] = all_docs_df['title_text'].map(lambda x : jieba_word_deal(x, stopword_list, False))\n",
    "print(all_docs_df.head(10))\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#idf统计方法\n",
    "def train_idf(doc_list):\n",
    "    idf_dic = {}\n",
    "    #总文档数\n",
    "    tt_count = len(doc_list)\n",
    "    \n",
    "    #每个词出现的文档数\n",
    "    for doc in doc_list:\n",
    "        for word in set(doc):\n",
    "            idf_dic[word] = idf_dic.get(word, 0.0) + 1.0\n",
    "    \n",
    "    #按公式转换为idf值，分母加1进行平滑处理\n",
    "    for k, v in idf_dic.items():\n",
    "        idf_dic[k] = math.log(tt_count / (1.0 + v))\n",
    "        \n",
    "    #对于没有在字典中的词，默认其尽在一个文档中出现，得到默认idf值\n",
    "    default_idf = math.log(tt_count / (1.0))\n",
    "    return idf_dic, default_idf\n",
    "\n",
    "#排序函数，用于topK关键词的按值排\n",
    "def cmp(e1, e2):\n",
    "    res = np.sign(e1[1] - e2[1])\n",
    "    if res != 0:\n",
    "        return res\n",
    "    else:\n",
    "        a = e1[0] + e2[0]\n",
    "        b = e2[0] + e1[0]\n",
    "        if a > b:\n",
    "            return 1\n",
    "        elif a == b:\n",
    "            return 0\n",
    "        else:\n",
    "            return -1\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#TF-IWF类\n",
    "class TfIwf(object):\n",
    "    #四个参数分别是：训练好的idf字典，默认idf值，处理后的待提取文本，关键词数量\n",
    "    def __init__(self, idf_dic, default_idf, word_list, keyword_num):\n",
    "        self.word_list = word_list\n",
    "        self.idf_dic = idf_dic\n",
    "        self.default_idf = default_idf\n",
    "        self.tf_dic = self.get_tf_dic()\n",
    "        self.keyword_num = keyword_num\n",
    "    \n",
    "    #统计tf值\n",
    "    def get_tf_dic(self):\n",
    "        tf_dic = {}\n",
    "        for word in self.word_list:\n",
    "            tf_dic[word] = tf_dic.get(word, 0.0) + 1.0\n",
    "        \n",
    "        tt_count = len(self.word_list)\n",
    "        for k, v in tf_dic.items():\n",
    "            tf_dic[k] = float(v) / tt_count\n",
    "        \n",
    "        return tf_dic\n",
    "    \n",
    "    #按公式计算tf-iwf\n",
    "    def get_tfiwf(self):\n",
    "        tfiwf_dic = {}\n",
    "        for word in self.word_list:\n",
    "            idf = self.idf_dic.get(word, self.default_idf)\n",
    "            tf = self.tf_dic.get(word, 0)\n",
    "            \n",
    "            tfiwf = tf * idf * idf\n",
    "            tfiwf_dic[word] = tfiwf\n",
    "        \n",
    "        result_dict = {}\n",
    "        for k, v in sorted(tfiwf_dic.items(), key=functools.cmp_to_key(cmp), reverse=True)[:self.keyword_num]:\n",
    "            result_dict[k] = result_dict.get(k, 0.0) + float(v)\n",
    "        return result_dict\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "        id                title  \\\n",
      "0  D000001   林志颖老婆深夜敷面膜，睫毛太长好吓人   \n",
      "1  D000002   小s夸杨幂身材好，杨幂回复太精彩了！   \n",
      "2  D000003    年轻时的她风华绝代，现却无人送祝福   \n",
      "3  D000004   林心如屡曝霍建华私生活被怼蹭老公人气   \n",
      "4  D000005  曾是TVB颜值担当，近照曝光发现真老了   \n",
      "\n",
      "                                                text  \\\n",
      "0  早年林志颖带kimi上《爸爸去哪儿》的时候，当时遮遮掩掩的林志颖老婆低调探班，总让人觉得格外...   \n",
      "1  翩若惊鸿，婉若游龙。曹植形容洛神的这两句，实在太抽象，以至于始终寻不到承受对象。直到在《大军...   \n",
      "2  上个世纪香港影视界涌现出了不少高颜值女星，在《大话西游之月光宝盒》中饰演春三十娘和蜘蛛精的蓝...   \n",
      "3  霍建华林心如1905电影网讯近日，林心如在接受采访时爆料称老公霍建华会主动向女儿索吻，笑称他...   \n",
      "4  不知道有多少人是看TVB剧集长大的，小时候我每一天晚上都会守着电视看TVB剧集的。可以说对于...   \n",
      "\n",
      "                      title_list  \\\n",
      "0  [林志颖, 老婆, 深夜, 面膜, 睫毛, 太长, 吓人]   \n",
      "1          [杨幂, 身材, 杨幂, 回复, 太精彩]   \n",
      "2            [年轻, 风华绝代, 无人, 送祝福]   \n",
      "3     [林心如, 曝霍, 建华, 私生活, 老公, 人气]   \n",
      "4     [TVB, 颜值, 担当, 照曝光, 发现, 真老]   \n",
      "\n",
      "                                           text_list  \\\n",
      "0  [早年, 林志颖, kimi, 爸爸, 当时, 遮遮掩掩, 林志颖, 老婆, 低调, 探班,...   \n",
      "1  [翩若惊鸿, 婉若游龙, 曹植, 形容, 洛神, 两句, 实在太, 抽象, 始终, 不到, ...   \n",
      "2  [上个世纪, 香港, 影视界, 涌现出, 不少, 颜值, 女星, 大话西游, 月光宝盒, 饰...   \n",
      "3  [建华, 林心如, 1905, 电影, 网讯, 近日, 林心如, 接受, 采访, 爆料, 老...   \n",
      "4  [知道, TVB, 剧集, 长大, 小时候, 一天, 晚上, 电视, TVB, 剧集, 时期...   \n",
      "\n",
      "                                          title_text  \\\n",
      "0  林志颖老婆深夜敷面膜，睫毛太长好吓人。早年林志颖带kimi上《爸爸去哪儿》的时候，当时遮遮掩...   \n",
      "1  小s夸杨幂身材好，杨幂回复太精彩了！。翩若惊鸿，婉若游龙。曹植形容洛神的这两句，实在太抽象，...   \n",
      "2  年轻时的她风华绝代，现却无人送祝福。上个世纪香港影视界涌现出了不少高颜值女星，在《大话西游之...   \n",
      "3  林心如屡曝霍建华私生活被怼蹭老公人气。霍建华林心如1905电影网讯近日，林心如在接受采访时爆...   \n",
      "4  曾是TVB颜值担当，近照曝光发现真老了。不知道有多少人是看TVB剧集长大的，小时候我每一天晚...   \n",
      "\n",
      "                                     title_text_list  \\\n",
      "0  [林志颖, 老婆, 深夜, 面膜, 睫毛, 太长, 吓人, 早年, 林志颖, kimi, 爸...   \n",
      "1  [杨幂, 身材, 杨幂, 回复, 太精彩, 翩若惊鸿, 婉若游龙, 曹植, 形容, 洛神, ...   \n",
      "2  [年轻, 风华绝代, 无人, 送祝福, 上个世纪, 香港, 影视界, 涌现出, 不少, 颜值...   \n",
      "3  [林心如, 曝霍, 建华, 私生活, 老公, 人气, 建华, 林心如, 1905, 电影, ...   \n",
      "4  [TVB, 颜值, 担当, 照曝光, 发现, 真老, 知道, TVB, 剧集, 长大, 小时...   \n",
      "\n",
      "                                         result_dict  \n",
      "0  {'陈若仪': 3.093507151978369, '睫毛': 0.82743007063...  \n",
      "1  {'洛神': 2.1608853905959107, '姿艳逸': 1.9654521878...  \n",
      "2  {'蓝洁瑛': 4.76819196702067, '风华绝代': 0.8277240792...  \n",
      "3  {'建华': 4.447699917081795, '林心如': 4.38115528189...  \n",
      "4  {'姚莹莹': 2.2499693693218594, '药房': 0.5809314887...  \n"
     ]
    }
   ],
   "source": [
    "idf_dic, default_idf = train_idf(all_docs_df['title_text_list'])\n",
    "keyword_num = 5\n",
    "all_docs_df['result_dict'] = all_docs_df['title_text_list'].map(lambda x: TfIwf(idf_dic, default_idf, x, keyword_num).get_tfiwf())\n",
    "print(all_docs_df.head())\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "107295\n",
      "        id label1 label2                title  \\\n",
      "0  D000001     ÎÞ     ÎÞ   林志颖老婆深夜敷面膜，睫毛太长好吓人   \n",
      "1  D000002     ÎÞ     ÎÞ   小s夸杨幂身材好，杨幂回复太精彩了！   \n",
      "2  D000003     ÎÞ     ÎÞ    年轻时的她风华绝代，现却无人送祝福   \n",
      "3  D000004     ÎÞ     ÎÞ   林心如屡曝霍建华私生活被怼蹭老公人气   \n",
      "4  D000005     ÎÞ     ÎÞ  曾是TVB颜值担当，近照曝光发现真老了   \n",
      "\n",
      "                                                text  \\\n",
      "0  早年林志颖带kimi上《爸爸去哪儿》的时候，当时遮遮掩掩的林志颖老婆低调探班，总让人觉得格外...   \n",
      "1  翩若惊鸿，婉若游龙。曹植形容洛神的这两句，实在太抽象，以至于始终寻不到承受对象。直到在《大军...   \n",
      "2  上个世纪香港影视界涌现出了不少高颜值女星，在《大话西游之月光宝盒》中饰演春三十娘和蜘蛛精的蓝...   \n",
      "3  霍建华林心如1905电影网讯近日，林心如在接受采访时爆料称老公霍建华会主动向女儿索吻，笑称他...   \n",
      "4  不知道有多少人是看TVB剧集长大的，小时候我每一天晚上都会守着电视看TVB剧集的。可以说对于...   \n",
      "\n",
      "                      title_list  \\\n",
      "0  [林志颖, 老婆, 深夜, 面膜, 睫毛, 太长, 吓人]   \n",
      "1          [杨幂, 身材, 杨幂, 回复, 太精彩]   \n",
      "2            [年轻, 风华绝代, 无人, 送祝福]   \n",
      "3     [林心如, 曝霍, 建华, 私生活, 老公, 人气]   \n",
      "4     [TVB, 颜值, 担当, 照曝光, 发现, 真老]   \n",
      "\n",
      "                                           text_list  \\\n",
      "0  [早年, 林志颖, kimi, 爸爸, 当时, 遮遮掩掩, 林志颖, 老婆, 低调, 探班,...   \n",
      "1  [翩若惊鸿, 婉若游龙, 曹植, 形容, 洛神, 两句, 实在太, 抽象, 始终, 不到, ...   \n",
      "2  [上个世纪, 香港, 影视界, 涌现出, 不少, 颜值, 女星, 大话西游, 月光宝盒, 饰...   \n",
      "3  [建华, 林心如, 1905, 电影, 网讯, 近日, 林心如, 接受, 采访, 爆料, 老...   \n",
      "4  [知道, TVB, 剧集, 长大, 小时候, 一天, 晚上, 电视, TVB, 剧集, 时期...   \n",
      "\n",
      "                                          title_text  \\\n",
      "0  林志颖老婆深夜敷面膜，睫毛太长好吓人。早年林志颖带kimi上《爸爸去哪儿》的时候，当时遮遮掩...   \n",
      "1  小s夸杨幂身材好，杨幂回复太精彩了！。翩若惊鸿，婉若游龙。曹植形容洛神的这两句，实在太抽象，...   \n",
      "2  年轻时的她风华绝代，现却无人送祝福。上个世纪香港影视界涌现出了不少高颜值女星，在《大话西游之...   \n",
      "3  林心如屡曝霍建华私生活被怼蹭老公人气。霍建华林心如1905电影网讯近日，林心如在接受采访时爆...   \n",
      "4  曾是TVB颜值担当，近照曝光发现真老了。不知道有多少人是看TVB剧集长大的，小时候我每一天晚...   \n",
      "\n",
      "                                     title_text_list  \\\n",
      "0  [林志颖, 老婆, 深夜, 面膜, 睫毛, 太长, 吓人, 早年, 林志颖, kimi, 爸...   \n",
      "1  [杨幂, 身材, 杨幂, 回复, 太精彩, 翩若惊鸿, 婉若游龙, 曹植, 形容, 洛神, ...   \n",
      "2  [年轻, 风华绝代, 无人, 送祝福, 上个世纪, 香港, 影视界, 涌现出, 不少, 颜值...   \n",
      "3  [林心如, 曝霍, 建华, 私生活, 老公, 人气, 建华, 林心如, 1905, 电影, ...   \n",
      "4  [TVB, 颜值, 担当, 照曝光, 发现, 真老, 知道, TVB, 剧集, 长大, 小时...   \n",
      "\n",
      "                                         result_dict  \n",
      "0  {'陈若仪': 3.093507151978369, '睫毛': 0.82743007063...  \n",
      "1  {'洛神': 2.1608853905959107, '姿艳逸': 1.9654521878...  \n",
      "2  {'蓝洁瑛': 4.76819196702067, '风华绝代': 0.8277240792...  \n",
      "3  {'建华': 4.447699917081795, '林心如': 4.38115528189...  \n",
      "4  {'姚莹莹': 2.2499693693218594, '药房': 0.5809314887...  \n"
     ]
    }
   ],
   "source": [
    "sample_df = pd.read_csv('../../result/chusai/sample.csv', encoding='ISO-8859-1')\n",
    "print(len(sample_df))\n",
    "sample_df = pd.merge(sample_df, all_docs_df, on='id', how='left')\n",
    "print(sample_df.head())\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "        id                   result_list\n",
      "0  D000001       [睫毛, 林志颖, 面膜, 陈若仪, 微商当]\n",
      "0  D000002       [洛神, 姿艳逸, 外朗, 仪静体闲, 皓齿]\n",
      "0  D000003  [风华绝代, 蓝洁瑛, 妩媚动人, 最火时, 家有娇妻]\n",
      "0  D000004         [建华, 林心如, 曝霍, 索吻, 霍粉]\n",
      "0  D000005        [TVB, 素颜, 姚莹莹, 药房, 感概]\n",
      "        id label1 label2                title  \\\n",
      "0  D000001     睫毛    林志颖   林志颖老婆深夜敷面膜，睫毛太长好吓人   \n",
      "1  D000002     洛神    姿艳逸   小s夸杨幂身材好，杨幂回复太精彩了！   \n",
      "2  D000003   风华绝代    蓝洁瑛    年轻时的她风华绝代，现却无人送祝福   \n",
      "3  D000004     建华    林心如   林心如屡曝霍建华私生活被怼蹭老公人气   \n",
      "4  D000005    TVB     素颜  曾是TVB颜值担当，近照曝光发现真老了   \n",
      "\n",
      "                                                text  \\\n",
      "0  早年林志颖带kimi上《爸爸去哪儿》的时候，当时遮遮掩掩的林志颖老婆低调探班，总让人觉得格外...   \n",
      "1  翩若惊鸿，婉若游龙。曹植形容洛神的这两句，实在太抽象，以至于始终寻不到承受对象。直到在《大军...   \n",
      "2  上个世纪香港影视界涌现出了不少高颜值女星，在《大话西游之月光宝盒》中饰演春三十娘和蜘蛛精的蓝...   \n",
      "3  霍建华林心如1905电影网讯近日，林心如在接受采访时爆料称老公霍建华会主动向女儿索吻，笑称他...   \n",
      "4  不知道有多少人是看TVB剧集长大的，小时候我每一天晚上都会守着电视看TVB剧集的。可以说对于...   \n",
      "\n",
      "                      title_list  \\\n",
      "0  [林志颖, 老婆, 深夜, 面膜, 睫毛, 太长, 吓人]   \n",
      "1          [杨幂, 身材, 杨幂, 回复, 太精彩]   \n",
      "2            [年轻, 风华绝代, 无人, 送祝福]   \n",
      "3     [林心如, 曝霍, 建华, 私生活, 老公, 人气]   \n",
      "4     [TVB, 颜值, 担当, 照曝光, 发现, 真老]   \n",
      "\n",
      "                                           text_list  \\\n",
      "0  [早年, 林志颖, kimi, 爸爸, 当时, 遮遮掩掩, 林志颖, 老婆, 低调, 探班,...   \n",
      "1  [翩若惊鸿, 婉若游龙, 曹植, 形容, 洛神, 两句, 实在太, 抽象, 始终, 不到, ...   \n",
      "2  [上个世纪, 香港, 影视界, 涌现出, 不少, 颜值, 女星, 大话西游, 月光宝盒, 饰...   \n",
      "3  [建华, 林心如, 1905, 电影, 网讯, 近日, 林心如, 接受, 采访, 爆料, 老...   \n",
      "4  [知道, TVB, 剧集, 长大, 小时候, 一天, 晚上, 电视, TVB, 剧集, 时期...   \n",
      "\n",
      "                                          title_text  \\\n",
      "0  林志颖老婆深夜敷面膜，睫毛太长好吓人。早年林志颖带kimi上《爸爸去哪儿》的时候，当时遮遮掩...   \n",
      "1  小s夸杨幂身材好，杨幂回复太精彩了！。翩若惊鸿，婉若游龙。曹植形容洛神的这两句，实在太抽象，...   \n",
      "2  年轻时的她风华绝代，现却无人送祝福。上个世纪香港影视界涌现出了不少高颜值女星，在《大话西游之...   \n",
      "3  林心如屡曝霍建华私生活被怼蹭老公人气。霍建华林心如1905电影网讯近日，林心如在接受采访时爆...   \n",
      "4  曾是TVB颜值担当，近照曝光发现真老了。不知道有多少人是看TVB剧集长大的，小时候我每一天晚...   \n",
      "\n",
      "                                     title_text_list  \\\n",
      "0  [林志颖, 老婆, 深夜, 面膜, 睫毛, 太长, 吓人, 早年, 林志颖, kimi, 爸...   \n",
      "1  [杨幂, 身材, 杨幂, 回复, 太精彩, 翩若惊鸿, 婉若游龙, 曹植, 形容, 洛神, ...   \n",
      "2  [年轻, 风华绝代, 无人, 送祝福, 上个世纪, 香港, 影视界, 涌现出, 不少, 颜值...   \n",
      "3  [林心如, 曝霍, 建华, 私生活, 老公, 人气, 建华, 林心如, 1905, 电影, ...   \n",
      "4  [TVB, 颜值, 担当, 照曝光, 发现, 真老, 知道, TVB, 剧集, 长大, 小时...   \n",
      "\n",
      "                                         result_dict  \\\n",
      "0  {'陈若仪': 3.093507151978369, '睫毛': 0.82743007063...   \n",
      "1  {'洛神': 2.1608853905959107, '姿艳逸': 1.9654521878...   \n",
      "2  {'蓝洁瑛': 4.76819196702067, '风华绝代': 0.8277240792...   \n",
      "3  {'建华': 4.447699917081795, '林心如': 4.38115528189...   \n",
      "4  {'姚莹莹': 2.2499693693218594, '药房': 0.5809314887...   \n",
      "\n",
      "                    result_list  \n",
      "0       [睫毛, 林志颖, 面膜, 陈若仪, 微商当]  \n",
      "1       [洛神, 姿艳逸, 外朗, 仪静体闲, 皓齿]  \n",
      "2  [风华绝代, 蓝洁瑛, 妩媚动人, 最火时, 家有娇妻]  \n",
      "3         [建华, 林心如, 曝霍, 索吻, 霍粉]  \n",
      "4        [TVB, 素颜, 姚莹莹, 药房, 感概]  \n"
     ]
    }
   ],
   "source": [
    "keyword_set = set()\n",
    "for keyword_list in train_doc_keyword_df['keyword_list']:\n",
    "    for keyword in keyword_list:\n",
    "        keyword_set.add(keyword)\n",
    "\n",
    "def get_deal_result_list(keyword_set, sample_df):\n",
    "    temp_df = pd.DataFrame(columns=['id', 'result_list'])\n",
    "    for temp_id, title_list, result_dict in sample_df[['id', 'title_list', 'result_dict']].values:\n",
    "        title_set = set(title_list)\n",
    "        keys = list(result_dict.keys())\n",
    "        result_list_1 = list()\n",
    "        result_list_2 = list()\n",
    "        result_list_3 = list()\n",
    "        result_list_4 = list()\n",
    "        for key in keys:\n",
    "            if((key in keyword_set) & (key in title_set)):\n",
    "                result_list_1.append(key)\n",
    "            else:\n",
    "                if key in keyword_set:\n",
    "                    result_list_2.append(key)\n",
    "                else:\n",
    "                    if key in title_set:\n",
    "                        result_list_3.append(key)\n",
    "                    else:\n",
    "                        result_list_4.append(key)\n",
    "        result_list = result_list_1 + result_list_3 + result_list_2 + result_list_4\n",
    "        temp = pd.DataFrame([[temp_id, result_list]], columns=['id', 'result_list'])\n",
    "        temp_df = pd.concat([temp_df, temp])\n",
    "    print(temp_df.head())\n",
    "    sample_df = pd.merge(sample_df, temp_df, on='id', how='left')\n",
    "    return sample_df\n",
    "\n",
    "def get_top_n_word(result_list, n):\n",
    "    if len(result_list) < n:\n",
    "        return '无'\n",
    "    else:\n",
    "        return result_list[n - 1]\n",
    "    \n",
    "sample_df = get_deal_result_list(keyword_set, sample_df)\n",
    "sample_df['label1'] = sample_df['result_list'].map(lambda x: get_top_n_word(x, 1))\n",
    "sample_df['label2'] = sample_df['result_list'].map(lambda x: get_top_n_word(x, 2))\n",
    "print(sample_df.head())\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "         id                        result_list  \\\n",
      "0   D000001            [睫毛, 林志颖, 面膜, 陈若仪, 微商当]   \n",
      "1   D000002            [洛神, 姿艳逸, 外朗, 仪静体闲, 皓齿]   \n",
      "2   D000003       [风华绝代, 蓝洁瑛, 妩媚动人, 最火时, 家有娇妻]   \n",
      "3   D000004              [建华, 林心如, 曝霍, 索吻, 霍粉]   \n",
      "4   D000005             [TVB, 素颜, 姚莹莹, 药房, 感概]   \n",
      "5   D000006             [范冰冰, 塞娅, 赵薇, 问塞娅, 金锁]   \n",
      "6   D000007              [周冬雨, 周迅, 小晓, 老孙, 林见]   \n",
      "7   D000008             [谢娜, 张杰, 中款, 劈柴, 促膝长谈]   \n",
      "8   D000009             [杨幂, 大幂, 主编, 托腮卖萌, 张宇]   \n",
      "9   D000010             [杨幂, 女扮男装, 十岁, 与何, 大幂]   \n",
      "10  D000011               [蒋怡, 球例, 狄森, 周苏, 妖夜]   \n",
      "11  D000012              [甄嬛, 婚纱照, 眉庄, 剧外, 好大]   \n",
      "12  D000013            [人比花, 林志玲, 花美人, 壁花, 还配]   \n",
      "13  D000014             [主持人, 何炅, 主持, 贝宁, 董卿们]   \n",
      "14  D000015              [春阳, 沈阳, 阳洋, 但肤质, 溜达]   \n",
      "15  D000016              [陈冠希, 女儿, 滚君, 锋芒, GQ]   \n",
      "16  D000017           [张艺谋, 老谋子, 陈婷, 张伟平, 周晓枫]   \n",
      "17  D000018             [超模, 秦舒培, 刘雯, 模特, 孙菲菲]   \n",
      "18  D000019           [紫明宫, 白浅大闹, 很圈, 唐楠, 祝绪丹]   \n",
      "19  D000020             [漫威, 漫画, 古德曼, 斯坦, 小册子]   \n",
      "20  D000021          [Andi, 吴卓林, 庇护所, 小龙女, 疲累]   \n",
      "21  D000022            [萌妻食神, 刘婷, 小军, 韩露, 郭海兵]   \n",
      "22  D000023             [撞脸, 王珞丹, 杨洋, 李沁, 邢昭林]   \n",
      "23  D000024              [虐心, 正圆, 二少爷, 周莹, 吴家]   \n",
      "24  D000025             [张小斐, 贾玲, 干女儿, 很静, 冯巩]   \n",
      "25  D000026              [种田, 女主, 黑风, 大当家, 甜宠]   \n",
      "26  D000027              [裙子, 惹吐槽, 鞠婧, 短到, 整容]   \n",
      "27  D000028              [铁木真, 忽出, 以爱, 冥王, 魔族]   \n",
      "28  D000029             [张翰, 湖南卫视, 十年, 感恩, 平凡]   \n",
      "29  D000030              [谭松韵, 新垣, 结衣, 笑容, 治愈]   \n",
      "30  D000031          [刘嘉玲, 周杰伦, 梁朝伟, 张学友, 梁家辉]   \n",
      "31  D000032         [立陶宛, 米纳斯, VMT, 伯格曼, 假面舞会]   \n",
      "32  D000033              [我怕, 肖洋, 许宏宇, 太沉, 可悲]   \n",
      "33  D000034              [女儿国, 唐僧, 青蛇, 白蛇, 法海]   \n",
      "34  D000035           [吴奇隆, 有多帅, 吴彦祖, 纯天然, 黎明]   \n",
      "35  D000036             [像养, 黄蜂, 中蚁, 霍普去, 由汉娜]   \n",
      "36  D000037              [别离, 契约, 李小冉, 婚姻, 一站]   \n",
      "37  D000038  [陈冠希, alaia, alaia2017, 用爱来, 责任心]   \n",
      "38  D000039             [俞灏明, 长发, 韩庚, 周渝民, 蓄起]   \n",
      "39  D000040              [小晓, 林见清, 女优, 前任, 神气]   \n",
      "40  D000041             [七个, 度及, 热议度, 诺维, 黑匣子]   \n",
      "41  D000042               [张翰, 魏晨, 闹翻, 叶烁, 反恐]   \n",
      "42  D000043         [港台明星, 张国荣, 袁洁莹, 王祖贤, 若有情]   \n",
      "43  D000044    [Kyson, Jesnson, 陈若仪, 动物园, 娃娃车]   \n",
      "44  D000045          [周冬雨, 飞机场, 胸小, 勤奋努力, 共青团]   \n",
      "45  D000046           [无限战争, 康姆斯科, 通胀, 集合, 述说]   \n",
      "46  D000047           [周杰伦, 撞衫, 叶惠美, kkkk, 大妮]   \n",
      "47  D000048             [金星, 激素, 越活, 胸器, 变性手术]   \n",
      "48  D000049              [古城墙, 夜空, 吴艳, 城墙, 光影]   \n",
      "49  D000050         [萌妻食神, 叶佳瑶, 种丹妮, 柳梦甜, 当阿嫂]   \n",
      "\n",
      "                                        title_list  \n",
      "0                    [林志颖, 老婆, 深夜, 面膜, 睫毛, 太长, 吓人]  \n",
      "1                            [杨幂, 身材, 杨幂, 回复, 太精彩]  \n",
      "2                              [年轻, 风华绝代, 无人, 送祝福]  \n",
      "3                       [林心如, 曝霍, 建华, 私生活, 老公, 人气]  \n",
      "4                       [TVB, 颜值, 担当, 照曝光, 发现, 真老]  \n",
      "5                    [16, 范冰冰, 多美, 塞娅, 公主, 一眼, 惊艳]  \n",
      "6                                    [北京, 周迅, 周冬雨]  \n",
      "7                         [张杰, 自嘲, 废物, 谢娜, 时代, 女性]  \n",
      "8                    [杨幂, 杂志, 主编, 夸奖, 大幂, 越来越, 漂亮]  \n",
      "9                   [杨幂, 女扮男装, 现身, 节目, 瞬间, 年轻, 十岁]  \n",
      "10                   [搭戏, 吴彦祖, 出名, 如今, 40, 迎来, 二胎]  \n",
      "11                     [尴尬, 俞灏明, 音乐节, 卫生间, 突然, 拉开]  \n",
      "12                      [仙女, 本人, 43, 林志玲, 自拍, 人比花]  \n",
      "13                 [主持人, 霸屏, 哪般, 提升, 能力, 与时俱进, 关键]  \n",
      "14                        [沈阳, 妻子, 外出, 散步, 春阳, 素颜]  \n",
      "15                                           [陈冠希]  \n",
      "16                [张艺谋, 太太, 首度, 受访, 说出, 老谋子, 爱情故事]  \n",
      "17   [中国, 十大, 国际, 超模, 排行榜, 出炉, 第一名, 意料之中, 第二名, 争议]  \n",
      "18            [两人, 出演, 三生三世, 如今, 一人, 片约, 不断, 销声匿迹]  \n",
      "19              [漫威, 漫画, 发展史, 发行, 一部, 电影, 具有, 说服力]  \n",
      "20         [后来的我们, 票房, 10, 登上, 华语, 影史, 最最, 最最, 导演]  \n",
      "21             [虐狗, 神剧, 萌妻食神, 开播, 收视率, 轻松, 郑凯, 原因]  \n",
      "22               [撞衫, 可怕, 撞脸, 尴尬, 看看, 娱乐圈, 撞脸, 明星]  \n",
      "23               [回顾, 电视剧, 那年, 花开, 正圆, 结局, 虐心, 有喜]  \n",
      "24           [不要, 出名, 冲昏, 头脑, 娱乐, 名媛, 张小斐, 谨慎, 前行]  \n",
      "25                                 [萌妻食神, 甜而不, 种田]  \n",
      "26                   [鞠婧, 裙子, 短到, 不敢, 大步, 走路, 惹吐槽]  \n",
      "27                                    [战神, 爱情, 对错]  \n",
      "28          [张翰, 出道, 十年, 重回, 湖南卫视, 回忆, 演艺, 生涯, 感慨]  \n",
      "29              [27, 谭松韵, 能演, 17, 娱乐圈, 第一, 元气, 女神]  \n",
      "30  [地表, 最强, 应援, 周杰伦, 刘嘉玲, 梁朝伟, 张家辉, 邱淑贞, 组团, 演唱会]  \n",
      "31  [静安, 戏剧, 汇集, 外国, 名团, 立陶宛, 国宝级, 导演, 带来, 三部, 力作]  \n",
      "32                   [后来的我们, 小晓, 扮演者, 周冬雨, 主演, 电影]  \n",
      "33          [电影, 电视剧, 长大, 原来, 唐僧, 真的, 喜欢, 女儿国, 国王]  \n",
      "34            [吴彦祖, 黎明, 吴奇隆, 颜值, 巅峰, 有多帅, 年代, 纯天然]  \n",
      "35           [娱乐圈, 明星, 胡歌, 像养, 女友, 鹿晗, 眼神, 宠溺, 网友]  \n",
      "36                  [一站, 别离, 李小冉, 演绎, 契约, 婚姻, 轻喜剧]  \n",
      "37                           [陈冠希, 男人, 男人, 转变, 过程]  \n",
      "38         [男星, 长发, 韩庚, 马特, 俞灏明, 玛丽, 易烊千玺, 颠覆, 形象]  \n",
      "39                       [后来的我们, 无病呻吟, 有点, 过时, 土气]  \n",
      "40                       [七个, 好友, 部手机, 不止, 七个, 秘密]  \n",
      "41                  [张翰, 魏晨, 闹翻, 两人, 久未联系, 关系, 未变]  \n",
      "42           [九十年代, 港台明星, 韩国, 很火, 人人, 喜欢, 张国荣, 希望]  \n",
      "43             [生活, 真实, 超越, 电影, 后来的我们, 没有, 告诉, 真理]  \n",
      "44              [飞机场, 女王, 周冬雨, 简单, 做作, 这才, 美的, 样子]  \n",
      "45                       [漫威, 复仇者联盟, 无限战争, 票房, 历史]  \n",
      "46                       [周杰伦, 妈妈, 撞衫, 身后, 女人, 抢镜]  \n",
      "47          [金星, 照曝光, 男人, 味十足, 网友, 停用, 激素, 反差, 太大]  \n",
      "48                                   [科技, 古城墙, 夜空]  \n",
      "49             [萌妻食神, 叶佳瑶, 金句, 合集, 情话, 太甜, 剧超, 好看]  \n"
     ]
    }
   ],
   "source": [
    "print(sample_df[['id', 'result_list', 'title_list']].head(50))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# 导出预测结果\n",
    "def exportResult(df, fileName):\n",
    "    df.to_csv('../../result/chusai/%s.csv' % fileName, header=True, index=False)\n",
    "    \n",
    "exportResult(sample_df[['id', 'label1', 'label2']], 'tfiwf_9_5_1')\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}