tp.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [],
   "source": [
    "import nltk\n",
    "from nltk.tokenize import word_tokenize\n",
    "import nltk.stem\n",
    "from nltk.corpus import stopwords\n",
    "import pandas as pd\n",
    "import spacy\n",
    "from spacy.lang.es.examples import sentences \n",
    "from es_lemmatizer import lemmatize\n",
    "from nltk.tokenize import sent_tokenize"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [],
   "source": [
    "texto1 = 'A comienzos de los años ochenta surgieron los primeros esfuerzos de minería de textos que necesitaban una gran cantidad de esfuerzo humano, pero los avances tecnológicos han permitido que esta área progrese de manera rápida en la última década. La minería de textos es un área multidisciplinar basada en la recuperación de información, minería de datos, aprendizaje automático, estadísticas y la lingüística computacional.1​ Como la mayor parte de la información (más de un 80%) se encuentra actualmente almacenada como texto, se cree que la minería de textos tiene un gran valor comercial. Se le presta cada vez un mayor interés a la minería de textos multilingual: la habilidad de ganar información en otros idiomas.'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [],
   "source": [
    "def StopWords(text):\n",
    "    tokens = word_tokenize(text)\n",
    "    filteredText = [w for w in tokens if not w in stopwords.words('spanish')]\n",
    "    filteredSentence = \"\"\n",
    "    for i in filteredText:\n",
    "        filteredSentence += i + \" \"\n",
    "    \n",
    "    return filteredSentence"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [],
   "source": [
    "def LemmatizeText(text):\n",
    "    lemmatizer = spacy.load('es')\n",
    "    lemmatizedTokens = lemmatizer(texto1)\n",
    "    lemmatizedText =  \" \".join([token.lemma_ for token in lemmatizedTokens])\n",
    "    return lemmatizedText\n",
    "    \n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {},
   "outputs": [],
   "source": [
    "def TokenizeText(text):\n",
    "    tokens = sent_tokenize(text)\n",
    "    return tokens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [],
   "source": [
    "def PreprocessText(text):\n",
    "    texto = TokenizeText(StopWords(LemmatizeText(text)))\n",
    "\n",
    "    return texto"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def ProcessText(text,textosGuardados):\n",
    "    PreprocessText(text):\n",
    "    \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['A comienzo año ochenta surgir primero esfuerzo minería texto necesitar gran cantidad esforzar humanar , avanzar tecnológico haber permitir área progresar manera rápido último década .', 'La minería texto ser área multidisciplinar basar recuperación información , minería dato , aprendizaje automático , estadístico lingüístico computacional.1\\u200b Como mayor partir información ( 80 % ) encontrar actualmente almacenar comer texto , creer minería texto tener gran valor comercial .', 'Se presto cada vez mayor interés minería texto multilingual : habilidad ganar información idioma .']\n"
     ]
    }
   ],
   "source": [
    "texto2 = PreprocessText(texto1)\n",
    "print(texto2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}