Trained Embedding-Glove 100.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#Import necessary Libraries"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/david/anaconda3/lib/python3.6/site-packages/h5py/__init__.py:34: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.\n",
      "  from ._conv import register_converters as _register_converters\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import tensorflow as tf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Import the 100 element glove vectors. Also tried with word2vec 300 vectors - didn't seem to do any better."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "import gensim\n",
    "W2V_PATH = 'word2vec/glove.6B.100d.w2vformat.txt'\n",
    "w2v = gensim.models.KeyedVectors.load_word2vec_format(W2V_PATH, binary=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tf.test.is_gpu_available()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Extract training data and split into training and test sets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "temp_data = pd.read_csv('data/train.csv')\n",
    "split_num = int(len(temp_data)*0.8)\n",
    "test_data = temp_data.iloc[split_num:]\n",
    "train_data = temp_data.iloc[:split_num]\n",
    "print(len(train_data))\n",
    "print(len(test_data))\n",
    "\n",
    "train_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "labels_train = train_data.as_matrix(columns=['toxic','severe_toxic','obscene','threat','insult','identity_hate'])\n",
    "labels_test = test_data.as_matrix(columns=['toxic','severe_toxic','obscene','threat','insult','identity_hate'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Parse punctuation - convert it into usable tokens."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "import collections\n",
    "import re\n",
    "\n",
    "def clean_punc(input_string):\n",
    "    proc_string = input_string.replace('<',' <less ')\n",
    "    proc_string = proc_string.replace('>',' <greater> ')\n",
    "    proc_string = re.sub(\"https?:\\/\\/(www\\.)?[-a-zA-Z0-9@:%._\\+~#=]{2,256}\\.[a-z]{2,6}\\b([-a-zA-Z0-9@:%_\\+.~#?&//=]*)\",' <url> ',proc_string)\n",
    "    proc_string = proc_string.replace(' <less ',' <less> ')\n",
    "    proc_string = proc_string.replace('?',' <question> ')\n",
    "    proc_string = proc_string.replace('...',' <suspension> ')\n",
    "    proc_string = proc_string.replace('. ',' <period> ')\n",
    "    proc_string = proc_string if not proc_string.endswith('.') else proc_string[:-1]\n",
    "    proc_string = proc_string.replace('/',' <slash> ')\n",
    "    proc_string = proc_string.replace('\\\\',' <backslash> ')\n",
    "    proc_string = proc_string.replace('; ',' <semicolon> ')\n",
    "    proc_string = proc_string.replace(': ',' <colon> ')\n",
    "    proc_string = proc_string.replace(', ',' <comma> ')\n",
    "    proc_string = proc_string.replace('!',' <exclame> ')\n",
    "    proc_string = proc_string.replace('\\n',' <newline> ')\n",
    "    proc_string = proc_string.replace(' - ',' <dash> ')\n",
    "    proc_string = proc_string.replace('\"\"',' <quote> ')\n",
    "    proc_string = proc_string.replace('\"',' <quote> ')\n",
    "    proc_string = proc_string.replace('(',' <openbracket> ')\n",
    "    proc_string = proc_string.replace(')',' <closebracket> ')\n",
    "    return proc_string\n",
    "\n",
    "def clean_word(input_word):\n",
    "    out_word = input_word.lower()\n",
    "    if ( out_word.startswith(\"'\") and out_word.endswith(\"'\")):\n",
    "        out_word = out_word[1:-1]\n",
    "    \n",
    "    if len(out_word)>0:\n",
    "        out_word = out_word if not out_word[-1] in ['.',':',';',','] else out_word[:-1]\n",
    "    \n",
    "    return out_word\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Count the number of occurences of each word - acoss both the training and test sets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "comments = [clean_punc(comment) for comment in train_data.comment_text]\n",
    "comment_words = []\n",
    "for comment in comments:\n",
    "    comment_words.append ([clean_word(word) for word in comment.split()])\n",
    "flatten = lambda l: [item for sublist in l for item in sublist]\n",
    "\n",
    "flat_comments = flatten(comment_words)\n",
    "\n",
    "word_counts = collections.Counter()\n",
    "for word in flat_comments:\n",
    "    word_counts[word]+=1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "test_comments = [clean_punc(comment) for comment in test_data.comment_text]\n",
    "test_comment_words = []\n",
    "for comment in test_comments:\n",
    "    test_comment_words.append ([clean_word(word) for word in comment.split()])\n",
    "    \n",
    "flat_comments = flatten(test_comment_words)\n",
    "\n",
    "for word in flat_comments:\n",
    "    word_counts[word]+=1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Output the total number of distinct words - and build a list of the 100 most common (and so, least useful)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Total words: 277174\n"
     ]
    }
   ],
   "source": [
    "print(\"Total words: {}\".format(len(word_counts)))\n",
    "\n",
    "very_common = [word for word,_ in word_counts.most_common(100)]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Time to start on the embedding\n",
    "First configure the hyper-parameters"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Embedding Hyper-paramters\n",
    "comment_length = 200\n",
    "embed_size = 100\n",
    "n_labels = 6"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Build a filtered word list to use for training - excluding the most common words and anything appearing less than 6 times."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "40434"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "filtered_words = set([word for num,word in enumerate(word_counts.keys()) if word_counts[word]>5 and word not in very_common])\n",
    "len_embedding = len(filtered_words)\n",
    "len_embedding"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Define mapping dictionaries for words and a seed embedding which uses values from glove where possible and random values otherwise."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Mapped 33572 of 40434 words.\n"
     ]
    }
   ],
   "source": [
    "word_to_int = {word:num for num,word in enumerate(filtered_words)}\n",
    "int_to_word = {num:word for num,word in enumerate(filtered_words)}\n",
    "\n",
    "embeddings = np.zeros([len_embedding,embed_size])\n",
    "\n",
    "n_mapped = 0\n",
    "for word in filtered_words:\n",
    "    if word in w2v.vocab:\n",
    "        embeddings[word_to_int[word],:] = w2v[word]\n",
    "        n_mapped+=1\n",
    "    else:\n",
    "        embeddings[word_to_int[word],:] = np.random.uniform(size=[1,embed_size])\n",
    "\n",
    "print(\"Mapped {} of {} words.\".format(n_mapped,len(filtered_words)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "def map_word(in_word):\n",
    "    work_word = clean_word(in_word)\n",
    "    return word_to_int[work_word]\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "def process_comment(input_comment):\n",
    "    result_matrix = np.zeros((comment_length))\n",
    "    temp_matrix = [word_to_int[word] for word in input_comment if word in filtered_words]\n",
    "    if (len(temp_matrix) == 0):\n",
    "        return result_matrix\n",
    "\n",
    "    temp_matrix = temp_matrix[-comment_length:]\n",
    "    \n",
    "    result_matrix[-len(temp_matrix):] = temp_matrix\n",
    "    return result_matrix"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Training comments:\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "Processed 100/127656 in 0.001646717999392422.  ETA 2.1004876113049975.\r",
      "Processed 200/127656 in 0.002949911999166943.  ETA 1.8799199188291096.\r",
      "Processed 300/127656 in 0.0040112409988068976.  ETA 1.702852028813504.\r",
      "Processed 400/127656 in 0.005028456998843467.  ETA 1.5997533096120606.\r",
      "Processed 500/127656 in 0.006174559999635676.  ETA 1.570264702627348.\r",
      "Processed 600/127656 in 0.007523699998273514.  ETA 1.5932187116343994.\r",
      "Processed 700/127656 in 0.008814891996735241.  ETA 1.5987191833393133.\r",
      "Processed 800/127656 in 0.010480343997187447.  ETA 1.6618681476340134.\r",
      "Processed 900/127656 in 0.011715882999851601.  ETA 1.6500649616990994.\r",
      "Processed 1000/127656 in 0.012942059998749755.  ETA 1.639189551201649.\r",
      "Processed 1100/127656 in 0.014004127999214688.  ETA 1.6111876573351038.\r",
      "Processed 1200/127656 in 0.015225839997583535.  ETA 1.604499018945353.\r",
      "Processed 1300/127656 in 0.01636544299981324.  ETA 1.5906707043726167.\r",
      "Processed 1400/127656 in 0.017576615999132628.  ETA 1.585109449704635.\r",
      "Processed 1500/127656 in 0.01871727199977613.  ETA 1.5741974442691717.\r",
      "Processed 1600/127656 in 0.019821540998236742.  ETA 1.5616401075460817.\r",
      "Processed 1700/127656 in 0.020955580999725498.  ETA 1.5526359767067206.\r",
      "Processed 1800/127656 in 0.022161143999255728.  ETA 1.5495071884279605.\r",
      "Processed 1900/127656 in 0.023467122999136336.  ETA 1.5532271157259943.\r",
      "Processed 2000/127656 in 0.024766446997091407.  ETA 1.556026331933259.\r",
      "Processed 2100/127656 in 0.025742100999195827.  ETA 1.5390834443119197.\r",
      "Processed 2200/127656 in 0.026723998998932075.  ETA 1.5239481901863738.\r",
      "Processed 2300/127656 in 0.027802712997072376.  ETA 1.5153203871569587.\r",
      "Processed 2400/127656 in 0.029089147999911802.  ETA 1.5181626341153969.\r",
      "Processed 2500/127656 in 0.030240356998547213.  ETA 1.51390484820407.\r",
      "Processed 2600/127656 in 0.031197780997899827.  ETA 1.500565269412831.\r",
      "Processed 2700/127656 in 0.03235475599649362.  ETA 1.4973781075177248.\r",
      "Processed 2800/127656 in 0.03369448199737235.  ETA 1.502485087237115.\r",
      "Processed 2900/127656 in 0.03492257099787821.  ETA 1.502344919796998.\r",
      "Processed 3000/127656 in 0.035906528999475995.  ETA 1.4919880929862266.\r",
      "Processed 3100/127656 in 0.03718133199799922.  ETA 1.493921931723481.\r",
      "Processed 3200/127656 in 0.03832019899709849.  ETA 1.490368339494653.\r",
      "Processed 3300/127656 in 0.03953791599997203.  ETA 1.4899324491189458.\r",
      "Processed 3400/127656 in 0.04081195699836826.  ETA 1.4915089790556608.\r",
      "Processed 3500/127656 in 0.0420473359990865.  ETA 1.491551156657881.\r",
      "Processed 3600/127656 in 0.043160256998817204.  ETA 1.4873024561792407.\r",
      "Processed 3700/127656 in 0.044291960999544244.  ETA 1.4838525182863531.\r",
      "Processed 3800/127656 in 0.0454087999969488.  ETA 1.4800400874794974.\r",
      "Processed 3900/127656 in 0.0466076789998624.  ETA 1.4789692108479413.\r",
      "Processed 4000/127656 in 0.04794018099710229.  ETA 1.48202275534442.\r",
      "Processed 4100/127656 in 0.049150132999784546.  ETA 1.4811692275417998.\r",
      "Processed 4200/127656 in 0.050395373997162096.  ETA 1.4813360219508676.\r",
      "Processed 4300/127656 in 0.05144401999859838.  ETA 1.4757973327783958.\r",
      "Processed 4400/127656 in 0.05247689099996933.  ETA 1.470020835702777.\r",
      "Processed 4500/127656 in 0.05359058399699279.  ETA 1.4666671028296987.\r",
      "Processed 4600/127656 in 0.05484364599760738.  ETA 1.4671390656264292.\r",
      "Processed 4700/127656 in 0.05582498699732241.  ETA 1.4604291704771861.\r",
      "Processed 4800/127656 in 0.05715625699667726.  ETA 1.4629143978299544.\r",
      "Processed 4900/127656 in 0.05825847599771805.  ETA 1.4595056080767097.\r",
      "Processed 5000/127656 in 0.05956481899920618.  ETA 1.4611964878333268.\r",
      "Processed 5100/127656 in 0.06080881399975624.  ETA 1.4612715703047305.\r",
      "Processed 5200/127656 in 0.062272334998851875.  ETA 1.4664655874268087.\r",
      "Processed 5300/127656 in 0.06341837999934796.  ETA 1.464079113811362.\r",
      "Processed 5400/127656 in 0.06453050999698462.  ETA 1.4609707463317319.\r",
      "Processed 5500/127656 in 0.0657087949984998.  ETA 1.4594042839703165.\r",
      "Processed 5600/127656 in 0.06682694999835803.  ETA 1.4565411087499265.\r",
      "Processed 5700/127656 in 0.06789349099926767.  ETA 1.452634840053805.\r",
      "Processed 5800/127656 in 0.0690342169982614.  ETA 1.4503850942310588.\r",
      "Processed 5900/127656 in 0.07030203599788365.  ETA 1.450795711009885.\r",
      "Processed 6000/127656 in 0.07144700699791429.  ETA 1.44865951388971.\r",
      "Processed 6100/127656 in 0.07274777399652521.  ETA 1.4496603960527243.\r",
      "Processed 6200/127656 in 0.07372145499903127.  ETA 1.4441795223165066.\r",
      "Processed 6300/127656 in 0.07476686799782328.  ETA 1.4402234972609274.\r",
      "Processed 6400/127656 in 0.076049419996707.  ETA 1.44085132361261.\r",
      "Processed 6500/127656 in 0.0771723319994635.  ETA 1.4384447778041538.\r",
      "Processed 6600/127656 in 0.07844112199745723.  ETA 1.4387527976551793.\r",
      "Processed 6700/127656 in 0.07956722799644922.  ETA 1.4364378551550017.\r",
      "Processed 6800/127656 in 0.08071068899880629.  ETA 1.434466327888196.\r",
      "Processed 6900/127656 in 0.08175499299977673.  ETA 1.4307834687943535.\r",
      "Processed 7000/127656 in 0.0829110380000202.  ETA 1.429102028704348.\r",
      "Processed 7100/127656 in 0.0841010499971162.  ETA 1.4280121385144142.\r",
      "Processed 7200/127656 in 0.085719357997732.  ETA 1.4340848593020565.\r",
      "Processed 7300/127656 in 0.08721109899852308.  ETA 1.4378601412419514.\r",
      "Processed 7400/127656 in 0.08840367699667695.  ETA 1.4366314298530247.\r",
      "Processed 7500/127656 in 0.08941093199973693.  ETA 1.4324346593813855.\r",
      "Processed 7600/127656 in 0.09038157899703947.  ETA 1.4277435326406014.\r",
      "Processed 7700/127656 in 0.09166458299660007.  ETA 1.4280151581740466.\r",
      "Processed 7800/127656 in 0.09288251199905062.  ETA 1.4272469689946425.\r",
      "Processed 7900/127656 in 0.09396373399795266.  ETA 1.4243950542606099.\r",
      "Processed 8000/127656 in 0.09517778099689167.  ETA 1.4235740703705086.\r",
      "Processed 8100/127656 in 0.09634578999975929.  ETA 1.422063860396447.\r",
      "Processed 8200/127656 in 0.09743497899762588.  ETA 1.4194137623341947.\r",
      "Processed 8300/127656 in 0.09848377899834304.  ETA 1.416220473027257.\r",
      "Processed 8400/127656 in 0.09974607399999513.  ETA 1.4161092620170737.\r",
      "Processed 8500/127656 in 0.10094192799806478.  ETA 1.415039573239695.\r",
      "Processed 8600/127656 in 0.1020653149971622.  ETA 1.4129637374769934.\r",
      "Processed 8700/127656 in 0.10309513299944228.  ETA 1.409630418515133.\r",
      "Processed 8800/127656 in 0.10431477699967218.  ETA 1.4089133108037541.\r",
      "Processed 8900/127656 in 0.10557643699939945.  ETA 1.4087455452023236.\r",
      "Processed 9000/127656 in 0.10690612499820418.  ETA 1.409450351976324.\r",
      "Processed 9100/127656 in 0.10795532499832916.  ETA 1.406456209945265.\r",
      "Processed 9200/127656 in 0.10915004699927522.  ETA 1.4053780399289288.\r",
      "Processed 9300/127656 in 0.11042064899811521.  ETA 1.4052630465398843.\r",
      "Processed 9400/127656 in 0.11151395899651106.  ETA 1.4028930569246183.\r",
      "Processed 9500/127656 in 0.11290729599932092.  ETA 1.4042815227469223.\r",
      "Processed 9600/127656 in 0.11387255599765922.  ETA 1.4003477573812142.\r",
      "Processed 9700/127656 in 0.11510893199738348.  ETA 1.3997720806890068.\r",
      "Processed 9800/127656 in 0.11615048999738065.  ETA 1.396840015217479.\r",
      "Processed 9900/127656 in 0.11730593099855469.  ETA 1.3953007283500813.\r",
      "Processed 10000/127656 in 0.11851942299836082.  ETA 1.3944521232295142.\r",
      "Processed 10100/127656 in 0.11975900799734518.  ETA 1.393899994468902.\r",
      "Processed 10200/127656 in 0.121112043998437.  ETA 1.3946408078314134.\r",
      "Processed 10300/127656 in 0.12232559699987178.  ETA 1.3937517244191215.\r",
      "Processed 10400/127656 in 0.12355224399652798.  ETA 1.3930040309670082.\r",
      "Processed 10500/127656 in 0.12458306799817365.  ETA 1.3900622775613363.\r",
      "Processed 10600/127656 in 0.12577607999992324.  ETA 1.3889476245727372.\r",
      "Processed 10700/127656 in 0.12699992899797508.  ETA 1.3881685697090815.\r",
      "Processed 10800/127656 in 0.12824572199679096.  ETA 1.3876187120052783.\r",
      "Processed 10900/127656 in 0.12935482199827675.  ETA 1.3855918896542019.\r",
      "Processed 11000/127656 in 0.1303961809971952.  ETA 1.3828633536735275.\r",
      "Processed 11100/127656 in 0.1317215179988125.  ETA 1.383147139808071.\r",
      "Processed 11200/127656 in 0.13294408599904273.  ETA 1.3823336142057607.\r",
      "Processed 11300/127656 in 0.13434035499813035.  ETA 1.383301446563049.\r",
      "Processed 11400/127656 in 0.1353574859967921.  ETA 1.380361394038865.\r",
      "Processed 11500/127656 in 0.13680242899863515.  ETA 1.3817759080665621.\r",
      "Processed 11600/127656 in 0.13799200399807887.  ETA 1.380586208275952.\r",
      "Processed 11700/127656 in 0.1392220149973582.  ETA 1.37979726248151.\r",
      "Processed 11800/127656 in 0.1403360279982735.  ETA 1.3778619372684724.\r",
      "Processed 11900/127656 in 0.14156286399884266.  ETA 1.3770378895000026.\r",
      "Processed 12000/127656 in 0.14257030099906842.  ETA 1.3740925610290216.\r",
      "Processed 12100/127656 in 0.143708974999754.  ETA 1.372432588022444.\r",
      "Processed 12200/127656 in 0.14485054199758451.  ETA 1.3708085390879605.\r",
      "Processed 12300/127656 in 0.146202051997534.  ETA 1.3711612935144335.\r",
      "Processed 12400/127656 in 0.1472182099969359.  ETA 1.3683695170489392.\r",
      "Processed 12500/127656 in 0.14844019599695457.  ETA 1.3675023368180241.\r",
      "Processed 12600/127656 in 0.1494195019986364.  ETA 1.364413509678977.\r",
      "Processed 12700/127656 in 0.15052552599809133.  ETA 1.3625049107587863.\r",
      "Processed 12800/127656 in 0.15150835499662207.  ETA 1.3595034079290644.\r",
      "Processed 12900/127656 in 0.15274990699981572.  ETA 1.358834754083012.\r",
      "Processed 13000/127656 in 0.154127432997484.  ETA 1.3593565352122712.\r",
      "Processed 13100/127656 in 0.155509798998537.  ETA 1.3598916438226263.\r",
      "Processed 13200/127656 in 0.1565956179983914.  ETA 1.3578263676987792.\r",
      "Processed 13300/127656 in 0.15767982899706112.  ETA 1.3557619943449566.\r",
      "Processed 13400/127656 in 0.15878690099998494.  ETA 1.3539071761682298.\r",
      "Processed 13500/127656 in 0.16000280599837424.  ETA 1.3529837275222525.\r",
      "Processed 13600/127656 in 0.16113301599762053.  ETA 1.3513372994576918.\r",
      "Processed 13700/127656 in 0.16253144999791402.  ETA 1.3519294829169555.\r",
      "Processed 13800/127656 in 0.1637903289993119.  ETA 1.3513414274308446.\r",
      "Processed 13900/127656 in 0.16484960799789405.  ETA 1.3491102163603192.\r",
      "Processed 14000/127656 in 0.16617567599678296.  ETA 1.3490616165064546.\r",
      "Processed 14100/127656 in 0.16728399899875512.  ETA 1.3472412617235912.\r",
      "Processed 14200/127656 in 0.1686581269968883.  ETA 1.3475546800393634.\r",
      "Processed 14300/127656 in 0.16961478299708688.  ETA 1.344535198700544.\r",
      "Processed 14400/127656 in 0.17084468499888317.  ETA 1.343693447516216.\r",
      "Processed 14500/127656 in 0.1721882439996989.  ETA 1.3437333060710295.\r",
      "Processed 14600/127656 in 0.17327505399953225.  ETA 1.341766061984323.\r",
      "Processed 14700/127656 in 0.17450802699750056.  ETA 1.3409339250020187.\r",
      "Processed 14800/127656 in 0.17548897799861152.  ETA 1.3381746014196825.\r",
      "Processed 14900/127656 in 0.17651383699922008.  ETA 1.3357714231331583.\r",
      "Processed 15000/127656 in 0.17792351999742095.  ETA 1.3362768045886304.\r",
      "Processed 15100/127656 in 0.17893368499790085.  ETA 1.3337787979221012.\r",
      "Processed 15200/127656 in 0.17993196599854855.  ETA 1.3312124452850511.\r",
      "Processed 15300/127656 in 0.1813449879991822.  ETA 1.331712253048112.\r",
      "Processed 15400/127656 in 0.18243028500000946.  ETA 1.329798316426043.\r",
      "Processed 15500/127656 in 0.1835036519987625.  ETA 1.327808747972465.\r",
      "Processed 15600/127656 in 0.18474705799962976.  ETA 1.3270523289234943.\r",
      "Processed 15700/127656 in 0.1857803579987376.  ETA 1.3247914496883226.\r",
      "Processed 15800/127656 in 0.18692829599967808.  ETA 1.32335768843924.\r",
      "Processed 15900/127656 in 0.18827157399937278.  ETA 1.3233005046461574.\r",
      "Processed 16000/127656 in 0.1892858779974631.  ETA 1.3209314996052963.\r",
      "Processed 16100/127656 in 0.19033603299976676.  ETA 1.318827732752918.\r",
      "Processed 16200/127656 in 0.19156638200001908.  ETA 1.3179767081601312.\r",
      "Processed 16300/127656 in 0.1927362419992278.  ETA 1.3167077892065036.\r",
      "Processed 16400/127656 in 0.19395076499858988.  ETA 1.3157430677245803.\r",
      "Processed 16500/127656 in 0.19514991699907114.  ETA 1.3146717681181062.\r",
      "Processed 16600/127656 in 0.19656651399782277.  ETA 1.3150536613579642.\r",
      "Processed 16700/127656 in 0.19786020099854795.  ETA 1.3145973929338255.\r",
      "Processed 16800/127656 in 0.1991296149972186.  ETA 1.3139709881030752.\r",
      "Processed 16900/127656 in 0.20023893299730844.  ETA 1.3122877670443724.\r",
      "Processed 17000/127656 in 0.20141015299668652.  ETA 1.3110142288236084.\r",
      "Processed 17100/127656 in 0.20267206999778864.  ETA 1.3103282672909662.\r",
      "Processed 17200/127656 in 0.20414467999944463.  ETA 1.3109886496522474.\r",
      "Processed 17300/127656 in 0.2055519749992527.  ETA 1.3112077313882966.\r",
      "Processed 17400/127656 in 0.20658096099941758.  ETA 1.3090109445949303.\r",
      "Processed 17500/127656 in 0.20783289299652097.  ETA 1.308230866338558.\r",
      "Processed 17600/127656 in 0.20898960699923919.  ETA 1.306850010676606.\r",
      "Processed 17700/127656 in 0.21006915499674506.  ETA 1.30499231676961.\r",
      "Processed 17800/127656 in 0.2111548409993702.  ETA 1.3031812479116187.\r",
      "Processed 17900/127656 in 0.21233523299815715.  ETA 1.3019589850807674.\r",
      "Processed 18000/127656 in 0.2133831809987896.  ETA 1.2999303386446264.\r",
      "Processed 18100/127656 in 0.21449619599661673.  ETA 1.298306367326262.\r",
      "Processed 18200/127656 in 0.215543993999745.  ETA 1.2962957916063784.\r",
      "Processed 18300/127656 in 0.2169501839998702.  ETA 1.2964373946169292.\r",
      "Processed 18400/127656 in 0.21800410199648468.  ETA 1.294470443898257.\r",
      "Processed 18500/127656 in 0.2195264789988869.  ETA 1.2952774238704052.\r",
      "Processed 18600/127656 in 0.22068129799663438.  ETA 1.2939042814151054.\r",
      "Processed 18700/127656 in 0.2219441339984769.  ETA 1.2931628376437458.\r",
      "Processed 18800/127656 in 0.22319903499737848.  ETA 1.2923699017912038.\r",
      "Processed 18900/127656 in 0.2244838409969816.  ETA 1.291744159336917.\r",
      "Processed 19000/127656 in 0.22560462099863798.  ETA 1.2901734578541058.\r",
      "Processed 19100/127656 in 0.22680273099831538.  ETA 1.2890469772907396.\r",
      "Processed 19200/127656 in 0.22802268699888373.  ETA 1.2880431531849446.\r",
      "Processed 19300/127656 in 0.22906953799974872.  ETA 1.286065225880869.\r",
      "Processed 19400/127656 in 0.23012858899892308.  ETA 1.2841649758075988.\r",
      "Processed 19500/127656 in 0.2312876949981728.  ETA 1.2828283046267885.\r",
      "Processed 19600/127656 in 0.2322963169972354.  ETA 1.2806638178292484.\r",
      "Processed 19700/127656 in 0.23326620899752015.  ETA 1.2782988253064105.\r",
      "Processed 19800/127656 in 0.23436230199877173.  ETA 1.2766353759787639.\r",
      "Processed 19900/127656 in 0.2354151039980934.  ETA 1.274743213387867.\r",
      "Processed 20000/127656 in 0.23651329399945098.  ETA 1.2731037589402447.\r",
      "Processed 20100/127656 in 0.23773734699716442.  ETA 1.2721431887376624.\r",
      "Processed 20200/127656 in 0.23893927599783638.  ETA 1.2710623188922527.\r",
      "Processed 20300/127656 in 0.24016108099749545.  ETA 1.270085370027937.\r",
      "Processed 20400/127656 in 0.2413724869984435.  ETA 1.269051346348287.\r",
      "Processed 20500/127656 in 0.2424716229979822.  ETA 1.2674287431205746.\r",
      "Processed 20600/127656 in 0.2434884009999223.  ETA 1.2653832163809555.\r",
      "Processed 20700/127656 in 0.2446025599965651.  ETA 1.263850792608339.\r",
      "Processed 20800/127656 in 0.2456454159982968.  ETA 1.2619560851881733.\r",
      "Processed 20900/127656 in 0.24664359199960018.  ETA 1.2598413065793932.\r",
      "Processed 21000/127656 in 0.24771630299801473.  ETA 1.2581157148836313.\r",
      "Processed 21100/127656 in 0.24887932799902046.  ETA 1.2568524016238685.\r",
      "Processed 21200/127656 in 0.2500888969989319.  ETA 1.2558237556093534.\r",
      "Processed 21300/127656 in 0.25142349199813907.  ETA 1.2554176955377503.\r",
      "Processed 21400/127656 in 0.25258425699939835.  ETA 1.2541398510153303.\r",
      "Processed 21500/127656 in 0.25382241899933433.  ETA 1.2532452423857365.\r",
      "Processed 21600/127656 in 0.2550082609996025.  ETA 1.2520905615080482.\r",
      "Processed 21700/127656 in 0.2560385029973986.  ETA 1.2501758351885883.\r",
      "Processed 21800/127656 in 0.2570935039984761.  ETA 1.2483894476726.\r",
      "Processed 21900/127656 in 0.2582066159993701.  ETA 1.2468903598917527.\r",
      "Processed 22000/127656 in 0.2592688549993909.  ETA 1.2451504610825292.\r",
      "Processed 22100/127656 in 0.2605937139996968.  ETA 1.2446710441154747.\r",
      "Processed 22200/127656 in 0.2615086149999115.  ETA 1.2422365992536337.\r",
      "Processed 22300/127656 in 0.26286161600000923.  ETA 1.2418855791612993.\r",
      "Processed 22400/127656 in 0.264118041999609.  ETA 1.241071813781734.\r",
      "Processed 22500/127656 in 0.26516930099751335.  ETA 1.2392952451419783.\r",
      "Processed 22600/127656 in 0.2662367599987192.  ETA 1.2376004008152852.\r",
      "Processed 22700/127656 in 0.2673597349967167.  ETA 1.2361677685601498.\r",
      "Processed 22800/127656 in 0.26838580899857334.  ETA 1.2342922100155442.\r",
      "Processed 22900/127656 in 0.26946699699692545.  ETA 1.2326761894065468.\r",
      "Processed 23000/127656 in 0.27048363899666583.  ETA 1.230771118384133.\r",
      "Processed 23100/127656 in 0.2715681579975353.  ETA 1.2291809665623508.\r",
      "Processed 23200/127656 in 0.2728226639992499.  ETA 1.2283605254614505.\r",
      "Processed 23300/127656 in 0.2740210739975737.  ETA 1.2272851157978883.\r",
      "Processed 23400/127656 in 0.2752657429991814.  ETA 1.2264147565009682.\r",
      "Processed 23500/127656 in 0.2763724659998843.  ETA 1.2249298114333595.\r",
      "Processed 23600/127656 in 0.2777620249980828.  ETA 1.2246951386949365.\r",
      "Processed 23700/127656 in 0.2788248079996265.  ETA 1.2230173730130454.\r",
      "Processed 23800/127656 in 0.2800283879987546.  ETA 1.2219591707562463.\r",
      "Processed 23900/127656 in 0.28110945399748744.  ETA 1.2203678874043224.\r",
      "Processed 24000/127656 in 0.2823983899979794.  ETA 1.219678646401273.\r",
      "Processed 24100/127656 in 0.28338320599868894.  ETA 1.2176776464896362.\r",
      "Processed 24200/127656 in 0.28473912999834283.  ETA 1.2172715468226676.\r",
      "Processed 24300/127656 in 0.28582826999991084.  ETA 1.2157229083996208.\r",
      "Processed 24400/127656 in 0.2869425369972305.  ETA 1.2142843688600833.\r",
      "Processed 24500/127656 in 0.2880225899971265.  ETA 1.2127044201527992.\r",
      "Processed 24600/127656 in 0.2892129219981143.  ETA 1.2115905239608808.\r",
      "Processed 24700/127656 in 0.2904463829981978.  ETA 1.2106557816988848.\r",
      "Processed 24800/127656 in 0.2918090690000099.  ETA 1.2102545806881055.\r",
      "Processed 24900/127656 in 0.293158576998394.  ETA 1.2097912746203603.\r",
      "Processed 25000/127656 in 0.29430183399745147.  ETA 1.2084739628336951.\r",
      "Processed 25100/127656 in 0.2954807639980572.  ETA 1.2073037941268827.\r",
      "Processed 25200/127656 in 0.29669589899640414.  ETA 1.2062807550625232.\r",
      "Processed 25300/127656 in 0.2978547269995033.  ETA 1.2050283967099273.\r",
      "Processed 25400/127656 in 0.2991638249986863.  ETA 1.2043817357899869.\r",
      "Processed 25500/127656 in 0.30021856399980607.  ETA 1.202710887214282.\r",
      "Processed 25600/127656 in 0.30127140799959307.  ETA 1.2010372974533778.\r",
      "Processed 25700/127656 in 0.3023515859968029.  ETA 1.1994769767272389.\r",
      "Processed 25800/127656 in 0.3034873129981861.  ETA 1.1981396803388853.\r",
      "Processed 25900/127656 in 0.3046808559993224.  ETA 1.197031088149307.\r",
      "Processed 26000/127656 in 0.3057855099978042.  ETA 1.1955743001667993.\r",
      "Processed 26100/127656 in 0.3068551969990949.  ETA 1.193984152737168.\r",
      "Processed 26200/127656 in 0.30807601699780207.  ETA 1.1929832206308781.\r",
      "Processed 26300/127656 in 0.3092344279975805.  ETA 1.1917401020579.\r",
      "Processed 26400/127656 in 0.3105130569965695.  ETA 1.1909587158804789.\r",
      "Processed 26500/127656 in 0.3116360509993683.  ETA 1.1895794858449849.\r",
      "Processed 26600/127656 in 0.31282364199796575.  ETA 1.188447592697234.\r",
      "Processed 26700/127656 in 0.3139578589980374.  ETA 1.1871134686519051.\r",
      "Processed 26800/127656 in 0.31502692099820706.  ETA 1.185535639708775.\r",
      "Processed 26900/127656 in 0.31619243399836705.  ETA 1.184322857990315.\r",
      "Processed 27000/127656 in 0.31731741199837415.  ETA 1.1829593119299389.\r",
      "Processed 27100/127656 in 0.31857668699740316.  ETA 1.1820958427199584.\r",
      "Processed 27200/127656 in 0.3197780029986461.  ETA 1.1810154069570586.\r",
      "Processed 27300/127656 in 0.3210394069974427.  ETA 1.180154971744885.\r",
      "Processed 27400/127656 in 0.3222548129997449.  ETA 1.1791233040913294.\r",
      "Processed 27500/127656 in 0.3232765209977515.  ETA 1.1773848449836655.\r",
      "Processed 27600/127656 in 0.324507947996608.  ETA 1.1764118566937902.\r",
      "Processed 27700/127656 in 0.3256106329972681.  ETA 1.174972434363716.\r",
      "Processed 27800/127656 in 0.3269356399978278.  ETA 1.1743340024324855.\r",
      "Processed 27900/127656 in 0.32818868100002874.  ETA 1.1734333355497801.\r",
      "Processed 28000/127656 in 0.32934902399938437.  ETA 1.1722002262743803.\r",
      "Processed 28100/127656 in 0.330470767999941.  ETA 1.1708308818150224.\r",
      "Processed 28200/127656 in 0.33194146099776844.  ETA 1.1706939696806404.\r",
      "Processed 28300/127656 in 0.3330292249993363.  ETA 1.1692032395418395.\r",
      "Processed 28400/127656 in 0.33405852499709.  ETA 1.1675110196165903.\r",
      "Processed 28500/127656 in 0.3352881149985478.  ETA 1.166520292308632.\r",
      "Processed 28600/127656 in 0.33654613999897265.  ETA 1.1656263791516865.\r",
      "Processed 28700/127656 in 0.33772130599754746.  ETA 1.1644442354109166.\r",
      "Processed 28800/127656 in 0.33880276099807816.  ETA 1.1629404771259033.\r",
      "Processed 28900/127656 in 0.3398356679972494.  ETA 1.1612737449389745.\r",
      "Processed 29000/127656 in 0.34121868499642005.  ETA 1.1608024340347178.\r",
      "Processed 29100/127656 in 0.342269534998195.  ETA 1.1591998725526498.\r",
      "Processed 29200/127656 in 0.3434871129975363.  ETA 1.1581632601810081.\r",
      "Processed 29300/127656 in 0.34455923599671223.  ETA 1.1566371404673252.\r",
      "Processed 29400/127656 in 0.34573726499729673.  ETA 1.1554680513460676.\r",
      "Processed 29500/127656 in 0.3469613719971676.  ETA 1.154452217957762.\r",
      "Processed 29600/127656 in 0.34801187699849834.  ETA 1.152859885505566.\r",
      "Processed 29700/127656 in 0.349283582996577.  ETA 1.1520007628287103.\r",
      "Processed 29800/127656 in 0.3503988819975348.  ETA 1.150625268347341.\r",
      "Processed 29900/127656 in 0.35182542899929103.  ETA 1.1502691183028326.\r",
      "Processed 30000/127656 in 0.35286646999884397.  ETA 1.1486509331402368.\r",
      "Processed 30100/127656 in 0.3539625609992072.  ETA 1.1472150033501216.\r",
      "Processed 30200/127656 in 0.3553431489999639.  ETA 1.1466994016205456.\r",
      "Processed 30300/127656 in 0.35629396499643917.  ETA 1.1447972031746974.\r",
      "Processed 30400/127656 in 0.3573998899992148.  ETA 1.1433974901895931.\r",
      "Processed 30500/127656 in 0.358489179998287.  ETA 1.1419467138332318.\r",
      "Processed 30600/127656 in 0.3598476569968625.  ETA 1.1413520979571075.\r",
      "Processed 30700/127656 in 0.3610624539978744.  ETA 1.1402987390820167.\r",
      "Processed 30800/127656 in 0.3621681649965467.  ETA 1.138901291847582.\r",
      "Processed 30900/127656 in 0.36351862299852655.  ETA 1.1382720998979106.\r",
      "Processed 31000/127656 in 0.36453342199820327.  ETA 1.1365916915051075.\r",
      "Processed 31100/127656 in 0.36592992799705826.  ETA 1.1361006471924102.\r",
      "Processed 31200/127656 in 0.3671283219991892.  ETA 1.1349913277805703.\r",
      "Processed 31300/127656 in 0.36830411499977345.  ETA 1.1338118627769382.\r",
      "Processed 31400/127656 in 0.3694531889996142.  ETA 1.1325505146607282.\r",
      "Processed 31500/127656 in 0.370941988996492.  ETA 1.1323269172681487.\r",
      "Processed 31600/127656 in 0.37226599299901864.  ETA 1.131594374161827.\r",
      "Processed 31700/127656 in 0.3733382399987022.  ETA 1.130096030199226.\r",
      "Processed 31800/127656 in 0.37442975099838804.  ETA 1.1286584343302353.\r",
      "Processed 31900/127656 in 0.3757172109981184.  ETA 1.1278111992581763.\r",
      "Processed 32000/127656 in 0.3770640589973482.  ETA 1.127138738357823.\r",
      "Processed 32100/127656 in 0.37815172399859875.  ETA 1.1256905339068568.\r",
      "Processed 32200/127656 in 0.3795614470000146.  ETA 1.1251993007712233.\r",
      "Processed 32300/127656 in 0.3807875549973687.  ETA 1.1241603125179285.\r",
      "Processed 32400/127656 in 0.3821028969978215.  ETA 1.1233825171735952.\r",
      "Processed 32500/127656 in 0.3833218499967188.  ETA 1.1223191987165468.\r",
      "Processed 32600/127656 in 0.38454674299646285.  ETA 1.1212722454684594.\r",
      "Processed 32700/127656 in 0.3857313909975346.  ETA 1.1201073383352262.\r",
      "Processed 32800/127656 in 0.38714966499901493.  ETA 1.119617945827639.\r",
      "Processed 32900/127656 in 0.3884259589976864.  ETA 1.1187139869539444.\r",
      "Processed 33000/127656 in 0.38946591499916394.  ETA 1.1171298681866928.\r",
      "Processed 33100/127656 in 0.3905865879969497.  ETA 1.1157796197776306.\r",
      "Processed 33200/127656 in 0.3918309129985573.  ETA 1.114782551752763.\r",
      "Processed 33300/127656 in 0.39300742199702654.  ETA 1.1135918411396828.\r",
      "Processed 33400/127656 in 0.3942001559989876.  ETA 1.1124470031089992.\r",
      "Processed 33500/127656 in 0.3954447469986917.  ETA 1.1114476298032483.\r",
      "Processed 33600/127656 in 0.39659539699641755.  ETA 1.110183829163543.\r",
      "Processed 33700/127656 in 0.39772029699815903.  ETA 1.1088489087465587.\r",
      "Processed 33800/127656 in 0.39907884299827856.  ETA 1.1081640203682377.\r",
      "Processed 33900/127656 in 0.4002355679986067.  ETA 1.1069169885922527.\r",
      "Processed 34000/127656 in 0.4014279409966548.  ETA 1.1057686835877265.\r",
      "Processed 34100/127656 in 0.40278965099787456.  ETA 1.1050847093477172.\r",
      "Processed 34200/127656 in 0.4039029819978168.  ETA 1.1037180434382448."
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "Processed 34300/127656 in 0.4051993719986058.  ETA 1.102851095402386.\r",
      "Processed 34400/127656 in 0.4067051599995466.  ETA 1.102549313980166.\r",
      "Processed 34500/127656 in 0.4076689269968483.  ETA 1.100777001835316.\r",
      "Processed 34600/127656 in 0.40897064799719374.  ETA 1.0999182838158053.\r",
      "Processed 34700/127656 in 0.4102798529966094.  ETA 1.0990770609554128.\r",
      "Processed 34800/127656 in 0.41138581199993496.  ETA 1.0976908321570678.\r",
      "Processed 34900/127656 in 0.41270635899854824.  ETA 1.0968765339618722.\r",
      "Processed 35000/127656 in 0.4140616249969753.  ETA 1.096151255020564.\r",
      "Processed 35100/127656 in 0.4154866459975892.  ETA 1.0956063249844121.\r",
      "Processed 35200/127656 in 0.4166573709990189.  ETA 1.0943884628717413.\r",
      "Processed 35300/127656 in 0.41785006299687666.  ETA 1.0932283404572107.\r",
      "Processed 35400/127656 in 0.419145566997031.  ETA 1.0923359725671777.\r",
      "Processed 35500/127656 in 0.420325059996685.  ETA 1.0911401754663241.\r",
      "Processed 35600/127656 in 0.421360245996766.  ETA 1.0895713147606263.\r",
      "Processed 35700/127656 in 0.42261530099858646.  ETA 1.0885717820343421.\r",
      "Processed 35800/127656 in 0.42372918099863455.  ETA 1.087208593570128.\r",
      "Processed 35900/127656 in 0.42496064499937347.  ETA 1.0861473243053625.\r",
      "Processed 36000/127656 in 0.42622647999814944.  ETA 1.0851726180752885.\r",
      "Processed 36100/127656 in 0.4275860609996016.  ETA 1.0844340554260257.\r",
      "Processed 36200/127656 in 0.4289234719981323.  ETA 1.0836360512447842.\r",
      "Processed 36300/127656 in 0.4301012889991398.  ETA 1.08243342583486.\r",
      "Processed 36400/127656 in 0.4311870519995864.  ETA 1.0810001543207213.\r",
      "Processed 36500/127656 in 0.43236372399769607.  ETA 1.0797958253351776.\r",
      "Processed 36600/127656 in 0.43363506399691687.  ETA 1.0788271690520017.\r",
      "Processed 36700/127656 in 0.43485468899962143.  ETA 1.077728694622604.\r",
      "Processed 36800/127656 in 0.43602856299912673.  ETA 1.0765166065176266.\r",
      "Processed 36900/127656 in 0.4371882499981439.  ETA 1.0752698324344592.\r",
      "Processed 37000/127656 in 0.43832798399671447.  ETA 1.0739746410055715.\r",
      "Processed 37100/127656 in 0.4394727469989448.  ETA 1.0726925627287451.\r",
      "Processed 37200/127656 in 0.44057561599765904.  ETA 1.0713093527065658.\r",
      "Processed 37300/127656 in 0.441871094997623.  ETA 1.0703942267990676.\r",
      "Processed 37400/127656 in 0.44303312199917855.  ETA 1.0691550122769482.\r",
      "Processed 37500/127656 in 0.44437247599853436.  ETA 1.0683425318966364.\r",
      "Processed 37600/127656 in 0.4455887759977486.  ETA 1.0672325215758842.\r",
      "Processed 37700/127656 in 0.4467307959967002.  ETA 1.0659447078164235.\r",
      "Processed 37800/127656 in 0.4478766819993325.  ETA 1.064666855495556.\r",
      "Processed 37900/127656 in 0.44889917699765647.  ETA 1.0630974810185132.\r",
      "Processed 38000/127656 in 0.4501028380000207.  ETA 1.0619584222034173.\r",
      "Processed 38100/127656 in 0.4512948929987033.  ETA 1.060791743763566.\r",
      "Processed 38200/127656 in 0.4525189539999701.  ETA 1.0596998834822338.\r",
      "Processed 38300/127656 in 0.45366420299978927.  ETA 1.0584234601370541.\r",
      "Processed 38400/127656 in 0.4548913789985818.  ETA 1.0573381490598286.\r",
      "Processed 38500/127656 in 0.456261742998322.  ETA 1.056583687240478.\r",
      "Processed 38600/127656 in 0.45741260899740155.  ETA 1.0553196193490308.\r",
      "Processed 38700/127656 in 0.4587230149991228.  ETA 1.0544228558724023.\r",
      "Processed 38800/127656 in 0.45992623799975263.  ETA 1.053278500095516.\r",
      "Processed 38900/127656 in 0.46099384099943563.  ETA 1.0518244049292007.\r",
      "Processed 39000/127656 in 0.46222725400002673.  ETA 1.050749216169907.\r",
      "Processed 39100/127656 in 0.46341663999919547.  ETA 1.0495735031142903.\r",
      "Processed 39200/127656 in 0.4644121899982565.  ETA 1.0479603234307597.\r",
      "Processed 39300/127656 in 0.46556060399962007.  ETA 1.0466939625188405.\r",
      "Processed 39400/127656 in 0.46694716999991215.  ETA 1.0459616607998032.\r",
      "Processed 39500/127656 in 0.46800959399843123.  ETA 1.0445026270512836.\r",
      "Processed 39600/127656 in 0.4692659409993212.  ETA 1.0434768106221268.\r",
      "Processed 39700/127656 in 0.47052608999729273.  ETA 1.042458256216672.\r",
      "Processed 39800/127656 in 0.4716998519979825.  ETA 1.041247793897858.\r",
      "Processed 39900/127656 in 0.4728324359966791.  ETA 1.0399469487048765.\r",
      "Processed 40000/127656 in 0.47403707999910694.  ETA 1.038804857110043.\r",
      "Processed 40100/127656 in 0.4751954549974471.  ETA 1.0375614278742264.\r",
      "Processed 40200/127656 in 0.47632839199650334.  ETA 1.0362630808568705.\r",
      "Processed 40300/127656 in 0.47746707099940977.  ETA 1.0349780013455196.\r",
      "Processed 40400/127656 in 0.4787251829984598.  ETA 1.0339515982107328.\r",
      "Processed 40500/127656 in 0.48013550699761254.  ETA 1.033251611058862.\r",
      "Processed 40600/127656 in 0.48132129199802876.  ETA 1.032066660004443.\r",
      "Processed 40700/127656 in 0.4825298149989976.  ETA 1.030930284841593.\r",
      "Processed 40800/127656 in 0.483684896997147.  ETA 1.0296797895486323.\r",
      "Processed 40900/127656 in 0.4846704809970106.  ETA 1.0280702261461283.\r",
      "Processed 41000/127656 in 0.4858480729999428.  ETA 1.0268695271678792.\r",
      "Processed 41100/127656 in 0.48708080999858794.  ETA 1.0257850751882671.\r",
      "Processed 41200/127656 in 0.48840659399866126.  ETA 1.0248951575424334.\r",
      "Processed 41300/127656 in 0.4897787879999669.  ETA 1.0241001698916499.\r",
      "Processed 41400/127656 in 0.4910213549992477.  ETA 1.02303231876365.\r",
      "Processed 41500/127656 in 0.49216575599712087.  ETA 1.0217598282816371.\r",
      "Processed 41600/127656 in 0.49328742699799477.  ETA 1.0204409331187365.\r",
      "Processed 41700/127656 in 0.49445041499711806.  ETA 1.0192081503954984.\r",
      "Processed 41800/127656 in 0.4956399659968156.  ETA 1.0180302612589138.\r",
      "Processed 41900/127656 in 0.49675791499976185.  ETA 1.016705769897842.\r",
      "Processed 42000/127656 in 0.4978206349987886.  ETA 1.0152696264632437.\r",
      "Processed 42100/127656 in 0.4988619129981089.  ETA 1.0137916823863706.\r",
      "Processed 42200/127656 in 0.5000168179976754.  ETA 1.0125459051850556.\r",
      "Processed 42300/127656 in 0.5011494829996082.  ETA 1.0112556801634647.\r",
      "Processed 42400/127656 in 0.5025603849971958.  ETA 1.0105256647009653.\r",
      "Processed 42500/127656 in 0.5039077499968698.  ETA 1.0096651378525516.\r",
      "Processed 42600/127656 in 0.5051200309972046.  ETA 1.0085326140023059.\r",
      "Processed 42700/127656 in 0.5063451049973082.  ETA 1.007425169558579.\r",
      "Processed 42800/127656 in 0.5076098149984318.  ETA 1.0063957584464236.\r",
      "Processed 42900/127656 in 0.5089119549993484.  ETA 1.005439199485426.\r",
      "Processed 43000/127656 in 0.5100131619983586.  ETA 1.004085447491466.\r",
      "Processed 43100/127656 in 0.511153553998156.  ETA 1.0028097427347582.\r",
      "Processed 43200/127656 in 0.5122598779998953.  ETA 1.0014680614897953.\r",
      "Processed 43300/127656 in 0.5133245069991972.  ETA 1.0000462381622235.\r",
      "Processed 43400/127656 in 0.5144050109993259.  ETA 0.9986568803400738.\r",
      "Processed 43500/127656 in 0.5155420509981923.  ETA 0.9973783182483649.\r",
      "Processed 43600/127656 in 0.5166148649987008.  ETA 0.9959765846864861.\r",
      "Processed 43700/127656 in 0.5176951249995909.  ETA 0.9945906616582529.\r",
      "Processed 43800/127656 in 0.5188583959970856.  ETA 0.9933650606103107.\r",
      "Processed 43900/127656 in 0.5199459010000282.  ETA 0.9919951909831063.\r",
      "Processed 44000/127656 in 0.5210459169975366.  ETA 0.9906503916442254.\r",
      "Processed 44100/127656 in 0.5222143819992198.  ETA 0.9894363923430115.\r",
      "Processed 44200/127656 in 0.5235127419982746.  ETA 0.988467859642715.\r",
      "Processed 44300/127656 in 0.5247081529996649.  ETA 0.9873041264433423.\r",
      "Processed 44400/127656 in 0.5258317469997564.  ETA 0.9860055839687325.\r",
      "Processed 44500/127656 in 0.5269241379974119.  ETA 0.9846495195351187.\r",
      "Processed 44600/127656 in 0.5279383079978288.  ETA 0.983148971055329.\r",
      "Processed 44700/127656 in 0.5291206259971659.  ETA 0.9819626543673579.\r",
      "Processed 44800/127656 in 0.5302499059980619.  ETA 0.9806782636467727.\r",
      "Processed 44900/127656 in 0.5314844159984204.  ETA 0.9795885151529016.\r",
      "Processed 45000/127656 in 0.5326843159964483.  ETA 0.9784345516222762.\r",
      "Processed 45100/127656 in 0.5338337929970294.  ETA 0.9771880845823228.\r",
      "Processed 45200/127656 in 0.5348186989976966.  ETA 0.9756418284193379.\r",
      "Processed 45300/127656 in 0.5361495529978129.  ETA 0.9747269886686065.\r",
      "Processed 45400/127656 in 0.5373387299987371.  ETA 0.9735536249950687.\r",
      "Processed 45500/127656 in 0.5385463869970408.  ETA 0.9724135597830524.\r",
      "Processed 45600/127656 in 0.539608255996427.  ETA 0.9710108564483074.\r",
      "Processed 45700/127656 in 0.5407141009964107.  ETA 0.9696885089991649.\r",
      "Processed 45800/127656 in 0.5418187609975575.  ETA 0.9683649890876871.\r",
      "Processed 45900/127656 in 0.5429420229993411.  ETA 0.967075556260003.\r",
      "Processed 46000/127656 in 0.5441316489996098.  ETA 0.9659046506676551.\r",
      "Processed 46100/127656 in 0.5452427319978597.  ETA 0.9645947125990768.\r",
      "Processed 46200/127656 in 0.5464110539978719.  ETA 0.9633865544253388.\r",
      "Processed 46300/127656 in 0.5476057109990506.  ETA 0.9622248428518092.\r",
      "Processed 46400/127656 in 0.5487565829971572.  ETA 0.9609863126727803.\r",
      "Processed 46500/127656 in 0.549957834999077.  ETA 0.9598360872512923.\r",
      "Processed 46600/127656 in 0.5515090619992407.  ETA 0.9592943890431427.\r",
      "Processed 46700/127656 in 0.5524941679977928.  ETA 0.957766977825039.\r",
      "Processed 46800/127656 in 0.5536099919991102.  ETA 0.9564677246384627.\r",
      "Processed 46900/127656 in 0.5546739139972487.  ETA 0.9550798848350068.\r",
      "Processed 47000/127656 in 0.5559032899982412.  ETA 0.9539773565552797.\r",
      "Processed 47100/127656 in 0.5570428739993076.  ETA 0.9527207167279877.\r",
      "Processed 47200/127656 in 0.5581962049982394.  ETA 0.951488005706321.\r",
      "Processed 47300/127656 in 0.5592288459993142.  ETA 0.9500505951188349.\r",
      "Processed 47400/127656 in 0.5603712649972294.  ETA 0.9488007646332837.\r",
      "Processed 47500/127656 in 0.5616276649998326.  ETA 0.9477437287521386.\r",
      "Processed 47600/127656 in 0.5628061769966735.  ETA 0.9465548593623044.\r",
      "Processed 47700/127656 in 0.5638999650000187.  ETA 0.945224016803805.\r",
      "Processed 47800/127656 in 0.5650952729993151.  ETA 0.9440637682140859.\r",
      "Processed 47900/127656 in 0.5663797519991931.  ETA 0.9430518476085104.\r",
      "Processed 48000/127656 in 0.5674712799991539.  ETA 0.941718589158596.\r",
      "Processed 48100/127656 in 0.5685448769982031.  ETA 0.9403566784712899.\r",
      "Processed 48200/127656 in 0.5697330029979639.  ETA 0.9391847611246104.\r",
      "Processed 48300/127656 in 0.5711032979997981.  ETA 0.938312076937308.\r",
      "Processed 48400/127656 in 0.5723634749992925.  ETA 0.9372570160029737.\r",
      "Processed 48500/127656 in 0.5735666759974265.  ETA 0.9361081196959236.\r",
      "Processed 48600/127656 in 0.574546443996951.  ETA 0.9345955489017069.\r",
      "Processed 48700/127656 in 0.5757520959996327.  ETA 0.9334513858674949.\r",
      "Processed 48800/127656 in 0.5769325119981659.  ETA 0.9322661919288395.\r",
      "Processed 48900/127656 in 0.5781925379997119.  ETA 0.9312092335931557.\r",
      "Processed 49000/127656 in 0.5795446359989.  ETA 0.9302992426352955.\r",
      "Processed 49100/127656 in 0.5805098739983805.  ETA 0.9287685063506472.\r",
      "Processed 49200/127656 in 0.58158569599982.  ETA 0.9274164098650789.\r",
      "Processed 49300/127656 in 0.5827491969976109.  ETA 0.9262047886398539.\r",
      "Processed 49400/127656 in 0.5842231409988017.  ETA 0.9254851441700855.\r",
      "Processed 49500/127656 in 0.585520701999485.  ETA 0.9244839593024596.\r",
      "Processed 49600/127656 in 0.5866462969970598.  ETA 0.9232109548065021.\r",
      "Processed 49700/127656 in 0.5879159959986282.  ETA 0.9221645751321742.\r",
      "Processed 49800/127656 in 0.5889583849966584.  ETA 0.9207619281586313.\r",
      "Processed 49900/127656 in 0.5900920959975338.  ETA 0.9195030263804456.\r",
      "Processed 50000/127656 in 0.5913393869996071.  ETA 0.9184210287368297.\r",
      "Processed 50100/127656 in 0.5923416449986689.  ETA 0.9169590542817718.\r",
      "Processed 50200/127656 in 0.5935040729964385.  ETA 0.9157460453787278.\r",
      "Processed 50300/127656 in 0.5947991399989405.  ETA 0.914737222142307.\r",
      "Processed 50400/127656 in 0.5961197199976596.  ETA 0.9137663707964124.\r",
      "Processed 50500/127656 in 0.5974240329996974.  ETA 0.9127692809925674.\r",
      "Processed 50600/127656 in 0.5987972119983169.  ETA 0.9118758491648677.\r",
      "Processed 50700/127656 in 0.5999677639993024.  ETA 0.9106729634384678.\r",
      "Processed 50800/127656 in 0.6010421399987536.  ETA 0.9093246990500827.\r",
      "Processed 50900/127656 in 0.6021840149987838.  ETA 0.9080792977455138.\r",
      "Processed 51000/127656 in 0.603352868998627.  ETA 0.9068748534501715.\r",
      "Processed 51100/127656 in 0.6044090499999584.  ETA 0.9055017462191157.\r",
      "Processed 51200/127656 in 0.6055601269981707.  ETA 0.9042715833939872."
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "Processed 51300/127656 in 0.6070889319998969.  ETA 0.9036039472082675.\r",
      "Processed 51400/127656 in 0.6086221890000161.  ETA 0.9029395650658605.\r",
      "Processed 51500/127656 in 0.6098809439972683.  ETA 0.9018658868166207.\r",
      "Processed 51600/127656 in 0.6112809239966737.  ETA 0.9009996503002135.\r",
      "Processed 51700/127656 in 0.6124522859972785.  ETA 0.899795470700373.\r",
      "Processed 51800/127656 in 0.6138471709964506.  ETA 0.8989187452337212.\r",
      "Processed 51900/127656 in 0.6150060569998459.  ETA 0.8976955463213936.\r",
      "Processed 52000/127656 in 0.6161128599997028.  ETA 0.8963968180026445.\r",
      "Processed 52100/127656 in 0.617466281997622.  ETA 0.8954564760578182.\r",
      "Processed 52200/127656 in 0.6186918229977891.  ETA 0.8943296972437007.\r",
      "Processed 52300/127656 in 0.6198797079996439.  ETA 0.8931482844363511.\r",
      "Processed 52400/127656 in 0.6211322699964512.  ETA 0.8920597349399415.\r",
      "Processed 52500/127656 in 0.6222449729975779.  ETA 0.8907703464877326.\r",
      "Processed 52600/127656 in 0.62349964799796.  ETA 0.8896842125500929.\r",
      "Processed 52700/127656 in 0.6246487909993448.  ETA 0.888447339243774.\r",
      "Processed 52800/127656 in 0.6258535159977328.  ETA 0.8872895983622402.\r",
      "Processed 52900/127656 in 0.6272197919970495.  ETA 0.8863599767586282.\r",
      "Processed 53000/127656 in 0.6283295469984296.  ETA 0.8850673709568823.\r",
      "Processed 53100/127656 in 0.6295519279992732.  ETA 0.8839335883976236.\r",
      "Processed 53200/127656 in 0.6309223029966233.  ETA 0.8830065975924171.\r",
      "Processed 53300/127656 in 0.6322652379967622.  ETA 0.8820396629734943.\r",
      "Processed 53400/127656 in 0.6334948399999121.  ETA 0.8809137235774058.\r",
      "Processed 53500/127656 in 0.6346452939978917.  ETA 0.8796776901253768.\r",
      "Processed 53600/127656 in 0.6357836119968852.  ETA 0.8784252083962935.\r",
      "Processed 53700/127656 in 0.6368602739967173.  ETA 0.8770882388026299.\r",
      "Processed 53800/127656 in 0.6382128369987186.  ETA 0.8761309905088728.\r",
      "Processed 53900/127656 in 0.6394339059988852.  ETA 0.8749923408321665.\r",
      "Processed 54000/127656 in 0.6407647989981342.  ETA 0.874003185833455.\r",
      "Processed 54100/127656 in 0.6421062309964327.  ETA 0.8730270966205842.\r",
      "Processed 54200/127656 in 0.6433128479984589.  ETA 0.8718669476489815.\r",
      "Processed 54300/127656 in 0.6446007089980412.  ETA 0.8708163832276301.\r",
      "Processed 54400/127656 in 0.6457143649968202.  ETA 0.8695303588641005.\r",
      "Processed 54500/127656 in 0.646944607997284.  ETA 0.8684014631678773.\r",
      "Processed 54600/127656 in 0.6481073259965342.  ETA 0.8671818463004176.\r",
      "Processed 54700/127656 in 0.6493861879971519.  ETA 0.866117344269108.\r",
      "Processed 54800/127656 in 0.6507075439985783.  ETA 0.8651085552109566.\r",
      "Processed 54900/127656 in 0.6517431719985325.  ETA 0.8637199676124814.\r",
      "Processed 55000/127656 in 0.6529197829986515.  ETA 0.8625189046100005.\r",
      "Processed 55100/127656 in 0.6540332199983823.  ETA 0.8612347424719169.\r",
      "Processed 55200/127656 in 0.6551224409995484.  ETA 0.8599194127728855.\r",
      "Processed 55300/127656 in 0.6563346309994813.  ETA 0.8587657967558494.\r",
      "Processed 55400/127656 in 0.6574022419990797.  ETA 0.8574234006838538.\r",
      "Processed 55500/127656 in 0.6586772109985759.  ETA 0.8563515826452837.\r",
      "Processed 55600/127656 in 0.659853409997595.  ETA 0.855151030769545.\r",
      "Processed 55700/127656 in 0.6612209789964254.  ETA 0.8541977875164594.\r",
      "Processed 55800/127656 in 0.6623585039997124.  ETA 0.852946821924791.\r",
      "Processed 55900/127656 in 0.6637388589988404.  ETA 0.8520079707749695.\r",
      "Processed 56000/127656 in 0.6649587719984993.  ETA 0.8508622458272226.\r",
      "Processed 56100/127656 in 0.666310729997349.  ETA 0.8498846808500945.\r",
      "Processed 56200/127656 in 0.66753441399851.  ETA 0.848742688375045.\r",
      "Processed 56300/127656 in 0.6687029779968725.  ETA 0.847530545256569.\r",
      "Processed 56400/127656 in 0.6699114549992373.  ETA 0.8463689829330789.\r",
      "Processed 56500/127656 in 0.6710951489985746.  ETA 0.8451760428697801.\r",
      "Processed 56600/127656 in 0.6722522969976126.  ETA 0.8439498094604657.\r",
      "Processed 56700/127656 in 0.6735470079984225.  ETA 0.8428959700094544.\r",
      "Processed 56800/127656 in 0.6746985919999133.  ETA 0.8416627365272158.\r",
      "Processed 56900/127656 in 0.6761678189977829.  ETA 0.8408247838489828.\r",
      "Processed 57000/127656 in 0.6773571089979669.  ETA 0.8396376121642166.\r",
      "Processed 57100/127656 in 0.6784532889978436.  ETA 0.8383353810601025.\r",
      "Processed 57200/127656 in 0.6796275039996544.  ETA 0.8371299898916024.\r",
      "Processed 57300/127656 in 0.6807272679980088.  ETA 0.8358332926224765.\r",
      "Processed 57400/127656 in 0.6818328739973367.  ETA 0.834544431978343.\r",
      "Processed 57500/127656 in 0.6831397379974078.  ETA 0.8335017645034112.\r",
      "Processed 57600/127656 in 0.6842601519965683.  ETA 0.8322314098658262.\r",
      "Processed 57700/127656 in 0.6856149859995639.  ETA 0.8312457878784315.\r",
      "Processed 57800/127656 in 0.6867090109990386.  ETA 0.8299436794524021.\r",
      "Processed 57900/127656 in 0.68831945599959.  ETA 0.8292644554871744.\r",
      "Processed 58000/127656 in 0.689559525999357.  ETA 0.8281372128105381.\r",
      "Processed 58100/127656 in 0.6906516809976893.  ETA 0.8268325012646347.\r",
      "Processed 58200/127656 in 0.6917217569971399.  ETA 0.8255021710308136.\r",
      "Processed 58300/127656 in 0.692786850999255.  ETA 0.8241668068251171.\r",
      "Processed 58400/127656 in 0.6943795759980276.  ETA 0.8234580807417705.\r",
      "Processed 58500/127656 in 0.6956855239986908.  ETA 0.8224073179086061.\r",
      "Processed 58600/127656 in 0.6969255479998537.  ETA 0.8212779973153225.\r",
      "Processed 58700/127656 in 0.6980417589984427.  ETA 0.8200028540629747.\r",
      "Processed 58800/127656 in 0.6992194769991329.  ETA 0.8188002773512295.\r",
      "Processed 58900/127656 in 0.7003003689969773.  ETA 0.8174847567191201.\r",
      "Processed 59000/127656 in 0.7014251399996283.  ETA 0.8162210917256691.\r",
      "Processed 59100/127656 in 0.7026179549975495.  ETA 0.8150368277971575.\r",
      "Processed 59200/127656 in 0.7036108519969275.  ETA 0.8136213595321228.\r",
      "Processed 59300/127656 in 0.7048164919979172.  ETA 0.8124525485161825.\r",
      "Processed 59400/127656 in 0.7058963699964806.  ETA 0.8111391015232287.\r",
      "Processed 59500/127656 in 0.7071602829964831.  ETA 0.8100372478640051.\r",
      "Processed 59600/127656 in 0.7083466009971744.  ETA 0.8088462462661695.\r",
      "Processed 59700/127656 in 0.7095633699973405.  ETA 0.8076899224713445.\r",
      "Processed 59800/127656 in 0.7109515789998113.  ETA 0.8067279321841337.\r",
      "Processed 59900/127656 in 0.7120675329970254.  ETA 0.8054565570241478.\r",
      "Processed 60000/127656 in 0.7132112519975635.  ETA 0.8042170077524526.\r",
      "Processed 60100/127656 in 0.7145768649970705.  ETA 0.8032271995298186.\r",
      "Processed 60200/127656 in 0.7157911529975536.  ETA 0.8020665783488866.\r",
      "Processed 60300/127656 in 0.7170032969988824.  ETA 0.8009033842894979.\r",
      "Processed 60400/127656 in 0.7182670339971082.  ETA 0.7997974774587667.\r",
      "Processed 60500/127656 in 0.7193128249964502.  ETA 0.7984491252142415.\r",
      "Processed 60600/127656 in 0.7205100209976081.  ETA 0.7972693064028978.\r",
      "Processed 60700/127656 in 0.7216278559972125.  ETA 0.7960018900518839.\r",
      "Processed 60800/127656 in 0.7227800959990418.  ETA 0.7947727976663148.\r",
      "Processed 60900/127656 in 0.7239249929989455.  ETA 0.7935359085818983.\r",
      "Processed 61000/127656 in 0.7249285529978806.  ETA 0.7921448791578153.\r",
      "Processed 61100/127656 in 0.7261019299985492.  ETA 0.790940099066832.\r",
      "Processed 61200/127656 in 0.7274127040000167.  ETA 0.7898846185788416.\r",
      "Processed 61300/127656 in 0.7287921789975371.  ETA 0.7889026725866325.\r",
      "Processed 61400/127656 in 0.7299597899982473.  ETA 0.7876908118261217.\r",
      "Processed 61500/127656 in 0.7313174969967804.  ETA 0.7866835826230733.\r",
      "Processed 61600/127656 in 0.7324407069972949.  ETA 0.7854237555424239.\r",
      "Processed 61700/127656 in 0.7334893899969757.  ETA 0.7840847035111916.\r",
      "Processed 61800/127656 in 0.7350220459993579.  ETA 0.7832623278532964.\r",
      "Processed 61900/127656 in 0.7362824389965681.  ETA 0.7821484339040118.\r",
      "Processed 62000/127656 in 0.7374718189967098.  ETA 0.7809588669039996.\r",
      "Processed 62100/127656 in 0.7384780029969988.  ETA 0.7795759092507448.\r",
      "Processed 62200/127656 in 0.7396184129975154.  ETA 0.7783354154528195.\r",
      "Processed 62300/127656 in 0.7406884169977275.  ETA 0.7770213833275036.\r",
      "Processed 62400/127656 in 0.7421197639996535.  ETA 0.7760860147365607.\r",
      "Processed 62500/127656 in 0.743397415997606.  ETA 0.7749888325878402.\r",
      "Processed 62600/127656 in 0.744702846997825.  ETA 0.7739199427202955.\r",
      "Processed 62700/127656 in 0.745801858996856.  ETA 0.7726364522009534.\r",
      "Processed 62800/127656 in 0.7471137769971392.  ETA 0.7715734254924596.\r",
      "Processed 62900/127656 in 0.7484398579981644.  ETA 0.7705241883072994.\r",
      "Processed 63000/127656 in 0.7495779299970309.  ETA 0.76928112129981.\r",
      "Processed 63100/127656 in 0.7508669859998918.  ETA 0.7681928549636927.\r",
      "Processed 63200/127656 in 0.7519133139976475.  ETA 0.7668564013770944.\r",
      "Processed 63300/127656 in 0.7532114759997057.  ETA 0.7657768996751511.\r",
      "Processed 63400/127656 in 0.7543946929981757.  ETA 0.7645802112506432.\r",
      "Processed 63500/127656 in 0.7555576689992449.  ETA 0.7633631151545757.\r",
      "Processed 63600/127656 in 0.756671101997199.  ETA 0.7620962910303865.\r",
      "Processed 63700/127656 in 0.7580688459966041.  ETA 0.7611154021123832.\r",
      "Processed 63800/127656 in 0.759042548997968.  ETA 0.7597087932416026.\r",
      "Processed 63900/127656 in 0.7602379989984911.  ETA 0.7585247866063818.\r",
      "Processed 64000/127656 in 0.7615923869998369.  ETA 0.7574988279197128.\r",
      "Processed 64100/127656 in 0.7629352879994258.  ETA 0.7564604549780266.\r",
      "Processed 64200/127656 in 0.7642038949998096.  ETA 0.7553477003287837.\r",
      "Processed 64300/127656 in 0.7653549729984661.  ETA 0.754118657376218.\r",
      "Processed 64400/127656 in 0.7663325739995344.  ETA 0.7527194611943252.\r",
      "Processed 64500/127656 in 0.7675433859985787.  ETA 0.7515499238159107.\r",
      "Processed 64600/127656 in 0.7686988849964109.  ETA 0.750326267683184.\r",
      "Processed 64700/127656 in 0.7698278409989143.  ETA 0.7490769947129466.\r",
      "Processed 64800/127656 in 0.7709926749994338.  ETA 0.7478628947494508.\r",
      "Processed 64900/127656 in 0.7721976239990909.  ETA 0.7466877363896294.\r",
      "Processed 65000/127656 in 0.7736159029991541.  ETA 0.7457181233586923.\r",
      "Processed 65100/127656 in 0.7747130569987348.  ETA 0.7444385559694755.\r",
      "Processed 65200/127656 in 0.7758348659990588.  ETA 0.7431831655036383.\r",
      "Processed 65300/127656 in 0.7771547919983277.  ETA 0.7421173692166573.\r",
      "Processed 65400/127656 in 0.7782798929983983.  ETA 0.7408653366744385.\r",
      "Processed 65500/127656 in 0.779523501998483.  ETA 0.7397261494689726.\r",
      "Processed 65600/127656 in 0.7808183369998005.  ETA 0.7386351024521284.\r",
      "Processed 65700/127656 in 0.7821417289997044.  ETA 0.7375703647169815.\r",
      "Processed 65800/127656 in 0.7833516189966758.  ETA 0.7363981420160848.\r",
      "Processed 65900/127656 in 0.7844842359991162.  ETA 0.7351533911739214.\r",
      "Processed 66000/127656 in 0.7855312649990083.  ETA 0.7338290253754371.\r",
      "Processed 66100/127656 in 0.7865760359964042.  ETA 0.7325033959424305.\r",
      "Processed 66200/127656 in 0.7877864009969926.  ETA 0.7313323422911054.\r",
      "Processed 66300/127656 in 0.7889655899998615.  ETA 0.7301323188541705.\r",
      "Processed 66400/127656 in 0.790296622999449.  ETA 0.7290724388321423.\r",
      "Processed 66500/127656 in 0.7915019269967161.  ETA 0.7278961180061829.\r",
      "Processed 66600/127656 in 0.792752561999805.  ETA 0.726761267649551.\r",
      "Processed 66700/127656 in 0.7940042819973314.  ETA 0.7256270616706048.\r",
      "Processed 66800/127656 in 0.7953833809988282.  ETA 0.724608548414142.\r",
      "Processed 66900/127656 in 0.7965915659988241.  ETA 0.7234337396685285.\r",
      "Processed 67000/127656 in 0.797688164999272.  ETA 0.7221578109879976.\r",
      "Processed 67100/127656 in 0.7987101679973421.  ETA 0.7208150958755148.\r",
      "Processed 67200/127656 in 0.7999836249982764.  ETA 0.7196995540609493.\r",
      "Processed 67300/127656 in 0.8011310059991956.  ETA 0.718470475454494.\r",
      "Processed 67400/127656 in 0.8020419469976332.  ETA 0.7170302605087446.\r",
      "Processed 67500/127656 in 0.8031604679999873.  ETA 0.7157766090815887.\r",
      "Processed 67600/127656 in 0.8042672109986597.  ETA 0.7145128938422413.\r",
      "Processed 67700/127656 in 0.8054187099987757.  ETA 0.7132892788284578.\r",
      "Processed 67800/127656 in 0.8065813239991257.  ETA 0.712075689222591."
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "Processed 67900/127656 in 0.8079305399987788.  ETA 0.7110264705179238.\r",
      "Processed 68000/127656 in 0.8094261759979418.  ETA 0.7101048228725473.\r",
      "Processed 68100/127656 in 0.8107080909976503.  ETA 0.7089945824883416.\r",
      "Processed 68200/127656 in 0.8119708609992813.  ETA 0.7078671482635377.\r",
      "Processed 68300/127656 in 0.8131063349974283.  ETA 0.7066286913632117.\r",
      "Processed 68400/127656 in 0.8142990439991991.  ETA 0.7054401191698324.\r",
      "Processed 68500/127656 in 0.8155389179992198.  ETA 0.7042922661775453.\r",
      "Processed 68600/127656 in 0.8166628740000306.  ETA 0.7030443540371109.\r",
      "Processed 68700/127656 in 0.8178460549970623.  ETA 0.7018476276332868.\r",
      "Processed 68800/127656 in 0.8188193989990395.  ETA 0.7004714323762714.\r",
      "Processed 68900/127656 in 0.8200694489969464.  ETA 0.6993323736613147.\r",
      "Processed 69000/127656 in 0.8214405829967291.  ETA 0.6982959251631324.\r",
      "Processed 69100/127656 in 0.8227341349993367.  ETA 0.6971927642405378.\r",
      "Processed 69200/127656 in 0.8239166919993295.  ETA 0.6959952911490289.\r",
      "Processed 69300/127656 in 0.8250506669974129.  ETA 0.6947569512741851.\r",
      "Processed 69400/127656 in 0.8262363239991828.  ETA 0.693562295257873.\r",
      "Processed 69500/127656 in 0.8273263899973244.  ETA 0.6922876767868259.\r",
      "Processed 69600/127656 in 0.828504052999051.  ETA 0.691086656622312.\r",
      "Processed 69700/127656 in 0.8296699319980689.  ETA 0.6898759050054531.\r",
      "Processed 69800/127656 in 0.8308886979975796.  ETA 0.6887091190737531.\r",
      "Processed 69900/127656 in 0.8321513179980684.  ETA 0.6875784194892195.\r",
      "Processed 70000/127656 in 0.8332494499991299.  ETA 0.686311861273569.\r",
      "Processed 70100/127656 in 0.8344674879990635.  ETA 0.6851442330852224.\r",
      "Processed 70200/127656 in 0.8357523689992377.  ETA 0.6840311697039915.\r",
      "Processed 70300/127656 in 0.836824837999302.  ETA 0.682744315907368.\r",
      "Processed 70400/127656 in 0.8378723189998709.  ETA 0.6814377485320541.\r",
      "Processed 70500/127656 in 0.8391245399980107.  ETA 0.680297903661366.\r",
      "Processed 70600/127656 in 0.8404329409968341.  ETA 0.679203142797668.\r",
      "Processed 70700/127656 in 0.8418582059966866.  ETA 0.6782019233486178.\r",
      "Processed 70800/127656 in 0.8430658559991571.  ETA 0.6770247501227129.\r",
      "Processed 70900/127656 in 0.8441181159978441.  ETA 0.6757231000221953.\r",
      "Processed 71000/127656 in 0.8452414229977876.  ETA 0.6744788459346853.\r",
      "Processed 71100/127656 in 0.8466718569980003.  ETA 0.6734792340981561.\r",
      "Processed 71200/127656 in 0.8476788299994951.  ETA 0.672142640820948.\r",
      "Processed 71300/127656 in 0.8488317869996536.  ETA 0.6709223588801189.\r",
      "Processed 71400/127656 in 0.8498583619984856.  ETA 0.6696026892519161.\r",
      "Processed 71500/127656 in 0.851078111998504.  ETA 0.6684355588445873.\r",
      "Processed 71600/127656 in 0.8521478199982084.  ETA 0.6671508128187091.\r",
      "Processed 71700/127656 in 0.8534688079998887.  ETA 0.6660627701595784.\r",
      "Processed 71800/127656 in 0.8546024519964703.  ETA 0.6648283364723516.\r",
      "Processed 71900/127656 in 0.8557796349996352.  ETA 0.6636279461618868.\r",
      "Processed 72000/127656 in 0.8570297999976901.  ETA 0.6624840353982144.\r",
      "Processed 72100/127656 in 0.8582245429970499.  ETA 0.6612971249756464.\r",
      "Processed 72200/127656 in 0.8593241029993806.  ETA 0.6600370838771974.\r",
      "Processed 72300/127656 in 0.8604991859974689.  ETA 0.6588353103744936.\r",
      "Processed 72400/127656 in 0.8619698869988497.  ETA 0.6578592275691774.\r",
      "Processed 72500/127656 in 0.8633362849977857.  ETA 0.6568024294529361.\r",
      "Processed 72600/127656 in 0.8645901509989926.  ETA 0.655659440129484.\r",
      "Processed 72700/127656 in 0.8658883329990203.  ETA 0.6545496455061095.\r",
      "Processed 72800/127656 in 0.8669748279971827.  ETA 0.6532798236897452.\r",
      "Processed 72900/127656 in 0.8680399259974365.  ETA 0.6519944333047412.\r",
      "Processed 73000/127656 in 0.8690934899968852.  ETA 0.6507010108119144.\r",
      "Processed 73100/127656 in 0.8701483829972858.  ETA 0.6494092364268116.\r",
      "Processed 73200/127656 in 0.8714516789987101.  ETA 0.648302904802647.\r",
      "Processed 73300/127656 in 0.8726128049966064.  ETA 0.6470906088457782.\r",
      "Processed 73400/127656 in 0.8737937359983334.  ETA 0.6458930918300487.\r",
      "Processed 73500/127656 in 0.874784573999932.  ETA 0.6445555563202765.\r",
      "Processed 73600/127656 in 0.8757865539992054.  ETA 0.6432271462361555.\r",
      "Processed 73700/127656 in 0.8768796809999913.  ETA 0.6419663509909841.\r",
      "Processed 73800/127656 in 0.8780585239983338.  ETA 0.6407685619031743.\r",
      "Processed 73900/127656 in 0.8793449739969219.  ETA 0.6396490990822535.\r",
      "Processed 74000/127656 in 0.8805946349966689.  ETA 0.6385025099375847.\r",
      "Processed 74100/127656 in 0.8817454799973348.  ETA 0.6372842230328916.\r",
      "Processed 74200/127656 in 0.8827636599999096.  ETA 0.6359705418996653.\r",
      "Processed 74300/127656 in 0.883903260997613.  ETA 0.6347448505220543.\r",
      "Processed 74400/127656 in 0.8850131109975337.  ETA 0.633498094614041.\r",
      "Processed 74500/127656 in 0.8863471349977772.  ETA 0.632411655140159.\r",
      "Processed 74600/127656 in 0.8875064209969423.  ETA 0.6312002771101042.\r",
      "Processed 74700/127656 in 0.8886925069964491.  ETA 0.6300080374900128.\r",
      "Processed 74800/127656 in 0.8899072479980532.  ETA 0.6288360628366992.\r",
      "Processed 74900/127656 in 0.8911545039991324.  ETA 0.62768687600772.\r",
      "Processed 75000/127656 in 0.8923219159987639.  ETA 0.6264813707844121.\r",
      "Processed 75100/127656 in 0.8938044859969523.  ETA 0.6254965188556035.\r",
      "Processed 75200/127656 in 0.8952153079990239.  ETA 0.624460295164851.\r",
      "Processed 75300/127656 in 0.8962221039982978.  ETA 0.6231421577282189.\r",
      "Processed 75400/127656 in 0.8973755019978853.  ETA 0.6219264487055901.\r",
      "Processed 75500/127656 in 0.8986251129972516.  ETA 0.6207773694501278.\r",
      "Processed 75600/127656 in 0.9001453139972.  ETA 0.6198143447809291.\r",
      "Processed 75700/127656 in 0.9012358989966742.  ETA 0.6185549850498178.\r",
      "Processed 75800/127656 in 0.9029155979987991.  ETA 0.6176990930056164.\r",
      "Processed 75900/127656 in 0.9039649839978665.  ETA 0.6164112214992566.\r",
      "Processed 76000/127656 in 0.9052522529964335.  ETA 0.6152856629050496.\r",
      "Processed 76100/127656 in 0.9064021459998912.  ETA 0.61406661023877.\r",
      "Processed 76200/127656 in 0.9075453409968759.  ETA 0.6128432160936383.\r",
      "Processed 76300/127656 in 0.908520906999911.  ETA 0.6115072044546189.\r",
      "Processed 76400/127656 in 0.9096250769980543.  ETA 0.6102584155315742.\r",
      "Processed 76500/127656 in 0.9107589719969837.  ETA 0.6090298819801007.\r",
      "Processed 76600/127656 in 0.9120554869987245.  ETA 0.6079099862168.\r",
      "Processed 76700/127656 in 0.9129752939988975.  ETA 0.6065393622034918.\r",
      "Processed 76800/127656 in 0.9140476769971428.  ETA 0.6052709461115455.\r",
      "Processed 76900/127656 in 0.9152057009996497.  ETA 0.6040595651487415.\r",
      "Processed 77000/127656 in 0.9166211629999452.  ETA 0.6030176835444835.\r",
      "Processed 77100/127656 in 0.9177404879992537.  ETA 0.6017806499518842.\r",
      "Processed 77200/127656 in 0.9189510369978962.  ETA 0.6006035430410084.\r",
      "Processed 77300/127656 in 0.9203342319997319.  ETA 0.5995388174201617.\r",
      "Processed 77400/127656 in 0.9215737099984835.  ETA 0.5983799530966898.\r",
      "Processed 77500/127656 in 0.9227834929988603.  ETA 0.5972016629013012.\r",
      "Processed 77600/127656 in 0.9241294269995706.  ETA 0.5961111159521972.\r",
      "Processed 77700/127656 in 0.9253407629985304.  ETA 0.5949333739556575.\r",
      "Processed 77800/127656 in 0.9263922989994171.  ETA 0.5936531421454362.\r",
      "Processed 77900/127656 in 0.9276384649965621.  ETA 0.5924978108391392.\r",
      "Processed 78000/127656 in 0.9287413699967146.  ETA 0.5912510444686777.\r",
      "Processed 78100/127656 in 0.9299919239965675.  ETA 0.5900983327218169.\r",
      "Processed 78200/127656 in 0.9311471519977204.  ETA 0.5888850837493511.\r",
      "Processed 78300/127656 in 0.9324155709982733.  ETA 0.5877433323396013.\r",
      "Processed 78400/127656 in 0.9334432709983957.  ETA 0.5864500224017472.\r",
      "Processed 78500/127656 in 0.9346255199998268.  ETA 0.5852541663835858.\r",
      "Processed 78600/127656 in 0.9358399799966719.  ETA 0.5840784485841825.\r",
      "Processed 78700/127656 in 0.9367927839994081.  ETA 0.5827398670073065.\r",
      "Processed 78800/127656 in 0.9378271389978181.  ETA 0.5814528261786472.\r",
      "Processed 78900/127656 in 0.9390176039996732.  ETA 0.5802628935438284.\r",
      "Processed 79000/127656 in 0.9403006759966956.  ETA 0.5791299960923446.\r",
      "Processed 79100/127656 in 0.941898171997309.  ETA 0.5781897299557691.\r",
      "Processed 79200/127656 in 0.943090303997451.  ETA 0.5769997950820768.\r",
      "Processed 79300/127656 in 0.9442227749968879.  ETA 0.575773474246526.\r",
      "Processed 79400/127656 in 0.945452268999361.  ETA 0.5746063563329113.\r",
      "Processed 79500/127656 in 0.9467278239972075.  ETA 0.5734669822944594.\r",
      "Processed 79600/127656 in 0.9480378599982942.  ETA 0.5723480829155531.\r",
      "Processed 79700/127656 in 0.949124282997218.  ETA 0.5710941545221403.\r",
      "Processed 79800/127656 in 0.9504075579970959.  ETA 0.5699586979387096.\r",
      "Processed 79900/127656 in 0.95155157499903.  ETA 0.5687396372422238.\r",
      "Processed 80000/127656 in 0.9525964329986891.  ETA 0.5674616951373191.\r",
      "Processed 80100/127656 in 0.953888221996749.  ETA 0.5663309398911036.\r",
      "Processed 80200/127656 in 0.9549908919980226.  ETA 0.565087877439628.\r",
      "Processed 80300/127656 in 0.9561542219998955.  ETA 0.5638809381946084.\r",
      "Processed 80400/127656 in 0.9573331239989784.  ETA 0.5626832600459667.\r",
      "Processed 80500/127656 in 0.958490727996832.  ETA 0.561473152415138.\r",
      "Processed 80600/127656 in 0.9595966589986347.  ETA 0.5602330072684832.\r",
      "Processed 80700/127656 in 0.9607456809972064.  ETA 0.5590182676196385.\r",
      "Processed 80800/127656 in 0.9618030189994897.  ETA 0.557750522998021.\r",
      "Processed 80900/127656 in 0.963116065999202.  ETA 0.5566310850662384.\r",
      "Processed 81000/127656 in 0.9640623749983206.  ETA 0.5552999279990327.\r",
      "Processed 81100/127656 in 0.9651713769999333.  ETA 0.5540631150136731.\r",
      "Processed 81200/127656 in 0.966201060997264.  ETA 0.552781237557745.\r",
      "Processed 81300/127656 in 0.9674267069967755.  ETA 0.5516117150005231.\r",
      "Processed 81400/127656 in 0.9684897419974732.  ETA 0.5503496499488344.\r",
      "Processed 81500/127656 in 0.9696183159976499.  ETA 0.5491251901004605.\r",
      "Processed 81600/127656 in 0.9705766379993293.  ETA 0.5478048730355037.\r",
      "Processed 81700/127656 in 0.9718223459967703.  ETA 0.5466470958705946.\r",
      "Processed 81800/127656 in 0.9729353679977066.  ETA 0.5454147216980787.\r",
      "Processed 81900/127656 in 0.9741578489993117.  ETA 0.5442437916826923.\r",
      "Processed 82000/127656 in 0.975327173997357.  ETA 0.5430431397076017.\r",
      "Processed 82100/127656 in 0.9765749879989016.  ETA 0.5418861163614855.\r",
      "Processed 82200/127656 in 0.9778133969994087.  ETA 0.5407236712166074.\r",
      "Processed 82300/127656 in 0.9788737569979276.  ETA 0.5394629176476063.\r",
      "Processed 82400/127656 in 0.9799354459973983.  ETA 0.5382033803890566.\r",
      "Processed 82500/127656 in 0.9817710959978285.  ETA 0.5373679467985205.\r",
      "Processed 82600/127656 in 0.9829324759994051.  ETA 0.5361622958671816.\r",
      "Processed 82700/127656 in 0.9840071409998927.  ETA 0.5349096134315741.\r",
      "Processed 82800/127656 in 0.9852839119994314.  ETA 0.5337668497179529.\r",
      "Processed 82900/127656 in 0.9864251399994828.  ETA 0.5325505858361502.\r",
      "Processed 83000/127656 in 0.9876139179978054.  ETA 0.5313600858085542.\r",
      "Processed 83100/127656 in 0.988636502999725.  ETA 0.5300804816805746.\r",
      "Processed 83200/127656 in 0.9896929989990895.  ETA 0.5288196149459558.\r",
      "Processed 83300/127656 in 0.9908470639966254.  ETA 0.5276111929247816.\r",
      "Processed 83400/127656 in 0.9918174629965506.  ETA 0.5263054393570185.\r",
      "Processed 83500/127656 in 0.992931762997614.  ETA 0.5250765859511694.\r",
      "Processed 83600/127656 in 0.9942277149966685.  ETA 0.5239437345920243.\r",
      "Processed 83700/127656 in 0.9956235329991614.  ETA 0.5228629392653661.\r",
      "Processed 83800/127656 in 0.9968115579977166.  ETA 0.521672645436132.\r",
      "Processed 83900/127656 in 0.9979356829971948.  ETA 0.5204490315283106.\r",
      "Processed 84000/127656 in 0.9989966279972577.  ETA 0.5191928189505748.\r",
      "Processed 84100/127656 in 1.0002208259975305.  ETA 0.5180216206557484.\r",
      "Processed 84200/127656 in 1.0015316989993153.  ETA 0.5168950298303354.\r",
      "Processed 84300/127656 in 1.002808841996739.  ETA 0.5157506542539811.\r",
      "Processed 84400/127656 in 1.0040196939989983.  ETA 0.514571989142425.\r",
      "Processed 84500/127656 in 1.0052589509978134.  ETA 0.5134077549025046.\r",
      "Processed 84600/127656 in 1.0063296039988927.  ETA 0.5121575346309258.\r",
      "Processed 84700/127656 in 1.0076795409986516.  ETA 0.5110493785494461."
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "Processed 84800/127656 in 1.00882264199754.  ETA 0.5098361219981907.\r",
      "Processed 84900/127656 in 1.0101818129987805.  ETA 0.5087318444826368.\r",
      "Processed 85000/127656 in 1.0113229969974782.  ETA 0.5075175736461698.\r",
      "Processed 85100/127656 in 1.0124497749966395.  ETA 0.5062962705611868.\r",
      "Processed 85200/127656 in 1.0136812269993243.  ETA 0.5051273494540295.\r",
      "Processed 85300/127656 in 1.0146903669992753.  ETA 0.5038478919650797.\r",
      "Processed 85400/127656 in 1.0158025879973138.  ETA 0.5026200721125819.\r",
      "Processed 85500/127656 in 1.0168873659968085.  ETA 0.5013789918241106.\r",
      "Processed 85600/127656 in 1.01812265999979.  ETA 0.5002122265064388.\r",
      "Processed 85700/127656 in 1.0193834029996651.  ETA 0.4990577602830099.\r",
      "Processed 85800/127656 in 1.0204338179974002.  ETA 0.4978004415629275.\r",
      "Processed 85900/127656 in 1.0220051319993217.  ETA 0.4967968136410207.\r",
      "Processed 86000/127656 in 1.0233366519969422.  ETA 0.4956757159951701.\r",
      "Processed 86100/127656 in 1.0244299679980031.  ETA 0.49443916086091777.\r",
      "Processed 86200/127656 in 1.0256108249996032.  ETA 0.4932450389928486.\r",
      "Processed 86300/127656 in 1.026689495996834.  ETA 0.49200197910133336.\r",
      "Processed 86400/127656 in 1.0279357869985688.  ETA 0.4908393382918166.\r",
      "Processed 86500/127656 in 1.029037440999673.  ETA 0.4896076869570236.\r",
      "Processed 86600/127656 in 1.0301985119986057.  ETA 0.4884045047184152.\r",
      "Processed 86700/127656 in 1.0313293859981059.  ETA 0.48718715493585263.\r",
      "Processed 86800/127656 in 1.03252460099975.  ETA 0.4860002891526012.\r",
      "Processed 86900/127656 in 1.0337979369978711.  ETA 0.48485004281110744.\r",
      "Processed 87000/127656 in 1.0349893379971036.  ETA 0.48366122443230164.\r",
      "Processed 87100/127656 in 1.0361626479971164.  ETA 0.48246397648876066.\r",
      "Processed 87200/127656 in 1.0373951719993784.  ETA 0.4812942554863171.\r",
      "Processed 87300/127656 in 1.038446191996627.  ETA 0.48004048710442015.\r",
      "Processed 87400/127656 in 1.0394646469976578.  ETA 0.47877218340432165.\r",
      "Processed 87500/127656 in 1.0406987749993277.  ETA 0.47760342867283434.\r",
      "Processed 87600/127656 in 1.041837417997158.  ETA 0.47639086318828944.\r",
      "Processed 87700/127656 in 1.0431956609972985.  ETA 0.4752785157446757.\r",
      "Processed 87800/127656 in 1.0444773939998413.  ETA 0.4741308771669439.\r",
      "Processed 87900/127656 in 1.0456289809990267.  ETA 0.47292407017744376.\r",
      "Processed 88000/127656 in 1.04677240899764.  ETA 0.4717137119455729.\r",
      "Processed 88100/127656 in 1.0478186269974685.  ETA 0.470459859358818.\r",
      "Processed 88200/127656 in 1.049019727997802.  ETA 0.4692757640349351.\r",
      "Processed 88300/127656 in 1.0501297869996051.  ETA 0.4680510520629271.\r",
      "Processed 88400/127656 in 1.0516847929975484.  ETA 0.4670241881664226.\r",
      "Processed 88500/127656 in 1.0529860759997973.  ETA 0.46588387335421544.\r",
      "Processed 88600/127656 in 1.0539993899983529.  ETA 0.4646162548055945.\r",
      "Processed 88700/127656 in 1.0553432759988937.  ETA 0.46349439300803724.\r",
      "Processed 88800/127656 in 1.0564349909982411.  ETA 0.4622616893043655.\r",
      "Processed 88900/127656 in 1.0575000979988545.  ETA 0.46101770301511363.\r",
      "Processed 89000/127656 in 1.0586728889975348.  ETA 0.45982088985492925.\r",
      "Processed 89100/127656 in 1.059817060999194.  ETA 0.4586117463960148.\r",
      "Processed 89200/127656 in 1.061274877996766.  ETA 0.45753796758120663.\r",
      "Processed 89300/127656 in 1.062323917998583.  ETA 0.4562877513858192.\r",
      "Processed 89400/127656 in 1.063352158998896.  ETA 0.4550290849514738.\r",
      "Processed 89500/127656 in 1.0645137919964327.  ETA 0.4538278016471049.\r",
      "Processed 89600/127656 in 1.0657719909977459.  ETA 0.4526676215335962.\r",
      "Processed 89700/127656 in 1.0669565909993253.  ETA 0.4514760799104837.\r",
      "Processed 89800/127656 in 1.0681082439987222.  ETA 0.4502706646415994.\r",
      "Processed 89900/127656 in 1.0692287219972059.  ETA 0.44905227617048393.\r",
      "Processed 90000/127656 in 1.0703368319991569.  ETA 0.44782893050844724.\r",
      "Processed 90100/127656 in 1.0713169159971585.  ETA 0.44655247610642934.\r",
      "Processed 90200/127656 in 1.072287980998226.  ETA 0.445272933661525.\r",
      "Processed 90300/127656 in 1.0735194009976112.  ETA 0.44410178010705165.\r",
      "Processed 90400/127656 in 1.0749408949995995.  ETA 0.44300882725779955.\r",
      "Processed 90500/127656 in 1.0764386229966476.  ETA 0.44194644724931975.\r",
      "Processed 90600/127656 in 1.0775487129976682.  ETA 0.4407245597002383.\r",
      "Processed 90700/127656 in 1.0788004839996574.  ETA 0.43956064704180087.\r",
      "Processed 90800/127656 in 1.0800994239980355.  ETA 0.4384156869038722.\r",
      "Processed 90900/127656 in 1.0813173059977998.  ETA 0.43723761165297176.\r",
      "Processed 91000/127656 in 1.082436279997637.  ETA 0.4360196074680592.\r",
      "Processed 91100/127656 in 1.0836077019994264.  ETA 0.43482286667717923.\r",
      "Processed 91200/127656 in 1.0846200039995892.  ETA 0.4335625752829937.\r",
      "Processed 91300/127656 in 1.0858339449987398.  ETA 0.4323831205298377.\r",
      "Processed 91400/127656 in 1.0870912639984454.  ETA 0.4312207972377203.\r",
      "Processed 91500/127656 in 1.088257485997019.  ETA 0.43002226954872375.\r",
      "Processed 91600/127656 in 1.0895981849971577.  ETA 0.4288924908106716.\r",
      "Processed 91700/127656 in 1.0907415819965536.  ETA 0.427684889010557.\r",
      "Processed 91800/127656 in 1.0917799629969522.  ETA 0.42643640907645664.\r",
      "Processed 91900/127656 in 1.0930207439996593.  ETA 0.425267135173578.\r",
      "Processed 92000/127656 in 1.0942882259987528.  ETA 0.4241080541979514.\r",
      "Processed 92100/127656 in 1.0955678009995609.  ETA 0.4229534064314917.\r",
      "Processed 92200/127656 in 1.096574363997206.  ETA 0.4216934994564527.\r",
      "Processed 92300/127656 in 1.0976318959983473.  ETA 0.4204536653837223.\r",
      "Processed 92400/127656 in 1.0989870179982972.  ETA 0.4193277738803893.\r",
      "Processed 92500/127656 in 1.1001298429982853.  ETA 0.41812070011294833.\r",
      "Processed 92600/127656 in 1.1011956639995333.  ETA 0.41688461336034166.\r",
      "Processed 92700/127656 in 1.1026402059978864.  ETA 0.415791704863669.\r",
      "Processed 92800/127656 in 1.1038446669990662.  ETA 0.41460786328577.\r",
      "Processed 92900/127656 in 1.1050206139989314.  ETA 0.4134133095817746.\r",
      "Processed 93000/127656 in 1.1061805829995137.  ETA 0.4122128417680769.\r",
      "Processed 93100/127656 in 1.1072082569990016.  ETA 0.41096335691576263.\r",
      "Processed 93200/127656 in 1.108178157999646.  ETA 0.40969298939952575.\r",
      "Processed 93300/127656 in 1.1092223899977398.  ETA 0.4084506369856629.\r",
      "Processed 93400/127656 in 1.1105981439977768.  ETA 0.4073303000084351.\r",
      "Processed 93500/127656 in 1.111626919999253.  ETA 0.4060826639518127.\r",
      "Processed 93600/127656 in 1.1130374309977924.  ETA 0.4049743883553506.\r",
      "Processed 93700/127656 in 1.1141930329977185.  ETA 0.40377309101889575.\r",
      "Processed 93800/127656 in 1.115311286997894.  ETA 0.4025584107953166.\r",
      "Processed 93900/127656 in 1.116579791996628.  ETA 0.40139794950626384.\r",
      "Processed 94000/127656 in 1.1176351899994188.  ETA 0.40016095696404724.\r",
      "Processed 94100/127656 in 1.1187601599995105.  ETA 0.3989491597124716.\r",
      "Processed 94200/127656 in 1.120075121998525.  ETA 0.39780502422062264.\r",
      "Processed 94300/127656 in 1.1212721649972082.  ETA 0.3966188158605183.\r",
      "Processed 94400/127656 in 1.1225046629988356.  ETA 0.3954450749225559.\r",
      "Processed 94500/127656 in 1.1236318579976796.  ETA 0.39423426332032874.\r",
      "Processed 94600/127656 in 1.1247590529965237.  ETA 0.3930236284973899.\r",
      "Processed 94700/127656 in 1.1260507279985177.  ETA 0.39187040962955805.\r",
      "Processed 94800/127656 in 1.1270302639968577.  ETA 0.3906087168130881.\r",
      "Processed 94900/127656 in 1.1282650859975547.  ETA 0.38943573400353954.\r",
      "Processed 95000/127656 in 1.1295746739997412.  ETA 0.38828832162247945.\r",
      "Processed 95100/127656 in 1.130950225997367.  ETA 0.3871631499218746.\r",
      "Processed 95200/127656 in 1.132088185997418.  ETA 0.3859564513102121.\r",
      "Processed 95300/127656 in 1.1333636099989235.  ETA 0.3847965683643774.\r",
      "Processed 95400/127656 in 1.1344540729987784.  ETA 0.3835739054365681.\r",
      "Processed 95500/127656 in 1.1357484569998633.  ETA 0.38242018202395395.\r",
      "Processed 95600/127656 in 1.1369760079978732.  ETA 0.3812437543135965.\r",
      "Processed 95700/127656 in 1.1381933809971088.  ETA 0.38006382114047654.\r",
      "Processed 95800/127656 in 1.1391476299977512.  ETA 0.37879631420885557.\r",
      "Processed 95900/127656 in 1.140389497999422.  ETA 0.3776247017567221.\r",
      "Processed 96000/127656 in 1.1416519849990436.  ETA 0.37645974205343463.\r",
      "Processed 96100/127656 in 1.1430542749985761.  ETA 0.3753404859714367.\r",
      "Processed 96200/127656 in 1.1439882259983278.  ETA 0.3740675014241518.\r",
      "Processed 96300/127656 in 1.1453159239972592.  ETA 0.37292342796321976.\r",
      "Processed 96400/127656 in 1.1466448109968042.  ETA 0.371779359050997.\r",
      "Processed 96500/127656 in 1.1476689619994431.  ETA 0.3705365200005663.\r",
      "Processed 96600/127656 in 1.14879854499668.  ETA 0.3693280291243985.\r",
      "Processed 96700/127656 in 1.1500934929972573.  ETA 0.368172638771697.\r",
      "Processed 96800/127656 in 1.1512033209983201.  ETA 0.36695795116450586.\r",
      "Processed 96900/127656 in 1.1521235899999738.  ETA 0.36568331407677185.\r",
      "Processed 97000/127656 in 1.153378889997839.  ETA 0.3645152912553995.\r",
      "Processed 97100/127656 in 1.154520660998969.  ETA 0.3633113626929403.\r",
      "Processed 97200/127656 in 1.1556912519990874.  ETA 0.3621165922930474.\r",
      "Processed 97300/127656 in 1.15685981599745.  ETA 0.3609212392026577.\r",
      "Processed 97400/127656 in 1.1579955839988543.  ETA 0.35971575348531143.\r",
      "Processed 97500/127656 in 1.1590829939996183.  ETA 0.3584954540210512.\r",
      "Processed 97600/127656 in 1.1603271379972284.  ETA 0.35732369323406454.\r",
      "Processed 97700/127656 in 1.161461961997702.  ETA 0.35611826544117875.\r",
      "Processed 97800/127656 in 1.1627829849967384.  ETA 0.3549698241315196.\r",
      "Processed 97900/127656 in 1.1638657829971635.  ETA 0.3537486234817528.\r",
      "Processed 98000/127656 in 1.1650962399980926.  ETA 0.35257238870799423.\r",
      "Processed 98100/127656 in 1.1661714169968036.  ETA 0.3513492599465599.\r",
      "Processed 98200/127656 in 1.1675684629990428.  ETA 0.35022298010284936.\r",
      "Processed 98300/127656 in 1.168609631997242.  ETA 0.34898987138261484.\r",
      "Processed 98400/127656 in 1.169729778997862.  ETA 0.34778063429229117.\r",
      "Processed 98500/127656 in 1.1707629039992753.  ETA 0.3465458195837855.\r",
      "Processed 98600/127656 in 1.1718228499994439.  ETA 0.345319317744258.\r",
      "Processed 98700/127656 in 1.1729331629976514.  ETA 0.34410792976453897.\r",
      "Processed 98800/127656 in 1.1740059509975254.  ETA 0.34288578665976305.\r",
      "Processed 98900/127656 in 1.1750948969965975.  ETA 0.3416686436606083.\r",
      "Processed 99000/127656 in 1.1764349169970956.  ETA 0.3405244341562502.\r",
      "Processed 99100/127656 in 1.1777641149965348.  ETA 0.3393767110781135.\r",
      "Processed 99200/127656 in 1.1788167609993252.  ETA 0.3381492918447258.\r",
      "Processed 99300/127656 in 1.1803325829969253.  ETA 0.3370544886551945.\r",
      "Processed 99400/127656 in 1.1813703699990583.  ETA 0.3358229494435955.\r",
      "Processed 99500/127656 in 1.1829328879975947.  ETA 0.33474028537146006.\r",
      "Processed 99600/127656 in 1.1840478509984678.  ETA 0.33353058742583347.\r",
      "Processed 99700/127656 in 1.1852497519976168.  ETA 0.33234545703957247.\r",
      "Processed 99800/127656 in 1.1865099569986342.  ETA 0.33117656675504964.\r",
      "Processed 99900/127656 in 1.1875386779975088.  ETA 0.32994317864363215.\r",
      "Processed 100000/127656 in 1.1887347739975667.  ETA 0.328756489096767.\r",
      "Processed 100100/127656 in 1.1898301759974856.  ETA 0.3275420612366305.\r",
      "Processed 100200/127656 in 1.1910192759969505.  ETA 0.32635354532706856.\r",
      "Processed 100300/127656 in 1.1922637809984735.  ETA 0.3251801395114082.\r",
      "Processed 100400/127656 in 1.193451950999588.  ETA 0.32399129857016706.\r",
      "Processed 100500/127656 in 1.1945907579975028.  ETA 0.3227891206386088.\r",
      "Processed 100600/127656 in 1.1957547439997143.  ETA 0.32159384049360107.\r",
      "Processed 100700/127656 in 1.1969580379991385.  ETA 0.3204091447100772.\r",
      "Processed 100800/127656 in 1.1981651169990073.  ETA 0.31922542045759267.\r",
      "Processed 100900/127656 in 1.1992622449979535.  ETA 0.3180124938272076.\r",
      "Processed 101000/127656 in 1.200564847997157.  ETA 0.3168540256258635.\r",
      "Processed 101100/127656 in 1.201622166998277.  ETA 0.315630843390764.\r",
      "Processed 101200/127656 in 1.2028419749985915.  ETA 0.31445046729805076.\r",
      "Processed 101300/127656 in 1.204021166999155.  ETA 0.31325944597660144.\r",
      "Processed 101400/127656 in 1.205145554999035.  ETA 0.31205425731809333.\r",
      "Processed 101500/127656 in 1.2061545589967864.  ETA 0.31081949404059056.\r",
      "Processed 101600/127656 in 1.2074681669982965.  ETA 0.309663292906571.\r",
      "Processed 101700/127656 in 1.2086629459990945.  ETA 0.3084764545364061."
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "Processed 101800/127656 in 1.2101552099993569.  ETA 0.30736515824895255.\r",
      "Processed 101900/127656 in 1.2116748229964287.  ETA 0.30626002689986276.\r",
      "Processed 102000/127656 in 1.2130257409990008.  ETA 0.30511165108892513.\r",
      "Processed 102100/127656 in 1.2144120359989756.  ETA 0.30397173351606094.\r",
      "Processed 102200/127656 in 1.2154846929988707.  ETA 0.30275321276887723.\r",
      "Processed 102300/127656 in 1.216528892997303.  ETA 0.3015279238596248.\r",
      "Processed 102400/127656 in 1.2176470879967383.  ETA 0.30032123881294553.\r",
      "Processed 102500/127656 in 1.2188874609964842.  ETA 0.29914471189100056.\r",
      "Processed 102600/127656 in 1.220253909999883.  ETA 0.2979988495999714.\r",
      "Processed 102700/127656 in 1.221781733998796.  ETA 0.29689177170081743.\r",
      "Processed 102800/127656 in 1.222926019996521.  ETA 0.29569113962094873.\r",
      "Processed 102900/127656 in 1.2240247539994016.  ETA 0.29447965801758197.\r",
      "Processed 103000/127656 in 1.2252340529994399.  ETA 0.29329486224033197.\r",
      "Processed 103100/127656 in 1.2266586269979598.  ETA 0.29216129238178373.\r",
      "Processed 103200/127656 in 1.2279721009981586.  ETA 0.2910008304458427.\r",
      "Processed 103300/127656 in 1.22921164699801.  ETA 0.2898226415709926.\r",
      "Processed 103400/127656 in 1.2302411519995076.  ETA 0.28859506173017463.\r",
      "Processed 103500/127656 in 1.231352122998942.  ETA 0.28738687809818786.\r",
      "Processed 103600/127656 in 1.2324682309990749.  ETA 0.28618007495090486.\r",
      "Processed 103700/127656 in 1.2338239199998497.  ETA 0.285028792936513.\r",
      "Processed 103800/127656 in 1.2350069569984043.  ETA 0.2838374370535061.\r",
      "Processed 103900/127656 in 1.2362447169980442.  ETA 0.2826586092108329.\r",
      "Processed 104000/127656 in 1.2375369629990018.  ETA 0.281492061506773.\r",
      "Processed 104100/127656 in 1.2386170099998708.  ETA 0.28027725540400533.\r",
      "Processed 104200/127656 in 1.239838208999572.  ETA 0.27909448205656395.\r",
      "Processed 104300/127656 in 1.2409545539994724.  ETA 0.27788815496847247.\r",
      "Processed 104400/127656 in 1.2422532499986119.  ETA 0.27672262051693214.\r",
      "Processed 104500/127656 in 1.2432366439970792.  ETA 0.2754869639080992.\r",
      "Processed 104600/127656 in 1.2444070439996722.  ETA 0.2742930096219545.\r",
      "Processed 104700/127656 in 1.2454605649982113.  ETA 0.2730734740219574.\r",
      "Processed 104800/127656 in 1.2466831689998799.  ETA 0.27189113082692035.\r",
      "Processed 104900/127656 in 1.2477672149980208.  ETA 0.27067865342702535.\r",
      "Processed 105000/127656 in 1.2492564169988327.  ETA 0.2695538417478624.\r",
      "Processed 105100/127656 in 1.250228586999583.  ETA 0.26831737400915884.\r",
      "Processed 105200/127656 in 1.2515409009974974.  ETA 0.2671540159011388.\r",
      "Processed 105300/127656 in 1.2527423369974713.  ETA 0.2659668346240785.\r",
      "Processed 105400/127656 in 1.2539195069984999.  ETA 0.264774502350651.\r",
      "Processed 105500/127656 in 1.2549111139996967.  ETA 0.26354322883201214.\r",
      "Processed 105600/127656 in 1.2561317579966271.  ETA 0.2623602467270228.\r",
      "Processed 105700/127656 in 1.257337341998209.  ETA 0.2611740650985116.\r",
      "Processed 105800/127656 in 1.2586468719964614.  ETA 0.2600093197954127.\r",
      "Processed 105900/127656 in 1.2596944679971784.  ETA 0.25879048957267814.\r",
      "Processed 106000/127656 in 1.2610851409990573.  ETA 0.25764207371203385.\r",
      "Processed 106100/127656 in 1.2622810369975923.  ETA 0.2564536289681442.\r",
      "Processed 106200/127656 in 1.2632959209986439.  ETA 0.2552285996322684.\r",
      "Processed 106300/127656 in 1.2643509159970563.  ETA 0.2540120241019109.\r",
      "Processed 106400/127656 in 1.2655230399977881.  ETA 0.2528191516747461.\r",
      "Processed 106500/127656 in 1.2667382589970657.  ETA 0.2516348789421777.\r",
      "Processed 106600/127656 in 1.2680361839993566.  ETA 0.25046688452430066.\r",
      "Processed 106700/127656 in 1.269344481999724.  ETA 0.24930068383117351.\r",
      "Processed 106800/127656 in 1.2705162819984253.  ETA 0.2481075615857599.\r",
      "Processed 106900/127656 in 1.271710148997954.  ETA 0.24691876382227815.\r",
      "Processed 107000/127656 in 1.272934244996577.  ETA 0.24573579219298408.\r",
      "Processed 107100/127656 in 1.2741920139997092.  ETA 0.24455920672061646.\r",
      "Processed 107200/127656 in 1.2754120249992411.  ETA 0.24337526477037758.\r",
      "Processed 107300/127656 in 1.2764473779971013.  ETA 0.24215622391900274.\r",
      "Processed 107400/127656 in 1.277592938997259.  ETA 0.24095831072931542.\r",
      "Processed 107500/127656 in 1.278826815996581.  ETA 0.2397770539835078.\r",
      "Processed 107600/127656 in 1.2799991399988357.  ETA 0.2385842263179986.\r",
      "Processed 107700/127656 in 1.2811667729984038.  ETA 0.23739056752048418.\r",
      "Processed 107800/127656 in 1.2822671819994866.  ETA 0.23618457482172361.\r",
      "Processed 107900/127656 in 1.2835808559975703.  ETA 0.23501782568200186.\r",
      "Processed 108000/127656 in 1.284650817997317.  ETA 0.23380644887551172.\r",
      "Processed 108100/127656 in 1.285782939998171.  ETA 0.23260657885850355.\r",
      "Processed 108200/127656 in 1.2870649459982815.  ETA 0.23143378548375754.\r",
      "Processed 108300/127656 in 1.2885345369977586.  ETA 0.23029431669555508.\r",
      "Processed 108400/127656 in 1.2898290369994356.  ETA 0.2291231359452134.\r",
      "Processed 108500/127656 in 1.2908795929979533.  ETA 0.22790865883381375.\r",
      "Processed 108600/127656 in 1.2920174989994848.  ETA 0.22670981087416375.\r",
      "Processed 108700/127656 in 1.2931925389966636.  ETA 0.22551755077479996.\r",
      "Processed 108800/127656 in 1.2942404479981633.  ETA 0.22430328940674052.\r",
      "Processed 108900/127656 in 1.2956768989970442.  ETA 0.22315625268676365.\r",
      "Processed 109000/127656 in 1.296731649999856.  ETA 0.2219433547008928.\r",
      "Processed 109100/127656 in 1.297987292997277.  ETA 0.22076491483829033.\r",
      "Processed 109200/127656 in 1.2992424909971305.  ETA 0.21958625836852602.\r",
      "Processed 109300/127656 in 1.300304372998653.  ETA 0.21837499607285704.\r",
      "Processed 109400/127656 in 1.3016251349981758.  ETA 0.2172072071711764.\r",
      "Processed 109500/127656 in 1.3029543409975304.  ETA 0.21604053895115216.\r",
      "Processed 109600/127656 in 1.304185693999898.  ETA 0.2148574533837788.\r",
      "Processed 109700/127656 in 1.3054040399983933.  ETA 0.2136721507949968.\r",
      "Processed 109800/127656 in 1.3067557299982582.  ETA 0.2125084728128315.\r",
      "Processed 109900/127656 in 1.3078631429998495.  ETA 0.2113049860519138.\r",
      "Processed 110000/127656 in 1.3089851999975508.  ETA 0.21010402446506143.\r",
      "Processed 110100/127656 in 1.310159811997437.  ETA 0.20891158637081747.\r",
      "Processed 110200/127656 in 1.31137734299773.  ETA 0.207725979123125.\r",
      "Processed 110300/127656 in 1.3124743119988125.  ETA 0.20652134323709329.\r",
      "Processed 110400/127656 in 1.3136805969988927.  ETA 0.2053339889656965.\r",
      "Processed 110500/127656 in 1.3148150429988164.  ETA 0.20413544685690221.\r",
      "Processed 110600/127656 in 1.3160629119993246.  ETA 0.2029545119987385.\r",
      "Processed 110700/127656 in 1.3172352329966088.  ETA 0.20176188446874888.\r",
      "Processed 110800/127656 in 1.318448632999207.  ETA 0.20057554294074578.\r",
      "Processed 110900/127656 in 1.3195940069999779.  ETA 0.19937887449316166.\r",
      "Processed 111000/127656 in 1.3208689199964283.  ETA 0.19820173631946406.\r",
      "Processed 111100/127656 in 1.3219933129985293.  ETA 0.19700199180921377.\r",
      "Processed 111200/127656 in 1.323217424996983.  ETA 0.19581713979991325.\r",
      "Processed 111300/127656 in 1.3244591769980616.  ETA 0.19463480951464776.\r",
      "Processed 111400/127656 in 1.3256041769964213.  ETA 0.19343825405075246.\r",
      "Processed 111500/127656 in 1.326807502999145.  ETA 0.19225024231797477.\r",
      "Processed 111600/127656 in 1.327810711998609.  ETA 0.19103341211334826.\r",
      "Processed 111700/127656 in 1.3289339379989542.  ETA 0.18983410845757667.\r",
      "Processed 111800/127656 in 1.3301609739974083.  ETA 0.18864966371827285.\r",
      "Processed 111900/127656 in 1.3314401249990624.  ETA 0.18747248087118165.\r",
      "Processed 112000/127656 in 1.332643415997154.  ETA 0.18628451179331645.\r",
      "Processed 112100/127656 in 1.3335502939989965.  ETA 0.1850553824571667.\r",
      "Processed 112200/127656 in 1.3346812049967411.  ETA 0.18385768898778637.\r",
      "Processed 112300/127656 in 1.3359157059967401.  ETA 0.1826742794415489.\r",
      "Processed 112400/127656 in 1.3372606999982963.  ETA 0.18150577614923497.\r",
      "Processed 112500/127656 in 1.3384802549990127.  ETA 0.18032005995346698.\r",
      "Processed 112600/127656 in 1.3396285249982611.  ETA 0.17912475197490071.\r",
      "Processed 112700/127656 in 1.340800711997872.  ETA 0.17793270140763243.\r",
      "Processed 112800/127656 in 1.3419807519967435.  ETA 0.17674172031616686.\r",
      "Processed 112900/127656 in 1.3431567319967144.  ETA 0.1755502279658416.\r",
      "Processed 113000/127656 in 1.344257700999151.  ETA 0.17434903421100492.\r",
      "Processed 113100/127656 in 1.3451533149964234.  ETA 0.17312158844463255.\r",
      "Processed 113200/127656 in 1.3460898769990308.  ETA 0.17189995814397518.\r",
      "Processed 113300/127656 in 1.347554214997217.  ETA 0.17074570441747616.\r",
      "Processed 113400/127656 in 1.3485953669987794.  ETA 0.16953770327984655.\r",
      "Processed 113500/127656 in 1.3496253009980137.  ETA 0.16832859701258046.\r",
      "Processed 113600/127656 in 1.350679389997822.  ETA 0.16712279494550517.\r",
      "Processed 113700/127656 in 1.3515983159995812.  ETA 0.16590066928839187.\r",
      "Processed 113800/127656 in 1.3526950329978717.  ETA 0.16470072387713983.\r",
      "Processed 113900/127656 in 1.3536725229969306.  ETA 0.1634865603717803.\r",
      "Processed 114000/127656 in 1.3549059580000176.  ETA 0.16230347160042316.\r",
      "Processed 114100/127656 in 1.3560765189977246.  ETA 0.16111282464095666.\r",
      "Processed 114200/127656 in 1.3575009519991.  ETA 0.15995212618301127.\r",
      "Processed 114300/127656 in 1.3584760269986873.  ETA 0.1587384585878781.\r",
      "Processed 114400/127656 in 1.35948533699775.  ETA 0.15752917506330572.\r",
      "Processed 114500/127656 in 1.3605410819982353.  ETA 0.156325576198854.\r",
      "Processed 114600/127656 in 1.361710047996894.  ETA 0.15513513426393932.\r",
      "Processed 114700/127656 in 1.3629952409974067.  ETA 0.15395785825948038.\r",
      "Processed 114800/127656 in 1.3640510279983573.  ETA 0.15275470397166274.\r",
      "Processed 114900/127656 in 1.3652244949989836.  ETA 0.15156487082860778.\r",
      "Processed 115000/127656 in 1.3661734849993081.  ETA 0.15035036196653256.\r",
      "Processed 115100/127656 in 1.3673642879984982.  ETA 0.14916269331111331.\r",
      "Processed 115200/127656 in 1.368652770997869.  ETA 0.1479855808641446.\r",
      "Processed 115300/127656 in 1.3696462489970145.  ETA 0.14677666134091163.\r",
      "Processed 115400/127656 in 1.3706247079971945.  ETA 0.14556652011450275.\r",
      "Processed 115500/127656 in 1.3720361379964743.  ETA 0.1444023488613432.\r",
      "Processed 115600/127656 in 1.373165507997328.  ETA 0.1432083336022127.\r",
      "Processed 115700/127656 in 1.3742385689984076.  ETA 0.14200861133055281.\r",
      "Processed 115800/127656 in 1.3754571119970933.  ETA 0.1408240027619822.\r",
      "Processed 115900/127656 in 1.3766014799984987.  ETA 0.13963181189700044.\r",
      "Processed 116000/127656 in 1.3777716449985746.  ETA 0.1384422956388223.\r",
      "Processed 116100/127656 in 1.379034411998873.  ETA 0.13726202984546923.\r",
      "Processed 116200/127656 in 1.3801405879967206.  ETA 0.13606618395947015.\r",
      "Processed 116300/127656 in 1.3811345259964583.  ETA 0.13485953290813224.\r",
      "Processed 116400/127656 in 1.3821821409983386.  ETA 0.1336584379645816.\r",
      "Processed 116500/127656 in 1.3833400399998936.  ETA 0.13246816726385247.\r",
      "Processed 116600/127656 in 1.384492440000031.  ETA 0.13127743067444547.\r",
      "Processed 116700/127656 in 1.3856796299987764.  ETA 0.1300900259320188.\r",
      "Processed 116800/127656 in 1.38685748199714.  ETA 0.12890175363493966.\r",
      "Processed 116900/127656 in 1.3882198609971965.  ETA 0.12773047754393366.\r",
      "Processed 117000/127656 in 1.3893896669978858.  ETA 0.1265413358250382.\r",
      "Processed 117100/127656 in 1.3904370299969742.  ETA 0.12534118948461195.\r",
      "Processed 117200/127656 in 1.391598169997451.  ETA 0.12415145448373163.\r",
      "Processed 117300/127656 in 1.3928352449984231.  ETA 0.122968472269426.\r",
      "Processed 117400/127656 in 1.393961584999488.  ETA 0.12177572415464011.\r",
      "Processed 117500/127656 in 1.3950469649971637.  ETA 0.12057954873626549.\r",
      "Processed 117600/127656 in 1.3964255379978567.  ETA 0.1194086327390004.\r",
      "Processed 117700/127656 in 1.3974684159984463.  ETA 0.11820896813662303.\r",
      "Processed 117800/127656 in 1.3985979549979675.  ETA 0.11701682041137494.\r",
      "Processed 117900/127656 in 1.399819349997415.  ETA 0.11583237980131281.\r",
      "Processed 118000/127656 in 1.4009966509984224.  ETA 0.11464426832237938.\r",
      "Processed 118100/127656 in 1.4021302669971192.  ETA 0.11345264040156199.\r",
      "Processed 118200/127656 in 1.4033979949999775.  ETA 0.1122718395999982.\r",
      "Processed 118300/127656 in 1.4045832459996745.  ETA 0.11108436897356683.\r",
      "Processed 118400/127656 in 1.4057895869991626.  ETA 0.10989855082148858.\r",
      "Processed 118500/127656 in 1.407068854998215.  ETA 0.10871833279631779.\r",
      "Processed 118600/127656 in 1.4081355789967347.  ETA 0.1075217184097338.\r",
      "Processed 118700/127656 in 1.4093402249964129.  ETA 0.10633572919181022.\r",
      "Processed 118800/127656 in 1.4105212359972938.  ETA 0.10514794668343463."
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "Processed 118900/127656 in 1.4116885669973271.  ETA 0.10395916814658197.\r",
      "Processed 119000/127656 in 1.4133750679975492.  ETA 0.10280818982005703.\r",
      "Processed 119100/127656 in 1.414516808999906.  ETA 0.10161717731152978.\r",
      "Processed 119200/127656 in 1.4159670489971177.  ETA 0.10044813226778211.\r",
      "Processed 119300/127656 in 1.4171618199980003.  ETA 0.09926072227915583.\r",
      "Processed 119400/127656 in 1.4182569179974962.  ETA 0.09806640799821884.\r",
      "Processed 119500/127656 in 1.419191104996571.  ETA 0.09686127742554003.\r",
      "Processed 119600/127656 in 1.4203695729993342.  ETA 0.09567305418129295.\r",
      "Processed 119700/127656 in 1.4215263619989855.  ETA 0.09448340631632354.\r",
      "Processed 119800/127656 in 1.4231427869999607.  ETA 0.09332395437956337.\r",
      "Processed 119900/127656 in 1.4241156049974961.  ETA 0.0921221070255261.\r",
      "Processed 120000/127656 in 1.4253858699994453.  ETA 0.0909396185059646.\r",
      "Processed 120100/127656 in 1.4265810159995453.  ETA 0.08975225775930529.\r",
      "Processed 120200/127656 in 1.4276403459989524.  ETA 0.0885564593990698.\r",
      "Processed 120300/127656 in 1.4287650739970559.  ETA 0.0873648868189721.\r",
      "Processed 120400/127656 in 1.4298960859996441.  ETA 0.08617380398682241.\r",
      "Processed 120500/127656 in 1.4312449760000163.  ETA 0.08499575973656529.\r",
      "Processed 120600/127656 in 1.4323309479987074.  ETA 0.08380204949484975.\r",
      "Processed 120700/127656 in 1.4334366579969355.  ETA 0.08260965528605371.\r",
      "Processed 120800/127656 in 1.4345620799977041.  ETA 0.08141852334821408.\r",
      "Processed 120900/127656 in 1.4357317159992817.  ETA 0.08022997082953803.\r",
      "Processed 121000/127656 in 1.4369026059976022.  ETA 0.07904151855801686.\r",
      "Processed 121100/127656 in 1.4380509599977813.  ETA 0.07785187525801367.\r",
      "Processed 121200/127656 in 1.4394283709989395.  ETA 0.07667450134628015.\r",
      "Processed 121300/127656 in 1.4406510389999312.  ETA 0.07548868923234595.\r",
      "Processed 121400/127656 in 1.4419281469999987.  ETA 0.07430562180915974.\r",
      "Processed 121500/127656 in 1.443110104999505.  ETA 0.07311757865330826.\r",
      "Processed 121600/127656 in 1.4443181889982952.  ETA 0.07193084664945457.\r",
      "Processed 121700/127656 in 1.4455690709983173.  ETA 0.07074617409092833.\r",
      "Processed 121800/127656 in 1.446752646999812.  ETA 0.06955815682127175.\r",
      "Processed 121900/127656 in 1.4480327379969822.  ETA 0.06837470418302403.\r",
      "Processed 122000/127656 in 1.4494846709967533.  ETA 0.06719905982916095.\r",
      "Processed 122100/127656 in 1.4506213109998498.  ETA 0.06600861592068112.\r",
      "Processed 122200/127656 in 1.4515919459990982.  ETA 0.06481084825999248.\r",
      "Processed 122300/127656 in 1.452608807998331.  ETA 0.06361547649745757.\r",
      "Processed 122400/127656 in 1.4536766029996215.  ETA 0.06242258354057199.\r",
      "Processed 122500/127656 in 1.4549003459978849.  ETA 0.061236458644613016.\r",
      "Processed 122600/127656 in 1.4561024559989164.  ETA 0.06004938024086885.\r",
      "Processed 122700/127656 in 1.4571986719965935.  ETA 0.058858000150082454.\r",
      "Processed 122800/127656 in 1.458256256999448.  ETA 0.05766524742662312.\r",
      "Processed 122900/127656 in 1.45937402099662.  ETA 0.05647504348136635.\r",
      "Processed 123000/127656 in 1.4607256839990441.  ETA 0.05529381125771991.\r",
      "Processed 123100/127656 in 1.4617983329990238.  ETA 0.054101975671352984.\r",
      "Processed 123200/127656 in 1.4629641529973014.  ETA 0.052913703455811485.\r",
      "Processed 123300/127656 in 1.464284025998495.  ETA 0.05173091011556727.\r",
      "Processed 123400/127656 in 1.4653325369981758.  ETA 0.05053853547377825.\r",
      "Processed 123500/127656 in 1.4666331059997901.  ETA 0.04935487602052735.\r",
      "Processed 123600/127656 in 1.467910267998377.  ETA 0.048170259279946746.\r",
      "Processed 123700/127656 in 1.4689688269972976.  ETA 0.04697850185611406.\r",
      "Processed 123800/127656 in 1.4702543269995658.  ETA 0.04579402814951798.\r",
      "Processed 123900/127656 in 1.4713323229989328.  ETA 0.044603100929652875.\r",
      "Processed 124000/127656 in 1.4726567719990271.  ETA 0.04341962224539067.\r",
      "Processed 124100/127656 in 1.4736660290000145.  ETA 0.042226884763288085.\r",
      "Processed 124200/127656 in 1.4748961769982998.  ETA 0.04104058927299617.\r",
      "Processed 124300/127656 in 1.4760559409987764.  ETA 0.039852322912243714.\r",
      "Processed 124400/127656 in 1.477299194997613.  ETA 0.03866628761183463.\r",
      "Processed 124500/127656 in 1.4784169619997556.  ETA 0.03747697937406609.\r",
      "Processed 124600/127656 in 1.47966030599855.  ETA 0.036290865932035066.\r",
      "Processed 124700/127656 in 1.4810695039996062.  ETA 0.03510859225198746.\r",
      "Processed 124800/127656 in 1.4819975349964807.  ETA 0.033914943589342536.\r",
      "Processed 124900/127656 in 1.4830517119989963.  ETA 0.03272450374915319.\r",
      "Processed 125000/127656 in 1.484231786998862.  ETA 0.03153695701015182.\r",
      "Processed 125100/127656 in 1.485455224999896.  ETA 0.03035030819424248.\r",
      "Processed 125200/127656 in 1.4866131529997801.  ETA 0.0291623155252992.\r",
      "Processed 125300/127656 in 1.4878860099997837.  ETA 0.02797653184005978.\r",
      "Processed 125400/127656 in 1.48914424999748.  ETA 0.02679034631574414.\r",
      "Processed 125500/127656 in 1.4903436509994208.  ETA 0.025603035151830687.\r",
      "Processed 125600/127656 in 1.4914206809989992.  ETA 0.02441370159342311.\r",
      "Processed 125700/127656 in 1.4927122469998721.  ETA 0.02322788508458035.\r",
      "Processed 125800/127656 in 1.4938291579965153.  ETA 0.02203932366646687.\r",
      "Processed 125900/127656 in 1.494762495996838.  ETA 0.020848315670932864.\r",
      "Processed 126000/127656 in 1.495781627996621.  ETA 0.019658844253669875.\r",
      "Processed 126100/127656 in 1.4969954739972309.  ETA 0.01847204565852253.\r",
      "Processed 126200/127656 in 1.4982233099981386.  ETA 0.01728536560504984.\r",
      "Processed 126300/127656 in 1.4993441409969819.  ETA 0.016097471537544792.\r",
      "Processed 126400/127656 in 1.5006223829986993.  ETA 0.014911247729797203.\r",
      "Processed 126500/127656 in 1.5018335529966862.  ETA 0.013724265511969718.\r",
      "Processed 126600/127656 in 1.5030019889964024.  ETA 0.012536888628595583.\r",
      "Processed 126700/127656 in 1.5042062339998665.  ETA 0.011349811836652506.\r",
      "Processed 126800/127656 in 1.5054973279984551.  ETA 0.010163294264721432.\r",
      "Processed 126900/127656 in 1.5067663919980987.  ETA 0.008976480633180163.\r",
      "Processed 127000/127656 in 1.508082951997494.  ETA 0.007789782807168158.\r",
      "Processed 127100/127656 in 1.5092698569969798.  ETA 0.006602313457831005.\r",
      "Processed 127200/127656 in 1.5105427479975333.  ETA 0.005415153247538327.\r",
      "Processed 127300/127656 in 1.5115148389995738.  ETA 0.004227017145984668.\r",
      "Processed 127400/127656 in 1.5125014419973013.  ETA 0.003039249365394891.\r",
      "Processed 127500/127656 in 1.5139422939973883.  ETA 0.001852352924420334.\r",
      "Processed 127600/127656 in 1.5151275519965566.  ETA 0.0006649462610643195.\n",
      "Test comments:\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "Processed 100/127656 in 0.0011928750027436763.  ETA 1.5215836384997237.\r",
      "Processed 200/127656 in 0.002568114003224764.  ETA 1.6366076919750776.\r",
      "Processed 300/127656 in 0.0037596190013573505.  ETA 1.5960334584562224.\r",
      "Processed 400/127656 in 0.004892832002951764.  ETA 1.556605573419074.\r",
      "Processed 500/127656 in 0.005905448000703473.  ETA 1.5018262919549015.\r",
      "Processed 600/127656 in 0.007417988002998754.  ETA 1.5708331395150161.\r",
      "Processed 700/127656 in 0.008569351000915049.  ETA 1.5541864652459585.\r",
      "Processed 800/127656 in 0.009571388000040315.  ETA 1.5177349951663928.\r",
      "Processed 900/127656 in 0.010659529001713963.  ETA 1.5012880646013946.\r",
      "Processed 1000/127656 in 0.012011687002086546.  ETA 1.5213522289362735.\r",
      "Processed 1100/127656 in 0.013341041001694975.  ETA 1.5348988954640994.\r",
      "Processed 1200/127656 in 0.014620019002904883.  ETA 1.5406576025261165.\r",
      "Processed 1300/127656 in 0.015623823001078563.  ETA 1.5185875224032945.\r",
      "Processed 1400/127656 in 0.016696377002517693.  ETA 1.5057269820213384.\r",
      "Processed 1500/127656 in 0.017785239000659203.  ETA 1.4958097409114417.\r",
      "Processed 1600/127656 in 0.01886883699989994.  ETA 1.4865813230371168.\r",
      "Processed 1700/127656 in 0.020055402001162292.  ETA 1.4859401261519987.\r",
      "Processed 1800/127656 in 0.021434910002426477.  ETA 1.4987289073696592.\r",
      "Processed 1900/127656 in 0.022688753000693396.  ETA 1.5017088538711572.\r",
      "Processed 2000/127656 in 0.023912337001092965.  ETA 1.5023643091046688.\r",
      "Processed 2100/127656 in 0.025036623002961278.  ETA 1.496903922742765.\r",
      "Processed 2200/127656 in 0.02639071700104978.  ETA 1.5049426327653186.\r",
      "Processed 2300/127656 in 0.027300363002723316.  ETA 1.4879410019866888.\r",
      "Processed 2400/127656 in 0.028832735002652043.  ETA 1.5047804397884101.\r",
      "Processed 2500/127656 in 0.03000830900055007.  ETA 1.502287968509138.\r",
      "Processed 2600/127656 in 0.03136485800132505.  ETA 1.5086014162360404.\r",
      "Processed 2700/127656 in 0.032485082003404386.  ETA 1.503409595117555.\r",
      "Processed 2800/127656 in 0.03363172200261033.  ETA 1.4996865294135413.\r",
      "Processed 2900/127656 in 0.03482707000148366.  ETA 1.4982365327948606.\r",
      "Processed 3000/127656 in 0.0361421750021691.  ETA 1.5017796556901304.\r",
      "Processed 3100/127656 in 0.03732467900044867.  ETA 1.4996815217999626.\r",
      "Processed 3200/127656 in 0.038376114000129746.  ETA 1.4925430137500462.\r",
      "Processed 3300/127656 in 0.03955020000285003.  ETA 1.4903953550164906.\r",
      "Processed 3400/127656 in 0.040615626003273064.  ETA 1.4843338896066758.\r",
      "Processed 3500/127656 in 0.04183970500162104.  ETA 1.4841858326232178.\r",
      "Processed 3600/127656 in 0.04287770000155433.  ETA 1.4775655420535623.\r",
      "Processed 3700/127656 in 0.043941523999819765.  ETA 1.4721123105193672.\r",
      "Processed 3800/127656 in 0.045450036002876004.  ETA 1.4813841208347922.\r",
      "Processed 3900/127656 in 0.04666187000111677.  ETA 1.4806888163738992.\r",
      "Processed 4000/127656 in 0.04779990600218298.  ETA 1.4776862941514846.\r",
      "Processed 4100/127656 in 0.0492221040003642.  ETA 1.4833381175290241.\r",
      "Processed 4200/127656 in 0.05031635800332879.  ETA 1.479013403252133.\r",
      "Processed 4300/127656 in 0.05163727800027118.  ETA 1.4813414104654539.\r",
      "Processed 4400/127656 in 0.052801009001996135.  ETA 1.4791002648977354.\r",
      "Processed 4500/127656 in 0.05372513600013917.  ETA 1.4703495220518088.\r",
      "Processed 4600/127656 in 0.05483796800035634.  ETA 1.4669871717938805.\r",
      "Processed 4700/127656 in 0.05601278000176535.  ETA 1.4653419952972468.\r",
      "Processed 4800/127656 in 0.057123626000247896.  ETA 1.462079207476345.\r",
      "Processed 4900/127656 in 0.05843085400192649.  ETA 1.4638240640531608.\r",
      "Processed 5000/127656 in 0.05944085100054508.  ETA 1.4581554040645714.\r",
      "Processed 5100/127656 in 0.06061579300148878.  ETA 1.4566331621745998.\r",
      "Processed 5200/127656 in 0.061910280001029605.  ETA 1.4579394707319386.\r",
      "Processed 5300/127656 in 0.06299375800153939.  ETA 1.4542762743464819.\r",
      "Processed 5400/127656 in 0.06413029200120945.  ETA 1.451909810907382.\r",
      "Processed 5500/127656 in 0.06523078200189047.  ETA 1.4487875284041696.\r",
      "Processed 5600/127656 in 0.06633476800197968.  ETA 1.4458136505802914.\r",
      "Processed 5700/127656 in 0.06762567400073749.  ETA 1.446904683935779.\r",
      "Processed 5800/127656 in 0.06901950600149576.  ETA 1.45007602126177.\r",
      "Processed 5900/127656 in 0.07019395800307393.  ETA 1.4485653475630966.\r",
      "Processed 6000/127656 in 0.07127698200201849.  ETA 1.4452120870729268.\r",
      "Processed 6100/127656 in 0.07238266500280588.  ETA 1.4423847913247658.\r",
      "Processed 6200/127656 in 0.07339618400146719.  ETA 1.4378075684003546.\r",
      "Processed 6300/127656 in 0.07443810100085102.  ETA 1.4338905055649644.\r",
      "Processed 6400/127656 in 0.07585428300080821.  ETA 1.4371542093040626.\r",
      "Processed 6500/127656 in 0.07695389900254668.  ETA 1.43437332116193.\r",
      "Processed 6600/127656 in 0.07819038900197484.  ETA 1.4341538986398585.\r",
      "Processed 6700/127656 in 0.0793272410010104.  ETA 1.4321053376892858.\r",
      "Processed 6800/127656 in 0.0805684500010102.  ETA 1.431938322547366.\r",
      "Processed 6900/127656 in 0.08170967900150572.  ETA 1.429990434421134.\r",
      "Processed 7000/127656 in 0.08278486200288171.  ETA 1.4269271871170994.\r",
      "Processed 7100/127656 in 0.08415428000080283.  ETA 1.4289159689826458.\r",
      "Processed 7200/127656 in 0.08535986200149637.  ETA 1.4280704912850342.\r",
      "Processed 7300/127656 in 0.08650452200163272.  ETA 1.4262107191819873.\r",
      "Processed 7400/127656 in 0.08795968900085427.  ETA 1.4294162649306392.\r",
      "Processed 7500/127656 in 0.08926917200005846.  ETA 1.4301635507785366.\r",
      "Processed 7600/127656 in 0.09049718200185453.  ETA 1.4295696950545589.\r",
      "Processed 7700/127656 in 0.09149322800294613.  ETA 1.4253456699118707.\r",
      "Processed 7800/127656 in 0.09277210300206207.  ETA 1.4255504073609169.\r",
      "Processed 7900/127656 in 0.09384954600318451.  ETA 1.4226640798933372.\r",
      "Processed 8000/127656 in 0.09493422800005646.  ETA 1.4199312481968445.\r",
      "Processed 8100/127656 in 0.09604498100088676.  ETA 1.4176239195730886.\r",
      "Processed 8200/127656 in 0.09737679899990326.  ETA 1.4185662074795662.\r",
      "Processed 8300/127656 in 0.09902983900246909.  ETA 1.4240729474673133.\r",
      "Processed 8400/127656 in 0.10035373800201342.  ETA 1.4247363546628704.\r",
      "Processed 8500/127656 in 0.1015433730026416.  ETA 1.4234708415885604.\r",
      "Processed 8600/127656 in 0.10279072400226141.  ETA 1.4230060973038645.\r",
      "Processed 8700/127656 in 0.10405523800000083.  ETA 1.422758033508977.\r",
      "Processed 8800/127656 in 0.10535325000091689.  ETA 1.422939304785111.\r",
      "Processed 8900/127656 in 0.10656814200046938.  ETA 1.4219782327424428.\r",
      "Processed 9000/127656 in 0.10767855599988252.  ETA 1.4196340823024511.\r",
      "Processed 9100/127656 in 0.109025282003131.  ETA 1.4203957508970548.\r",
      "Processed 9200/127656 in 0.11060921399985091.  ETA 1.4241657666919934.\r",
      "Processed 9300/127656 in 0.1116107390007528.  ETA 1.4204086693734514.\r",
      "Processed 9400/127656 in 0.11276976200315403.  ETA 1.418691593132445.\r",
      "Processed 9500/127656 in 0.11407326700282283.  ETA 1.41878325641953.\r",
      "Processed 9600/127656 in 0.11527346000002581.  ETA 1.4175753743503174.\r",
      "Processed 9700/127656 in 0.11634293300085119.  ETA 1.4147780417575673.\r",
      "Processed 9800/127656 in 0.11780175600142684.  ETA 1.4166983423779758.\r",
      "Processed 9900/127656 in 0.11929975200109766.  ETA 1.4190163228930561.\r",
      "Processed 10000/127656 in 0.1204996980013675.  ETA 1.4177512468048896.\r",
      "Processed 10100/127656 in 0.12176666200321051.  ETA 1.4172674968761798.\r",
      "Processed 10200/127656 in 0.12281978700048057.  ETA 1.4143059707772987.\r",
      "Processed 10300/127656 in 0.12400870700002997.  ETA 1.4129287202617007.\r",
      "Processed 10400/127656 in 0.1251924770003825.  ETA 1.4114970272266203.\r",
      "Processed 10500/127656 in 0.1263912300019001.  ETA 1.410237232581201.\r",
      "Processed 10600/127656 in 0.1276505920031923.  ETA 1.4096478959929883.\r",
      "Processed 10700/127656 in 0.12882495600206312.  ETA 1.4081169676801208.\r",
      "Processed 10800/127656 in 0.1299862870000652.  ETA 1.4064516253407056.\r",
      "Processed 10900/127656 in 0.1314542620020802.  ETA 1.4080801664509062.\r",
      "Processed 11000/127656 in 0.13270883900258923.  ETA 1.407389302062368.\r",
      "Processed 11100/127656 in 0.1338170800008811.  ETA 1.4051516735660088.\r",
      "Processed 11200/127656 in 0.13487586500195903.  ETA 1.4024199763096554.\r",
      "Processed 11300/127656 in 0.13598086800266174.  ETA 1.4001937944528946.\r",
      "Processed 11400/127656 in 0.13727498600201216.  ETA 1.3999158572499935.\r",
      "Processed 11500/127656 in 0.13854946500214282.  ETA 1.399421883199035.\r",
      "Processed 11600/127656 in 0.13980003700271482.  ETA 1.3986752667575062.\r",
      "Processed 11700/127656 in 0.1408922460032045.  ETA 1.3963505365425282.\r",
      "Processed 11800/127656 in 0.14201205900099012.  ETA 1.3943177209846365.\r",
      "Processed 11900/127656 in 0.1431629819999216.  ETA 1.392602869275876.\r",
      "Processed 12000/127656 in 0.14438567500110366.  ETA 1.3915891356606371.\r",
      "Processed 12100/127656 in 0.14547332100119093.  ETA 1.389282238149886.\r",
      "Processed 12200/127656 in 0.14658315000269795.  ETA 1.3872052595665159.\r",
      "Processed 12300/127656 in 0.14767225900141057.  ETA 1.384949683688351.\r",
      "Processed 12400/127656 in 0.14911193200168782.  ETA 1.385971357644075.\r",
      "Processed 12500/127656 in 0.1504148140011239.  ETA 1.3856934656890738.\r",
      "Processed 12600/127656 in 0.15151013500144472.  ETA 1.3835039756131924.\r",
      "Processed 12700/127656 in 0.15251923200048623.  ETA 1.3805512467596768.\r",
      "Processed 12800/127656 in 0.15382720000343397.  ETA 1.3803106940308134.\r",
      "Processed 12900/127656 in 0.15493641600187402.  ETA 1.37828553137295.\r",
      "Processed 13000/127656 in 0.15617177300009644.  ETA 1.3773869850076197.\r",
      "Processed 13100/127656 in 0.15735893700184533.  ETA 1.376061861617053.\r",
      "Processed 13200/127656 in 0.15864483100085636.  ETA 1.3755949073510618.\r",
      "Processed 13300/127656 in 0.15984902100171894.  ETA 1.3744131312535768.\r",
      "Processed 13400/127656 in 0.16111881200049538.  ETA 1.3737903719349702.\r",
      "Processed 13500/127656 in 0.16218007700081216.  ETA 1.3713947311188677.\r",
      "Processed 13600/127656 in 0.16326305700204102.  ETA 1.3692008256929993.\r",
      "Processed 13700/127656 in 0.16433641200273996.  ETA 1.3669430778236669.\r",
      "Processed 13800/127656 in 0.165532887000154.  ETA 1.3657182885717054.\r",
      "Processed 13900/127656 in 0.166716207000718.  ETA 1.3643862477391133.\r",
      "Processed 14000/127656 in 0.16795040700162644.  ETA 1.3634693898697754.\r",
      "Processed 14100/127656 in 0.1690805360012746.  ETA 1.3617098827064353.\r",
      "Processed 14200/127656 in 0.17006722400037688.  ETA 1.3588131666328704.\r",
      "Processed 14300/127656 in 0.17124682000212488.  ETA 1.3574723446266341.\r",
      "Processed 14400/127656 in 0.17247779100216576.  ETA 1.3565378262320338.\r",
      "Processed 14500/127656 in 0.17354007800167892.  ETA 1.3542828321626192.\r",
      "Processed 14600/127656 in 0.17479417100184946.  ETA 1.3535294381359653.\r",
      "Processed 14700/127656 in 0.17583936800292577.  ETA 1.3511640579686042.\r",
      "Processed 14800/127656 in 0.17720166400249582.  ETA 1.351234526531464.\r",
      "Processed 14900/127656 in 0.1783565980003914.  ETA 1.3497165479283308.\r",
      "Processed 15000/127656 in 0.17968354700133204.  ETA 1.3494953113988042.\r",
      "Processed 15100/127656 in 0.18096318900279584.  ETA 1.3489068014171317.\r",
      "Processed 15200/127656 in 0.18227563200343866.  ETA 1.348551873195967.\r",
      "Processed 15300/127656 in 0.183369340000354.  ETA 1.3465781415084819.\r",
      "Processed 15400/127656 in 0.18456344200239982.  ETA 1.345347645806584.\r",
      "Processed 15500/127656 in 0.18582539800263476.  ETA 1.344608602476355.\r",
      "Processed 15600/127656 in 0.18711411399999633.  ETA 1.3440550742553583.\r",
      "Processed 15700/127656 in 0.18847713000286603.  ETA 1.3440220106115204.\r",
      "Processed 15800/127656 in 0.18984203100262675.  ETA 1.3439854569512544.\r",
      "Processed 15900/127656 in 0.19101196700285072.  ETA 1.3425618480736217.\r",
      "Processed 16000/127656 in 0.19211165300293942.  ETA 1.3406511704810127.\r",
      "Processed 16100/127656 in 0.19332467900312622.  ETA 1.339535893843028.\r",
      "Processed 16200/127656 in 0.19460091300061322.  ETA 1.338854281444219.\r",
      "Processed 16300/127656 in 0.19583927700296044.  ETA 1.3379066582786296.\r",
      "Processed 16400/127656 in 0.19699737400151207.  ETA 1.3364109659702577.\r",
      "Processed 16500/127656 in 0.1980931750003947.  ETA 1.3344996945662952.\r",
      "Processed 16600/127656 in 0.19935101700320956.  ETA 1.3336823219462917.\r",
      "Processed 16700/127656 in 0.20058652400257415.  ETA 1.332711278876025.\r",
      "Processed 16800/127656 in 0.20157707600083086.  ETA 1.330120734354054.\r",
      "Processed 16900/127656 in 0.20290694700088352.  ETA 1.3297728888775062.\r",
      "Processed 17000/127656 in 0.20448991200100863.  ETA 1.3310609236696243.\r",
      "Processed 17100/127656 in 0.2056487850022677.  ETA 1.329573513140977.\r",
      "Processed 17200/127656 in 0.2067568160018709.  ETA 1.3277634225757355.\r",
      "Processed 17300/127656 in 0.20789535200310638.  ETA 1.3261560384771565.\r",
      "Processed 17400/127656 in 0.20915372600211413.  ETA 1.3253134031085687.\r",
      "Processed 17500/127656 in 0.21016995300306007.  ETA 1.3229417910288621.\r",
      "Processed 17600/127656 in 0.2113561540027149.  ETA 1.321648459370613.\r",
      "Processed 17700/127656 in 0.2125213690014789.  ETA 1.3202259689224074.\r",
      "Processed 17800/127656 in 0.21361872700072126.  ETA 1.318387577156811.\r",
      "Processed 17900/127656 in 0.214683756003069.  ETA 1.3163592359705498.\r",
      "Processed 18000/127656 in 0.2158218910008145.  ETA 1.314786959976962.\r",
      "Processed 18100/127656 in 0.2171012740000151.  ETA 1.3140744295218594.\r",
      "Processed 18200/127656 in 0.21811390700167976.  ETA 1.3117514178448275.\r",
      "Processed 18300/127656 in 0.2193148550031765.  ETA 1.310568048291113.\r",
      "Processed 18400/127656 in 0.22042565800074954.  ETA 1.3088492223114072.\r",
      "Processed 18500/127656 in 0.2214932700007921.  ETA 1.306882128659809.\r",
      "Processed 18600/127656 in 0.22307292000186862.  ETA 1.3079269012754724.\r",
      "Processed 18700/127656 in 0.22429504500178155.  ETA 1.3068604771772252.\r",
      "Processed 18800/127656 in 0.22560270900066826.  ETA 1.3062876856902523.\r",
      "Processed 18900/127656 in 0.22675926600277307.  ETA 1.3048376049416714.\r",
      "Processed 19000/127656 in 0.22775044100126252.  ETA 1.3024448377596411.\r",
      "Processed 19100/127656 in 0.22913321400119457.  ETA 1.3022924177546429.\r",
      "Processed 19200/127656 in 0.23023828100122046.  ETA 1.3005584898056441.\r",
      "Processed 19300/127656 in 0.23135316100160708.  ETA 1.2988861716834268.\r",
      "Processed 19400/127656 in 0.23254538000037428.  ETA 1.2976511679031195.\r",
      "Processed 19500/127656 in 0.23375992799992673.  ETA 1.296540449885132.\r",
      "Processed 19600/127656 in 0.23487036900041858.  ETA 1.2948547241178179.\r",
      "Processed 19700/127656 in 0.23590880400297465.  ETA 1.2927802459363011.\r",
      "Processed 19800/127656 in 0.2370790519998991.  ETA 1.291434254166723.\r",
      "Processed 19900/127656 in 0.23842448700088426.  ETA 1.291038644284788.\r",
      "Processed 20000/127656 in 0.23958684200260905.  ETA 1.2896480531316439.\r",
      "Processed 20100/127656 in 0.24072117800096748.  ETA 1.288109802043386.\r",
      "Processed 20200/127656 in 0.24192912299986347.  ETA 1.2869671208452143.\r",
      "Processed 20300/127656 in 0.24298270600047545.  ETA 1.2850074574082286.\r",
      "Processed 20400/127656 in 0.24445734100299887.  ETA 1.2852704199322376.\r",
      "Processed 20500/127656 in 0.24558101700313273.  ETA 1.2836819247798874.\r",
      "Processed 20600/127656 in 0.24710504000177025.  ETA 1.284178503030559.\r",
      "Processed 20700/127656 in 0.24826071900315583.  ETA 1.2827523411450017.\r",
      "Processed 20800/127656 in 0.24938427800225327.  ETA 1.2811637697215756.\r",
      "Processed 20900/127656 in 0.25074672600021586.  ETA 1.2807998794678968.\r",
      "Processed 21000/127656 in 0.25196711200260324.  ETA 1.2797049665595073.\r",
      "Processed 21100/127656 in 0.25312465200113365.  ETA 1.2782914890347297.\r",
      "Processed 21200/127656 in 0.2542589630029397.  ETA 1.276763781388724.\r",
      "Processed 21300/127656 in 0.25568816600207356.  ETA 1.2767122339585228.\r",
      "Processed 21400/127656 in 0.25692027600234724.  ETA 1.2756691984535238.\r",
      "Processed 21500/127656 in 0.2580996510005207.  ETA 1.2743640256563382.\r",
      "Processed 21600/127656 in 0.2593162500015751.  ETA 1.2732427875077337.\r",
      "Processed 21700/127656 in 0.2605747289999272.  ETA 1.2723251606413033.\r",
      "Processed 21800/127656 in 0.2617423920019064.  ETA 1.27096342420889.\r",
      "Processed 21900/127656 in 0.26300091600205633.  ETA 1.270042231630752.\r",
      "Processed 22000/127656 in 0.26418617900344543.  ETA 1.2687661331267286.\r",
      "Processed 22100/127656 in 0.26530341600300744.  ETA 1.2671659447788892.\r",
      "Processed 22200/127656 in 0.26660247200197773.  ETA 1.2664337967315569.\r",
      "Processed 22300/127656 in 0.26769972300098743.  ETA 1.264743139753006.\r",
      "Processed 22400/127656 in 0.2691872030009108.  ETA 1.2648914392439228.\r",
      "Processed 22500/127656 in 0.27023248100158526.  ETA 1.2629585232090088.\r",
      "Processed 22600/127656 in 0.2716481349998503.  ETA 1.2627551535639059.\r",
      "Processed 22700/127656 in 0.2727910810026515.  ETA 1.261280206947766.\r",
      "Processed 22800/127656 in 0.27419058500163374.  ETA 1.2609880693390925.\r",
      "Processed 22900/127656 in 0.27562316600233316.  ETA 1.2608375710803674.\r",
      "Processed 23000/127656 in 0.27670709500307566.  ETA 1.2590894667235604.\r",
      "Processed 23100/127656 in 0.27788133200010634.  ETA 1.2577558679048968.\r",
      "Processed 23200/127656 in 0.27921405900269747.  ETA 1.257137230482145.\r",
      "Processed 23300/127656 in 0.28041002100144397.  ETA 1.2558999206706731.\r",
      "Processed 23400/127656 in 0.281518011001026.  ETA 1.2542710151676482.\r",
      "Processed 23500/127656 in 0.28257515800214605.  ETA 1.2524211981647457.\r",
      "Processed 23600/127656 in 0.2835517340026854.  ETA 1.2502228488721794.\r",
      "Processed 23700/127656 in 0.2846597790012311.  ETA 1.2486114761962859.\r",
      "Processed 23800/127656 in 0.2855752250034129.  ETA 1.246163889409851.\r",
      "Processed 23900/127656 in 0.286814138002228.  ETA 1.245133376676116.\r",
      "Processed 24000/127656 in 0.28814299500299967.  ETA 1.2444895954179556.\r",
      "Processed 24100/127656 in 0.2894938390018069.  ETA 1.2439346054635319.\r",
      "Processed 24200/127656 in 0.29051279300256283.  ETA 1.241954194746824.\r",
      "Processed 24300/127656 in 0.2917561050016957.  ETA 1.2409359666072124.\r",
      "Processed 24400/127656 in 0.2930586630027392.  ETA 1.2401666109430671.\r",
      "Processed 24500/127656 in 0.294196708000527.  ETA 1.2387002290000964.\r",
      "Processed 24600/127656 in 0.2953003450020333.  ETA 1.2370923721353473.\r",
      "Processed 24700/127656 in 0.29660420500295004.  ETA 1.2363231793637135.\r",
      "Processed 24800/127656 in 0.2978913270017074.  ETA 1.2354802552454685."
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "Processed 24900/127656 in 0.29952295500334003.  ETA 1.236055452382458.\r",
      "Processed 25000/127656 in 0.3006840660018497.  ETA 1.2346809391794353.\r",
      "Processed 25100/127656 in 0.30191694400127744.  ETA 1.233601358924104.\r",
      "Processed 25200/127656 in 0.3030818020015431.  ETA 1.2322440121377025.\r",
      "Processed 25300/127656 in 0.3043353430002753.  ETA 1.2312469710725762.\r",
      "Processed 25400/127656 in 0.3056896420021076.  ETA 1.2306535445892721.\r",
      "Processed 25500/127656 in 0.30693460200200207.  ETA 1.229616125573197.\r",
      "Processed 25600/127656 in 0.3081403540018073.  ETA 1.22842078000033.\r",
      "Processed 25700/127656 in 0.30951806099983514.  ETA 1.2279075263540542.\r",
      "Processed 25800/127656 in 0.31066342200210784.  ETA 1.2264702911413448.\r",
      "Processed 25900/127656 in 0.3118511190004938.  ETA 1.2252016395758396.\r",
      "Processed 26000/127656 in 0.3130897300034121.  ETA 1.2241326766625715.\r",
      "Processed 26100/127656 in 0.3142445140001655.  ETA 1.2227362399923682.\r",
      "Processed 26200/127656 in 0.3154422389998217.  ETA 1.2215079312964088.\r",
      "Processed 26300/127656 in 0.3166997160005849.  ETA 1.2205101298462084.\r",
      "Processed 26400/127656 in 0.3178113210014999.  ETA 1.2189508757321164.\r",
      "Processed 26500/127656 in 0.3190127650013892.  ETA 1.2177379342068122.\r",
      "Processed 26600/127656 in 0.32020883000222966.  ETA 1.2165046437859144.\r",
      "Processed 26700/127656 in 0.32140614300078596.  ETA 1.2152763510407245.\r",
      "Processed 26800/127656 in 0.32250297800055705.  ETA 1.2136701622844843.\r",
      "Processed 26900/127656 in 0.3236843780032359.  ETA 1.2123845052079567.\r",
      "Processed 27000/127656 in 0.324898328002746.  ETA 1.211220966794237.\r",
      "Processed 27100/127656 in 0.3260691380019125.  ETA 1.20989698305979.\r",
      "Processed 27200/127656 in 0.3275068380025914.  ETA 1.2095598131760412.\r",
      "Processed 27300/127656 in 0.3285661620029714.  ETA 1.2078236539915823.\r",
      "Processed 27400/127656 in 0.32975939600146376.  ETA 1.2065824089606842.\r",
      "Processed 27500/127656 in 0.33076468400031445.  ETA 1.2046570069358362.\r",
      "Processed 27600/127656 in 0.3319149960007053.  ETA 1.2032640159364698.\r",
      "Processed 27700/127656 in 0.3329795429999649.  ETA 1.2015632924225448.\r",
      "Processed 27800/127656 in 0.3342522840030142.  ETA 1.2006149665973016.\r",
      "Processed 27900/127656 in 0.33554691100289347.  ETA 1.199742568243894.\r",
      "Processed 28000/127656 in 0.33677960200293455.  ETA 1.1986467149001587.\r",
      "Processed 28100/127656 in 0.3379967310029315.  ETA 1.1974947527305284.\r",
      "Processed 28200/127656 in 0.3391416570011643.  ETA 1.1960876822236806.\r",
      "Processed 28300/127656 in 0.34028281600330956.  ETA 1.194669239110418.\r",
      "Processed 28400/127656 in 0.34178718000111985.  ETA 1.1945221245841955.\r",
      "Processed 28500/127656 in 0.34297853500174824.  ETA 1.1932764777766087.\r",
      "Processed 28600/127656 in 0.34432634100085124.  ETA 1.1925730781181931.\r",
      "Processed 28700/127656 in 0.34542103100102395.  ETA 1.1909924579699416.\r",
      "Processed 28800/127656 in 0.3465834590024315.  ETA 1.189647723025846.\r",
      "Processed 28900/127656 in 0.34778132600331446.  ETA 1.1884253505461357.\r",
      "Processed 29000/127656 in 0.3491237590023957.  ETA 1.1876949506255292.\r",
      "Processed 29100/127656 in 0.35041479900246486.  ETA 1.1867862862710283.\r",
      "Processed 29200/127656 in 0.3516970529999526.  ETA 1.185845378430251.\r",
      "Processed 29300/127656 in 0.3528009170004225.  ETA 1.1843033103240121.\r",
      "Processed 29400/127656 in 0.3541492040021694.  ETA 1.1835810948448013.\r",
      "Processed 29500/127656 in 0.35514328900171677.  ETA 1.1816760906865258.\r",
      "Processed 29600/127656 in 0.35647354400134645.  ETA 1.1808908726552712.\r",
      "Processed 29700/127656 in 0.35760517900052946.  ETA 1.1794468994672007.\r",
      "Processed 29800/127656 in 0.3585208130025421.  ETA 1.177295727422039.\r",
      "Processed 29900/127656 in 0.35974824700315366.  ETA 1.1761722285632203.\r",
      "Processed 30000/127656 in 0.36090443700231845.  ETA 1.174816123329947.\r",
      "Processed 30100/127656 in 0.3620807170009357.  ETA 1.1735264593934644.\r",
      "Processed 30200/127656 in 0.36344303700025193.  ETA 1.1728379011224024.\r",
      "Processed 30300/127656 in 0.36476494400267256.  ETA 1.1720150458192802.\r",
      "Processed 30400/127656 in 0.3660286590020405.  ETA 1.1710027388125808.\r",
      "Processed 30500/127656 in 0.3671522040021955.  ETA 1.169542279738928.\r",
      "Processed 30600/127656 in 0.36829139400288113.  ETA 1.16813364497855.\r",
      "Processed 30700/127656 in 0.36943299999984447.  ETA 1.1667343956998346.\r",
      "Processed 30800/127656 in 0.3705541720009933.  ETA 1.1652725611470196.\r",
      "Processed 30900/127656 in 0.37165814300169586.  ETA 1.1637590706884169.\r",
      "Processed 31000/127656 in 0.3728706300025806.  ETA 1.1625865681783687.\r",
      "Processed 31100/127656 in 0.37412903900258243.  ETA 1.1615563823129695.\r",
      "Processed 31200/127656 in 0.3753788040012296.  ETA 1.160498010216109.\r",
      "Processed 31300/127656 in 0.37636438500339864.  ETA 1.1586251335906543.\r",
      "Processed 31400/127656 in 0.37764901800255757.  ETA 1.1576746457596874.\r",
      "Processed 31500/127656 in 0.37892603799991775.  ETA 1.1566987971403204.\r",
      "Processed 31600/127656 in 0.3802863190030621.  ETA 1.1559741347518395.\r",
      "Processed 31700/127656 in 0.38141859600000316.  ETA 1.154555293305246.\r",
      "Processed 31800/127656 in 0.3827374080028676.  ETA 1.1537005340101534.\r",
      "Processed 31900/127656 in 0.3840064000032726.  ETA 1.1526933178280052."
     ]
    },
    {
     "data": {
      "text/plain": [
       "(127656, 200)"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import time\n",
    "\n",
    "start = time.perf_counter()\n",
    "#Pre-build integer arrays\n",
    "print(\"Training comments:\")\n",
    "comment_ints =[]\n",
    "for i in range(0,len(comment_words)):\n",
    "    comment_ints.append(process_comment(comment_words[i]))\n",
    "    if (i%100==0 and i >0):\n",
    "        elapsed = time.perf_counter() - start\n",
    "        print(\"\\rProcessed {}/{} in {}.  ETA {}.\".format(i,len(comment_words),elapsed,(len(comment_words)-i)*elapsed/i),end='')\n",
    "\n",
    "start = time.perf_counter()\n",
    "print(\"\\nTest comments:\")\n",
    "test_comment_ints =[]\n",
    "for i in range(0,len(test_comment_words)):\n",
    "    test_comment_ints.append(process_comment(test_comment_words[i]))\n",
    "    if (i%100==0 and i >0):\n",
    "        elapsed = time.perf_counter() - start\n",
    "        print(\"\\rProcessed {}/{} in {}.  ETA {}.\".format(i,len(comment_words),elapsed,(len(comment_words)-i)*elapsed/i),end='')\n",
    "\n",
    "np.array(comment_ints).shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## That took too long - better save the results...\n",
    "And provide for reloading them"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "np.savez_compressed('train_features',features=comment_ints,labels=labels_train,test_features=test_comment_ints,test_labels=labels_test,embed=embeddings,int_mappings=int_to_word)\n"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "reloaded = np.load('train_features')\n",
    "comment_ints=reloaded['features']\n",
    "labels_train=reloaded['labels']\n",
    "test_comment_ints=reloaded['test_features']\n",
    "labels_test=reloaded['test_labels']\n",
    "embeddings=reloaded['embed']\n",
    "int_to_word=reloaded['int_mappings']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hyper-paramters\n",
    "layer_size = 1024\n",
    "layer_count = 3\n",
    "hidden_fc_layers = [100]\n",
    "keep_prob_training = 0.5\n",
    "learning_rate = 0.00001\n",
    "epochs = 100\n",
    "batch_size=64\n",
    "\n",
    "checkpoint_path = 'a5cp1'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "# Approach using improved embeddings"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [],
   "source": [
    "from random import shuffle\n",
    "\n",
    "# A function to get the lists of inputs with each label\n",
    "def get_label_lists(labels):\n",
    "    labels_true = []\n",
    "    offset = []\n",
    "    for i in range(0,n_labels):\n",
    "        labels_true.append([])\n",
    "        offset.append(0)\n",
    "\n",
    "    for i,label in enumerate(labels):\n",
    "        for ii in range(0,n_labels):\n",
    "            if label[ii] == 1:\n",
    "                labels_true[ii].append(i)\n",
    "    \n",
    "    labels_true.append([i for i,label in enumerate(labels) if sum(label)==0])\n",
    "    offset.append(0)\n",
    "    \n",
    "    for i in range(0,n_labels+1):\n",
    "        shuffle(labels_true[i])\n",
    "    \n",
    "    return labels_true,offset\n",
    "    \n",
    "def get_batches(input_ints,labels,batch_size):\n",
    "    \n",
    "    num_inputs = len(input_ints)\n",
    "    num_batches = num_inputs//batch_size\n",
    "    \n",
    "    labels_true,offset = get_label_lists(labels)\n",
    "    group_size = batch_size // 20\n",
    "    list_length = [len(labels_list) for labels_list in labels_true]\n",
    "    \n",
    "    for ii in range(0,num_batches):\n",
    "        indicies = set()\n",
    "        for i in range(0,n_labels+1):\n",
    "            indicies.update([labels_true[i][ii % list_length[i]] for ii in range(offset[i],offset[i]+group_size) ])\n",
    "            offset[i]+=group_size\n",
    "            if offset[i]>=list_length[i]:\n",
    "                offset[i]=0\n",
    "                shuffle(labels_true[i])\n",
    "             \n",
    "        while len(indicies) < batch_size:\n",
    "            indicies.add(labels_true[n_labels][offset[n_labels] % list_length[n_labels]])\n",
    "            offset[n_labels]+=1\n",
    "            if offset[n_labels] == list_length[n_labels]:\n",
    "                offset[n_labels]=0\n",
    "                shuffle(labels_true[n_labels])\n",
    "            \n",
    "        features = np.array([input_ints[i] for i in indicies])\n",
    "        return_labels = np.array([labels[i] for i in indicies])\n",
    "        yield features, return_labels\n",
    "\n",
    "def get_test_batches(input_ints,labels,batch_size):\n",
    "    num_inputs = len(input_ints)\n",
    "    num_batches = num_inputs//batch_size\n",
    "    if (num_inputs > num_batches * batch_size):\n",
    "        num_batches += 1\n",
    "        \n",
    "    for ii in range(0,num_batches):\n",
    "        end = ii * batch_size + batch_size if ii * batch_size + batch_size <= num_inputs else num_inputs - 1\n",
    "        indicies = [0] * batch_size\n",
    "        indicies[:end-ii*batch_size] = range(ii * batch_size,end)\n",
    "        \n",
    "        features = np.array([input_ints[i] for i in indicies])\n",
    "        return_labels = np.array([labels[i] for i in indicies])\n",
    "        yield features, return_labels\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Alright - enough with the pre-processing, let's build a network\n",
    "Firstly, define placeholders and the embedding (only variable that is being explicitly defined).\n",
    "\n",
    "Embedding is initialised by copying it from the list built earlier - only way I can find to do partial transfer learning and partial random."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Building a graph and placeholders\n",
    "graph = tf.Graph()\n",
    "\n",
    "with graph.as_default():\n",
    "    inputs_ = tf.placeholder(tf.int32,[None,comment_length],name='inputs')\n",
    "    labels_ = tf.placeholder(tf.float32,[None,None],name='outputs')\n",
    "    keep_prob_ = tf.placeholder(tf.float32,name='keep_prob')\n",
    "    initial_embedding_ = tf.placeholder(tf.float32,[len_embedding,embed_size],name='embed')\n",
    "    embedding_var = tf.Variable(tf.constant(0.0, shape=[len_embedding,embed_size]),\n",
    "                trainable=True, name='embed_var')\n",
    "    \n",
    "    embedding_init = embedding_var.assign(initial_embedding_)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Build the LSTM network\n",
    "Just based on hyper-paratmeters defined earlier. Firstly define the LSTM network, then apply the embedding, finally get the categorical outputs."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Build the LSTM network\n",
    "with graph.as_default():\n",
    "    lstm_cell = tf.contrib.rnn.BasicLSTMCell(num_units=layer_size)\n",
    "    drop = tf.contrib.rnn.DropoutWrapper(cell=lstm_cell,input_keep_prob=keep_prob_)\n",
    "    network = drop\n",
    "    for _ in range(layer_count):\n",
    "        network = tf.contrib.rnn.MultiRNNCell([network])\n",
    "\n",
    "    initial_state = network.zero_state(batch_size,tf.float32)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Forward pass\n",
    "with graph.as_default():\n",
    "    embed = tf.nn.embedding_lookup(embedding_var, inputs_)\n",
    "    outputs, final_state = tf.nn.dynamic_rnn(network,embed,initial_state=initial_state)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Get outputs\n",
    "with graph.as_default():\n",
    "    predictions = tf.contrib.layers.flatten(outputs)\n",
    "    for size in hidden_fc_layers:\n",
    "        predictions = tf.contrib.layers.fully_connected(predictions, size, activation_fn=tf.tanh)\n",
    "        #predictions = tf.nn.leaky_relu(predictions,alpha=0.2)\n",
    "        predictions = tf.nn.dropout(predictions,keep_prob_)\n",
    "    predictions = tf.contrib.layers.fully_connected(predictions, n_labels, activation_fn=tf.sigmoid)\n",
    "    cost = tf.losses.sigmoid_cross_entropy(labels_, predictions)\n",
    "    \n",
    "    optimizer = tf.train.AdamOptimizer(learning_rate).minimize(cost)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Define TF functions to return accuracy stats on the test set - including a confusion matrix for each output"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Determine accuracy on test set\n",
    "with graph.as_default():\n",
    "    validation_metrics_var_scope = \"validation_metrics\"\n",
    "    binary_pred = tf.cast(tf.round(predictions), tf.bool)\n",
    "    binary_labels = tf.cast(labels_, tf.bool)\n",
    "    accuracy = tf.reduce_sum(tf.cast(tf.equal(binary_pred,binary_labels),tf.int32))\n",
    "    correct_pos = tf.reduce_sum(tf.cast(tf.logical_and(binary_pred,binary_labels),tf.int32),axis=0)\n",
    "    false_pos = tf.reduce_sum(tf.cast(tf.logical_and(binary_pred,tf.logical_not(binary_labels)),tf.int32),axis=0)\n",
    "    false_neg = tf.reduce_sum(tf.cast(tf.logical_and(tf.logical_not(binary_pred),binary_labels),tf.int32),axis=0)\n",
    "    correct_neg = tf.reduce_sum(tf.cast(tf.logical_and(tf.logical_not(binary_pred),tf.logical_not(binary_labels)),tf.int32),axis=0)\n",
    "    auc = tf.metrics.auc(labels=labels_,predictions=predictions,name=validation_metrics_var_scope)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Train the model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Starting...\n",
      "INFO:tensorflow:Restoring parameters from a5cp1/epoch36iter72000.ckpt\n",
      "Restored checkpoint from a5cp1/epoch36iter72000.ckpt.\n",
      "Epoch: 1/100 Iteration: 2000/199400 Train loss: 0.648During epoch 1\n",
      "  Val acc      : 0.011783491783818302\n",
      "  AuC          : 0.8670397400856018\n",
      "  Correct pos  :  1844     93   1238     21   1019     83\n",
      "  False neg    :  1193    218    431     71    563    222\n",
      "  Correct neg  : 28596  31526  29960  31808  29918  31553\n",
      "  False pos    :   303     99    307     36    436     78\n",
      "\n",
      "Epoch: 2/100 Iteration: 4000/199400 Train loss: 0.647During epoch 2\n",
      "  Val acc      : 0.01177972426130657\n",
      "  AuC          : 0.859678328037262\n",
      "  Correct pos  :  1735    125   1223     28   1008     94\n",
      "  False neg    :  1302    186    446     64    574    211\n",
      "  Correct neg  : 28672  31479  29977  31805  29920  31533\n",
      "  False pos    :   227    146    290     39    434     98\n",
      "\n",
      "Epoch: 2/100 Iteration: 4100/199400 Train loss: 0.651"
     ]
    }
   ],
   "source": [
    "#Training\n",
    "with graph.as_default():\n",
    "    saver = tf.train.Saver()\n",
    "    \n",
    "n_batches = len(comment_words)//batch_size\n",
    "\n",
    "val_acc = []\n",
    "false_pos_list = []\n",
    "\n",
    "# Find a checkpoint from previous training - if there is one\n",
    "last_checkpoint = tf.train.latest_checkpoint(checkpoint_path)\n",
    "\n",
    "print(\"Starting...\")\n",
    "\n",
    "iteration = 0\n",
    "with tf.Session(graph=graph) as sess:\n",
    "    # Initialise variables, load the embeddings, reset the validation metrics\n",
    "    sess.run(tf.global_variables_initializer())\n",
    "    sess.run(embedding_init,feed_dict={initial_embedding_:embeddings})\n",
    "    \n",
    "    validation_metrics_vars = tf.get_collection(tf.GraphKeys.LOCAL_VARIABLES, scope=validation_metrics_var_scope)\n",
    "    validation_metrics_init_op = tf.variables_initializer(var_list=validation_metrics_vars, name='validation_metrics_init')\n",
    "    sess.run(validation_metrics_init_op)\n",
    "    \n",
    "    # Load a checkpoint if we found one\n",
    "    if last_checkpoint != None:\n",
    "        saver.restore(sess,last_checkpoint)\n",
    "        print(\"Restored checkpoint from {}.\".format(last_checkpoint))    \n",
    "    \n",
    "    for e in range(epochs):\n",
    "        state = sess.run(initial_state)\n",
    "            \n",
    "        # Generate randomised, resampled batches\n",
    "        for ii,(x,y) in enumerate(get_batches(comment_ints,labels_train,batch_size),1):\n",
    "            feed = {inputs_:x,\n",
    "                    labels_:y,\n",
    "                    keep_prob_:keep_prob_training,\n",
    "                    initial_state:state}\n",
    "            \n",
    "            # Do the training\n",
    "            loss, state, _ = sess.run([cost,final_state,optimizer],feed_dict=feed)\n",
    "            iteration += 1\n",
    "            \n",
    "            # Regular updates on progress\n",
    "            if iteration%100==0:\n",
    "                print(\"\\rEpoch: {}/{}\".format(e, epochs),\n",
    "                      \"Iteration: {}/{}\".format(iteration, n_batches*epochs),\n",
    "                      \"Train loss: {:.3f}\".format(loss),end='')\n",
    "\n",
    "            # Run the test set - show confusion matricies (in columns)\n",
    "            if iteration%2000==0:\n",
    "                val_acc.clear()\n",
    "                false_pos_list.clear()\n",
    "                total_correct_pos = 0\n",
    "                total_false_pos = 0\n",
    "                total_correct_neg = 0\n",
    "                total_false_neg = 0\n",
    "                \n",
    "                val_state = sess.run(initial_state)\n",
    "                sess.run(validation_metrics_init_op)\n",
    "                if iteration%2000==0:\n",
    "                    test_subset_x,test_subset_y = test_comment_ints,labels_test\n",
    "                else:\n",
    "                    test_subset_x,test_subset_y = test_comment_ints[:4096],labels_test[:4096]\n",
    "                \n",
    "                for x, y in get_test_batches(test_subset_x, test_subset_y, batch_size):\n",
    "                    feed = {inputs_: x,\n",
    "                            labels_: y,\n",
    "                            keep_prob_: 1,\n",
    "                            initial_state: val_state}\n",
    "                    \n",
    "                    auc_val, n_correct_pos, n_correct_neg, n_false_pos, n_false_neg, val_state, batch_acc = sess.run([auc, correct_pos, correct_neg, false_pos, false_neg, final_state,accuracy], feed_dict=feed)\n",
    "                    #print(predictions)\n",
    "                    val_acc.append(batch_acc/len(test_subset_y))\n",
    "                    auc_value = auc_val[1]\n",
    "                    total_correct_pos += n_correct_pos\n",
    "                    total_false_pos += n_false_pos\n",
    "                    total_correct_neg += n_correct_neg\n",
    "                    total_false_neg += n_false_neg\n",
    "                print(\"During epoch {}\".format(e))\n",
    "                print(\"  Val acc      : {}\".format(np.mean(val_acc)))\n",
    "                print(\"  AuC          : {}\".format(auc_value))\n",
    "                print(\"  Correct pos  : {}\".format('  '.join(['{:5}'.format(x) for x in total_correct_pos])))\n",
    "                print(\"  False neg    : {}\".format('  '.join(['{:5}'.format(x) for x in total_false_neg])))\n",
    "                print(\"  Correct neg  : {}\".format('  '.join(['{:5}'.format(x) for x in total_correct_neg])))\n",
    "                print(\"  False pos    : {}\\n\".format('  '.join(['{:5}'.format(x) for x in total_false_pos])))\n",
    "                \n",
    "                # Save a checkpoint (indescrimnantly)\n",
    "                saver.save(sess, \"{}/epoch{}iter{}.ckpt\".format(checkpoint_path,e,iteration))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Produce CSV for Kaggle\n",
    "Finally, produce a CSV in the right format to upload to Kaggle."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "INFO:tensorflow:Restoring parameters from a5cp1/epoch36iter72000.ckpt\n",
      "Done: 153216/153164"
     ]
    }
   ],
   "source": [
    "submit_data = pd.read_csv('data/test.csv')\n",
    "\n",
    "submit_comments = [clean_punc(comment) for comment in submit_data.comment_text]\n",
    "submit_comment_ints = []\n",
    "#submit_comments = submit_comments[:204] #For testing on a subset\n",
    "for comment in submit_comments:\n",
    "    words = [word for word in comment.split()]\n",
    "    submit_comment_ints.append (process_comment(words))\n",
    "    \n",
    "label_placeholder = np.zeros([len(submit_comments),n_labels])\n",
    "results = []\n",
    "\n",
    "with tf.Session(graph=graph) as sess:\n",
    "    sess.run(tf.global_variables_initializer())\n",
    "    \n",
    "    last_checkpoint = tf.train.latest_checkpoint(checkpoint_path)\n",
    "    saver.restore(sess,last_checkpoint)\n",
    "\n",
    "    for x, y in get_test_batches(submit_comment_ints, label_placeholder, batch_size):\n",
    "        feed = {inputs_: x,\n",
    "            keep_prob_: 1,\n",
    "            initial_state: val_state}\n",
    "        #print (x)\n",
    "        pred, val_state = sess.run([predictions, final_state], feed_dict=feed)\n",
    "\n",
    "        for the_pred in pred:\n",
    "            results.append(the_pred)\n",
    "        \n",
    "        print(\"\\rDone: {}/{}\".format(len(results), len(label_placeholder)),end='')\n",
    "\n",
    "results = results[:len(submit_comment_ints)]\n",
    "\n",
    "submission = pd.concat([submit_data['id'],pd.DataFrame(results,columns=['toxic','severe_toxic','obscene','threat','insult','identity_hate'])],axis=1)\n",
    "\n",
    "submission.to_csv('submission.csv',index=False, float_format='%.4f')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# General test commands"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "sum(labels_test[:1024])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "word_counts['explanation']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "[ len([word for word in comment if word in filtered_words])/len(comment) for comment in comment_words[0:10]]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "'norman' in word_counts.keys()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}