mnist_interference_momentum_and_rms.txt

|-----------|--------|----------------|----------------|
| Optimizer | Gamma  |   Retention    |   Relearning   |
|-----------|--------|----------------|----------------|
|           | 0.81   | 0.0378+-0.0035 | 1.5635+-0.0577 |
|  Momentum | 0.9    | 0.0177+-0.0023 | 1.1817+-0.0749 |
|           | 0.99   | 0.0032+-0.0010 | 0.3553+-0.0115 |
|-----------|--------|----------------|----------------|
|           | 0.81   | 0.0336+-0.0034 | 1.5068+-0.0685 |
|   RMSProp | 0.9    | 0.0687+-0.0045 | 2.1629+-0.1016 |
|           | 0.99   | 0.2263+-0.0065 | 2.0151+-0.0911 |
|           | 0.999  | 0.2635+-0.0061 | 1.8019+-0.0851 |
|-----------|--------|----------------|----------------|