mnist_retention.txt

|-----------|-------|-------------------|-------------------|
| Optimizer | Phase | Accuracy on 1 + 2 | Accuracy on 3 + 4 |
|-----------|-------|-------------------|-------------------|
|           |   0   |  0.9580+-0.0031   |  0.0000+-0.0000   |
|      Adam |   1   |  0.0200+-0.0025   |  0.9741+-0.0007   |
|           |   2   |  0.9790+-0.0006   |  0.0059+-0.0010   |
|           |   3   |  0.2032+-0.0068   |  0.9778+-0.0006   |
|-----------|-------|-------------------|-------------------|
|           |   0   |  0.9533+-0.0035   |  0.0000+-0.0000   |
|  Momentum |   1   |  0.0177+-0.0023   |  0.9689+-0.0010   |
|           |   2   |  0.9701+-0.0015   |  0.0171+-0.0027   |
|           |   3   |  0.1527+-0.0068   |  0.9703+-0.0011   |
|-----------|-------|-------------------|-------------------|
|           |   0   |  0.9573+-0.0032   |  0.0000+-0.0000   |
|   RMSProp |   1   |  0.2635+-0.0061   |  0.9756+-0.0005   |
|           |   2   |  0.9615+-0.0028   |  0.4645+-0.0101   |
|           |   3   |  0.7767+-0.0062   |  0.9362+-0.0025   |
|-----------|-------|-------------------|-------------------|
|           |   0   |  0.9570+-0.0032   |  0.0000+-0.0000   |
|       SGD |   1   |  0.0768+-0.0048   |  0.9711+-0.0009   |
|           |   2   |  0.9638+-0.0024   |  0.1931+-0.0093   |
|           |   3   |  0.5123+-0.0093   |  0.9564+-0.0018   |
|-----------|-------|-------------------|-------------------|