Train reward-shaping model with large data

[nissymori]

#1127

[nissymori]

データ数: 17369
learning rate: 0.001
epoch数: 50
batch size 16
で学習させて, 局数と自分の点数を変化させてプロットしてみました. 局ごとの変化がないのが気になるので, 調査しようと思います.

[nissymori]

データ数, learning rateは同じで, epoch数を200, batch sizeを32にすると割と局ごとの差も出て良い感じな気がします.

[sotetsuk]

局もonehotを加えるか置き換えるかしてみてもいいかも？

[sotetsuk]

あとは学習曲線がどんな感じかにもよる気がします

[nissymori]

了解です！

[sotetsuk]

あとたぶんデータ全然足りない気がしますね

[sotetsuk]

Epoch数50はもう結果を覚えてるのでは？バリデーションセット用意しました？

[nissymori]

Epoch数50はもう結果を覚えてるのでは？バリデーションセット用意しました？

とりあえずlossが下がるかを確認するためだったので, 用意していませんでした.
データ増やしてvalidation setも用意してやってみようと思います！

[nissymori]

ToDo

• plot learning curve
• increase data
• validation

[nissymori]

validation dataを追加して訓練してみました.
learning rate 0.002, epoch 30, バッチサイズ 64です.

データ数はまだ32000ほどです.

[nissymori]

• Readme書く.
• データ数を増やす.
• 点でプロット
• 南3 or 南4専用と比べる.

[nissymori]

南四局と途中で終わっている場合は最終局のみのデータを使って学習させた結果と学習曲線です.
epoch数は10です.

局をランダムに選んだ場合とあまり違いがない様に思います.
何四局なのでもっと単関数みたいにならないとおかしい気がします. バグがないか調べてみます.

一旦10万くらいまでデータを増やしてみます.

[nissymori]

試しに1000epochくらい学習させてみました.
直感に近づいている気がします. val lossは悪化していますが.

とりあえずデータ増やしてみます.

[nissymori]

変更点

• 特徴量として残りの親の数を追加する.
• 風の情報を
• 出力は4次元[起家, ..ラス親]
• NNは8個用意するmodel_0, ...model_7

procedure

• 南4のデータから順位点をmodel_7に予測させる
• 南３のデータのmodel_7の予測結果をmodel_6に予測させる.
• 以下繰り返す.

ToDo

• 特徴量実装
• 特徴量テスト
• 訓練関数実装
• 訓練関数テスト
• plot関数実装
• plot関数テスト
• コマンドライン整備
• 実験

[nissymori]

特徴量再考

出力を四次元にするのでそれに伴って特徴量設計を変えた方が良い.

• 4人分の点 [起家, ..ラス親]の順で与える.(今まではtargetを起点にしていた)
• 本場: 変更なし
• 詰み棒: 変更なし
• 局: 変更なし
• 風: one-hotで四人分? 起家の風だけone-hotでもいい気がする.
• 親: one-hot
• 残りの親の数: 起家から順番に

[nissymori]

@sotetsuk
長くなってきたので, 一旦このPRマージしてしまってもよろしいでしょうか.

[sotetsuk]

Typo suphx（suphnxがある）

マージしちゃって下さい！@nissymori

[nissymori]

Typo suphx（suphnxがある）

マージしちゃって下さい！@nissymori

ありがとうございます！

typo直してmergeします！