train reward shping model #1138

nissymori · 2022-09-16T11:18:19Z

#1127

nissymori · 2022-09-16T11:18:51Z

nissymori · 2022-09-16T12:45:00Z

実験に必要な実装は一通り終わったので, 実験を始めていきます.

nissymori · 2022-09-17T04:30:55Z

南四局の結果です.

sotetsuk · 2022-09-17T04:35:48Z

いい感じですね。席によって違うかも確認したいですね。ラス親とそうでない人の違いとか。

sotetsuk · 2022-09-17T04:36:28Z

-135超えちゃってるのが少し気になるな。。。🤔

nissymori · 2022-09-17T07:12:10Z

-135超えちゃってるのが少し気になるな。。。🤔

そうですよね.... プロット時のデータの渡し方が悪いかもしれないので少し考えてみます！

nissymori · 2022-09-17T14:40:46Z

明らかにoverfittingしていますが, 1000epochくらいでこんな感じです.
データ足りないかも知れません.

nissymori · 2022-09-19T07:09:26Z

とりあえず, 8局分学習を回してみようと思います！

sotetsuk · 2022-09-19T07:21:53Z

あれ、なんで1000epochもやるんでしたっけ。。。
Validロスがサチってるんで10とかくらいで止めて良くないですか？！

sotetsuk · 2022-09-19T07:23:01Z

ブートストラップでの8局全体の流れとりあえずやってもらえると🙏

nissymori · 2022-09-19T07:24:05Z

あれ、なんで1000epochもやるんでしたっけ。。。 Validロスがサチってるんで10とかくらいで止めて良くないですか？！

傾向として, 少ないepochだとシャープな曲線にならなかったので, 実験的にか学習させてみた感じでした!

8局分の学習はエポック少なめでとりあえずやってみます！

nissymori · 2022-09-19T12:17:33Z

学習させてみました.

sotetsuk · 2022-09-19T14:32:35Z

いいですね！可視化のやつ。同じfigに重ねてもらえると比較しやすいかも？
計4枚になるはず。
やっぱりround7の時点でなんかおかしい気がするんですよね。。。３万超えてるだけで90超えないと思うんですよね

nissymori · 2022-09-19T14:35:01Z

いいですね！可視化のやつ。同じfigに重ねてもらえると比較しやすいかも？計4枚になるはず。やっぱりround7の時点でなんかおかしい気がするんですよね。。。３万超えてるだけで90超えないと思うんですよね

これ対象のプレイヤー以外は全部同じ点数にしてるので2万5千点を少しでも超えるとトップになります. 少しずらすとまた結果変わると思います!

5000ずつくらいずらしてみようかと思います.

sotetsuk · 2022-09-19T15:01:18Z

点数ずらしてみるのもいいと思いますけど、
３万ちょいで残り全員フラットでも２万点はありますよね。
満ツモで逆転トップなんて全然あるので、やっぱり３万超えてすぐ90超えるのはおかしい気がするんですよね。

nissymori · 2022-09-19T15:15:03Z

点数ずらしてみるのもいいと思いますけど、３万ちょいで残り全員フラットでも２万点はありますよね。満ツモで逆転トップなんて全然あるので、やっぱり３万超えてすぐ90超えるのはおかしい気がするんですよね。

すみません実装間違っているかもしれません🙇‍♂️, 開始時のデータを予測に使うべきところを終了時のデータを使って学習していました．
終了時のデータだったので3万点で必ずトップ判定されていました.

現状では
model7 南四局終了時 -> [90, 45, 0, -135]を予測
model6 南三局終了時 -> model7の南三局終了時の予測を予測
...

としています.

sotetsuk · 2022-09-19T15:26:12Z

確認ありがとうございます！いいですね！楽しみにしてます！！😆

nissymori · 2022-09-19T15:29:10Z

確認ありがとうございます！いいですね！楽しみにしてます！！😆

とんでもないです.
model7 南4局開始時 -> [90, 45, 0, -135]を予測
model6 南3局開始時 -> model7の南4局開始時の予測を予測
...
model0 東一局開始時 -> model1の東2局開始時の予測を予測

こちらが正しいという認識であっていますかね.

その場合, 東1局については, 親の場所と風から予測する感じになるってことですかね.

sotetsuk · 2022-09-19T16:14:57Z

そうですね。

sotetsuk · 2022-09-19T16:16:22Z

でも東一局も連荘したりして点数違う場面もあると思いますけどね。
なので終局時の情報じゃなくて開局時の情報使ったほうがいいと思います。

sotetsuk · 2022-09-19T16:17:20Z

Model6のコメントなんか違う気しますけど

南３局開始時から南４局開始時のモデル7の予測、を予測する感じになりますね。
連荘のときがどうするか考える必要ありますけど、一旦気にしないでいきましょう

nissymori · 2022-09-19T16:18:16Z

Model6のコメントなんか違う気しますけど
今修正しました!

nissymori · 2022-09-19T16:18:27Z

でも東一局も連荘したりして点数違う場面もあると思いますけどね。なので終局時の情報じゃなくて開局時の情報使ったほうがいいと思います。

了解です！

nissymori · 2022-09-19T16:23:44Z

変更点

局の最初の情報を使うようにする

nissymori · 2022-09-19T17:47:18Z

明日の夜に実装して実験してしまいます！

nissymori · 2022-09-21T17:51:38Z

まだ途中ですけど, 結構いい感じな気がします！

sotetsuk · 2022-09-21T18:42:03Z

いいですね！😆👍
あとは重ねてプロットすると見やすいかもです！

nissymori · 2022-09-21T21:37:30Z

席ごとにプロットして見ました!

データの選び方

同一局で連チャンがある場合, その中からランダムに選ぶ.
該当する局がない場合(南４局のデータが欲しいが, 既に飛んでしまっている.)スキップする.

東一局だけ他の局と違いますね.
起家だけほとんどマイナスになっていないのは, 東一局開始時でマイナスであることがあり得ないからだと思います.起家以外がプラスにあまりならないのも同じ理由な気がします.

nissymori · 2022-09-21T21:47:33Z

[-135, 90]からはみ出している値は報酬関数として組み込むときはclipすればいいですかね.

sotetsuk · 2022-09-21T21:48:37Z

ありがとうございます！いい感じですね😆

ただやっぱりはみ出てるのが気になりますけどね。。。
とくに、段々と誤差が増えていってるように見えるんですよね。。。
毎回ターゲットを-135/90収まるようにしてます？してなかったらそのせいかもしれない？
あとは解決しなければlogとか試してもいいかもしれない？

https://stats.stackexchange.com/questions/11985/how-to-model-bounded-target-variable

sotetsuk · 2022-09-21T21:55:35Z

絶対値が大きいところで誤差が大きいのはあんまり良くないと思うんですよね。学習がそこに大きく影響受けてるはずなので。。。

nissymori · 2022-09-21T21:56:59Z

ありがとうございます！いい感じですね😆

ただやっぱりはみ出てるのが気になりますけどね。。。とくに、段々と誤差が増えていってるように見えるんですよね。。。毎回ターゲットを-135/90収まるようにしてます？してなかったらそのせいかもしれない？あとは解決しなければlogとか試してもいいかもしれない？

https://stats.stackexchange.com/questions/11985/how-to-model-bounded-target-variable
アドバイスありがとうございます！
してませんでした.. targetを[-1.35, 0.90]でclipしてもう一回回してみます！

nissymori · 2022-09-21T22:12:04Z

各局開始時の特徴量 $X_0 \in R^{n_0, d},...X_7 \in R^{n_7, d}$, 予測値: $Y_0 \in R^{n_0, d}, ... Y_7 \in R^{n_7, d}$, model: $f_0, ..f_7$とする. ある一局の特徴量とラベルを小文字で表現して,

$$y_7 = f_7(x_7) + \epsilon_7$$

$$ \epsilon \sim N(0, {\sigma_7}^2)$$

$$y_6 = y_7 - \epsilon_7 = f_6(x_6) + \epsilon_6 \Rightarrow y_7 = f_6(x_6) + \epsilon_6 + \epsilon_7$$

$$ \epsilon_6 + \epsilon_7 \sim N(0, {\sigma_6}^2 +{ \sigma_7}^2)$$

誤差は独立と仮定して良さそうです.各局で次の局のモデルの予測を予測することは実際にはその局から最終スコアを予測しているということが正当化できている気がします.

仮にNN$g$を用意して,
$$y_7 = g(x_6) + \epsilon$$とした時今回の手法と誤差の分散が同じになるかどうか気になるところ(同じになりそう.)

単に１半荘に一局サンプリングして局ごとに最終スコアを予測するというアルゴリズムに比べて確かにデータ八倍になりますね! 式にして考えていなかったので, 今まで完璧に理解していませんでしたが, すごくいい手法だと思いました!

麻雀みたいにリワードがスパースなゲームの報酬設計に普遍的に使えそうだと思いました.

nissymori · 2022-09-21T23:01:00Z

スーパーフェニックス方式ではNNを一つしか使っていないので, 各局についてこちらの方が分散が小さいということができそうだと思いました．NN8個使うので単純な比較はできないかもしれませんが..

nissymori · 2022-09-22T01:32:11Z

clipして学習させてみました! だいぶんマシになりましたが, まだ少しはみ出ています..

sotetsuk · 2022-09-22T01:51:10Z

一回上のリンクにある手法試してみてvalid誤差比較してみてもいいかもですね。
要するにターゲットを (t + 135) / 225 で変換してから exp(f(x)) / (1 + exp(f(x))) で予測するだけですが。

sotetsuk · 2022-09-22T07:25:23Z

1. Suphx形式
1. +TD-likeな学習（局ごと）
1. ~~+席ごとの学習~~
1. +logit-link（exp）での学習

nissymori · 2022-09-22T07:40:25Z

test lossは真のgame reward(局によらず.)との絶対誤差をとる.

nissymori · 2022-09-23T13:26:18Z

nissymori · 2022-09-29T17:19:05Z

学習させられました. 東家の結果のみ添付します.
suphx no logistic

TD no logistic

suphx logistic

TD logistic

validationのgame rewardとの絶対誤差について
TDの方は局ごとにデータがあります.
suphxの方は局ごとでなく全体でのデータのみがある状態です.
明日suphxの局ごとのデータを取ります.

nissymori · 2022-09-30T12:55:44Z

@sotetsuk
学習後の絶対誤差も評価できるようになりました.
このPRは閉じて, 次のPRでいくつか試してみようと思います.

sotetsuk · 2022-09-30T15:00:05Z

了解です！セルフマージしちゃって下さい🙏@nissymori

fix

261fb7c

pass test

d5fb63a

nissymori added 3 commits September 20, 2022 22:17

add

795b683

implement

8bdbbb4

pass test

b0b5ed9

nissymori added 2 commits September 21, 2022 00:26

fix readme

7a6586f

fix

cd447ea

nissymori added 2 commits September 24, 2022 02:55

fix

ec42216

fix

ba41478

nissymori added 2 commits September 30, 2022 20:31

fix

863000c

fix

68e7e52

nissymori merged commit 0c914ec into master Sep 30, 2022

nissymori deleted the nissymori/run/train_reward_shping_model branch September 30, 2022 16:02

train reward shping model #1138

train reward shping model #1138

Conversation

nissymori commented Sep 16, 2022

nissymori commented Sep 16, 2022 • edited Loading

nissymori commented Sep 16, 2022

nissymori commented Sep 17, 2022

sotetsuk commented Sep 17, 2022 • edited Loading

sotetsuk commented Sep 17, 2022

nissymori commented Sep 17, 2022

nissymori commented Sep 17, 2022 • edited Loading

nissymori commented Sep 19, 2022 • edited Loading

sotetsuk commented Sep 19, 2022

sotetsuk commented Sep 19, 2022

nissymori commented Sep 19, 2022 • edited Loading

nissymori commented Sep 19, 2022 • edited Loading

sotetsuk commented Sep 19, 2022

nissymori commented Sep 19, 2022 • edited Loading

sotetsuk commented Sep 19, 2022 • edited by nissymori Loading

nissymori commented Sep 19, 2022 • edited Loading

sotetsuk commented Sep 19, 2022

nissymori commented Sep 19, 2022 • edited Loading

sotetsuk commented Sep 19, 2022

sotetsuk commented Sep 19, 2022

sotetsuk commented Sep 19, 2022 • edited Loading

nissymori commented Sep 19, 2022

nissymori commented Sep 19, 2022

nissymori commented Sep 19, 2022

nissymori commented Sep 19, 2022

nissymori commented Sep 21, 2022

sotetsuk commented Sep 21, 2022

nissymori commented Sep 21, 2022 • edited Loading

nissymori commented Sep 21, 2022 • edited Loading

sotetsuk commented Sep 21, 2022

sotetsuk commented Sep 21, 2022

nissymori commented Sep 21, 2022 • edited Loading

nissymori commented Sep 21, 2022 • edited Loading

nissymori commented Sep 21, 2022

nissymori commented Sep 22, 2022

sotetsuk commented Sep 22, 2022

sotetsuk commented Sep 22, 2022 • edited Loading

nissymori commented Sep 22, 2022 • edited Loading

nissymori commented Sep 23, 2022 • edited Loading

nissymori commented Sep 29, 2022 • edited Loading

nissymori commented Sep 30, 2022 • edited Loading

sotetsuk commented Sep 30, 2022

nissymori commented Sep 16, 2022 •

edited

Loading

sotetsuk commented Sep 17, 2022 •

edited

Loading

nissymori commented Sep 17, 2022 •

edited

Loading

nissymori commented Sep 19, 2022 •

edited

Loading

nissymori commented Sep 19, 2022 •

edited

Loading

nissymori commented Sep 19, 2022 •

edited

Loading

nissymori commented Sep 19, 2022 •

edited

Loading

sotetsuk commented Sep 19, 2022 •

edited by nissymori

Loading

nissymori commented Sep 19, 2022 •

edited

Loading

nissymori commented Sep 19, 2022 •

edited

Loading

sotetsuk commented Sep 19, 2022 •

edited

Loading

nissymori commented Sep 21, 2022 •

edited

Loading

nissymori commented Sep 21, 2022 •

edited

Loading

nissymori commented Sep 21, 2022 •

edited

Loading

nissymori commented Sep 21, 2022 •

edited

Loading

sotetsuk commented Sep 22, 2022 •

edited

Loading

nissymori commented Sep 22, 2022 •

edited

Loading

nissymori commented Sep 23, 2022 •

edited

Loading

nissymori commented Sep 29, 2022 •

edited

Loading

nissymori commented Sep 30, 2022 •

edited

Loading