Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

データセットを作る. #1129

Merged
merged 10 commits into from
Aug 28, 2022
Merged

データセットを作る. #1129

merged 10 commits into from
Aug 28, 2022

Conversation

nissymori
Copy link
Collaborator

@nissymori nissymori commented Aug 25, 2022

@nissymori
Copy link
Collaborator Author

nissymori commented Aug 25, 2022

データセットを作るのに必要な関数

  • mjlog->mjxproto
  • テストデータ用意(数データtest/resourceに置く予定)
  • テストを書く
  • mjxproto -> 特徴量 (一半荘につきひとペアランダムにサンプル)
  • jax.numpy方に変換

@nissymori
Copy link
Collaborator Author

https://github.com/mjx-project/mjx-convert

これを使ってmjprotoに変換してからにする.

@sotetsuk
Copy link
Collaborator

んーデータセットはコミットしなくていいかなあって思います🙏再現可能なコードだけで🙏 @nissymori

@sotetsuk
Copy link
Collaborator

あと.DS_storeとか入ってるので気をつけてもらった方がいい気がします! @nissymori

@sotetsuk
Copy link
Collaborator

まあもちろんmjlogから変換してもいいですけど、直接パースしてもそんなに大変じゃないかなって気はします。どちらでも👍

@nissymori
Copy link
Collaborator Author

ご指摘有難うございます!
了解です!

@nissymori
Copy link
Collaborator Author

nissymori commented Aug 27, 2022

一半荘につき4ペアとっても良い気がする.
問題が出たら1ペアに減らせば良い?

-> 一応半荘につきひとペアにしておいた方が望まない相関が避けられて良い. データ数が増えれば問題なさそうだが一応.

@sotetsuk
Copy link
Collaborator

1ペアのほうがいいですね。

@nissymori
Copy link
Collaborator Author

nissymori commented Aug 28, 2022

@sotetsuk
json fileが入ったdirからjax形式のデータを作る関数を実装しました.(半荘につき1ペアだけ抽出するようにしました.)
形状のみですが, testも通っています,(実行して中身も確認しましたが問題ありませんでした.)
少数のテストデータのみコミットしています.

問題なければmergeします!

@sotetsuk
Copy link
Collaborator

了解です!マージしちゃってください!🙏@nissymori

@nissymori
Copy link
Collaborator Author

有難うございます!mergeします!

@nissymori nissymori merged commit 1e5182e into master Aug 28, 2022
@nissymori nissymori deleted the nissymori/feat/make_dataset branch August 28, 2022 03:08
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants