評価データセットの追加

[lyakaap]

素晴らしいライブラリの提供をありがとうございます。とても使い勝手がよく、我々のチームでもたくさん使っております。
本レポジトリに評価データセットの追加のコントリビューションをしたいと考えており、追加にあたっての方針について相談があります。

【相談内容】
ライセンスなどの問題を考慮して、入力の画像データをURLで提供したいと考えております。例えばリクルートさんのこちらのデータセットのような公開方法を取りたいと考えています：https://huggingface.co/datasets/recruit-jp/japanese-image-classification-evaluation-dataset
その場合はユーザーがあらかじめ画像をダウンロードしておく必要があると思いますが、こちらは自動化する必要があるでしょうか。もしくは手動ダウンロードの工程を挟んでも問題ないでしょうか。

よろしくお願いいたします。

[speed1313]

コントリビューションのご協力ありがとうございます！

手動ダウンロードの工程を挟んでも問題ありませんが, load_datasetが使える形式のファイルを用意するスクリプトを用意していただけると嬉しいです.

例えば,

ds = laod_dataset("parquet", data_dir=“datasets/japanese-image-classification-evaluation-dataset”)

のような記述で動くように, https://huggingface.co/datasets/recruit-jp/japanese-image-classification-evaluation-dataset の画像urlをもとに画像をダウンロードした後, image columnが付与されたdatasetをdatasets/japanese-image-classification-evaluation-dataset に配置するようなスクリプトを, scripts/prepare_recruit-japanese-image-classification-evaluation-dataset.py に用意していただけると嬉しいです!

[lyakaap]

返信ありがとうございます！
丁寧に教えていただきありがとうございます。承知しました。