スクレイピングツールの再開発

[Genbuchan]

✨ 新機能・改善内容

• スクレイピングツールをRust言語で書き直す
• 保守性、ポータビリティ、実行速度の大幅な向上を図る
• メールの取得をIMAPベースに変更する
• 各機能をモジュール化する
• モジュール構造を利用して、必要なデータのみ変換できる機能を実装する

[Genbuchan]

covid19-scraping-rustにて、現在のフロントエンド向けのRust製スクレイピングツールを公開し、運用を開始しました。

このうち、Rust言語での書き直し、実行速度の向上、IMAPベースへの切り替えは完了しており、保守性の向上等のその他機能は大改修に伴い追って対応します。

[Genbuchan]

現在、ソースコードの再利用性と保守性を高めるため、covid19-scraping-rustの再開発を行なっています。

今後の詳報については、こちらのIssueのコメントツリーに記載できればと思います。

[Genbuchan]

covid19-scraping-rustの開発と保守運用を容易にするため、スクレイピングツールから分離する形でcovid19-kyoto-structs-rsを開発しました。

これは、対策サイトおよびスクレイピングツールが取り扱うデータフォーマットを、Rust言語の構造体↔︎JSON形式(serde_jsonを使用)で相互運用できるようにしたライブラリです。

covid19-scraping-rustのバージョン3.0の開発の際、ライブラリクレートとしてこれを利用するため、Gitのサブモジュール機能を活用して当該リポジトリに取り込みます。

[Genbuchan]

covid19-scraping-rust v3.0.0の開発が完了しました。

大改修の全作業が完了していないため、まだ本番環境への持ち込みはできません。そのため、一旦私の個人リポジトリでv3.0.0を待機させています。