這是一個使用 BERT 模型進行情感分析的專案,專案使用了 Hugging Face 的 Transformers 庫和 PyTorch。
-
安裝 Python 3.12.7
-
使用 Poetry 安裝依賴:
poetry install
python -m venv myenv
source myenv/bin/activate # or env\Scripts\activate
pip install -r requirements.txt
在 service/train_model/no_validation/sentiment_analysis.py
中定義了模型的訓練過程。要訓練模型,請運行以下命令:
python -m service.train_model.no_validation.sentiment_analysis
在 service/train_model/k_fold/validation.py
中定義了有驗證模型的訓練過程。要訓練模型,請運行以下命令:
python -m service.train_model.k_fold.validation
訓練完成後,模型將會儲存在 service/model/ 目錄中。
在 service/train_model/no_validation/predict.py 中定義了情感預測的過程。要進行情感預測,請運行以下命令:
python -m service.train_model.no_validation.predict
該腳本將會對一些測試句子進行情感分析並輸出結果。
在 service/train_model/check/accuracy.py 中可以檢查模型的精準度。要查看精準度,請運行以下命令:
python -m service.train_model.check.accuracy
在 service/train_model/check/tag.py 中可以檢查模型的標籤映射。要查看標籤映射,請運行以下命令:
python -m service.train_model.check.tag
依賴項定義在 requirements.txt 和 pyproject.toml 中。主要依賴項包括:
- transformers
- torch
- torchvision
- aiofiles
- orjson
- accelerate
- torchaudio
- scikit-learn
請確保 .gitignore 文件中包含了以下內容,以避免將不必要的文件提交到版本控制系統:
# yelp data
*.json
# training model
results/
sentiment_model/
results_*
sentiment_model_*
kv_fold_results_*