Skip to content

Latest commit

 

History

History
60 lines (37 loc) · 1.71 KB

File metadata and controls

60 lines (37 loc) · 1.71 KB

DA34-final-Football_Agora_chatbot_api

About FutFut

  • 서버상에 챗봇을 실행하고 응답을 주고받기 위한 API입니다.
  • Fast API를 이용하여 구성하였습니다.

🚀 Use Tech

Ubuntu HuggingFace Colab Colab




main.py 실행-> 서버에서 실행

# 터미널 실행
uvicorn main:app --port <원하는 포트번호> --reload

API 응답 호출 방법 -> django 내에서 모델 사용할 부분

import requests
url = '주소:포트번호/query'
payload = {'query': 사용자가 입력한 query를 str형태로 입력받아융}
headers = {'Content-Type': 'application/json'}
response = requests.post(url, json=payload, headers=headers)
response.json() # 모델 응답 결과
# response.json()['response'][0].split('\\nAnswer')[-1][1:] 로 모델 응답부분 잘라주시면 감사하겠습니다

Model repo

풋풋이⚽

About Finetuning

  • Environment : Colab L4 GPU
  • Method : SFT(Supervised Fine-Tuning) Trainer
  • Quantized by : Unsloth