diff --git a/etl/experiments/backtesting_prompt.py b/etl/experiments/backtesting_prompt.py new file mode 100644 index 0000000..c302749 --- /dev/null +++ b/etl/experiments/backtesting_prompt.py @@ -0,0 +1,83 @@ +import os +from langchain.chains import ConversationalRetrievalChain +from langchain.chains.conversation.memory import ConversationBufferMemory +from langchain_openai import ChatOpenAI +from langchain_community.document_loaders import CSVLoader +from langchain_openai import OpenAIEmbeddings +from langchain.prompts.chat import ( + ChatPromptTemplate, + HumanMessagePromptTemplate, + SystemMessagePromptTemplate, +) +from langsmith.evaluation import evaluate, LangChainStringEvaluator +from langchain_community.vectorstores import FAISS + +def prepare_data(run, example): + return { + "prediction": run.outputs['answer'], + "reference": example.outputs['answer'], + "input": example.inputs['question'], + } + +system_template = """Vous êtes un assistant IA qui fournit des informations sur les associations camerounaises en France. Vous recevez une question et fournissez une réponse claire et structurée. Lorsque cela est pertinent, utilisez des points et des listes pour structurer vos réponses. + +Utilisez les éléments de contexte suivants pour répondre à la question de l'utilisateur. Si vous ne connaissez pas la réponse, dites simplement que vous ne savez pas, n'essayez pas d'inventer une réponse. + +Si la question posée est dans une langue parlée en Afrique ou au Cameroun ou demande une traduction dans une de ces langues, répondez que vous ne savez pas et que vous n'êtes en mesure de répondre qu'aux questions relatives aux associations puis demandez à l'utilisateur de reformuler sa question. + +Si vous connaissez la réponse à la question mais que cette réponse ne provient pas du contexte ou n'est pas relatif aux associations, répondez que vous ne savez pas et que vous n'êtes en mesure de répondre qu'aux questions relatives aux associations puis demandez à l'utilisateur de reformuler sa question. + +Si vous souhaitez connaître le nombre d'associations, je vous recommande de visiter le site web "tchoung-te.mongulu.cm" pour obtenir des informations actualisées à ce sujet. +---------------- +{context}""" +messages = [ + SystemMessagePromptTemplate.from_template(system_template), + HumanMessagePromptTemplate.from_template("{question}"), +] +CHAT_PROMPT = ChatPromptTemplate.from_messages(messages) + +embedding_pth = "embeddings" +embeddings = OpenAIEmbeddings() +if os.path.exists(embedding_pth): + vectors = FAISS.load_local(embedding_pth, embeddings) +else: + loader = CSVLoader( + file_path="../ref-rna-real-mars-2022-enriched-qualified.csv", encoding="utf-8" + ) + data = loader.load() + vectors = FAISS.from_documents(data, embeddings) + vectors.save_local(embedding_pth) + +llm = ChatOpenAI(max_tokens=500, temperature=0, model_name="gpt-3.5-turbo",streaming=True) +chain_type_kwargs = {"prompt": CHAT_PROMPT} + +memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True) +chain = ConversationalRetrievalChain.from_llm( + llm=llm, + retriever=vectors.as_retriever(search_kwargs={"k": 3}), + combine_docs_chain_kwargs=chain_type_kwargs, + chain_type="stuff", + memory=memory, +) + +dataset = "dataset_test_new_prompt" + +# A string to prefix the experiment name with. +# If not provided, a random string will be generated. +experiment_prefix = "tchoung-te-backtesting_v2" + +# List of evaluators to score the outputs of target task +evaluators = [ + LangChainStringEvaluator( + "context_qa", + prepare_data=prepare_data + ) +] + +# Evaluate the target task +results = evaluate( + chain.invoke, + data=dataset, + evaluators=evaluators, + experiment_prefix=experiment_prefix +) \ No newline at end of file diff --git a/etl/experiments/ui.py b/etl/experiments/ui.py index 5437ee4..7e71f60 100644 --- a/etl/experiments/ui.py +++ b/etl/experiments/ui.py @@ -25,7 +25,11 @@ system_template = """Vous êtes un assistant IA qui fournit des informations sur les associations camerounaises en France. Vous recevez une question et fournissez une réponse claire et structurée. Lorsque cela est pertinent, utilisez des points et des listes pour structurer vos réponses. -Utilisez les éléments de contexte suivants pour répondre à la question de l'utilisateur. Si vous ne connaissez pas la réponse, dites simplement que vous ne savez pas, n'essayez pas d'inventer une réponse. +Utilisez uniquement les éléments de contexte suivants pour répondre à la question de l'utilisateur. Si vous ne connaissez pas la réponse, dites simplement que vous ne savez pas, n'essayez pas d'inventer une réponse. + +Si la question posée est dans une langue parlée en Afrique ou au Cameroun ou demande une traduction dans une de ces langues, répondez que vous ne savez pas et demandez à l'utilisateur de reformuler sa question. + +Si vous connaissez la réponse à la question mais que cette réponse ne provient pas du contexte ou n'est pas relatif aux associations, répondez que vous ne savez pas et demandez à l'utilisateur de reformuler sa question. Si vous souhaitez connaître le nombre d'associations, je vous recommande de visiter le site web "tchoung-te.mongulu.cm" pour obtenir des informations actualisées à ce sujet. ---------------- diff --git a/etl/requirements-dev.txt b/etl/requirements-dev.txt index cbfbd87..b39fe9f 100644 --- a/etl/requirements-dev.txt +++ b/etl/requirements-dev.txt @@ -5,4 +5,5 @@ ipython>=8.10.0 # not directly required, pinned by Snyk to avoid a vulnerability numpy>=1.22.2 # not directly required, pinned by Snyk to avoid a vulnerability setuptools>=65.5.1 # not directly required, pinned by Snyk to avoid a vulnerability tornado>=6.3.3 # not directly required, pinned by Snyk to avoid a vulnerability +pipdeptree==2.2.1 urllib3>=2.2.2 # not directly required, pinned by Snyk to avoid a vulnerability diff --git a/etl/requirements.txt b/etl/requirements.txt index 22f76f8..320ecd2 100644 --- a/etl/requirements.txt +++ b/etl/requirements.txt @@ -8,7 +8,6 @@ requests-cache==0.9.4 tqdm==4.66.3 wheel==0.38.1 abbreviations==0.2.5 -ftfy==6.1.1 rich==12.4.4 cryptography>=3.2 # not directly required, pinned by Snyk to avoid a vulnerability ipython>=8.10.0 # not directly required, pinned by Snyk to avoid a vulnerability @@ -17,9 +16,10 @@ lambdaprompt==0.4.2 openai==0.27.8 boto3==1.26.82 diskcache==5.4.0 -numpy==1.24.3 -langchain==0.1.11 -faiss-cpu==1.7.4 +numpy==1.26.4 +langchain-community==0.2.6 +langchain-openai==0.1.14 +faiss-cpu==1.8.0 tiktoken==0.4.0 chainlit==0.5.1 tornado>=6.3.3 # not directly required, pinned by Snyk to avoid a vulnerability