Skip to content

Latest commit

 

History

History
6 lines (4 loc) · 759 Bytes

README.md

File metadata and controls

6 lines (4 loc) · 759 Bytes

reviews_pros_contra_tiktoken

Web scraping de reviews para generar pros y contras del producto.

Este método permite scrapear automáticamente reseñas de una web e interpretar pros y contras de un producto de forma organizada.

La librería tiktoken es una herramienta de software desarrollada por OpenAI diseñada para tokenizar texto, es decir, dividir un texto en sus componentes más pequeños llamados tokens. Los tokens pueden ser palabras completas, fragmentos de palabras o incluso caracteres individuales, dependiendo del idioma y el modelo de lenguaje utilizado. La librería tiktoken es particularmente útil para trabajar con modelos de lenguaje grandes, como los modelos GPT de OpenAI, ya que estos modelos procesan texto en forma de tokens.