create a scrapper program that will scrapp jobs ( V1)

[tsafacjo]

create a scrapper program that will scrapp jobs :

• generate a monthly trend on specific field (which could be publish on linkedIn)
• automatically suggest resume improvement base on hiring trends
• generate annual report

[tsafacjo]

The first version will be done soon.

• [ Transform to POO code]

• [ The current version only work for US ,Need create a version for France and Germany]

I will schedule it with kubernetes

[tsafacjo]

so much troubles to build docke image with on arm64 .

I will deploy try to deploy on AWS or github action

[tsafacjo]

Good t know you can run indepent webdriver ta simulation browner ::

https://github.com/seleniumhq/docker-selenium/#quick-start

[tsafacjo]

to deploy on github action https://github.com/MarketingPipeline/Python-Selenium-Action/blob/main/.github/workflows/Selenium-Action_Template.yaml

[tsafacjo]

https://medium.com/analytics-vidhya/deploy-a-selenium-based-crawler-to-docker-fd26f53f52e7

[billmetangmo]

• https://www.abg.asso.fr/fr/candidatOffres
• http://w3.erss.univ-tlse2.fr/membre/tanguy/offres.html#Stages
• https://afia.asso.fr/les-offres-demploi/
• https://www.societe-informatique-de-france.fr/ ( newsletters)
• https://github.com/mongulu-cm/manzi-mfa/blob/main/interviews/resources.txt
• Site do'ffre d'emploi des écoles/université
• Sites spécifiques des entreprises dans lequel les membres du collectif sont ( pour parrainage)

https://www.loom.com/share/08c81e68cd614ec8ab3a5138531dff03

[namendjo]

@billmetangmo statut ?

[billmetangmo]

Changement sur la feature proposée: Scraper non pas tous les jobs sur le web mais les offres d'emploi d'entreprises dans laquelle nous sommes ( ou avons été) afin de permettre de proposer des offres de stages/premier emploi par cooptation aux mentorés ( cela permet aussi cela entre les membres du collectif - peut aussi être un argument supplémentaire pour rejoindre le collectif).

[billmetangmo]

V1:

• que scrape t-on ? Toutes les offres de stages et d'emploi tech de l'emploi actuel des membres du collectif ( liste des membres https://github.com/mongulu-cm/contacts )
• qu'en fait-on ? Stockage par typologie ( stage/offre d'emploi) et métier ( DevOps, Data science, Data engineering, Developer, Sécurité, Réseaux , accès facile et notification en cas de nouveaux jobs pour nous.

[billmetangmo]

https://scrapfly.io/

[billmetangmo]

Scraper en utilisant les screenshots est plus cost efficient en plus d'êtr egénéraliste: https://news.ycombinator.com/user?id=its_down_again

Browser Ai automation (screen scraping)

• https://github.com/ComposioHQ/composio/tree/master/python/composio/tools/local/browsertool/actions
• https://www.multion.ai/api/pricing
• https://github.com/Skyvern-AI/skyvern
• https://github.com/theredsix/cerebellum
• https://github.com/EmergenceAI/Agent-E
• https://github.com/gregpr07/browser-use
• https://www.reworkd.ai/ ( opensource https://github.com/reworkd/tarsier )
• https://github.com/microsoft/OmniParser
• https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

[billmetangmo]

Failure ! Get back to the old code .

[billmetangmo]

Résultat obtenu par ce commit f35c087
ivalua_job_listings.csv

To get the openai key to use , go to:

1. https://lobembe.mongulu.cm/ ( secret store)
2. click on secret store
3. search for manzi-mfa and click on openai key

[billmetangmo]

Next steps:

• doublecheck si c'est complet et évaluer le pricing ... J'ai des crédits sur aws donc il vaudrait peut-être mieux passser par Bedrock cladue 3.5 sonnet ...
• Ou considérer de comparer les images pour savoir s'il y a un changement pour réduire le nombre d'appels à l' IA,

[billmetangmo]

Par ce commit 47caa5a

J'ai rajouté une fonction pour récupérer la position d'un bouton Next sur une page , une fois ceci fait. On peut la passer àa la ofnction click_next_page qui va cliquer sur next jusqu'à ce qu'il n'y ait plus de page. Je me dis que ça peut être le mécanisme général pour ce type de page

[billmetangmo]

@Joyce-Tchamdjou last commit with refactor to SOLID 666182e
We need to create a PR by the way

[billmetangmo]

• Check 2 people missing: ngankam still at ratp ? Patrick D still engie ?

[Joyce-Tchamdjou]

Liste des sites carrières qui me modifient pas l'url quand on filtre

• https://luxair.csod.com/ats/careersite/search.aspx?site=3&c=luxair#0
• https://careers.synopsys.com/search-jobs

[billmetangmo]

Extia: récupérer des élements uqi sont pas des offres d'emploi par exemple

+-------------------------------------+--------------------+
| title | location |
+=====================================+====================+
| Ingénieur DevOps Cloud Confirmé H/F | Paris et sa région |
+-------------------------------------+--------------------+
| Extia | France |
+-------------------------------------+--------------------+
| MBTI | |
+-------------------------------------+--------------------+
| Moving Motivators | |

SFEIR: il y a 2 qui sautent, j'i ali'mpression car le décupage fait perdre des élements, il faut que ça se recoupe.
+--------------------------+------------+
| title | location |
+==========================+============+
| API Architect | Paris |
+--------------------------+------------+
| Developpeur.se Nodejs | Paris |
+--------------------------+------------+
| Java Software Engineer | Paris |
+--------------------------+------------+
| Tech Lead Java | Paris |
+--------------------------+------------+
| Trainer Kubernetes | Paris |
+--------------------------+------------+
| Cloud & Data Engineer | Paris |
+--------------------------+------------+
| Tech Lead Data | Paris |
+--------------------------+------------+
| Tech Lead Front-End | Paris |
+--------------------------+------------+
| Tech Lead Front-End | Paris |
+--------------------------+------------+
| Developpeur.se Fullstack | Paris |
+--------------------------+------------+

WIREMIND: il y a 2 qui sautent aussi à cause de cookies

[Joyce-Tchamdjou]

Le cas de Dior nécessite un type de scrapper complètement différent de ceux qui ont été faits jusqu'ici parce que c'est un next-scroll. Donc lorsqu'on clique sur "Next", la page ne se recharge pas complètement mais juste s'allonge.