Lògica de negoci
Aquest programa es dedica a agafar habitatges de la pàgina web www.pisos.com, i desa les seves dades en un fitxer CSV. A continuació expliquem es fa aquesta extracció de les dades.
En un primer lloc es fa una consulta a la pàgina www.pisos.com/venta/pisos-LLOC/. Amb aquesta consulta accedim al lloc web on es apareixen tots els pisos de la zona.
En aquesta pàgina el que fem és utilitzar la llibreria Request (una libreria per HTTP) per tal de tenir tot el codi HTML de la pàgina, i així poder obtenir les diferents urls que contenen el detall de cada habitatge.
Igual que hem fet anteriorment, obtenim el codi HTML del lloc web. Aquest cop ho fem utilitzant Selenium (una llibreria per automatizar crides en navegadors web). Utilitzem aquesta llibreria i no Request perque alguna de la informacio que volem extreure de l'habitatge es genera amb javaScript, pel que la llibreria Request no ens serveix.
Comentar que per fer el programa més eficient, hem implementat que aquesta extració d'informació es pugui fer de manera paral·lela per tal de que es pugui obtenir informació de diferents pisos en el mateix moment.
Un cop hem obtingut la informació del pis, el que fem és mirar si aquell pis compleix unes determinades característiques (que l'habitatge tingui com a mínim 80 metres quadrats, un preu inferior o igual a 120.000€ i tres habitacions o més). En el cas de que es compleixin aquestes condicions, tornem a utilitzar Selenium per indicar que ens agrada el pis:
Accedim a la pàgina de log in de www.pisos.com, i amb Selenium simulem el comportament d'un usuari. Entrem el nom i la contrassenya de l'usuari, i a continuació fem log in.
Un cop ja em fet log in, utilitzem Selenium per apretar en el cas de que no ho haguem fet previament al botó de m'agrada.
Utilitzant Pandas (una llibreria per l'anàlisis de dades) agrupem totes les dades que hem generat i generem el fitxer CSV, on tindrem una tupla per cada pis del que haguem extret informació
Per últim, un cop hem generat aquest fitxer CSV, l'enviem per correu electrònic utilitzant un compte de correu que hem creat per la realització d'aquesta pràctica. En aquest simplement adjuntem el fitxer CSV.