FROM SELENIUM TO SCRAPY AND PARALLEL webscraping

Closed Posted 3 years ago Paid on delivery
Closed Paid on delivery

FROM SELENIUM TO SCRAPY - FREELANCER USERS PROFILE WEBSCRAPING.

TRANSLATE FROM SPANISH.

Actualmente tengo un código en python para hacer descargas automáticas de un sitio web usando Selenium. Necesito modificar el código para hacer lo mismo pero más rápido. Lo que se solicita es traspasar el actual código (con Selenium) a Scrapy y explicar en un documento Word cómo usarlo.

Lo que hace el código es tomar un listado de URLs de perfiles de usuario de Freelancer, que ya extraje con otro código, ingresar a cada uno de los links y extraer información de cada usuario (descripción de servicio, precio por hora, etc.) y pasarlo a un dataframe en pandas. Lo que actualmente demora entre 10 y 40 segundos por usuario (media 20 seg.), la idea es que lo haga en una fracción de ese tiempo (queremos llegar a los 2-5 segundos), NECESITO incluir procesamiento en paralelo.

Python Web Scraping Scrapy Selenium Webdriver Parallel Processing

Project ID: #27853806

About the project

6 proposals Remote project Active 3 years ago

6 freelancers are bidding on average $190 for this job

schoudhary1553

Hi, Greetings! ✅checked your project details: FROM SELENIUM TO SCRAPY AND PARALLEL webscraping ✅Completed Time: In project deadline We have worked on 600 + Projects. I have 6 + years of the experience in same k More

$220 USD in 4 days
(61 Reviews)
6.7
raminde

Have over 10 years of experience in data mining/ Web scrapping/ Scraping Bots/ Chrome/Opera Extensions I have done it all. Tell us your source and we will put it in excel for you, Or we can even give you filtered resul More

$278 USD in 1 day
(13 Reviews)
6.1
PKonstiantyn

Hello I'm Web scraping expert. Very interesting in your project”scrapping web”. I'm a Python, with a strong background in Data Scraping and Data Crawling. I have finished more than 30 similar projects in the past, and More

$250 USD in 4 days
(11 Reviews)
4.3
mathewtmathews

I had been doing scrapping from last 3-4 years. Already done with around 15000 websites so far with scrappy, celenium , browser automation in many real estate,webshop, news sites .I am much sure that I will be the best More

$140 USD in 5 days
(5 Reviews)
3.4