Automatically scrape the URLs in the Web Scraper every 24 hours
closed
Charl Haas
closed
We’ve received requests for an automated feature to scrape all URLs. However, due to the high server demands this would create, it is not feasible to implement. Manual selection allows us to maintain optimal performance and service reliability for all users.
Alexander Wijninga
in progress
Charl Haas
planned
R
Robin Dirksen
Aanvulling:
Bij google merchant center is het mogelijk om een producten feed elke 24 uur, op een bepaald tijdstip, te laten crawlen. Bijvoorbeeld 05:00 uur elke dag. Bij de watermelon webscraper zou dit ook wenselijk zijn, zodat je zelf als website beheerder kan bepalen op welk moment watermelon de website opnieuw gaat crawlen.
Mocht dit niet mogelijk zijn om in te stellen, of eventueel als extra functie, de webscraper via de API te kunnen aanroepen om een recrawl uit te voeren. Hierdoor kan het systeem in geval van een wijziging automatisch watermelon instrueren om de recrawl te starten.