De webcrawler is een programma dat automatisch het web doorkruist door de pagina's te downloaden en de koppelingen van pagina naar pagina te volgen. Een algemeen doel van web crawler is het downloaden van een webpagina die kan worden benaderd via de links. Dit proces wordt web crawlen of spinnen genoemd. Veel sites, met name zoekmachines, gebruiken spinnen als een middel om up-to-date gegevens te verstrekken. Webcrawlers worden voornamelijk gebruikt om een kopie te maken van alle bezochte pagina's voor latere verwerking door een zoekmachine die de gedownloade pagina's indexeert om snelle zoekopdrachten te bieden. Crawlers kunnen ook worden gebruikt voor het automatiseren van onderhoudstaken op een website, zoals het controleren van koppelingen of het valideren van HTML-code. Ook kunnen crawlers worden gebruikt om specifieke soorten informatie van webpagina's te verzamelen, zoals het verzamelen van e-mailadressen (meestal voor spam). Een webcrawler is één type bot of softwareagent. In het algemeen begint het met een lijst van URL's om te bezoeken, de zaden genoemd. Als de crawler deze URL's bezoekt, worden alle hyperlinks op de pagina geïdentificeerd en worden deze toegevoegd aan de lijst met URL's die u wilt bezoeken, de crawlgrens. URL's van de grens worden recursief bezocht volgens een reeks beleidsmaatregelen.
versiegeschiedenis
- Versie 3.19 geplaatst op 2012-01-15
eerste publieke release
Programmadetails
- Categorie: Systeemvoorzieningen > Automatiseringstools
- Publisher: VietSpider
- Licentie: Gratis
- Prijs: N/A
- Versie: 3.19
- Platform: windows