Deep crawl is een term die wordt gebruikt om te verwijzen naar het grondig scannen van een website door een zoekmachine of andere crawler om de inhoud te indexeren. Deep crawl houdt in dat de crawler niet alleen de homepage van een website indexeert, maar ook alle andere pagina’s die zijn gekoppeerd aan de homepage en die zijn gekoppeerd aan deze pagina’s, enzovoort. Het doel van een deep crawl is om zoveel mogelijk inhoud van een website te indexeren, zodat deze kan worden opgenomen in de zoekresultaten. Deep crawl kan helpen om de inhoud van een website beter te laten ranken in de zoekresultaten en om ervoor te zorgen dat alle relevante pagina’s op een website worden gevonden door de zoekmachine. Het is belangrijk om te onthouden dat deep crawl soms tijdrovend kan zijn en dat het kan leiden tot een hogere serverbelasting, dus het is belangrijk om te overwegen hoe vaak een deep crawl nodig is.
