Nieuwe geavanceerde URL-filters en een op maat gemaakte planning voor de web crawler helpen je crawl-gebied te beperken en content effectiever te targeten als je help center-zoekopdingen en AI Agents extern content gebruiken.
Wat verandert: je kunt crawlingsruimte en -targets beter beheren door tot 500 start-URL's per crawler te configureren en meerdere domeinen tegelijk te crawlen. Stel je refresh-schemas in op dagelijks, wekelijks of maandelijks, en gebruik nooit als je dat wilt; wekelijkse planning is nu de standaard en handmatige crawls blijven altijd beschikbaar.
Verder kun je tot 500 include- en 500 exclude-filterregels per crawler definiëren; als een URL matcht met zowel inclusief als exclusief, krijgt exclude prioriteit. Dit maakt gerichte contentverwerking en betere AI-antwoorden mogelijk.