LinkSweepi crawleri spetsifikatsioon

Näed LinkSweep/1.0 oma logides? See on meie crawler, mis kontrollib saiti, mis palus end jälgida. See tuleb ühelt kindlalt IP-aadressilt tuvastatava user-agent'iga, austab robots.txt, ja piirab oma päringuid hostipõhiselt. Kõik, mida vajad selle tuvastamiseks või lubatud loendisse lisamiseks, on allpool.

Identiteet

Lähte-IP: 185.31.243.206
User-Agent: Mozilla/5.0 (compatible; LinkSweep/1.0; +https://linksweep.eu/bot)
User-Agent (mobiilikontrollid): Mozilla/5.0 (Linux; Android 10) … Chrome/120.0.0.0 Mobile Safari/537.36 LinkSweep/1.0
Haldaja: LEAD OÜ, Tallinn, Estonia — vaata Meist

Kuidas ta käitub

Järgib robots.txt. Enne crawlimist kontrollib see robots.txt ja meta-robots reegleid ning järgib disallow, noindex ja crawl-delay direktiive.
Piirab päringuid hostipõhiselt. See piirab samaaegseid päringuid ühele lähtekohale ja lisab kohaneva viivituse, mis kasvab 429/503 vastuste korral (arvestades Retry-After) ja leeveneb, kui vastused on korras.
Toob ainult vajaliku. Sinu lehed, nende lingitud ressursid, ning robots.txt ja sinu XML-i saidikaart — tavalise saidi puhul mõnisada päringut skaneeringu kohta.
Renderdab vajadusel päris brauseris. JavaScripti saidid laaditakse peata Chromiumis, mida majutame ise oma EL-i serverites; sinu URL-e ei saadeta ühelegi kolmanda osapoole teenusele.

Lubatud loendisse lisamine tulemüüri taga

Kui veebirakenduse tulemüür blokeerib crawlerit, tuvastab LinkSweep, milline see on, ja suunab sind sammhaaval juhendi juurde. Lisa ülal olev IP ja user-agent lubatud loendisse, et see läbi lasta:

Cloudflare → Akamai → Imperva → AWS WAF → DataDome → PerimeterX → Sucuri → Fastly → Wordfence →

Seotud: skaneeringu metoodika, JavaScripti ja SPA crawlimine, ja kes LinkSweepi haldab.

Küsimused crawleri kohta? Võta ühendust.