Kuidas LinkSweep skaneerib
LinkSweepi skaneering avastab sinu lehed saidikaardilt ja siselinkidelt, renderdab JavaScripti päris brauseris, kui leht seda vajab, teeb 13 kontrolli ning rühmitab seejärel leiud raskusastme järgi ja edastab need. Tulemusi kontrollitakse uuesti ja võrreldakse sinu saidikaardiga, et filtreerida välja valepositiivsed tulemused, ning iga päring on hostipõhiselt piiratud, nii et skaneerimine jääb viisakaks. See leht selgitab iga sammu.
Skaneeringu elutsükkel
- Avasta. LinkSweep loeb sinu XML-i saidikaardi ja järgib siselinke, et koostada kontrollitavate lehtede loend kuni sinu paketi lehelimiidini.
- Renderda vajadusel. Serveris renderdatud HTML loetakse otse. Kui leht on JavaScripti kest, renderdab LinkSweep selle uuesti peata Chromiumis — vt JavaScripti ja SPA crawlimine.
- Kontrolli. Iga lehte uuritakse katkiste linkide ja piltide, SEO- ja ligipääsetavusprobleemide, aeglaste vastuste, turvapäiste, segasisu, ümbersuunamisahelate ja aegunud sisu suhtes.
- Veendu. Kõik märgistatu kontrollitakse uuesti üle, et välistada ajutine tõrge, ning tulemüüriga kaitstud hostidel võrreldakse tulemusi sinu saidikaardiga.
- Sea tähtsuse järjekorda ja edasta. Leiud rühmitatakse raskusastme järgi ja saadetakse e-kirja, veebihaagi, CSV- või PDF-ina, olenevalt sinu paketist.
Kuidas raskusaste toimib
- Viga
- Midagi on katki ja külastajad puutuvad sellega kokku — 404, serveriviga, liiga pikk ümbersuunamisahel (5+ hüpet).
- Hoiatus
- Tuleks parandada, kuid pole kiireloomuline — 3–4 hüppega ümbersuunamine, puuduv metakirjeldus, aegunud leht, ligipääsetavuse puudujääk.
- Teave
- Kontekst, mitte viga — näiteks bot-kaitse blokeeritud link, mis esitatakse nii, et saad meid lubatud loendisse lisada, mitte ei loeta katkiseks.
Kuidas me väldime valepositiivseid tulemusi
- Taaskontroll. Kord ebaõnnestunud link kontrollitakse enne raporteerimist uuesti üle, nii et ühekordne aegumine ei muutu katkiseks lingiks.
- Saidikaardiga võrdlemine. Tulemüüri taga olevatel saitidel võrreldakse märgistatud linke sinu saidikaardiga, nii et katkendlikud tulemüüri vastused ei muuda kehtivaid lehti valedeks vigadeks.
- Kuupäevamustrite summutamine. Aegunud kuupäeva kontroll eirab numbreid, mis näevad välja nagu versioonid, hinnad või ID-d, nii et see märgistab tõelised aegunud kuupäevad, mitte iga numbri lehel.
- Botiblokeeringud on teave. Tulemüüri blokeeritud lingid esitatakse eraldi koos lubatud loendisse lisamise juhisega — kunagi ei loeta katkiseks.
Vaikimisi viisakas
LinkSweep austab robots.txt, meta-robots reegleid ja crawl-delay. See piirab, kui palju päringuid tehakse korraga ühele hostile, ja lisab kohaneva viivituse, mis kasvab, kui host hakkab tagastama 429/503 vastuseid (arvestades Retry-After) ja leeveneb, kui vastused on taas korras. Täielikku tehnilist teavet vaata crawleri spetsifikatsiooni.
Vaata metoodikat töös
Käivita tasuta kogu saidi skaneering ja vaata, kuidas leiud tähtsuse järjekorda seatakse. Krediitkaarti pole vaja.