Crawling

Crawling är när en sökmotor eller AI-tjänst automatiskt hämtar och upptäcker sidor på webben, genom att följa länkar från sida till sida med programvara som kallas robot eller spindel. Crawling handlar om att hitta och läsa innehåll, inte om att lagra eller ranka det.

Även: crawl, webbcrawling, spindling, krypning.

Crawling är första steget i hela synlighetskedjan. En robot besöker en sida, läser dess innehåll och följer länkarna vidare för att hitta nästa sida. Utan crawling vet varken Google eller en AI-tjänst att sidan existerar, och då spelar det ingen roll hur bra innehållet är. Allt annat, indexering och rankning, bygger på att roboten först kom fram.

Det finns saker som stoppar en robot: sidor som kräver inloggning, instruktioner i robots.txt som blockerar åtkomst, eller innehåll som bara laddas efter komplicerad kod roboten inte kör. En vanlig missuppfattning är att crawling ensam räcker för att synas. Roboten kan ha hämtat sidan utan att den senare tas med i indexet, och först i indexet blir sidan möjlig att visa i ett sökresultat.

Relaterade begrepp

• foregar: indexering
• kravs for: seo
• kravs for: citering