Ser AI-crawlern din sajt?

En sida kan vara synlig för Googlebot men osynlig för en AI-crawler, eftersom AI-crawlers i bulk sällan kör JavaScript. Simulatorn nedan visar hur samma sajt ser olika ut för Googlebot, som renderar JavaScript, och GPTBot, som oftast bara läser den råa HTML:en.

Så fungerar simulatorn

Varje rad är en sida på en påhittad sajt. En sida blir grön när crawlern både når den och kan indexera den, gul när den hämtas men bär en noindex-signal, och grå när den är blockerad, saknar inkommande länk eller kräver JavaScript som crawlern inte kör. Två crawlerspalter visar skillnaden: Googlebot renderar JavaScript, GPTBot gör det oftast inte. Kryssa i egenskaper och se rutnätet ändras. Utan JavaScript visas standardscenariot som en fast tabell, den är fullt läsbar ändå.

Vad simulatorn lär ut

Poängen är att crawling och indexering är olika steg, och att olika crawlers klarar olika mycket. En prissida vars innehåll byggs i webbläsaren med JavaScript kan vara helt tom för en crawler som bara läser den råa HTML:en. Googlebot renderar och ser innehållet, men en AI-crawler som hämtar sidan utan att köra koden ser en tom sida, och då kan varken sidan indexeras eller citeras i ett AI-svar.

Slutsatsen för den som vill synas i AI-svar: lägg det viktiga innehållet i den serverrenderade HTML:en, inte bakom JavaScript. Blockera bara det som verkligen ska vara privat i robots.txt, och använd noindex medvetet, en noindex-sida hämtas men tas aldrig med i resultatet.