MemoriseBot

Senast uppdaterad: 2026-10-18

MemoriseBot är hämtaren Memorise använder när vi kontrollerar en sajt, till exempel om AI-sök får läsa den, om startsidan är uppmärkt och om det finns en sitemap. Den hämtar bara publika filer, aldrig något bakom en inloggning.

Så känner ni igen den

MemoriseBot presenterar sig alltid med den här user agenten och byter den aldrig:

MemoriseBot/1.0 (+https://memorise.se/memorisebot)

Det den hämtar

En kontroll hämtar robots.txt, startsidan och sajtens sitemap, och för att se när något senast publicerades högst tre underliggande sitemaps. Det blir ett tiotal förfrågningar per kontroll. MemoriseBot följer inga länkar och går inte igenom sajten. Resultatet sparas i tio minuter, så samma sajt hämtas inte om varje gång någon tittar på den.

Laddtiden mäter vi med Googles egna verktyg. Då är det Google som hämtar sidan, med Googles user agent, och inte MemoriseBot.

robots.txt

MemoriseBot läser alltid robots.txt först. Ber någon oss att kontrollera en sajt hämtar vi på deras uppdrag och följer regler som riktas till MemoriseBot, men inte generella regler för alla crawlers, eftersom vi bara hämtar några enstaka filer. När vi kontrollerar en sajt på eget initiativ följer vi hela robots.txt.

Vill ni inte att MemoriseBot hämtar något från er sajt räcker det att lägga till det här i robots.txt:

User-agent: MemoriseBot
Disallow: /

Då läser MemoriseBot bara robots.txt och slutar där.

Brandväggar och säkerhetskontroller

Svarar sajten med en säkerhetskontroll stannar MemoriseBot. Den försöker aldrig ta sig förbi en brandvägg eller en captcha och utger sig aldrig för att vara en webbläsare.

Kontakt

Har ni frågor om MemoriseBot, eller vill ni att vi slutar hämta från er domän helt, utan att ens läsa robots.txt? Mejla hello@memorise.se så lägger vi in domänen i vår spärrlista.