# --- Standardregler för alla crawlers ---
User-agent: *
Allow: /
Disallow: /admin
# Klickspårningen (/entries/:id/click) togs bort i 9ced84b (2026-08-26) och
# svarar 404 i dag. Raden står kvar med flit. Google hann upptäcka ~24 000
# sådana URL:er medan de låg i HTML:en, och de utgör hela posten "Blockerad av
# robots.txt" i Search Console (23 965 st, granskade i AAPLSE-34). Blockeringen
# är avsiktlig - de var aldrig innehållssidor, bara redirects - och att ta bort
# raden skulle bara skicka Googlebot på 24 000 färska 404:or. Nu när inget
# längre länkar dit faller de ur rapporten av sig själva.
Disallow: /entries/*/click
Disallow: /mcp
Disallow: /sok

# AI-crawlers är välkomna (GPTBot, ClaudeBot, OAI-SearchBot, Claude-SearchBot,
# PerplexityBot m.fl. matchas av wildcard-gruppen ovan).
# llms.txt: https://aapl.se/llms.txt

# --- Blockerade: SEO-verktyg för tredje part ---
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: SERankingBacklinksBot
Disallow: /

# --- Blockerade: irrelevant geografisk marknad ---
User-agent: Baiduspider
Disallow: /

# --- Blockerade: AI-träningsscrapers utan motprestation ---
# (AI-sökbottar som citerar tillbaka är fortsatt välkomna via wildcard ovan.)
User-agent: Bytespider
Disallow: /

User-agent: TikTokSpider
Disallow: /

User-agent: meta-externalagent
Disallow: /

# OBS: facebookexternalhit blockeras medvetet INTE — den renderar
# länkförhandsvisningar vid delning på Facebook/Instagram.

Sitemap: https://aapl.se/sitemap.xml
Sitemap: https://aapl.se/news-sitemap.xml