# ===== ROBOTS.TXT - LA PINUCCIA VIDEOGIOCO EDUCATIVO =====
# Ottimizzato per massima indicizzazione SEO

User-agent: *
Allow: /

# Permetti tutti i bot di ricerca principali
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: YandexBot
Allow: /

User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

# Blocca bot inutili per risparmio risorse
User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: BlexBot
Disallow: /

# Permetti crawling delle immagini per Google Images
User-agent: Googlebot-Image
Allow: /images/

# Permetti crawling video per Google Video
User-agent: Googlebot-Video
Allow: /

# Directory da non indicizzare (se esistono)
Disallow: /admin/
Disallow: /private/
Disallow: /test/
Disallow: /.netlify/
Disallow: /node_modules/

# File specifici da non indicizzare
Disallow: /*.json$
Disallow: /*.xml$ 
Disallow: /sitemap.xml
Disallow: /netlify.toml

# Crawl-delay per bot aggressivi
User-agent: *
Crawl-delay: 1

# ===== SITEMAP =====
# Indica dove si trova la sitemap
Sitemap: https://lapinuccia.it/sitemap.xml

# ===== NOTE SEO =====
# Questo robots.txt è ottimizzato per:
# - Massima visibilità sui motori di ricerca
# - Protezione file di configurazione
# - Performance ottimizzata
# - Compatibilità social media bots