# robots.txt generico per Google e tutti i bot
# Blocca aree sensibili o non utili all’indicizzazione

User-agent: *
# Blocca l'area di amministrazione di WordPress
Disallow: /mgt/

# Blocca eventuali script o cartelle private
Disallow: /cgi-bin/
Disallow: /private/
Disallow: /config/
Disallow: /error_log
Disallow: /readme.html


# Imposta un crawl-delay se il server è sotto carico
# (in secondi: qui 10s tra una richiesta e l’altra)
Crawl-delay: 10



# Se vuoi regole specifiche solo per Googlebot:
User-agent: Googlebot
# Consenti tutto nel resto del sito
Allow: /

# Fine del file