User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /readme.html
Disallow: /trackback/
Disallow: /comments/

Sitemap: https://terresenmelees.org/sitemap_index.xml

# Crawlers sans valeur pour le site (aucun visiteur en France) et gourmands en
# budget de crawl. Egalement bloques cote serveur dans .htaccess, car robots.txt
# n'est qu'une demande : ces bots ne la respectent pas toujours.
User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: MJ12bot
Disallow: /