User-agent: *
Allow: /

# Запрещаем индексацию служебных директорий
Disallow: /config/
Disallow: /includes/
Disallow: /uploads/thumbs/
Disallow: /*.log$

# Разрешаем доступ к важным файлам
Allow: /includes/sitemap.php
Allow: /includes/robots.php

# Запрещаем дублирующиеся страницы
Disallow: /*?*
Disallow: /*&*

# Sitemap
Sitemap: http://blx.su/sitemap.xml

# Основные поисковые системы
User-agent: Googlebot
Allow: /

User-agent: Yandex
Allow: /

User-agent: Bingbot
Allow: /

# Ограничения для агрессивных ботов
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

User-agent: DotBot
Crawl-delay: 10