# ROBOTS.TXT ДЛЯ МАКСИМАЛЬНОЙ SEO-ИНДЕКСАЦИИ
# Сайт адвоката Подоляко Валерий Николаевич
# https://crmzvezdie.ru/robots.txt

# 🚀 РАЗРЕШАЕМ ВСЁ ДЛЯ ВСЕХ ПОИСКОВИКОВ
User-agent: *
Allow: /

# ✅ ПРИОРИТЕТНЫЕ ПОИСКОВИКИ (явное разрешение)
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: YandexBot  
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 1

# 🔍 СПЕЦИАЛЬНЫЕ БОТЫ GOOGLE
User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Google-InspectionTool
Allow: /

# 📱 МОБИЛЬНЫЕ БОТЫ  
User-agent: Googlebot-Mobile
Allow: /

User-agent: YandexMobileBot
Allow: /

# 🎯 РАЗРЕШАЕМ ВАЖНЫЕ SEO ФАЙЛЫ
Allow: /robots.txt
Allow: /sitemap.xml
Allow: /favicon.ico
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.gif$
Allow: /*.webp$

# 🔓 РАЗРЕШАЕМ ФАЙЛЫ ВЕРИФИКАЦИИ ПОИСКОВИКАМ
Allow: /yandex_*.html
Allow: /google*.html
Allow: /BingSiteAuth.xml

# ❌ БЛОКИРУЕМ ТОЛЬКО СЛУЖЕБНЫЕ API (НЕ SEO)
Disallow: /api/behavioral-data
Disallow: /api/waf/
Disallow: /__health
Disallow: /__challenge_verify
Disallow: /__honeypot_trap_do_not_access
Disallow: /__admin
Disallow: /__ml_dataset_stats
Disallow: /__behavioral_stats

# 🚫 БЛОКИРУЕМ АГРЕССИВНЫЕ КРАУЛЕРЫ
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# 🗺️ УКАЗЫВАЕМ КАРТУ САЙТА
Sitemap: https://crmzvezdie.ru/sitemap.xml

# ⏱️ РАЗУМНАЯ ЗАДЕРЖКА ДЛЯ ЭКОНОМИИ РЕСУРСОВ
Crawl-delay: 1

# 📝 ДОПОЛНИТЕЛЬНЫЕ ДИРЕКТИВЫ ДЛЯ YANDEX
Host: https://crmzvezdie.ru