Правильный robots.txt для SMF

Почти идеальный robots для только что установленного и настроенного форума, без учёта дополнительных SEO-модов типа Pretty URLs и прочих.

User-agent: *
Allow: /$ #Индексация главной страницы форума (или портала, если установлен)
Disallow: /*action #Адреса типа /index.php?action=
Disallow: /*topic=*.msg #Адреса типа /index.php?topic=49.msg209#new
Disallow: /*topic=*.new
Disallow: /*; #Адреса типа /index.php?board=1.0;sort=views
Disallow: /*ID #Адреса с параметром PHPSESSID
Allow: /*board #Индексация всех разделов
Allow: /*topic #Индексация всех тем
Disallow: / #Всё остальное запрещаем!
Host: dragomano.ru #Если у вас домен с www, то пишем: www.mysite.ru

Если хотите разрешить индексацию не только первых страниц тем и разделов, но и всех остальных, используйте универсальный блок правил (см. ниже), для всех роботов.

Директива Host указана в самом конце файла (и должна быть только одна!), чтобы поисковики, не понимающие её, не спотыкались на обработке других правил. Здесь главное не забыть настроить в .htaccess переадресацию адресов с www на адреса без www (или наоброт — зависит от вашей ситуации).

Ещё можно настроить редирект с /index.php на /:

RewriteEngine On
RewriteCond %{REQUEST_URI} ^\/index.php$
RewriteCond %{QUERY_STRING} ^$
RewriteRule ^(.*)$ / [L,R=301]

При установке мода Sitemap и включении новостей XML\RSS в админке набор правил не меняется, но добавляется пара строчек:

User-agent: *
Allow: /$
Allow: /*action=.xml #Разрешаем индексацию ленты новостей
Allow: /*sitemap #Разрешаем индексацию карты
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: / #Всё остальное запрещаем!
Sitemap: http://dragomano.ru/sitemap.xml #Полный URL к карте сайта
Host: dragomano.ru #Если у вас домен с www, то пишем: www.mysite.ru

Если ещё поставили Aeva Media и SimplePortal, правила опять дорабатываются:

User-agent: *
Allow: /$
Allow: /*forum$ #Индексация главной страницы форума (если установлен SimplePortal)
Allow: /*page*page #Индексация страниц портала
Allow: /*media$ #Индексация главной страницы галереи
Allow: /*media*item #Индексация элементов галереи
Allow: /*media*album #Индексация альбомов галереи
Allow: /*action=.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: / #Всё остальное запрещаем!
Sitemap: http://dragomano.ru/sitemap.xml #Полный URL к карте сайта
Host: dragomano.ru #Если у вас домен с www, то пишем: www.mysite.ru

Теперь по поводу мобилок. Опишем правила для ботов, добавляющих в индекс страницы для мобильных устройств:

User-agent: Googlebot-Mobile
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Allow: /*imode
Disallow: /

И, конечно, если хотим ограничить некоторых упёртых ботов в скорости сканирования своего форума, а то и вовсе запретить им доступ, можно добавить:

User-agent: slurp
Crawl-delay: 10

Заметьте: если у вас форум в поддиректории, то ко всем слэшам в путях добавляется название директории (например: Disallow: /smf вместо Disallow: /).

Весь прочий шлак, для которого не описаны правила, не попадёт в индекс благодаря тегу canonical, ныне поддерживаемому не только Google, но и Яндексом.

И помните — правильный robots.txt жизненно важен для эффективного продвижения сайтов!

Отметьте интересные вам фрагменты текста и они станут доступны по уникальной ссылке в адресной строке браузера.