Правильный robots.txt для SMF

Попробуем создать файл robots.txt для только что установленного и настроенного форума, без учёта дополнительных SEO-модов типа Pretty URLs и прочих.

На самом деле правильного варианта не существует, всё зависит от конфигурации форума и ваших требований.

User-agent: *
Disallow: /*action #Адреса типа /index.php?action=
Disallow: /*topic=*.msg #Адреса типа /index.php?topic=49.msg209#new
Disallow: /*topic=*.new
Disallow: /*; #Адреса типа /index.php?board=1.0;sort=views
Disallow: /*PHPSESSID #Адреса с параметром PHPSESSID
Allow: /$ #Индексация главной страницы форума
Allow: /*board #Индексация всех разделов
Allow: /*topic #Индексация всех тем

Если требуется разрешить индексацию не только первых страниц тем и разделов, но и индексацию остальных страниц, используйте универсальный блок правил (см. ниже), для роботов.

Не забудьте настроить в .htaccess переадресацию адресов с www на адреса без www (если необходимо).

А так настраивается редирект с /index.php на /:

RewriteEngine On
RewriteCond %{REQUEST_URI} ^\/index.php$
RewriteCond %{QUERY_STRING} ^$
RewriteRule ^(.*)$ / [L,R=301]

При установке мода Sitemap и включении новостей XML\RSS в админке набор правил не меняется, но добавляется пара строчек:

User-agent: *
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /$
Allow: /*board
Allow: /*topic
Allow: /*action=.xml #Разрешаем индексацию ленты новостей
Allow: /*sitemap #Разрешаем индексацию карты

Sitemap: https://dragomano.ru/sitemap.xml #Полный URL к карте сайта

Если ещё поставили Aeva Media и SimplePortal, правила опять дорабатываются:

User-agent: *
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /$
Allow: /*board
Allow: /*topic
Allow: /*forum$ #Индексация главной страницы форума (если установлен SimplePortal)
Allow: /*page*page #Индексация страниц портала
Allow: /*media$ #Индексация главной страницы галереи
Allow: /*media*item #Индексация элементов галереи
Allow: /*media*album #Индексация альбомов галереи
Allow: /*action=.xml
Allow: /*sitemap

Sitemap: https://dragomano.ru/sitemap.xml #Полный URL к карте сайта

Заметьте: если у вас форум в поддиректории, то к слэшам в путях добавляется название директории (например: Disallow: /smf вместо Disallow: /).

Остальные страницы, для которых не описаны правила, не попадут в индекс благодаря тегу canonical, который поддерживается популярными поисковиками.

Модификация, которая поможет автоматизировать описанный выше процесс — Optimus. Пользуйтесь.