Правильный robots.txt для SMF

Попробуем создать файл robots.txt для только что установленного и настроенного форума, без учёта дополнительных SEO-модов типа Pretty URLs и прочих.

Указанные ниже правила никоим образом не претендуют на единственно верные и безошибочные.

User-agent: *
Allow: /$ #Индексация главной страницы форума (или портала, если установлен)
Disallow: /*action #Адреса типа /index.php?action=
Disallow: /*topic=*.msg #Адреса типа /index.php?topic=49.msg209#new
Disallow: /*topic=*.new
Disallow: /*; #Адреса типа /index.php?board=1.0;sort=views
Disallow: /*ID #Адреса с параметром PHPSESSID
Allow: /*board #Индексация всех разделов
Allow: /*topic #Индексация всех тем
Disallow: / #Всё остальное запрещаем!
Host: dragomano.ru #Если у вас домен с www, добавьте www впереди

Если требуется разрешить индексацию не только первых страниц тем и разделов, но и индексацию остальных страниц, используйте универсальный блок правил (см. ниже), для роботов.

Директива Host указана в конце файла, чтобы поисковики, которые этот параметр не поддерживают, не спотыкались на обработке других правил. Здесь главное не забыть настроить в .htaccess переадресацию адресов с www на адреса без www (или наоборот — зависит от вашей ситуации).

А так настраивается редирект с /index.php на /:

RewriteEngine On
RewriteCond %{REQUEST_URI} ^\/index.php$
RewriteCond %{QUERY_STRING} ^$
RewriteRule ^(.*)$ / [L,R=301]

При установке мода Sitemap и включении новостей XML\RSS в админке набор правил не меняется, но добавляется пара строчек:

User-agent: *
Allow: /$
Allow: /*action=.xml #Разрешаем индексацию ленты новостей
Allow: /*sitemap #Разрешаем индексацию карты
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: / #Всё остальное запрещаем!
Sitemap: http://dragomano.ru/sitemap.xml #Полный URL к карте сайта
Host: dragomano.ru #Если у вас домен с www, добавьте www впереди

Если ещё поставили Aeva Media и SimplePortal, правила опять дорабатываются:

User-agent: *
Allow: /$
Allow: /*forum$ #Индексация главной страницы форума (если установлен SimplePortal)
Allow: /*page*page #Индексация страниц портала
Allow: /*media$ #Индексация главной страницы галереи
Allow: /*media*item #Индексация элементов галереи
Allow: /*media*album #Индексация альбомов галереи
Allow: /*action=.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: / #Всё остальное запрещаем!
Sitemap: http://dragomano.ru/sitemap.xml #Полный URL к карте сайта
Host: dragomano.ru #Если у вас домен с www, добавьте www впереди

Теперь по поводу мобилок. Опишем правила для ботов, добавляющих в индекс страницы для мобильных устройств:

User-agent: Googlebot-Mobile
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Allow: /*imode
Disallow: /

Заметьте: если у вас форум в поддиректории, то к слэшам в путях добавляется название директории (например: Disallow: /smf вместо Disallow: /).

Остальные страницы, для которых не описаны правила, не попадут в индекс благодаря тегу canonical, который поддерживается популярными поисковиками.

Модификация, которая поможет автоматизировать описанный выше процесс — Optimus. Пользуйтесь и наслаждайтесь.

Плюсануть
Поделиться
Класснуть