robots.txt и карта сайта

Карта сайта лежит по адресу /sitemap.xml и собирается сама при каждом запросе — файла на диске нет и создавать его не надо. В неё попадают только страницы с уровнем доступа «Всем»; языковые версии перечисляются внутри одной записи, как того требует Google. Раздел, скрытый на каком-то языке («Разделы и информеры по языкам» на вкладке «Языки сайта»), для этого языка в карту не попадает.

robots.txt открывается по адресу /robots.txt: посетитель и поисковый робот увидят текст, а вы — редактор. Тот же текст правится и в окне раздела, кнопкой «Настройки модуля», поле «Содержимое robots.txt». Пустое поле здесь осмысленно: значит «собирай автоматически», и движок сам напишет разумный файл со ссылкой на карту сайта.

Раздел robots.txt есть на каждом сайте, но в меню он не показывается — это нормально.

Если не получилось

• Изменения в robots.txt не видны. Если на сервере в корне сайта лежит настоящий файл robots.txt, веб-сервер отдаёт его и до движка запрос не доходит. Файл надо удалить.
• Страницы нет в карте сайта. Проверьте уровень доступа: всё, кроме «Всем», в карту не попадает. Также не попадают адреса с расширением и информеры.