Поисковые системы по-разному индексируют сайты в зависимости от их возраста, контента, структуры, специальных файлов и др. факторов.

В данном случае карта сайта sitemap.xml указывает все страницы и структуру вашего сайта. (Посмотреть более подробно про sitemap).

В файле robots.txt можно указать путь карты вашего сайта (sitemap.xml), а также страницы, которые не нужно индексировать, чтобы они не участвовали в поиске. Как правило, это могут быть страницы с большим количеством ссылок, страницы с неуникальными текстами и т.д.

По вашему усмотрению, если на сайте нет страниц, которые нужно спрятать от поисковых систем, то в файле robots.txt можно ничего не указывать.

Также в файле robots.txt указывается Host вашего сайта, то есть его адрес.

В том случае, если вы решите закрыть от поиска некоторые страницы, то в robots.txt нужно добавить строку(-и):

Disallow: /раздел_сайта

В строке "Disallow:" нет необходимости писать полный адрес страницы, которую необходимо закрыть от индексации, а только ту ее часть, которая идет сразу после адрес_вашего_сайта.ru

Например, для страницы http://site-manager.ru/tariff/ запрет на ее индексацию будет выглядеть так:

Disallow: /tariff