При создании сайта каждый задумывает, что такое robots.txt и для чего он нужен. Многие оставляют его без внимания и потом удивляются тому, что у них либо, что то не индексируется либо индексируется то, что не нужно.
Файл robots.txt который должен находится в корне каждого сайта указывает поисковым системам какие области сайта можно индексировать, а какие запрещено.
Если данный файл будет отсутствовать то поисковые роботы переходя по ссылкам на сайте залезут куда угодна на Вашем сайте и в итоге Вы получите в индексе кучу ненужных страниц, картинок и т.п. с Вашего сайта, а так же страниц которые не представляют для поисковых систем ни какой ценности такие как: профиль пользователя, страницы поиска и другие ненужные страницы. Не редкость когда из за холатного отношения к данному файлу сайты попадали в бан поисковых систем. Если разбирать точное назначение данного файла то он указывает поисковым роботам какие страницы, документы, разделы сайта запрещено индексировать.
Так же в файле robots.txt указывается ссылка на карту сайта и основной домен сайта с www или без него.
Зеркало сайта это тот сайт который является идентичной копией основного и в файле robots.txt Вам необходимо указать главный домен Вашего сайт.
Файл robots.txt дает поисковым системам понять какой именно домен считать основным для сайта с www или без него.