Блоги Крутим Все

   При создании сайта каждый задумывает, что такое robots.txt и для чего он нужен. Многие оставляют его без внимания и потом удивляются тому, что у них либо, что то не индексируется либо индексируется то, что не нужно.   Файл robots.txt который должен находится в корне каждого сайта указывает поисковым системам какие области сайта можно индексировать, а какие запрещено.   Если данный файл будет отсутствовать то поисковые роботы переходя по ссылкам на сайте залезут куда угодна на Вашем сайте и в итоге Вы получите в индексе кучу ненужных страниц, картинок и т.п. с В...