09.00 до 20.00 7 дней в неделю

Нижний Новгород +7 (831) 262-10-89

Москва и другие+7 (499) 110-43-51

Блог администратора

Новости и статьи по созданию, раскрутке, продвижению, оптимизации сайтов в поисковых системах, а так же полезные советы и раскрутка в социальных сетях.

1 minute reading time (222 words)

Что такое Robots.txt

Что такое Robots.txt

   При создании сайта каждый задумывает, что такое robots.txt и для чего он нужен. Многие оставляют его без внимания и потом удивляются тому, что у них либо, что то не индексируется либо индексируется то, что не нужно.

   Файл robots.txt который должен находится в корне каждого сайта указывает поисковым системам какие области сайта можно индексировать, а какие запрещено.

   Если данный файл будет отсутствовать то поисковые роботы переходя по ссылкам на сайте залезут куда угодна на Вашем сайте и в итоге Вы получите в индексе кучу ненужных страниц, картинок и т.п. с Вашего сайта, а так же страниц которые не представляют для поисковых систем ни какой ценности такие как: профиль пользователя, страницы поиска и другие ненужные страницы. Не редкость когда из за холатного отношения к данному файлу сайты попадали в бан поисковых систем. Если разбирать точное назначение данного файла то он указывает поисковым роботам какие страницы, документы, разделы сайта запрещено индексировать.

   Так же в файле robots.txt указывается ссылка на карту сайта и основной домен сайта с www или без него.

   Зеркало сайта это тот сайт который является идентичной копией основного и в файле robots.txt Вам необходимо указать главный домен Вашего сайт.

   Файл robots.txt дает поисковым системам понять какой именно домен считать основным для сайта с www или без него.

Обновление Google PageRank
Как не попасть под фильтр Яндекса АГС

Читайте также:

 

Комментарии (0)

There are no comments posted here yet

Оставьте свой комментарий

  1. Posting comment as a guest. Sign up or login to your account.
0 Characters
Вложения (0 / 3)
Share Your Location

Добро пожаловать

Категории блога

Комментарии

Привет! Когда выложите новые базы, обещали на выходных.
Чем ниже скорость тем лучше пробив.
Почему скорость потоков лучше ставить 20-30? Обычно испо...
Поддержка в настоящее время Онлайн

Календарь записей

Подождите минутку, пока генерируется календарь