Эффект от файла robots.txt для SEO

Многие нюансы надо учитывать еще при создании сайта: в будущем они могу сэкономить время, нервы и деньги. В частности я говорю про файл robots.txt, который имеет мягко говоря немаленькое значение для сайта. В данной статье не буду опять же учить азам, которые рассказывает сам Яндекс, а приведу пару примеров.

Итак, начинающие сайтовладельцы конечно слыхом не слыхивали про такой файл и возможно смогут жить без него, однако сразу стоит предостеречь от проблем, которые могут возникнуть, если его не будет. Точнее скорее от одной, но главной:

Дубли страниц. Страшная беда, которой страдает прежде всего  Joomla, да и другие популярные CMS грешат. Суть в том, что одна и та же страница может быть доступна по нескольким адресам. Например, главная страница: site.ru, site.ru/index.html, site.ru/index.php ну и другие радости с другими страницами. Казалось бы ну пускай себе. Вы даже можете не знать, что у вас есть два адреса, по которому доступна одна и та же страница, однако пронырливые поисковики все знают и находят. И это проблема номер 2: что не запрещено, то разрешено для индексации. А если там конфиденциальные данные?

Как поисковик найдет эти страницы? Да хотя бы так, читаем. Да, Яндекс.Метрика может передавать адреса страниц на индексацию, поэтому если вы поставили счетчик Яндекса на свой сайт, то дали ему возможность получить дубли.

Понимаю разочарование многих, но не делайте ошибок: правильным решением будет не удалить код Метрики, а настроить robots.txt и поиметь от этого недурственный seo эффект.

Насчет того, чем плохи дубли: контент должен быть уникальным как вне сайта, так и внутри. Так вы сможете контролировать на какую страницу придет человек из поисковика и робот будет знать что вот, страница она одна.

В общем этот чудный файл нужен для того, чтобы ограничить роботу доступ к сайту. Конечно, роботов много (как и поисковых систем), но и против лома есть прием: файл .htaccess. Про него поговорим в другой статье.

Пока что читайте про robots.txt, а я пошел готовить отличные показательные примеры как составить этот файл.

Проверить и проанализировать свой robots.txt возможно через инструмент панели Вебмастера, а если не в курсе напомним ссылку для анализа.

Comments are closed.

Post Navigation