begun

Jan

24

При индексации страниц пауки поисковых машин по умолчанию идут по всем ссылкам которые встречают. При этом часто они попадают на страницы с неподдерживаемым форматом данных (RSS, Atom, Trackbak) или служебные, а значит не нужные простому пользователю. Также роботы индексируют страницы не несущие никакой полезной информации, например авторизации и регистрации. Все это, в свою очередь, грозит захламлением результатов поиска по вашему сайту и более медленной индексацией полезной информации. Можно ли всего этого избежать? Ответ прост. Нужно! Для этих целей мы запретим индексацию ненужных страниц при помощи файла robots.txt. Дальше


Comments

Name (required)

Email (required)

Website

Spam protection: Sum of

Speak your mind

J2J.RU



Последние записи

Blogroll