Seo и robots.txt
В процессе создания сайта и его продвижения необходимо позаботиться о безопасности конфиденциальных данных, максимально закрыть доступ к личной информации пользователей.
Утечка таких сведений может стоить вам довольно дорого – репутация сайта будет безнадежно утрачена и, чтобы вернуть ее, вам придется очень постараться.
Именно поэтому, необходимо грамотно использовать связку SEO и robots.txt - файла, который запрещает поисковым машинам индексировать те или иные страницы интернет-ресурса и управляет их перемещениями по сайту.
Ярким примером неправильного использования запретов в текстовом файле является совершенно недавний скандал с сотовой компанией «Мегафон». На ее сайте долгое время спокойно работал сервис отправки смс на любые номера сети. Все было отлично до тех пор, пока в кэше поисковой системы Яндекс не обнаружились все смски, отправленные с данного ресурса. Многие из них содержали весьма важную персональную информацию, что привело к грандиозному скандалу. После этого, Яндекс призвал абсолютно всех владельцев сайтов предельно внимательно относиться к SEO и robots.txt, опубликовал все возможные схемы запрета индексации отдельных страниц и разделов.
Создание текстового файла занимает всего несколько минут, тем более, что существуют онлайн-сервисы и специальные программы, которые готовы выполнить все необходимые операции за вас. Запрет индексации для всех поисковых систем осуществляется командой Disallow, после которой перечисляются все разделы и страницы, на которые паук не должен заходить. Кроме этого, в robots.txt используются такие директивы, как Sitemap, указывающая местонахождение карты сайта, User-agent, которая определяет те поисковые системы, для которых предназначены команды и Host, определяющая, какое из нескольких зеркал ресурса является основным. Если вы оставите файл пустым, поисковик будет индексировать все файлы и каталоги вашего ресурса, что может привести к самым неприятным последствиям.
Именно поэтому SEO и robots.txt должны быть неразделимы. Если вы беретесь за оптимизацию сайта, в первую очередь отредактируйте текстовый файл, который позволит избежать любых неприятностей с публикацией конфиденциальной информации ваших потенциальных посетителей.
