|
Зайдя на сайт поисковые роботы первым делом находят файл robots.txt, чтобы получить инструкции к дальнейшему действию. Файл позволяет узнать, какие файлы и директории запрещены к индексированию поисковым роботом.
Следовательно, каждый веб-мастер должен знать, как верно создать данный файл, потому что ошибки в нем ведут к весьма плачевным последствиям. Файл robots.txt является обычным файлом с расширением .txt, который создают и редактируют при помощи Блокнота. Файл находиться в корневой директории данного сайта.
Главные правила при создании и загрузке файла robots.txt:
- не ошибиться в его названии, то есть называть файл robots.txt, а не robot.txt и так далее
- писать имя файла robots.txt необходимо в нижнем регистре, то есть robots.txt, а не Robots.txt и ROBOTS.TXT и так далее
- файл robots.txt должен располагаться именно в корневой директории сайта, а не в каком другом месте
Также очень важно грамотное содержание файла robots.txt, поэтому расскажу подробнее об этом моменте. Ошибки в содержании этого файла могут привести к тому, что сайт или отдельные его директории или файлы не будут проиндексированы.
Содержание файла robots.txt
Примеры robots.txt
Ошибки в robots.txt
|
|
