Robots.txt

Robots.txt

Robots.txt
раскрутка сайта самостоятельно

Зайдя на сайт поисковые роботы первым делом находят файл robots.txt, чтобы получить инструкции к дальнейшему действию. Файл позволяет узнать, какие файлы и директории запрещены к индексированию поисковым роботом.

Следовательно, каждый веб-мастер должен знать, как верно создать данный файл, потому что ошибки в нем ведут к весьма плачевным последствиям. Файл robots.txt является обычным файлом с расширением .txt, который создают и редактируют при помощи Блокнота. Файл находиться в корневой директории данного сайта.

Главные правила при создании и загрузке файла robots.txt:

  • не ошибиться в его названии, то есть называть файл robots.txt, а не robot.txt и так далее
  • писать имя файла robots.txt необходимо в нижнем регистре, то есть robots.txt, а не Robots.txt и ROBOTS.TXT и так далее
  • файл robots.txt должен располагаться именно в корневой директории сайта, а не в каком другом месте
Также очень важно грамотное содержание файла robots.txt, поэтому расскажу подробнее об этом моменте. Ошибки в содержании этого файла могут привести к тому, что сайт или отдельные его директории или файлы не будут проиндексированы.

Содержание файла robots.txt

Примеры robots.txt

Ошибки в robots.txt










Aliquam ipsum nisi, scelerisque et, commodo nec, consectetur vel, tellus. Cras ipsum diam, hendrerit id, accumsan sit amet, fermentum vel, dui. Cras ipsum diam, hendrerit id, accumsan sit amet, fermentum vel, dui.

H1: Lorem ipsum dolor sit amet

H2: Lorem ipsum dolor sit amet

H3: Lorem ipsum dolor sit amet

H4: Lorem ipsum dolor sit amet

H5: Lorem ipsum dolor sit amet
H6: Lorem ipsum dolor sit amet

UNORDERED LIST

  • Unordered list test
  • Another list element. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
    • Unordered list test
    • Another list element. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
    • Yet another element in the list
    • Some long text. Lorem ipsum dolor sit amet, consectetur adipisicing elit. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
  • Yet another element in the list
  • Some long text. Lorem ipsum dolor sit amet, consectetur adipisicing elit. Lorem ipsum dolor sit amet, consectetur adipisicing elit.

ORDERED LIST

  1. Ordered list test
    1. Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam..
  2. Another list element
  3. Yet another element in the list

TABLES

Caption
Some long text. Lorem ipsum dolor sit amet, consectetur adipisicing elit. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
Use the th tag to create the header which will display in bold
The tr tag creates the row The td tag creates individual cells for each row
You should always use the closing tags You can use a variety of XHTML tags inside the cell
The three new table tags are tbody, tfoot, and thead The colspan attribute allows you span more than one cell