Примеры robots.txt

Примеры robots.txt

Примеры robots.txt
лизинговые компании в москве для физических лиц

Приведем конкретные примеры написания файла robots.txt для разных задач.

1. Запретить ресурс полностью к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /

2. Не запрещать весь ресурс к индексации всеми поисковыми роботами.

User-agent: *
Disallow:

3. Запретить весь ресурс к индексации одним поисковым роботом, к примеру, роботом Bot.

User-agent: Bot
Disallow: /

4. Не запрещать весь сайт к индексации одному роботу, к примеру, Bot, и запретить к индексации всем остальным поисковым роботам.

User-agent: Bot
Disallow:

User-agent: *
Disallow: /

5. Запретить несколько папок к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /directoria-1/
Disallow: /directoria-1/
Disallow: /hidedirectoria/

6. Запретить несколько файлов к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /hide.php
Disallow: /secret.html










Aliquam ipsum nisi, scelerisque et, commodo nec, consectetur vel, tellus. Cras ipsum diam, hendrerit id, accumsan sit amet, fermentum vel, dui. Cras ipsum diam, hendrerit id, accumsan sit amet, fermentum vel, dui.

H1: Lorem ipsum dolor sit amet

H2: Lorem ipsum dolor sit amet

H3: Lorem ipsum dolor sit amet

H4: Lorem ipsum dolor sit amet

H5: Lorem ipsum dolor sit amet
H6: Lorem ipsum dolor sit amet

UNORDERED LIST

  • Unordered list test
  • Another list element. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
    • Unordered list test
    • Another list element. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
    • Yet another element in the list
    • Some long text. Lorem ipsum dolor sit amet, consectetur adipisicing elit. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
  • Yet another element in the list
  • Some long text. Lorem ipsum dolor sit amet, consectetur adipisicing elit. Lorem ipsum dolor sit amet, consectetur adipisicing elit.

ORDERED LIST

  1. Ordered list test
    1. Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam..
  2. Another list element
  3. Yet another element in the list

TABLES

Caption
Some long text. Lorem ipsum dolor sit amet, consectetur adipisicing elit. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
Use the th tag to create the header which will display in bold
The tr tag creates the row The td tag creates individual cells for each row
You should always use the closing tags You can use a variety of XHTML tags inside the cell
The three new table tags are tbody, tfoot, and thead The colspan attribute allows you span more than one cell