Вся правда о robots.txt

Вся правда о robots.txt
1. Что такое robots.txt?
2. В какой программе его можно сделать?
3. Где посмотреть информацию ? (ссылки)

Ответы :

1) Файл, содержащий команды для поисковых роботов. Например, указания не индексировать те или иные страницы. Или указание считать данный сайт зеркалом другого сайта.
Файл должен находиться в корневой папке.

2) в блокноте

3) http://robotstxt.org.ru/

http://www.citforum.ru/internet/search/rbtspec.shtml

http://ru.wikipedia.org/wiki/Robots.txt

http://www.rietta.com/robogen/

http://www.netpromoter.ru/metatag/he...ts_editor.html

Посмотреть, как Яндекс понимает Ваш robots.txt можно тут:

http://www.yandex.ru/cgi-bin/test-robots