Вся правда о robots.txt
10 мая 2008 — xeqtr Раздел: Оптимизация | Просмотров: 2225
Вся правда о robots.txt
1. Что такое robots.txt?
2. В какой программе его можно сделать?
3. Где посмотреть информацию ? (ссылки)
Ответы :
1) Файл, содержащий команды для поисковых роботов. Например, указания не индексировать те или иные страницы. Или указание считать данный сайт зеркалом другого сайта.
Файл должен находиться в корневой папке.
2) в блокноте
3) http://robotstxt.org.ru/
http://www.citforum.ru/internet/search/rbtspec.shtml
http://ru.wikipedia.org/wiki/Robots.txt
http://www.rietta.com/robogen/
http://www.netpromoter.ru/metatag/he...ts_editor.html
Посмотреть, как Яндекс понимает Ваш robots.txt можно тут:
http://www.yandex.ru/cgi-bin/test-robots
1. Что такое robots.txt?
2. В какой программе его можно сделать?
3. Где посмотреть информацию ? (ссылки)
Ответы :
1) Файл, содержащий команды для поисковых роботов. Например, указания не индексировать те или иные страницы. Или указание считать данный сайт зеркалом другого сайта.
Файл должен находиться в корневой папке.
2) в блокноте
3) http://robotstxt.org.ru/
http://www.citforum.ru/internet/search/rbtspec.shtml
http://ru.wikipedia.org/wiki/Robots.txt
http://www.rietta.com/robogen/
http://www.netpromoter.ru/metatag/he...ts_editor.html
Посмотреть, как Яндекс понимает Ваш robots.txt можно тут:
http://www.yandex.ru/cgi-bin/test-robots
Уважаемый посетитель, Вы зашли на сайт движка dle как незарегистрированный пользователь. Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.
→ Другие новости по теме:
- Индексация сайта поисковыми машинами
- Какой счётчик лучше всего ставить.
- Продвижение Блогов
- Самые частые вопросы о Google
- Что делать если ваш сайт забанили.
