Миш, не совсем так. Файл robots.txt - это друг и помощник любого поискового робота. И если бот Яндекса может обойти его, если в нем написана фигня, то гугл и все остальные будут обходить стороной сам сайт (в данном случае - форум). Делается такой файл для удобства индексирования поисковиками, и с помощью этого файлмка можно объяснить что можно индексировать, а чего не нужно - По умолчанию, Яндекс смотрит везде и индексирует иногда двойные страницы, например, для каждой страницы на форуме должна быть страница - двойник, называемая "версия для печати", которая очень мешает в продвижении любого сайта, снижая рейтинг страницы в поисковой выдачи. Так вот, с помощью этого файлика эта проблема решается легко. С помощью этого файлика так же можно запретить поисковику индексировать админку, заходить в папки (особо актуально для CMS Joomla!), и индексировать все файлы кроме файлов с расширением *.html при нормально работающем модуле ЧеловекоПонятныхУрлов. А можно, если не изменяет память, запретить роботу индекировать ссылки, которые ведут наружу, что так же повысит рейтинг сайта в поисковой выдаче. Вот лишь скромная часть достоинств этого файла, не стоит пренебрегать им.
__________________
С уважением,
Желнов Антон.
|