Показать сообщение отдельно
Старый 02.03.2014, 02:23   #337
technik
Гость
 
Аватар для technik
 
Регистрация: 01.09.2010
Адрес: Москва
Сообщений: 3,308
Сказал(а) 'не согласен(а)'!: 173
Сказали 'не согласен'! 61 раз(а) в 44 сообщениях
Сказал(а) спасибо: 11,459
Поблагодарили 3,566 раз(а) в 1,502 сообщениях
Репутация: репутация неоспорима (3698)
По умолчанию

Миш, не совсем так. Файл robots.txt - это друг и помощник любого поискового робота. И если бот Яндекса может обойти его, если в нем написана фигня, то гугл и все остальные будут обходить стороной сам сайт (в данном случае - форум). Делается такой файл для удобства индексирования поисковиками, и с помощью этого файлмка можно объяснить что можно индексировать, а чего не нужно - По умолчанию, Яндекс смотрит везде и индексирует иногда двойные страницы, например, для каждой страницы на форуме должна быть страница - двойник, называемая "версия для печати", которая очень мешает в продвижении любого сайта, снижая рейтинг страницы в поисковой выдачи. Так вот, с помощью этого файлика эта проблема решается легко. С помощью этого файлика так же можно запретить поисковику индексировать админку, заходить в папки (особо актуально для CMS Joomla!), и индексировать все файлы кроме файлов с расширением *.html при нормально работающем модуле ЧеловекоПонятныхУрлов. А можно, если не изменяет память, запретить роботу индекировать ссылки, которые ведут наружу, что так же повысит рейтинг сайта в поисковой выдаче. Вот лишь скромная часть достоинств этого файла, не стоит пренебрегать им.
__________________
С уважением,
Желнов Антон.
technik вне форума   Вверх