Я сейчас вижу роботс уже другой:
Код:
User-agent: *
Disallow:
Crawl-delay: 120
Disallow: forum.modelldepo.ru/data/*
Disallow: http://forum.modelldepo.ru/forumdisplay.php?
Только, насколько я помню, пути в роботсе должны быть относительные, без домена.
По крайней мере, в описании формата на robotstxt.org указано:
Цитата:
Disallow
The value of this field specifies a partial URL that is not to be visited.
|
Проверить правильность файла можно здесь
http://webmaster.yandex.ru/robots.xml