Igor Panchenko, 404 - нет такого файла, Ваш сервер говорил яндексу, что у него в корне нет файла robots.txt
JoNick 08:52 06.09.2006
наличие (отсутствие) robots.txt не влияет на 404 ошибку...
VaUlt 09:07 06.09.2006
JoNick, Если Вы не понимаете о чем речь идет, зачем говорить?
Попробуйте ради интереса скормить по ссылке http://www.yandex.ru/cgi-bin/test-robots, УРЛ у которого нет файла robots.txt, а потом положите туда этот файл. Посмотрите на ответы.
в файлик robots.txt вписываются файлы и папки, которые поисковик не должен будет проиндексировать у себя при обходе сервера.
Вот яндекс и ищет эти файлы и если не находит, возвращает 404
VaUlt 09:16 07.09.2006
DRON-ANARCHY, Имейте привычку перед ответом читать тему целиком.