Большой Воронежский Форум Mobile

На сайт ходит толпа ботов штук 20... Все от яху. ладно бы один приходил, а то двадцать и более штук зараз. И все с разных IP.
Опознаются в логах как

Сообщение от :
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Вопрос - как запретить? Чего писать в робот.txt (да и не факт, что он станет следовать указаниям этого файла). Или вообще как эту заразу прибить на подступах к сайту. [Ответ]

apache?
http://httpd.apache.org/docs/2.0/mis...de.html#access [Ответ]

Сообщение от grifon:
Чего писать в робот.txt

роботы.тхт тебе тут не поможет
прикрути к страничке меленькие скрипте, которые будет на определенные user agent выкидывать какой-нить die()

ЗЫЖ 20 это не толпа
ЗЗЫЖ че от них плохого? [Ответ]

Сообщение от DRON-ANARCHY:
прикрути к страничке меленькие скрипте, которые будет на определенные user agent выкидывать какой-нить die()

ЗЫЖ 20 это не толпа
ЗЗЫЖ че от них плохого?

три раза +1 [Ответ]

grifon, ну а вообще говоря Yahoo! Slurp это паук яху. поэтому не знаю, есть ли смысл его банить.
забань тогда еще и googlebot'a ) [Ответ]

Сообщение от DRON-ANARCHY:
роботы.тхт тебе тут не поможет
прикрути к страничке меленькие скрипте, которые будет на определенные user agent выкидывать какой-нить die()

ЗЫЖ 20 это не толпа
ЗЗЫЖ че от них плохого?

ну вообще, да. Я попытался, как у них в хелпе написано делать - не помогает. Видимо - врут, что роботс.тхт помогает. Он его просто игнорирует. Обидно, я то думал, что на сайте люди сидят.Думал ,сайт популярный.. А оказалось -половина -боты от яхи. .. Как стал фильтровать ботов - обиделся на яху сильно. И решил его убить... Тем более с него все равно никто не ходит. да .видимо придется что-то типа eregi("yahoo", $_SERVER["HTTP_USER_AGENT"])) вылавливать и убивать на корню.. [Ответ]

Сообщение от grifon:
Думал ,сайт популярный..

20 уников это популярность?) [Ответ]

DRON-ANARCHY, нет.... это МЕГА популярность ...... ХD [Ответ]

Сообщение от ...Neptun...:
20 уников это популярность?)

Слышали про понятие относительности? Если сайт полностью посвящен теме "Окаменевшие яйца утконоса", то 20 уников - очень даже популярность ))
А, к примеру, если эти 20 уников приходят на сайт по запросу "окна ПВХ", то сайт может приносить на пиво и сигареты))

Ну а если сайт по "рефератам" или "порно".... [Ответ]

Не пугай местных дизигнеров такими умными словами..
А вот еще любопытный вопрос.. Боты содержимое ява скриптов видят? Или если бот пришел - ява скрипт ему тоже отдастся и зачтется за показ? [Ответ]

Сообщение от grifon:
Или если бот пришел - ява скрипт ему тоже отдастся и зачтется за показ?

ну ежели ты не боишься умных слов, о которых писал выше, то должен знать, что JavaScript выполняется на стороне клиента. Поэтому выполнится у бота только в том случае, если у него эта возможность предусмотрена. То есть не выполнится

Сообщение от webmastak:
сайт может приносить на пиво и сигареты))

кому? Директору магазина, заказавшему этот сайт? Действительно, он будет счастлив... такой доход... [Ответ]

Сообщение от DRON-ANARCHY:
кому? Директору магазина, заказавшему этот сайт? Действительно, он будет счастлив... такой доход...

Ну в теме же не написано, что это сайт какого-то магазина, так что я все верно написал [Ответ]

надо полюбас написать в тех поддержку яху, что если они своего бота с твоего сайта не уберут, то ты им сервак сломаешь и их же бота в их же задницу и засунешь! [Ответ]

djcrazy, Упал под стол..... [Ответ]

Сообщение от webmastak:
Ну в теме же не написано, что это сайт какого-то магазина, так что я все верно написал

ну ты приводишь конкретный приме - "окна ПВХ"
как ты думаешь, обычный человек создает себе сайт по окнам ПВХ? [Ответ]

Сообщение от DRON-ANARCHY:
обычный человек создает себе сайт по окнам ПВХ?

а почему нет? на народеру куча таких [Ответ]

djcrazy, мож доры просто...
а у тебя есть сайт об окнах ПВХ? [Ответ]

Сообщение от :
окна ПВХ

что такое ПВХ? Первый раз слышу про эту ось... [Ответ]

Какая обидная тема... [Ответ]

Сообщение от DRON-ANARCHY:
как ты думаешь, обычный человек создает себе сайт по окнам ПВХ?

у меня вот есть пару сайтов по пластиковым окнам, ты думаешь я не "обычный человек"? )) [Ответ]

webmastak, для души?))
Van der Bot, прости топикстартера) [Ответ]

Сообщение от DRON-ANARCHY:
webmastak, для души?))

нее... чтоб

Сообщение от webmastak:
приносить на пиво и сигареты))

А вот пиво - для души)) [Ответ]

Сообщение от DRON-ANARCHY:
а у тебя есть сайт об окнах ПВХ?

спросил тоже! у каждого уважающего себя человека должен быть сайт про окна ПВХ!
конешно есть!
во: http://www.windows.ru/ прад щас на реконструкции)))) [Ответ]