wscms Сообщение 09/11/2011 16:53 Копия темы
Нашествие поисковых ботов На своем VPS даю нескольким товарищам место.
На одного из них с периодичностью раз в день происходит какое-то нашествие поисковых ботов. Причем о половине я даже и не слышал никогда.

66.249.72.40     ... "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)"
95.108.158.234 ... "Mozilla/5.0 (compatible; YandexImages/3.0; +yandex.com/bots)"
61.135.248.235 ... "Mozilla/5.0 (compatible;YodaoBot-Image/1.0;www.youdao.com/help/webma..."
208.115.111.73 ... "Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)"
93.158.150.21 ... "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
123.125.71.80 ...  "Baiduspider+(+www.baidu.com/search/spid..."
184.154.48.82 ... "Mozilla/5.0 (compatible; MJ12bot/v1.4.0; www.majestic12.co.uk/bot...."
И это далеко не полный список.

Что бы это могло быть, есть кто в курсе? Такое впечатление, что их кто-то натравливает, но как?
Хелп ми, они ложат мне сервак!

hotblood Сообщение 09/11/2011 16:58 Копия темы
Он наверное пользуется пингом поисковых роботов...

wscms Сообщение 09/11/2011 17:00 Копия темы
Вроде нет
Я слежу за работоспособностью его сайтов, они все на одинаковом, самописном движке. Там такой возможности нет.

wscms Сообщение 09/11/2011 17:00 Копия темы
Хотя, может быть кому-то в раскрутку сдал, нужно уточнить.

Уточнил. Он не пользовался, и сегодня не занимался своими сайтами вообще.

hotblood Сообщение 09/11/2011 17:03 Копия темы
Много сервисов есть. Вбиваеш ссылку а дальше отправляется запрос на несколько сотен роботов что бы они посмотрели страничку. Сам пользуюсь пока не замечал что бы ложился сервер... хоть было очень много роботов...

wscms Сообщение 09/11/2011 17:05 Копия темы
Он этого не делал, по крайней мере сегодня.
И не одну страничку боты смотрят, а по 50-100 страниц, как я вижу по логам.

hotblood Сообщение 09/11/2011 17:30 Копия темы
Других вариантов я не вижу)

emeritua Сообщение 09/11/2011 17:31 Копия темы
Поисковые боты. Проводят сбор статистики, уводят страницы в цитирование и свои сервисы (типа яндекс картинки, гугл картинки) и т.п.
Гляньте на активность по IPшникам – самых активных погуглите – вот и успокоитесь :)

wscms Сообщение 09/11/2011 17:33 Копия темы
Я понимаю, что это поисковые боты. Судя по IP-адресам это действительно они.
Вопрос в другом: почему все сразу...

wscms Сообщение 09/11/2011 17:34 Копия темы
Спасибо за комментарии. 
Инвайт на 2ip.ru хотите? :)

hotblood Сообщение 09/11/2011 17:44 Копия темы
Вроде не нужно)))

MAJiK Сообщение 10/11/2011 13:42 Копия темы
Установите таймаут

User-agent: *
Crawl-delay: 2 # тайм аут 2 секунды

Если не вылечится то запретите доступ не нужным агентам через .htaccess

Ну и когда VPS пилите с кем-то, то создайте несколько шаблонов (типа тарифных планов)  с ограничениями на использование системных ресурсов – памяти итп, Далее создайте отдельных пользователей и применяете к ним шаблоны, в эти шаблоны добавляете домены, все счастливы

Чтобы боты уложили VPS впервые слышу, проверьте как настроена ротация логов и размер логов если таковые имеются, если что не получается, то пишите помогу

Подключитесь к ip сервера по shh выполните команду top нажмите m – посмотрите какие процессы жрут память на сервере, сделайте скриншот покажите посмотрим, поможем советом

Pacifik Сообщение 10/11/2011 19:14 Копия темы
Ну значит чел пишет на сайте много инфы, ссылка на сайт появилсь где то в социалках или что-то еще.
Запредите заходить всякий байду китайским на сайт, оставьте только яндекс гугл mail и rambler и все