Блокировка ботов через файл .htaccess
После того как вы определили конкретных юзер-агентов, нагружающих сервер, самое время запретить им вход. Для этого откройте файл .htaccess в корневом каталоге сайта.
В файл .htaccess добавьте строку:
SetEnvIfNoCase User-Agent "Name_of_bot" bad_bot
где на место Name_of_bot подставляйте юзер-агент проблемного бота выявленного из логов вашего сайта.
Таким образом вы укажете серверу, что данные обращения поступают от «плохого бота». Далее задайте правило доступа к вашему сайту, заблокировав плохого бота:
<Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
Сохраните изменения.