Как вычислить плохих ботов

На вашем сайте могут лазить роботы, которые будут спамить, сканировать или даже воровать контент. Конечно, наличие таких ботов никому не понравится. Но помимо них есть ещё и хорошие боты, пришедшие из поисковых систем, которых обижать нельзя, поэтому важно их отличать, чтобы блокировать одних и давать работать другим.

Нам поможет в этом закрытие директории через robots.txt. Нужно сделать невидимую ссылку и картинку размером 1 на 1 пиксель. Всё это поместите на какую-либо страницу. Это поможет вам отсеивать плохих ботов. Все мы знаем, как боты любят спамить и заполнять формы. Этим можно воспользоваться, создав форму-ловушку, регистрация по которой будет вести прямиком в бан. Сверх нужно повесить баннер, оповещающий о том, что данная форма является ловушкой для ботов, тогда человек не будет в ней регистрироваться, а хорошие боты любые формы обходят стороной.

Плохого бота можно поймать, используя кукисы, расположив их в директории, запрещенной для ботов. На их основе можно сделать специальный сайт, который будет служить ловушкой с бесконечной структурой. Боты будут по десяткам раз пытаться заходить на сайт, так их можно вычислять и банить. Можно поставить в запрещённую директорию редирект или ссылку на javascript, так как хорошие боты их трогать не будут. Но это значит, что вы столкнулись с очень умным ботов, который может обходить некоторые преграды.