А вы знаете, как часто поисковые боты обращают внимание на ваш сайт? Да? А хотели бы, чтобы они это делали не так часто/редко? «Яндекс» предоставил и такую возможность, еще более расширив свой функционал. Зайдя в настройки индексирования, можно самостоятельно задать значение скорости обхода, которое будет носит рекомендательный характер. Это значит, что боты «Яндекса» учтут высказанные пожелания, но выполнят ли их полностью — неизвестно.
Предполагается, что степень исполнительности поисковых роботов будет намного выше, если запросы затормаживают деятельность ресурса, чем вызывают чувство дискомфорта у пользователей/собственников сайта. Попутно «Яндекс» не лишает возможности довериться его опыту и поставить галочку напротив пункта «Доверять Яндексу». Система сама рассчитает частоту визитов ботов, приняв к сведению допустимую нагрузку на сервер.