Изменения правил работы Яндекса с robots.txt

Согласно изменений (https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html), теперь робот Яндекса работает по аналогии с Гуглботом, воспринимая установки из директив Disallow как рекомендации по сканированию документов (а не индексированию).

Важное замечание. Для Яндекса это касается только директивы Disallow. Clean-Param работает также как и раньше. Поэтому обычные страницы (не на GET-параметрах) теперь эффективнее всего открывать для сканирования (убирать запрет из директив Disallow) и добавлять в HTML-коде запрещающий мета-тег robots. А для страниц на GET-параметрах, которые нужно исключить из индекса все также отлично работает Clean-Param.