Проиндексировано, несмотря на блокировку в файле robots.txt

Сегодня в консоли Google вижу кучу предупреждений: Проиндексировано, несмотря на блокировку в файле robots.txt. Google несмотря на запреты владельца сайта зачем то сканировал страницы...

Сам Google говорит (https://support.goog ... r/7440203?hl=ru):
Проиндексировано, несмотря на блокировку в файле robots.txt. Страница была проиндексирована, несмотря на блокировку файлом robots.txt (Google всегда следует предписаниям этого файла, однако если на других сайтах есть ссылки на вашу страницу, robots.txt не поможет). Этот статус установлен, так как мы не уверены, что вы хотите удалить страницу из результатов поиска. Если ваше намерение именно таково, файл robots.txt не является корректным способом избежать индексации. Чтобы страница не была проиндексирована, необходимо использовать тег noindex или запретить анонимный доступ к ней. С помощью специального инструмента можно понять, какое именно правило блокирует страницу. Из-за файла robots.txt страница может не самым оптимальным образом показываться в результатах поиска. Если вы не хотите удалять страницу из результатов поиска, измените файл robots.txt.