Robots.txt

основные правила настройки Именно в этом файле ты прописываешь основные правила для поисковых роботов