Поисковые машины создают индексы при помощи так называемых роботов, которые индексируют все на вашем сайте. Если на вашем сайте есть что-то, что вы не хотите индексировать или не хотите, чтоб это появлялось среди результатов поиска, можно исключить некоторые области из индексирования.

Могут быть самые разнообразные причины, по которым вы не захотите индексировать некоторые части вашего сайта. Возможно, у вас есть папка с названием Test на сервере, где вы испытываете новые разработки, прежде чем делать их общедоступными. Возможно, у вас на сервере есть папка Temp, где вы храните что-то временное, например скриншот от друга или изображение чего-то, что вы продаете на eBay. Возможно, у вас на сервере есть папка Baby, где вы держите фотографии своих детей, чтобы ваша бабушка из Теннеси могла их посмотреть, но вы не хотите делать доступными эти фотографии для широкой публики.

Если у вас похожая ситуация, то некоторые файлы можно сделать недоступными для роботов. Создайте файл с названием robots.txt и поместите в него только эту информацию:

User-agent:*

Disallow: /test

Disallow: /temp

Disallow: /baby

В этом файле используется группирующий символ (*), который означает, что все роботы не должны посещать URL, который начинается с test, temp и baby. Сохраните этот файл в корневой папке вашего Web-сайта, и ни один робот не будет индексировать эти разделы вашего сайта.