Файл robots.txt для Joomla

Рейтинг:   / 0

robots.txt

Файл robots.txt играет важную роль в seo продвижении сайта. Поисковые системы первым делом ищут на вашем сайте в корневой категории этот файл. Этот файл включает в себя директивы для поисковых систем:

Директивы

Disallow: / - запрещает индексацию

Allow: / - разрешает индексацию

Disallow: /images - запрещает индексацию папки с изображениями

User-agent:* - обычно первая строка в файле, означает Привет, Робот!

Sitemap: мойсайт.ru/карта сайта.xml - эта директива указывает поисковым роботам расположение файла с картой вашего сайта. создайте карту сайта и разместите ее корневом каталоге сайта и роботам будет проще индексировать ваш сайт. Создание карты сайта>>>

Host: вашсайт.ru или Host: www.вашсайт.ru - эта директива указывает главное зеркало вашего сайта. Ее тоже рекомендуется прописать.

Яндекс робот любит когда для него прописаны директивы отдельно начиная:

User-agent: Yandex

Пример файла robots.txt для joomla

Для каждого сайта необходимо создавать свой robots. это ускорит индексацию и поможет скрыть от индексации файлы которые для нее не предназначены.

User-agent: *
Sitemap: http://вашсайт/sitemap.xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*rss.html
Disallow: /*search*
Disallow: /*users*
Disallow: /voyti/
Disallow: /index.php?
Disallow: /*rss.html
Disallow: /*atom.html