- Спасибо получено: 23
Правильный robots.txt для портала. Убираем дубли!
- TopicStarter Foot Life
-
- Не в сети
19 дек 2020 22:01
Всем привет. Вот уже почти 2 недели как я разбираюсь с новым для меня движком Joomla и наконец то создал полный и правильный robots.txt для городского портала. Что он дает?
1. Убирает не несущие информацию страницы из поиска Яндекса и Гугла
2. Убирает дубли страниц, которые пагубно влияют на позиции сайта (дубли это самая больная тема для Joomla)
Все это в итоге положительно сказывается на позиции сайта в поиске. Нужен вам этот robots.txt или нет узнать очень легко. У кого сайт добавлен в вебмастер Яндекса или Гугла наверное видели что в поиск попадают страницы сайта такого вида:
Так же этот robots.txt решает проблему с дублями тегов вида
закрывая их от индексации.
Вам достаточно перед этими ссылками добавить свой домен и вы увидите, что по ним открываются страницы, которые не должны быть в поиске. Это конечно же плохо влияет на продвижение. Вот правильный и полный robots.txt
Не забудьте заменить mysite.ru на свой домен. В дерективе Host домен указывается без https://
Скопируйте код и замените им свой в файле robots.txt, который находится в корне сайта. Либо скачайте готовый файл во вложении и загрузите его в корень сайта, заменив свой файл. Буду продолжать работать над порталом в плане SEO и делится информацией на форуме. Всем удачи!
1. Убирает не несущие информацию страницы из поиска Яндекса и Гугла
2. Убирает дубли страниц, которые пагубно влияют на позиции сайта (дубли это самая больная тема для Joomla)
Все это в итоге положительно сказывается на позиции сайта в поиске. Нужен вам этот robots.txt или нет узнать очень легко. У кого сайт добавлен в вебмастер Яндекса или Гугла наверное видели что в поиск попадают страницы сайта такого вида:
Code:
/rabota/rezyume/meditsina-formatsiya?format=feed&type=rss
/avto/gac?format=feed&type=rss
/?view=category&id=135
Так же этот robots.txt решает проблему с дублями тегов вида
Code:
/component/tags/tag/
Вам достаточно перед этими ссылками добавить свой домен и вы увидите, что по ним открываются страницы, которые не должны быть в поиске. Это конечно же плохо влияет на продвижение. Вот правильный и полный robots.txt
Code:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index.php*
Disallow: /index2.php*
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*=atom
Disallow: /*=rss
Allow: /images/
Host: mysite.ru
Sitemap: https://mysite.ru/sitemap.xml
Clean-param: searchword /
Crawl-delay: 5
Не забудьте заменить mysite.ru на свой домен. В дерективе Host домен указывается без https://
Скопируйте код и замените им свой в файле robots.txt, который находится в корне сайта. Либо скачайте готовый файл во вложении и загрузите его в корень сайта, заменив свой файл. Буду продолжать работать над порталом в плане SEO и делится информацией на форуме. Всем удачи!
Последнее редактирование: 19 дек 2020 22:14 пользователем Foot Life.
Пожалуйста Войти , чтобы присоединиться к беседе.
У Вас нет прав доступа к этому разделу форума
Скорее всего Вы не оплатили или не продлили подписку
У Вас появится доступ к этому разделу форума только при активной подписке на любой тарифный план
