• Страница:
  • 1

ТЕМА: Правильный robots.txt для портала. Убираем дубли!

Правильный robots.txt для портала. Убираем дубли! 19 дек 2020 22:01 #0

  • Foot Life
  • Ушел
  • Захожу иногда
  • Захожу иногда
  • Сообщений: 58
  • Спасибо получено: 11
Всем привет. Вот уже почти 2 недели как я разбираюсь с новым для меня движком Joomla и наконец то создал полный и правильный robots.txt для городского портала. Что он дает?

1. Убирает не несущие информацию страницы из поиска Яндекса и Гугла
2. Убирает дубли страниц, которые пагубно влияют на позиции сайта (дубли это самая больная тема для Joomla)

Все это в итоге положительно сказывается на позиции сайта в поиске. Нужен вам этот robots.txt или нет узнать очень легко. У кого сайт добавлен в вебмастер Яндекса или Гугла наверное видели что в поиск попадают страницы сайта такого вида:
/rabota/rezyume/meditsina-formatsiya?format=feed&type=rss
/avto/gac?format=feed&type=rss
/?view=category&id=135

Так же этот robots.txt решает проблему с дублями тегов вида
/component/tags/tag/
закрывая их от индексации.

Вам достаточно перед этими ссылками добавить свой домен и вы увидите, что по ним открываются страницы, которые не должны быть в поиске. Это конечно же плохо влияет на продвижение. Вот правильный и полный robots.txt
User-agent: *

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index.php*
Disallow: /index2.php*
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*=atom
Disallow: /*=rss
Allow: /images/

Host: mysite.ru
Sitemap: https://mysite.ru/sitemap.xml
Clean-param: searchword /
Crawl-delay: 5

Не забудьте заменить mysite.ru на свой домен. В дерективе Host домен указывается без https://
Скопируйте код и замените им свой в файле robots.txt, который находится в корне сайта. Либо скачайте готовый файл во вложении и загрузите его в корень сайта, заменив свой файл. Буду продолжать работать над порталом в плане SEO и делится информацией на форуме. Всем удачи!
Вложения:
Спасибо сказали: Александр Новиков, Игорь Бурых, Александр Сафонов, Icity Club

У Вас нет прав доступа к этому разделу форума

Скорее всего Вы не оплатили или не продлили подписку

У Вас появится доступ к этому разделу форума только при активной подписке на любой тарифный план
  • Страница:
  • 1

Последнее на форуме поддержки

PRO-PORTAL.info - Готовые скрипты порталов на Joomla © 2017 - 2020 г. Все права защищены.

Наш городской портал на CMS Joomla принадлежит исключительно и только PRO-PORTAL.info. Любое его распространение, копирование, тиражирование, перепродажа, без согласования с разработчиком, категорически ЗАПРЕЩЕНЫ!

Информация, представленная на сайте, не является публичной офертой