Robots.txt – различные мелочи + допускаемые ошибки по незнанию. Часть 1

Продолжаю тему про закрытие от роботов. Бывает так, что нужно закрыть не только отдельную ссылку, или отдельную страничку, а закрывать что-то целиком. Или же папки. Есть очень хороший способ – файл robots.txt
Разумеется, многие знают про него и используют его, но есть такие моменты, которые некоторые не знают, или в чем-то заблуждаются. ...
  • 0
  • 1
  • мне нравится
    не нравится
    +4
  • 23

Запрет индексации на сайте. Продолжение дискуссии

Иногда бывает нужно запретить на более низком уровне, не на уровне всей страницы, а на уровне части страницы. К сожаление, сделать это единственным способом нельзя…
Скорее всего, многим знающим людям многое из сказанного мною будет известно, но так же я постараюсь осветить и другие интересные моменты, может быть не известные. ...
  • 0
  • 4
  • мне нравится
    не нравится
    +3
  • 22

DLE: топ 10 модулей

Продолжаю уже вошедшую в традицию тему топ 10. На этот раз предлагаю рассмотреть 10 самых полезных, рабочих версий модулей для данной CMS, которые протестированы и находятся в свободном доступе. Не буду тянуть кота за… Приступаем! ...
  • 1
  • 5
  • мне нравится
    не нравится
    +3
  • 19

Метатег “robots” для DLE

Вдохновленный материалом своего коллеги, под названием «Запрет индексации на странице», решил раскрыть пошире тему относительно метатега «robots», который применяется для настройки правил индексации для поисковых ботов. Следует сказать в общем смысле относительно данного метатега. ...
  • 0
  • 0
  • мне нравится
    не нравится
    0
  • 11