Работа с ПК

Как найти дубли страниц в wordpress. Удаляем дубли картинок в WordPress. Что делать с #comment

23.08.2023

И чем они опасны. Сегодня мы узнаем как избавиться от дублей страниц раз и навсегда.

В WordPress есть отдельная категория дублей страниц, которые образуются из-за технических особенностей системы и присутствуют только в Google. Такие повторения сложно заметить на сайте и еще сложнее самостоятельно удалить. Радуйтесь, что вы читаете эту статью, потому что сейчас я вас всему научу!

Простой способ убрать дубли страниц

Если вы давно занимаетесь техническим совершенствованием своего блога, то наверняка уже сделали самые простые шаги, предотвращающие появление дублей. Проверьте себя:

Хорошо, если у вас сделаны эти три простейших пункта, но это еще не значит, что вы знаете, как удалить дубли страниц. Все самое интересное впереди.

Что такое дубли страниц WordPress replytocom и другие?

Если ваш блог сделан на WordPress, у вас наверняка присутствуют следующие типы дублей страниц:

  • replytocom
  • comment-page
  • attachment
  • attachment_id
  • category
  • trackback

Каждый из этих типов связан с определенной технической возможностью WordPress. Определить, какие из них есть у вас можно с помощью оператора site, об этом очень подробно написано в прошлой статье - .

Например, если добавить в конце урла любой статьи /feed, откроется xml версия статьи для - ее текст тот же самый, но адрес отличается. Replytocom используется в древовидных комментариях при нажатии кнопки «Ответить». Выходит, что каждый комментарий создает дополнительный url одной и той же страницы. А если у статьи тысяча комментариев, то и дублей у нее будет 1000.

С такими дублями страниц срочно нужно бороться, потому что сайт с подобной проблемой мгновенно попадает под .

Почему именно Гугл, я уже объясняла. Все дело в файле robots.txt. Когда в нем закрыт доступ к чему-то, Google все равно забирает это в выдачу. Просто не показывает содержимое:

Чтобы этого избежать, нужно наоборот открыть Гуглу доступ ко всему в файле robots.txt, при этом в head каждого файла добавить :

User-agent: * Host: my-site.ru Disallow: /wp-feed Disallow: /wp-includes Disallow: /wp-content/cache Disallow: /wp-content/plugins Disallow: /wp-content/themes Sitemap: https://my-site.ru/sitemap.xml User-agent: YandexImages Allow: /wp-content/uploads/ User-agent: Googlebot-Image Allow: /wp-content/uploads/

Поменяйте my-site.ru на свой адрес. Теперь роботу разрешено заходить на любые страницы сайта.

  • Найдите файл .htaccess в корне сайта. Добавьте в него следующий код после строки RewriteRule ^index\.php$ — [L] :
    1 2 3 4 5 6 7 8 9 RewriteCond %{QUERY_STRING} ^replytocom= RewriteRule (.*) $1? RewriteRule (.+)/feed /$1 RewriteRule (.+)/attachment /$1 RewriteRule (.+)/comment-page /$1 RewriteRule (.+)/comments /$1 RewriteRule (.+)/trackback /$1 RewriteCond %{QUERY_STRING} ^attachment_id= RewriteRule (.*) $1?

    RewriteCond %{QUERY_STRING} ^replytocom= RewriteRule (.*) $1? RewriteRule (.+)/feed /$1 RewriteRule (.+)/attachment /$1 RewriteRule (.+)/comment-page /$1 RewriteRule (.+)/comments /$1 RewriteRule (.+)/trackback /$1 RewriteCond %{QUERY_STRING} ^attachment_id= RewriteRule (.*) $1?

    Это набор 301-редиректов. Теперь при попытке робота зайти на страницы типа site.ru/post-name/feed/ его перебросит на оригинальную страницу типа site.ru/post-name/ .

  • В активной теме блога найдите файл function.php и добавьте в него код после

    /* Вставляет мета-тег роботс noindex,nofollow постраничного разбиения */ function my_meta_noindex () { if (is_paged() // Все и любые страницы пагинации) {echo "".""."\n";} } add_action("wp_head", "my_meta_noindex", 3); // добавляем свой noindex,nofollow в head

    Теперь на страницах c постраничным разбиением записей (например, https://сайт/page/2 ) поисковик наткнется на запрещающий индексацию мета-тег и не будет показывать страницу в выдаче. Этот пункт я ставлю под сомнение, т.к. многие оптимизаторы считают, что нельзя закрывать от индексации страницы с анонсами статей блога. Выполнять данный пункт или нет, решайте сами.

  • Перейдите в параметры плагина All in One Seo Pack и выставите следующие настройки индексации (см. скриншот)
    Этими настройками плагин All in One Seo Pack автоматически добавил мета-тег «robots» на страницы с тегами и рубриками. Не пришлось делать это вручную, как для страниц с пагинацией записей.
  • В админ-панели WordPress переходим в «Настройки -> Обсуждение » и снимаем галку с «Разбивать комментарии верхнего уровня на страницы» :

    Это нужно для того, чтобы комментарии не делились постранично. Тогда и не появятся новые адреса для тех же страниц.

    • Готово! Вы узнали, как удалить дубли страниц WordPress. Осталось дождаться переиндексации и проверить, уменьшилось ли количество страниц вашего сайта в индексе Google. Если вы сделали все согласно инструкции, то успех гарантирован!

    Жду ваших вопросов в комментариях. Всем успехов в улучшении своего ресурса.

    Table of Contents

    Что такое дубли страниц?

    Очень часто владельцы wordpress сайтов начинают беспокоиться, если не понимают из-за чего отдельные страницы проваливаются в выдаче. Причиной тому могут быть дубли страниц. Это страницы, содержащие материалы с идентичным или похожим контентом. Речь о страницах архивов дат, рубрик, авторов и комментариев. При этом они могут располагаться под разными адресами, что позволяет дублям конкурировать с основной статьей за место в поисковой выдаче. В этом материале мы расскажем как избавиться от дублей страниц.

    Создание дублей страниц на сайте

    Как мы уже рассказывали ранее, дубли одной конкретной страницы, где размещена одна конкретная статья создаются и в архивах дат, и в рубриках или категориях (могут называться по-разному), а также на страницах с комментариями. Благодаря этому пользователи могут сортировать посты и находить по определенным критериям нужные. Система делает это автоматически.

    Давайте посмотрим как это выглядит на примере архива дат. Предположим нам нужно выбрать все статьи за ноябрь. На главной странице сайта кликните на ссылку в виджете с указанием месяца.

    Дубли в комментариях

    При работе с комментариями вебмастерам следует учитывать, что как таковые, дубли страниц создаются при наличии древовидной системы обсуждения. В том числе если обсуждений очень много и комментариям не хватает места на одной странице, то часть их перемещается на следующие. И в этом случае вам необходимо удалить дубли страниц в wordpress, иначе проиндексированные страницы станут своеобразной ловушкой для пользователей. Они просто попадут на страницу комментариев статьи, а не на саму статью, после чего посетители, скорее всего покинут сайт. SEO-продвижение явно пострадает от большого количества отказов.

    Как удалить дубли с помощью плагина WordPress

    Чтобы не разбираться с провалами в поисковой выдаче, лучше заранее провести профилактическую работу. А именно удалить дубли страниц в wordpress. Мы предлагаем вам воспользоваться плагином оптимизации сайтов . В его арсенале большой спектр полезных функций для удаления дублей страниц. Скачайте данное приложение и установите, так мы сможем рассказать о всех фичах более предметно.

    После активации перейдите в меню настроек плагина: «Настройки» => «Clearfy меню» =>

    Начнем по порядку, с удаления архивов дат. Здесь стоит сразу уточнить, что удалять дубли в буквальном смысле мы не будем. Их просто отключат от индексирования. И это важнее, чем избавиться фактически от копий страниц. Если дубликаты не видит поисковик, значит пользователь перейдет на основную, нужную вам для продвижения страницу и не заблудится в многообразии ссылок-клонов. Чтобы запустить функцию нажмите кнопку ВКЛ.

    Чтобы удалить метки архивов, нужно поставить редирект со страниц тегов на главную. Для этого активируйте функцию ниже. Аналогично предыдущим. Обратите внимание на серую метку со знаком вопроса. Она указывает на то, что негативных последствий настройка не вызовет.

    Для каждой фотографии или видео wordpress создает отдельную «страницу вложений» с возможностью комментирования, что является своеобразным якорем оптимизации. Подробней об этом мы говорили в предыдущей . Нажимаем кнопку ВКЛ.

    Если у вас на сайте пагинация настроена таким образом, что контент размещается сразу на нескольких страницах, то в конце URL, в том или ином виде, будет добавляться порядковый номер каждой страницы. Clearfy же, предложит вам удалить постраничную навигацию записей. То есть каждая страница одной статьи будет редиректиться на основную. Нажмите кнопку ВКЛ.

    Если у вас настроены древовидные комментарии, то их иерархия создаст благоприятные условия для создания копий страниц. Выглядит это так: вы отвечаете на чей-то комментарий и одновременно в URL появляется переменная?replytocom – это значит, что поисковик видит в этом не ответ на комментарий, а отдельную страницу, так как адрсе отличается. Удалить дубли страниц в wordpress и выполнить редирект вы можете активировав данную функцию.

    Заключение

    Время и силы, затраченные на продвижение сайта или отдельных статей могут уйти впустую. Если не позаботиться об удалении дублей страниц заранее. Они индексируются поисковиком и могут составить конкуренцию основным статьям. После прочтения данной статьи мы надеемся, что вы оценили весь спектр представленных функций и теперь вам будет несложно удалить дубли страниц в wordpress.

    Всех приветствую! Сегодня я вам расскажу как добавить мета тег (noindex, pofollow) и как избавиться от дублей страниц в Вордпресс. Вы же не ждете той минуты, когда вам вдруг скажут, что ваш блог обречен и его ждет провал? Тогда читайте пост очень внимательно.

    C проблемой дублей я столкнулась сама, когда на моем блоге количество статей перевалило за цифру 10. На блоге стали появляться дубли страниц. Чтобы проверить свой блог на дубли, зайдите в аддурилку Гугл в раздел «Оптимизация HTML».


    Это сейчас у меня (смотрите скриншот) два повторяющихся заголовка, потому что я не так давно изменила адрес поста. О том как его изменить можно прочитать в разделе «Дополнительные возможности». В то время когда я забила тревогу у меня было 11 дублей, а потом и 15.

    В панике я отправилась на поиски необходимой информации и нашла много советов. Вот один из них: в файле robots.txt пропишите строку — Disallow: /page/ и с этого момента будет индексироваться только главная страница с анонсами статей. Стоит ли закрывать pade в ? Этот вопрос волнует многих и обсуждается на форумах.


    Не буду однозначно говорить о том, что этот метод хорош или о том, что этот метод бесполезен. Скажу одно — мне он не помог. Даже после того, как я прописала в robots.txt строку запрещающую индексирование page, количество записей с одинаковыми заголовками только прибавлялись.

    Дело все в GOOGLE! Он не обращает внимание на запреты в файле robots.

    Чем больше статей вы публикуете, тем больше дублей главных страниц у вас будет.

    За дубли страниц поисковые системы нас рано или поздно накажут, поэтому приступим к закрытию подстраниц архивов в noindex.

    Вот такую строчку нам надо будет прописать.


    Чтобы разместить данный тег можно воспользоваться двумя способами.

    Первый способ

    Воспользуемся помощью плагина WordPress Seo by Yoast, о том как его установить и настроить я писала . Сейчас я вам напомню, о чем шла речь в моей статье.

    Для этого переходим в админку сайта в раздел «SEO» — «Заголовки и метаданные», переходим на вкладку «Остальное» и видим, что у нас стоит галочка напротив Noindex для подстраниц и архивов.



    Если мы уберем эту галочку, почистим и перейдем на вторую страницу нашего блога, то в коде страницы увидим, что мета тег pofollow исчез и остался только на ссылках. Если мы снова поставим галочку, то увидим, что мета тег появился снова.


    Существует еще один способ и сейчас мы его с вами рассмотрим.

    Для тех кто использует другой плагин для seo — оптимизации, можно воспользоваться вторым способом.

    Второй способ

    Сейчас нам необходимо скопировать код:

    function my_meta_noindex () {
    if (is_paged()){
    echo «».».»\n»;
    }
    }

    add_action(‘wp_head’, ‘my_meta_noindex’, 3);

    По FTP подключаемся к серверу и в папке с вашей темой находим файл functions.php. Вставляем скопированный тег в свободное место.


    Если мы сейчас отключим галочку в плагине WordPress Seo by Yoast, почистим кэш и просмотрим код второй страницы, то данный код отобразится в заголовке нашего сайта.

    Я предпочитаю, чтобы все настройки моего блога находились в одном месте, поэтому этот код я удаляю, а буду закрывать подстраницы архивов первым способом с помощью плагина.
    Бейте тревогу, если на вашем сайте всего 20-30 статей, а в индексе более двухсот. Скорее всего у вас есть дубли. У меня сейчас нет желания продать вам какой-то инфопродукт или похвалиться своими достижениями. Сегодня моя цель рассказать вам о важных моментах сайтостроительства.

    Воспользуйтесь одним из выше перечисленных способов и в скором будущем, если у вас есть дубли главной страницы, количество проиндексированных страниц будет намного меньше. В этом случае такой спад только к лучшему.

    Воспользуйтесь советами и забудьте про дубли, не забывайте закрывать от индексации. Чтобы подписаться на обновление перейдите по . Анекдот сегодня будет в видеоформате. До скорых встреч! .

    Анекдот:

    Привет всем! Вы наверное слышали о дублей страниц на сайте? Возможно даже кто-то знает, что из-за него можно получить бан от Яндекса и вляпаться в АГС, из которого выйти тяжеловато. Сейчас расскажу и покажу как убрать дубли страниц wordpress на своих сайтах и как провести SEO оптимизацию своего блога. Также в комментариях разыграем 200 рублей среди читателей, читаем статью:

    Предисловие

    Многие хотят получить сверх результаты в SEO, протолкать свой блог в ТОП-10. Всё это реально и очень просто, если у вас уже оптимизирован сайт под seo и контент отличного качества и он также оптимизирован. Если про контент я достаточно много говорил , а как оптимизировать , то сейчас разговор пойдет про оптимизацию блога.

    Как убрать дубли

    Шаг-1

    Для начала нам нужно будет создать файл robots.txt и настроить его, я про это уже писал, поэтому сейчас переходим на статью " " и внедряем информацию.

    Шаг-2

    Создать карту сайта , вот . Для этого нам нужно будет установить плагин... Блин, очень долго объяснять куда тыкать, кликать и т.д., лучше посмотрите мой скринкаст и выполните задание:).

    Шаг-3

    Скачать плагин "SEO всё в одном ", возможно он уже есть у вас, ибо это базовый плагин, должен стоять на каждом блоге!

    Переходим в настройки плагина и ищем нужные нам галочки и отмечаем их:

    Формула :

    • Заголовок : "Название сайта - КС" или слоган, или "КС - название сайта"
    • Описание : "КС + фигня. Фигня + КС"
    • КС : "КС, КС, КС..." Только которые встречаются на сайте, не более 20-ти.

    КС - ключевое слово, к примеру "раскрутка блога", ищем на wordstat.yandex.ru

    Фигня - слова, которые не встречаются на вашем сайте, их еще IDF называют.

    P.S. Ключевое слово для главной страницы желательно выбирать популярное и высокочастотное.

    Шаг-4

    Дубли страниц мы уже убрали, но давайте улучшим результаты. Прописываем нижнее меню:

    У меня лично это прописано в Подвале footer.php , пример:

    Шаг-5

    Чтобы окончательно добить, припишем к каждой странице и статье нашего блога ссылку на главную, пример:

    Использую плагин Wp-Insert для интеграции кода, там же можно исключить ненужные статьи и страницы (контакты, курсы и т.д.), через него выведены социальные кнопки

    Но последние 3-4 статьи я использую Социальный замок , он превзошел все мои ожидания и поэтому нужно сейчас мне переделывать пол блога под него и добавлять в каждую статью, чтобы заново включить плагин или простой найти второй.

    Очень важно : не забывайте перед тем как что-то сделать на блоге - создать резервную копию сайта!!! Чтобы в случае непредвиденного можно было вернуть всё назад.

    Как это всё сделать за 1 минуту?

    Некоторые мою информацию поймут с полу слова, ибо делать тут нечего, раз и всё :). Но это для тех, кто уже в теме, кто создает сайты и хоть как-то в них разбираться. Если у вас время - внедряйте все 5 шагов и будьте счастливы, не так трудно разобраться, пишите в комментариях если что-то не смогли сделать или в чем-то не разобрались - поможем.

    Но дело не в этом, недавно мне написала моя клиентка, текст был примерно следующий: "Здравствуйте, Михаил, купила вашу книжку по защите сайта, но что-то не получается, или просто не хочу. Мне нужно сделать всё что там написано + убрать дубли и оптимизировать сайт, сколько стоит?".

    За 1000 рублей я полностью защитил ей сайт, оптимизировал его под SEO и убрал дубли, также мелкие доработки по сайту. Много это ли мало? Я думаю, что мало.

    Сами представьте, если вы совсем не понимаете что и куда тыкать, то на внедрение может уйти неделя, а то и больше. Да, во мне также просыпается "всё сделаю сам", но после ряда ошибок я заказываю специалиста, который за 10 минут решает мои проблемы. Где-то уже писал про то, как я три дня Wi-Fi настраивал:).

    Хотите ли вы закрыть все технические проблемы с Вашим сайтом? Чтобы далее не читать "как настроить...", "как защитить wordpress", "как ускорить wordpress", "как настроить плагин....", "как...".

    А уже сейчас развивать проект в нужном русле, создавать и публиковать контент, создавать рассылки и набирать подписчиков, которым вы можете предложить свои услуги и заработать?

    Обратиться к специалисту, который сделает всё в лучшем виде, который на этой оптимизации собаку съел:). Для которого будет в кайф помочь вам, ибо это его любимая работа.

    Что будет сделано? Если проще - закрою все ваши технические проблемы на wordpress сайте: защита сайта, ускорение, убрать дубли, seo оптимизация и если нужно что-то еще - сделаю.

    Цена: 1000 рублей за проект, если нужно будет еще что-то эдакое сделать - цена немного выше.

    Кто будет делать? Два персонажа: я и мой напарник, который постоянно мешает, ест, спит, а потом грызет мне ногу:

    Куда обратиться - либо в

    » я рассказывал, что такое дубли и как их можно найти. В этой статье я хотел бы осветить тему того, как можно убрать дубли с Вашего сайта, воспользовавшись рядом плагинов или обычным кодом. Сразу хотелось бы сказать, что индексацией дублей в основном страдает поисковая система (ПС) Google, даже не смотря на то, что они запрещены в файле robots.txt . ПС Яндекс работает по своему алгоритму и меньше воспринимает подобный контент. Итак, приступим.

    Дубли ответов на комментарии — replytocom

    Самые распространенные дубли в WordPress — это так называемый replytocom , который появляется, когда на сайте включены древовидные комментарии. Если приглядеться на ссылку «Ответить на комментарий», то можно проследить наличие данного вида дублей. С одной стороны это удобно, ведь пользователь может ответить на чей либо комментарий и видеть структуру ответов. С другой стороны это очень пакостная вещь, поскольку replytocom порождает ни один, а как правило несколько дублей. К примеру, на Вашем сайте есть 500 комментариев, значит имеется как минимум 500 дублей.

    Для того, чтобы убедиться в наличие дублей replytocom , можно перейти по следующему URL адресу: http://sitename.ru/название_поста?replytocom=какое_то_число. Теперь в адресной строке можно наблюдать что то подобное этому: http://sitename.ru/название_поста/#comment=какое_то_число.

    Кроме того, в WordPress существуют еще ряд дублей, к которым относятся:

    • feed;
    • page;
    • comment-page;
    • attachment;
    • attachment_id;
    • category;
    • trackback.

    Каждый вид дублей соответствует техническим возможностям движка. Проверить их можно при помощи оператора site , о котором написано в .

    Убираем дубли при помощи плагинов

    На моей практике, мне приходилось пользоваться 3-я видами плагинов, которые помогают избавиться от дублей в WordPress.:

    • All in One Seo Pack . После установки в разделе Общие настройки нужно поставить галочку Канонические Url .
    • Yoast Seo . В настройках плагина ставим галочку Убрать replytocom ;
    • Ark hidecommentslinks . Данный плагин позволяет закрыть ссылки на сайты комментаторов, а также убрать replytocom из ссылки ответа на комментарий. Не имеет настроек.

    Убираем дубли при помощи кода

    Чтобы убрать дубли при помощи кода нужно отредактировать 3 файла — robots.txt , .htaccess и functions.php . Для тех кто не знает, первые два файла находятся в корне сайта, а третий файл лежит в папке с активной темой.

    В статье « » я писал о том, как его правильно настроить. Некоторые же оптимизаторы советуют изменить содержимое robots.txt на следующее:

    User-agent: * Host: sitename.ru Disallow: /wp-feed Disallow: /wp-includes Disallow: /wp-content/cache Disallow: /wp-content/plugins Disallow: /wp-content/themes Sitemap: http://sitename.ru/sitemap.xml User-agent: YandexImages Allow: /wp-content/uploads/ User-agent: Googlebot-Image Allow: /wp-content/uploads/

    Вместо sitename.ru должен быть прописан домен Вашего сайта.

    На следующем шаге открываем файл.htaccess и после строки RewriteRule ^index\.php$ - [L] добавляем следующий код:

    RewriteCond %{QUERY_STRING} ^replytocom= RewriteRule (.*) $1? RewriteRule (.+)/feed /$1 RewriteRule (.+)/attachment /$1 RewriteRule (.+)/comment-page /$1 RewriteRule (.+)/comments /$1 RewriteRule (.+)/trackback /$1 RewriteCond %{QUERY_STRING} ^attachment_id= RewriteRule (.*) $1?

    Теперь, что еще осталось сделать, это добавить следующий код в файл functions.php:

    Function add_meta_noindex_nofollow () { if (is_paged()) { echo "".""."\n"; } } add_action("wp_head", "add_meta_noindex_nofollow", 3);

    Код вешаем на хук wp_head , и теперь на страницах с пагинацией будет выводиться meta-тег, запрещающий их индексацию.