Я хочу закрыть фильтры от индексации

[16 июля 2019 г.]    Российская сборка Magento 2.52.2
Magento 2: модули и услуги
magereport.com: составление перечня необходимых для установки заплаток SUPEE
#1 Вячеслав Кутовой
  • Группа: Пользователь
  • Сообщений: 23
  • Регистрация: 23.03.2015

13.05.2015 10:29

Добрый день! Подскажите пожалуйста, каким образом можно закрыть от индексации следующие фильтры товаров: цена, порядок и количество товаров на странице.

#2 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8995
  • Регистрация: 20.02.2010

13.05.2015 12:03

Например, можно обучиться стандарту robots.txt.
Причём обращаю внимание будущих читателей этой темы, что я не считаю правильным закрывать от индексации страницы с применением фильтров.

Задавать вопросы можно разные. Например, «как закопать себя». И если дать технически грамотный ответ: «взять лопату, выкопать яму, залезть в неё, засыпать себя обратно» — хотя это при качественном исполнении и приведёт к цели, не стоит считать это рекомендацией.

В частности, посетитель магазина может на стороннем сайте (например, в своём блоге) дать ссылку на каталог интернет-магазина с заложенным в неё фильтром, причём этот фильтр будет вполне осмысленным и важным как для публикующего ссылку, так и для его аудитории (например: настольные светодиодные лампы белого цвета не дороже 2000 рублей). Надо быть идиотом, чтобы закрывать такие ссылки от индексации поисковыми системами.

#3 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8995
  • Регистрация: 20.02.2010

13.05.2015 12:32

Что интересно, анализ разных фильтром для одного и того же набора товаров (товарного раздела интернет-магазина) при вдумчивом подходе торговца может привести с качественному сегментированию посетителей магазина.
Например, на каждой странице раздела обычно присутствует стандартный фильтр упорядочивания товаров по цене:
  • по возрастанию цены
  • по убыванию цены

Как правило, те, кто упорядочивают по возрастание цены — имеют цель купить дешёвый товар.
Как правило, те, кто упорядочивают по убыванию цены — имеют цель купить качественный товар.
Эти два фильтра используют люди с совершенно разными намерениями, это совершенно разные сегменты покупателей, хотя товарный раздел один и тот же.
Вдумчивый владелей магазина сделает из таких фильтров целевые посадочные страницы и оптимизирует их под целевую аудиторию: для каждой такой посадочной страницы сдеклают свой заголовок, текст описания, баннеры, специальные предложения.
Что интересно, для этого даже модулей не нужно: достаточно в шаблоне (файле *.phtml) сделать условное ветвление в зависимости от параметров запроса.

#4 Вячеслав Кутовой
  • Группа: Пользователь
  • Сообщений: 23
  • Регистрация: 23.03.2015

13.05.2015 13:43

А что, если на данный момент в соплях Гугла 30к страниц, из которых примерно 20к - страницы фильтров?

#5 Вячеслав Кутовой
  • Группа: Пользователь
  • Сообщений: 23
  • Регистрация: 23.03.2015

13.05.2015 13:49

Возможно я не так выразился, но я не спрашивал, нужно ли закрывать от индексации фильтры, я спросил как именно это можно сделать?
Спасибо, я ознакомлен со стандартами составления файла robots.txt, однако стандарты - это не индивидуальное решение для интернет-магазинов, и уж тем более для платформы Magento.

#6 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8995
  • Регистрация: 20.02.2010

13.05.2015 13:58

А чем Вам это мешает?
Потихоньку оптимизируйте их под разные сегменты посетителей.
Причём поисковые роботы отлично знают, что разные фильтры одного раздела — это разное представление одной и той же информации для разной целевой аудитории, потому что Magento использует специальный тег META с атрибутом rel="canonical".
Например, вот страница с сумками на официальном демо-сайте Российской сборки Magento, где установлен фильтр «для женщин»:
http://magento-demo.ru/accessories/bags-luggage.html?gender=94

Если открыть исходный код HTML этой страницы, то можно увидеть, что там указан канонический адрес со всеми сумками:
<link rel="canonical" href="http://magento-demo.ru/accessories/bags-luggage.html" />

То есть поисковые роботы отлично знают, что страница с сумками для женщин — это фильтр для удобства посетителей.

Обратите внимание, что для посетителей этот фильтр вполне осмысленен.
Более того, посетитель, который на странице сумок ставить фильтр «для женщин» — это вполне конкретный сегмент покупателей, и при вдумчивой работе можно оптимизировать эту страницу именно под женскую аудиторию: например, правильно написать текст для женщин, поставить правильные сопутствующие товары, сделать правильные спецпредложения. Т.е. с такими фильтрами надо просто работать.
Как я писал выше, даже стороннего модуля для этого не надо, достаточно в шаблоне *.phtml проверять наличие параметра gender=94.
Закрывать же такие страницы от индексации — это самому себе делать хуже.

#7 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8995
  • Регистрация: 20.02.2010

13.05.2015 14:03

Надо быть полным идиотом, чтобы когда посетитель пишет в своём блоге посмотрите сумочки, которые мне нравятся, закрывать эти страницы от индексации.
Да такому посетителю памятник ставить надо, что он сам добровольно ставит активную ссылку на интернет-магазин, а горе-оптимизатора интернет-магазина, который закрывает такие ссылки от индексации, надо увольнять нафиг немедленно.

#8 Вячеслав Кутовой
  • Группа: Пользователь
  • Сообщений: 23
  • Регистрация: 23.03.2015

13.05.2015 14:41

Не совсем понятна Ваша агрессия в сторону тех, кто закрывает подобные страницы от индексации. Я не считаю Ваши сообщения вида "надо быть полным идиотом..." обоснованными. Ссылку такого формата можно разместить у себя в блоге и при закрытых от индексации страниц, или я не прав?
"горе-оптимизатора интернет-магазина, который закрывает такие ссылки от индексации, надо увольнять нафиг немедленно." - закрываются не ссылки, а страницы.

Обоснуйте пожалуйста необходимость нахождения в индексе ПС страниц с фильтрацией отображения кол-ва товаров?

#9 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8995
  • Регистрация: 20.02.2010

13.05.2015 14:46

Посетитель Вашего магазина оставляет в своём блоге ссылку на Ваш магазин:
посмотрите сумки, которые мне нравятся
Обратите внимание, что ссылка содержит фильтр, и для пользователя это имеет конкретный смысл: ему не нравятся ВСЕ сумки Вашего магазина, ему нравятся КОНКРЕТНЫЕ сумки (в данном случае — женские, а можно еще добавить дополнительные фильтры: белые, из кожи крокодила, такого-то бренда). Всё это имеет реальный конкретный смысл для реального конкретного посетителя, и такие органические ссылки, оставленные добровольно без принуждения реальными конкретными людьми, к которым они к тому же написали реальный конкретный текст реальным конкретным живым языком — являются самыми ценными для поисковых систем.
Если Вы закроете в robots.txt страницу, на которую ссылается посетитель, то Вы сами себе делаете хуже.

#10 Вячеслав Кутовой
  • Группа: Пользователь
  • Сообщений: 23
  • Регистрация: 23.03.2015

13.05.2015 14:52

"Если Вы закроете в robots.txt страницу, на которую ссылается посетитель, то Вы сами себе делаете хуже."
Чем?

Во-первых, повторяюсь, отсутствие страницы в индексе не отнимает возможности у пользователя поставить ссылку на страницу с фильтром.
Во-вторых, Вы приводите пример с фильтрами "женские, мужские и т.п.". В моем случае таких фильтров нет - на сайте есть отдельные страницы-категории.
Присутствуют стандартные фильтры: по цене, порядку и количеству товаров. Честно говоря, я не вижу ни малейшего смысла оставлять в индексе страницу, которая будет вести на страницу категории, где будет отображаться не 10 товаров, а 30, к примеру. Это же касается и других фильтров.

#11 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8995
  • Регистрация: 20.02.2010

13.05.2015 14:53

Более того, как можно понять, страницы с фильтрами: это по сути дело, целевые страницы.
Да, их нужно доработать до качественного вида: написать тексты, расставить грамотные баннеры, сделать правильные спецпредложения, показать правильные сопутсствующие товары.
Но это и есть целевые страницы.
Запрос посетителя типа "купить сумку Биркин белого цвет из кожи динозавра недорого" должен вестись именно на страницу с фильтрами, а не на страницу, где вываливаются все сумки.

#12 Вячеслав Кутовой
  • Группа: Пользователь
  • Сообщений: 23
  • Регистрация: 23.03.2015

13.05.2015 14:53

Продвижение интернет-магазина сводится к выводу в ТОП страниц категорий товаров, а не страниц фильтров.

#13 Вячеслав Кутовой
  • Группа: Пользователь
  • Сообщений: 23
  • Регистрация: 23.03.2015

13.05.2015 14:57

"Запрос посетителя типа "купить сумку Биркин белого цвет из кожи динозавра недорого" должен вестись именно на страницу с фильтрами, а не на страницу, где вываливаются все сумки".
Я не спорю. Но в моем случае такого рода фильтров нет. В первом сообщении я спросил по поводу закрытия только трех фильтров: цена, порядок и кол-во товаров на странице. А Вы мне, почему-то, начали доказывать, что закрытие страниц фильтров (при чем совершенно других фильтров) негативно скажутся на сайте. Да, возможно, соглашусь с Вами о фильтре "цена", но на данный момент меня интересует то, как их закрыть, а не оптимизировать и т.п.

#14 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8995
  • Регистрация: 20.02.2010

13.05.2015 15:01

Даже самый бессмысленный в плане семантики страницы фильтр: количество товаров на странице — закрывать от индексации не следует, потому что посетитель, когда в своём блоге оставляет ссылку на Ваш магазин, вообще не знает, что такое фильтры: он просто тупо копирует то, что видит в адресной строке браузера — и ставит ссылку. И уже за это его надо благодарить, а не закрывать страницу, на которую он любезно и добровольно сослался, от индексации.

#15 Вячеслав Кутовой
  • Группа: Пользователь
  • Сообщений: 23
  • Регистрация: 23.03.2015

13.05.2015 15:06

И все-таки, если я закрою эту страницу от индексации, как это может помешать пользователю на неё поставить ссылку?)

Ссылается на такие страницы - молодец, никто же не запрещает. Но мне в индексе такие страницы не нужны. В чем же проблема?

Целенаправленно я не буду ставить ссылки на страницы фильтров. Это могут сделать добровольно сами пользователи.

#16 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8995
  • Регистрация: 20.02.2010

13.05.2015 15:06

Пользователю не помешает, но если Вы запретите её индексацию — то поисковые роботы по ней не пойдут, ибо не имеют права, и не учтут её.

#17 Вячеслав Кутовой
  • Группа: Пользователь
  • Сообщений: 23
  • Регистрация: 23.03.2015

13.05.2015 15:08

"то поисковые роботы по ней не пойдут, ибо не имеют права, и не учтут её"
именно B)

#18 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8995
  • Регистрация: 20.02.2010

13.05.2015 15:12

Обратите внимание, что и Яндексу, и Google можно сказать, что конкретный параметр в адресе не несёт семантики (цвет — несёт, количество товаров на странице — не несёт).
Для Яндекса это делается посредством директивы Clean-param в robots.txt.
Для Google это делается в личном кабинете вебмастера.

Вам невыгодно, чтобы поисковые роботы не учитывали страницу — Вы теряете ссылочную массу.
Ссылочная масса со времён Google и до сих пор является одним из важнейших факторов ранжирования сайта поисковыми системами.

Поделиться темой: