Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление

[10 ноября 2016 г.]    Российская сборка Magento 2.49.12
Magento 2: модули и услуги
  • Тема закрыта
#1 Константин Гаар
  • Группа: Клиент
  • Сообщений: 142
  • Регистрация: 25.12.2012

06.03.2013 00:06

Прошу помочь разобраться с проблемой.
Добавил свой магазин в вэб мастер Яндекса.
А он мне в ответ выдал вот это:
"Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление."
Пытался поискать ответ в поисковиках, но результат плачевен.
1. Проверил все DNS записи. все установлено согласно инструкций.
2. Был вариант что перенаправление идет из файла .htaccess, но его вообще в корневом каталоге сайта нет! :-(
На этом и остановился так как не могу сообразить, с чего начинать распутывать "клубок"! :-)

#2 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8886
  • Регистрация: 20.02.2010

06.03.2013 00:58

Прикрепите сюда robots.txt вашего сайта.

#3 Константин Гаар
  • Группа: Клиент
  • Сообщений: 142
  • Регистрация: 25.12.2012

06.03.2013 11:29

Вот мой файл
Прикрепленное изображение: robotstxt.png
:rolleyes:

#4 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8886
  • Регистрация: 20.02.2010

06.03.2013 11:36

Тест надо вставлять на форум в текстовом виде, а не картинкой.

#5 Константин Гаар
  • Группа: Клиент
  • Сообщений: 142
  • Регистрация: 25.12.2012

06.03.2013 11:56

Извиняюсь!

User-agent: *
# Common
Disallow: /*?
Disallow: /*.css$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.php$
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /install/
Disallow: /images/
Disallow: /js/
Disallow: /private/
Disallow: /_private/
Disallow: /updates/
Disallow: /*/admin/
Disallow: /*/cgi-bin/
Disallow: /*/install/
Disallow: /*/images/
Disallow: /*/js/
Disallow: /*/private/
Disallow: /*/_private/
Disallow: /*/updates/
# Magento
Disallow: /home
Disallow: /404/
Disallow: /api/
Disallow: /app/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /contacts/
Disallow: /customer/
Disallow: /downloader/
Disallow: /lib/
Disallow: /magento/
Disallow: /mage118/
Disallow: /media/
Disallow: /newsletter/
Disallow: /pkginfo/
Disallow: /poll/
Disallow: /report/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /skin/
Disallow: /tag/
Disallow: /var/
Disallow: /wishlist/
Disallow: /*/404/
Disallow: /*/api/
Disallow: /*/app/
Disallow: /*/catalog/category/view/
Disallow: /*/catalog/product/view/
Disallow: /*/catalog/product_compare/
Disallow: /*/catalogsearch/
Disallow: /*/checkout/
Disallow: /*/contacts/
Disallow: /*/customer/
Disallow: /*/downloader/
Disallow: /*/lib/
Disallow: /*/magento/
Disallow: /*/media/
Disallow: /*/newsletter/
Disallow: /*/pkginfo/
Disallow: /*/poll/
Disallow: /*/report/
Disallow: /*/review/
Disallow: /*/sendfriend/
Disallow: /*/skin/
Disallow: /*/tag/
Disallow: /*/var/
Disallow: /*/wishlist/

Sitemap: http://amilook.ru/sitemap.xml
Host: amilook.ru

#6 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8886
  • Регистрация: 20.02.2010

06.03.2013 11:59

Видимо, файл .htaccess пропал посье чьих-то некачественных действий.
Обратите внимание, что в папке /var/www/backup.amilook.com файл .htaccess ещё присутствует.

#7 Константин Гаар
  • Группа: Клиент
  • Сообщений: 142
  • Регистрация: 25.12.2012

06.03.2013 12:44

ок понял!

#8 Константин Гаар
  • Группа: Клиент
  • Сообщений: 142
  • Регистрация: 25.12.2012

06.03.2013 19:07

Проблема так и не решилась!
Вопрос:
Поступило предложение внести такие изменения для сервера, а именно убрать редирект.

Изменения внести адресу:
/usr/local/nginx/conf/sites/amilook.ru.conf

server { server_name www.amilook.ru;
         rewrite ^ http://amilook.ru$request_uri? permanent; }


Вот этот 301 редирект с www на без www в nginx.

Решит ли этот вариант проблему, если да!
Тогда как внести изменения?

#9 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8886
  • Регистрация: 20.02.2010

06.03.2013 22:05

Прикрепите конкретный снимок экрана с проблемным диагностическим сообщением системы.

#10 Константин Гаар
  • Группа: Клиент
  • Сообщений: 142
  • Регистрация: 25.12.2012

06.03.2013 22:08

Вот что мне пишет Яндекс
Прикрепленное изображение: ОШИБКА ЯНДЕКСА.png

#11 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8886
  • Регистрация: 20.02.2010

06.03.2013 22:11

Яндекс пишет правильно, потому что домен вашего магазина (amilook.ru) не соответствует домену, указанному в Яндекс.Вебмастере (www.amilook.ru).
Надо указать в Яндекс.Вебмастере правильный домен магазина, без www.

#12 Константин Гаар
  • Группа: Клиент
  • Сообщений: 142
  • Регистрация: 25.12.2012

06.03.2013 22:14

Я пытался зарегистрирорвать без WWW, но Яндекс выдает вот такое сообщение:
Сайт является зеркалом www.amilook.ru,
И заставляет добавить только с www

#13 Дмитрий Федюк
  • Администратор
  • Иконка
  • Группа: Администратор
  • Сообщений: 8886
  • Регистрация: 20.02.2010

06.03.2013 22:15

Читайте документацию Яндекс.Вебмастера, как наоборот сделать поддомен www зеркалом основного сайта.
К Magento тема отношения не имеет.

Поделиться темой: