- 1. Нет файла robots.txt
- 2. Блокировка важных страниц на сайте
- 3. Блокировка изображений и файлов CSS / JS
- 4. Блокировка робота не удаляет из индекса!
- 5. Потеря "сока ссылки"
- 6. Бонус - Блокировка плохих роботов
Файл robots.txt представляет собой небольшой и простой текстовый файл, размещенный на сервере нашего веб-сайта, который, однако, оказывает сильное влияние на восприятие роботов поисковых систем нашего сайта. Когда я работаю на любом веб-сайте, первое, что я проверяю, это содержимое файла robots.txt.
1. Нет файла robots.txt
Отсутствие файла robots.txt, к сожалению, является частой ошибкой на многих сайтах. Хотя в этой ситуации роботы распознают, что они могут просматривать весь контент сайта, который они посещают, но рекомендуется иметь даже файл robots.txt по умолчанию с примером содержимого:
Пользователь-агент: *
Disallow:
Почему? Есть несколько причин. Каждый уважающий себя робот сначала спрашивает о файле robots.txt, и если он не находит его, он получает нашу страницу в сообщении «404 не найден». Это вызывает ненужный перенос и генерирует журналы ошибок в статистике.
Вторая причина - просто моя неподтвержденная теория - отсутствие файла robots.txt может быть негативным фактором ранжирования в SEO (один из множества разных). Это доказывает небрежность сайта. Многие бэкэнд-страницы не имеют файла robots.txt
Как проверить, есть ли у меня файл robots.txt и как он выглядит? Все, что вам нужно сделать, это ввести его адрес в вашем браузере, например https://redseo.pl/robots.txt
2. Блокировка важных страниц на сайте
Проблема кажется банальной, но встречается чаще, чем вы можете себе представить. Непреднамеренная блокировка важных сайтов или всего сайта в robots.txt - вам не нужно быть гением, чтобы догадаться, что это может привести к резкому снижению результатов поиска.
Эта проблема часто возникает при внедрении нового сайта или его реконструкции. Веб-мастер скопировал robots.txt из пробной версии, которая заблокировала все - обычная проблема. В синтаксисе также есть опечатки или добавление правила, которое блокирует то, что вы хотите, но также может блокировать и другие вещи, которые вы не понимаете.
Доступный здесь инструмент « robots.txt file tester » полезен Инструменты Google для веб-мастеров , Это позволяет вам проверить конкретный URL на нашем сайте с точки зрения директив, которые находятся в файле robots.txt. Это особенно полезно для больших файлов robots.txt, содержащих много директив, которые легко потеряться в:
3. Блокировка изображений и файлов CSS / JS
Проблема возникла на многих сайтах. Директивы, содержащиеся в файле robots.txt, блокируют роботам доступ к изображениям или файлам CSS, которые отвечают за внешний вид и JavaScript. В результате поисковая система может видеть ваш сайт так:
Это не выглядит хорошо. Необходимо разрешить доступ к этому типу ресурсов. Это влияет на SEO, а также может повлиять на оценку качества целевой страницы системой AdWords , Полезными в решении этой проблемы являются Инструменты Google для веб-мастеров где доступен модуль « Скачать как гугл ». Благодаря этому инструменту мы быстро проверим, как можно увидеть страницу робота Google и какие ресурсы заблокированы.
Важно привести к ситуации, когда робот поисковой системы и пользователь увидели один и тот же веб-сайт:
4. Блокировка робота не удаляет из индекса!
Вещи, которые часто забывают. Блок доступа в файле robots.txt отличается от удаления страницы из поисковых индексов Google! Если вы хотите удалить страницу из результатов поиска, используйте метатег «robots» со значением « noindex ». Также следует помнить, что одновременная установка блока в robots.txt и метатеге заставит робота не знать значение метатега - он будет заблокирован robots.txt ...
Ниже приведен пример блока в файле robots.txt, который, однако, не удаляет страницы из поискового индекса Google:
5. Потеря "сока ссылки"
Ссылка сока или ссылка сока - сила ссылок, ведущих на ваш сайт и внутренние ссылки. Может случиться так, что сайт на сайте, который заблокирован для роботов, имеет внешние ссылки с внешних сайтов. В результате мощность входящих ссылок не используется этой подстраницей и не распространяется далее на последующие подстраницы, связанные с заблокированным контентом.
источник moz.com/learn/seo/robotstxt
Время от времени стоит проводить аудит входящих ссылок и проверять, есть ли ссылки, указывающие на контент, заблокированный robots.txt. Если так, то стоит предпринять некоторые действия, чтобы эффективно использовать эти ссылки.
6. Бонус - Блокировка плохих роботов
В то время как robots.txt используется для информирования роботов, где они могут и где не могут войти, вредоносные роботы полностью игнорируют его. Конечно, вы можете блокировать вредоносных спам-ботов в robots.txt, которые используют передачу и заряжают сервер, но это может быть неэффективно. Гораздо более эффективный метод - блокировать их на уровне сервера или файла. .htaccess ,
Подводя итоги. Проверьте, что находится в вашем файле robots.txt. При использовании Google Tools убедитесь, что робот хорошо видит ваш сайт. Если у вас есть дополнительные вопросы о конфигурации или проблемах с robots.txt напиши мне ,
В индустрии интернет-рекламы с 2006 года. Сертифицированный специалист по Google AdWords и аналитике. Владелец агентства Redseo.
Txt и как он выглядит?