Метатеги Noindex против Robots.txt: что использовать?

  1. Какая разница?
  2. Когда использовать robots.txt.
  3. Когда использовать метатеги noindex.
  4. Будем осторожны там!
  5. Сьюзан Сислер

Даже те, кто какое-то время занимался SEO-бизнесом, могут запутаться в том, использовать ли метатеги noindex или файлы robots

Даже те, кто какое-то время занимался SEO-бизнесом, могут запутаться в том, использовать ли метатеги noindex или файлы robots.txt для контроля того, как веб-страницы «видятся» (и должны ли они появляться в результатах поиска) поисковыми системами. ,

Мы написали в эта почта о некоторых причинах использования файлов robots.txt на определенных страницах, и это относится и к использованию тегов noindex. Это касается сходства между использованием тегов robots.txt и noindex, как вы увидите.

Какая разница?

В самых простых сроках:

  • Файл robots.txt контролирует сканирование. Он инструктирует роботов (так называемых пауков), которые ищут страницы для сканирования, чтобы «не пускать» определенные места. Вы помещаете этот файл в корневой каталог вашего сайта.
  • Тег noindex управляет индексацией. Это говорит паукам, что страница не должна быть проиндексирована. Вы размещаете этот тег в коде соответствующей веб-страницы. Вот пример тега:
    <meta name = ”robots” content = ”noindex, follow” />

Когда использовать robots.txt.

Не весь контент на вашем сайте должен быть или должен быть найден. В некоторых случаях вы не хотите, чтобы на вашем сайте появлялись разделы, например информация, предназначенная только для сотрудников, корзины покупок или страницы с благодарностями.

Используйте файл robots.txt, если вы хотите контролировать на уровне каталога или на своем сайте. Однако имейте в виду, что роботы не обязаны следовать этим директивам. Большинство будет, например, Googlebot, но безопаснее хранить любую конфиденциальную информацию вне общедоступных областей сайта.

Когда использовать метатеги noindex.

Как и в случае файлов robots.txt, теги noindex исключают страницу из результатов поиска. Страница все равно будет сканироваться, но она не будет проиндексирована. Используйте эти теги, когда вы хотите контролировать на уровне отдельной страницы.

Кроме разницы между сканированием и индексированием: сканирование (через пауков) - это то, как паук поисковой системы отслеживает ваш сайт; результаты сканирования попадают в индекс поисковой системы. Хранение этой информации в индексе ускоряет возврат релевантных результатов поиска - вместо сканирования каждой страницы, относящейся к поиску, поиск индекса (меньшая база данных) оптимизирует скорость. Если бы индекса не было, поисковая система просматривала бы каждый существующий бит данных или информации, относящейся к поисковому запросу, и у всех нас было бы время приготовить и съесть пару бутербродов, ожидая результатов поиска. Индекс использует пауков, чтобы поддерживать свою базу данных в актуальном состоянии.

Будем осторожны там!

Как мы предупреждали в нашем посте о файлах robots.txt, всегда есть опасность, что вы можете в конечном итоге сделать свой веб-сайт недоступным для сканирования, поэтому будьте внимательны при использовании этих директив.

Сьюзан Сислер

Сьюзен управляет SEO-кампаниями клиентов DAGMAR и создает новые стратегии входящего маркетинга. Она квалифицирована в технической SEO и имеет опыт в графическом дизайне.

Последние сообщения Сьюзен Сислер ( увидеть все )

Какая разница?
Какая разница?