- Файл Robots.txt
- Типы файлов, которые мы можем исключить с помощью robots.txt
- Создайте файл Robots.txt
- Синтаксис Robots.txt
- Пример файла Robots.txt
- Загрузите файл Robots.txt
- Мастер SEO и позиционирования в поисковых системах
Одной из основных целей стратегий позиционирования является обеспечение того, чтобы поисковики могли правильно отслеживать и индексировать контент. Для этого существуют различные способы связи с ботами, сканерами или пауками Google, которые отслеживают и помогают проиндексировать наш контент, чтобы позиционировать их в поисковых системах. Это где robots.txt входит.
Указатель содержания
Ключевые слова, теги и методы SEO играют важную роль, поскольку они помогают паукам находить и отслеживать наши страницы, чтобы проиндексировать их в верхних позициях поисковых систем. Кроме того, sitemap.xml предоставляет руководство или указатель для поиска страниц, которые можно отслеживать. Этот последний файл может быть дополнен файлом robots.txt, также известным как протокол исключения роботов. Благодаря этому отчету мы можем проинформировать пауков Google о страницах, которые мы хотим проиндексировать, и о тех, которые мы не делаем.
Далее мы покажем, как мы можем индексировать страницы с помощью robots.txt и как мы можем индекс Автоматически страницы с Google Search Control. Таким образом, только те страницы, которые действительно не имеют значения, появляются в поисковых системах.
Файл Robots.txt
Прежде чем начать сканировать наш веб-сайт, пауки поисковых систем просматривают файл robots.txt. В этом файле боты - это исполнительные приказы, которые позволят нам:
- Запретить доступ к определенным страницам или каталогам, чтобы избежать индексации.
- Не допускайте индексации определенных частей кода нашего сайта.
- Избегайте индексации дублированного контента, вызванного параметрами или страницами, например.
- Показать карту сайта XML для облегчения отслеживания Интернета.
Типы файлов, которые мы можем исключить с помощью robots.txt
Перед деиндексированием любой страницы важно понять, как работает robots.txt, чтобы исключить правильные страницы и не важный контент. Типы файлов, которые мы можем исключить из индексации, следующие.
- Веб- страницы. Исключение веб-страниц может помочь нам запретить сканеру показывать страницы или контент, который не очень важен для публики, что наносит ущерб нашему SEO-позиционированию.
- Изображения : мы можем запретить отображение файлов изображений в результатах поиска. Его можно использовать, чтобы изображения файлов не были проиндексированы.
- Другие ресурсы: Мы также можем блокировать файлы, например, скрипты или элементы, которые не важны для пользователей.
Создайте файл Robots.txt
Создать файл Robots.txt относительно легко. Это просто текстовый документ, в котором мы пишем определенные команды на языке, который мы сейчас детализируем. После создания мы загрузим его в корневой каталог домена. (Www.midominio.es/robots.txt)
Синтаксис Robots.txt
Прежде чем приступить к подробному описанию основных команд файла Robots.txt, мы должны знать, что правильное их написание очень важно. То есть мы должны соблюдать пробелы, прописные или строчные буквы и вводить только разрешенные команды.
Основные команды:
- Пользователь-агент : с помощью этой команды мы указываем, какому роботу мы обязаны выполнить определенные действия. Мы можем найти не только Googlebot (Google Crawler), но также Bing, Yahoo и большой их репертуар. Существуют также вредоносные боты (вредоносные программы), которые отслеживают наш сайт для кражи информации или для других неясных целей.
- Disallow: не позволяет ботам получить доступ к определенной части нашего сайта
- Разрешить: все противоречит команде Disallow. Мы даем вам полный доступ к ботам.
- Карта сайта: введя URL-адрес нашей карты сайта, мы упростим отслеживание всей нашей сети.
- Задержка сканирования: указывает, сколько секунд бот должен ждать, чтобы перейти на другую страницу.
- * (Звездочка): звездочка имеет то же значение, что и полная строка символов. Например, все каталоги, начинающиеся с «page», будут иметь вид «/ page * /» (чтобы избежать дублирования содержимого с подкачкой страниц)
Пример файла Robots.txt
Мы собираемся детализировать пример простого файла robots.txt, чтобы закончить понимание операции этого.
Как мы видим в первой строке, мы указываем, что функции файла действительны для всех ботов.
Во второй и третьей строчках мы запрещаем доступ к самым закрытым частям WordPress. Уточните, что этот файл Robots.txt является WordPress , у каждой сети есть свои потребности, и по этой причине не существует универсального файла Robots.txt.
В четвертой строке мы запрещаем доступ к веб-страницам. И наконец, в пятой строке мы указываем карту сайта.
Загрузите файл Robots.txt
После того как вышеприведенные определения были сделаны, должны быть выполнены следующие шаги:
- Сохраните код в виде текстового файла (.txt) со словом «роботы».
- Найдите его в каталоге самого высокого уровня сайта (http://www.example.com/robots.txt)
После того, как эти шаги выполнены, мы можем проверить, что все в порядке в robots.txt тестер Google.
Мы должны принять во внимание, но некоторые роботы не уважают файл и поэтому все равно индексируют его содержимое. Поэтому важно, чтобы, если у нас была конфиденциальная информация, которую не следует показывать общественности, мы всегда должны защищать ее дополнительными методами. Примером могут быть пароли.
Файл Robots.txt является жизненно важным для любого веб-сайта, и его правильное создание может избежать серьезных проблем, которые могут помешать нашему SEO-позиционированию .
Хотите узнать больше? В Мастер SEO и позиционирования в поисковых системах вы узнаете все, что вам нужно знать об оптимизации на странице и, конечно же, от нашего союзника: файла Robots.txt.
Другие статьи, которые могут вас заинтересовать:
Мастер SEO и позиционирования в поисковых системах
Узнайте, как спроектировать и выполнить этапы разработки стратегии SEO
Я зарегистрируюсь!
Поделитесь и прокомментируйте эту статью!
Хотите узнать больше?