- Что такое robots.txt?
- Какова цель файла robots.txt для SEO?
- Где вы можете найти файл?
- Сделайте правильный robots.txt
- Пример файла robots.txt
- Несуществующий файл = все разрешено
- Больше команд и ресурсов, которые вы можете захотеть
- Блокировка сканирования поисковой системы
- Блокировка конкретного робота и конкретного компонента
- Блокировка определенных роботов и страниц, специфичных для сайта
- Карта сайта Блокировка сканирования
- Более подробная информация
- заключение
Файл robots.txt является одной из не менее важных частей На странице поисковая оптимизация. Это файл, который сообщает поисковым системам, какие страницы вашего сайта просматривать и что пропустить .
Веб-мастера могут использовать три способа сообщить поисковым системам, куда они не могут зайти . В дополнение к файлу robots.txt, который подходит для установки ограничений для всего сайта, вы можете использовать мета тег в заголовке страницы или, если вы хотите, чтобы поисковые системы не переходили по определенной ссылке, добавьте rel = " NOFOLLOW ». Но в этой статье мы остановимся на robots.txt, поэтому давайте посмотрим на этот файл более подробно.
Что такое robots.txt?
Robots.txt, или Robots Exclusive Protocol (REP), представляет собой текстовый файл, встроенный в основной каталог хостинга вашего сайта, и в нем, помимо прочего, написано, на каких страницах сайт поисковой системы может и не может. Если поисковая система не находит файл (вы его не создали), это автоматический сигнал, что он может индекс веб целое.
Какова цель файла robots.txt для SEO?
Его наиболее используемая техника для SEO блокирует определенный контент для поисковых систем. На практике наиболее распространенной проблемой является неправильная настройка файла robots.txt. Нам приходилось несколько раз сталкиваться с ситуацией, когда новый сайт клиента не получал посетителей из поисковых систем даже после нескольких месяцев продвижения. Часто при создании нового сайта программист, кодировщик или графический дизайнер устанавливает файл robots.txt, чтобы отключить поисковые системы для создания и тестирования сайта. Владелец сайта может попробовать, как он хочет, но, к сожалению, поисковые системы не убедят свои ключевые слова. Единственным выходом является редактирование файла.
Где вы можете найти файл?
Файл можно найти по адресу: http://www.vasestranka.cz/robots.txt . Добавьте свое имя вместо "ваша страница" домен , Например, для нашего сайта вы можете найти файл по адресу https://vceliste.cz/robots.txt , Таким образом, вы можете легко увидеть, находится ли файл на вашем сайте или нет. Затем вы узнаете, что содержит ваш файл, какие страницы на вашем сайте проиндексированы или нет.
Теперь, если вам интересно, можно ли использовать robots.txt на поддоменах, вам это не нужно. Это конечно возможно, даже необходимо. Если ваш сайт работает по протоколу https или http, помните, что для каждого протокола необходимо иметь специальный (даже один и тот же файл).
Сделайте правильный robots.txt
Имя файла должно быть в нижнем регистре и должно находиться в корневой папке вашего сайта. Вы можете просто создать его в блокноте или другом текстовом редакторе. Каждая строка в файле говорит, что робот и где он не должен.
Часто в ваших списках повторяются два условия:
- Пользователь-агент = робот
- Disallow = нет
Вы можете легко найти других User-агентов (роботов) в Интернете. Нужен хороший список здесь ,
Пример файла robots.txt
Пользователь-агент: *
Disallow: / блог /
Что говорит нам эта запись? Листинг говорит нам, что все (звездочки) роботы не должны идти в каталог / blog /.
Несуществующий файл = все разрешено
Несуществующий файл является признаком для поисковых систем для записи и просмотра всех страниц сайта. Если мы хотим включить это правило в файл robots.txt, список будет выглядеть так:
Пользователь-агент: *
Disallow:
Больше команд и ресурсов, которые вы можете захотеть
Следующий список команд может быть полезен, если вы посмотрите более подробно на файл robots.txt.
Блокировка сканирования поисковой системы
Пользователь-агент: * Disallow:
Блокировка конкретного робота и конкретного компонента
Пользователь-агент: Googlebot Disallow: / no-google /
Блокировка определенных роботов и страниц, специфичных для сайта
Пользователь-агент: Googlebot Disallow: /no-google/blocked-page.html
Карта сайта Блокировка сканирования
Пользователь-агент: * Disallow: Карта сайта: http://www.example.com/none-standard-location/sitemap.xml
Более подробная информация
Более подробная информация о Протокол REP Вы можете найти на его официальном сайте. Кроме того, в Интернете W3.org
заключение
Если у вас есть некоторые части сайта, которые вы не хотите индексировать и сканировать роботами, используйте файл robots.txt. Если вам нужно заблокировать только часть сайта или ссылку, я рекомендую использовать метатег на странице или атрибут ссылки rel = "nofollow". После создания нового сайта обязательно разблокируйте контент для роботов, чтобы они могли просматривать и индексировать ваш сайт. Это одна из самых распространенных ошибок новичка. В заключение некоторые роботы могут обойти robots.txt. Они обычно ищут небезопасные места и продолжают распространять вредоносные вредоносные программы. Но вы не создаете для них файл robots.txt.
Txt?Txt для SEO?
Где вы можете найти файл?
Txt?
Txt для SEO?
Где вы можете найти файл?