Всім привіт!
Сьогодні я вам покажу, як створити файл robots.txt для wordpress. Robots.txt є дуже важливим файлом для сайтів. Цей файл дозволяє вказати пошуковим системам, як правильно потрібно індексувати ваш ресурс.
Він є першочерговим файлом для вашого блогу, як тільки той з'явився в мережі! Відсутність даного файлу або неправильне його складання є поширеною помилкою серед блогерів - новачків. Тому, якщо на вашому блозі його немає або настройка robots.txt викликає у вас сумнів, уважно вивчіть цю статтю!
Як створити файл robots.txt
Файл robots.txt, так само як і карта сайту (sitemap.xml) , Призначений для управління індексацією вашого блогу! Задавши в файлі robots.txt певні правила для пошукових систем, які ми розберемо трохи нижче і, помістивши його в кореневий каталог, ви зможете правильно управляти індексацією свого ресурсу, що дуже важливо для його успішного просування !
Тут головне чітко розуміти, що не всі файли, що знаходяться в кореневому каталозі, повинні бути проіндексовані пошуковими системами. Зараз я вам розповім про це більш детально. Якщо хто не знає, кореневої каталог, це основна папка вашого сайту з усім його вмістом. Залежно від хостингу, це буде або «httpdocs» або «public_html».
Будь-блог на wordpress, має певні папки і файли, зумовлені самим двигуном, наприклад (wp-admin, wp-includes). Так ось, ці папки і файли не несуть ніякої цінності ні для читачів, ні для пошукових систем. Вони потрібні лише для роботи самого движка. І якщо їх залишити без уваги і не заборонити індексацію, то пошукові роботи, зайшовши на ваш ресурс, будуть індексувати все, що попадеться на їхньому шляху.
А у них є певний ліміт! І бувають такі випадки, коли вони не встигають проіндексувати потрібні вам файли, займаючись індексацією не потрібних! Плюс до всього, якщо не прописати певні правила, з часом ваш блог обросте дубльованим контентом, що пошукові системи просто ненавидять і жорстко карають, накладаючи на блог різні фільтри. Особливо це стосується пошукової системи Яндекс.
Дублями сторінок в wordpress в більшості випадків виступають рубрики, архіви, архіви міток. Якщо їх не закрити від індексації, то в міру появи нових сторінок, дубльований контент буде поширюватися на вашому блозі зі стрімкою швидкістю. Щоб уникнути всього цього, для wordpress існує дуже важливий плагін пошукової оптимізації All In One SEO Pack . Який, при правильній його налаштування, здатний запобігти всі неприємності!
Також, якщо ви додаєте в кореневій каталог якісь папки з файлами, в яких міститься безліч зовнішніх посилань або скриптів, не забувайте їх закривати від індексації у файлі robots.txt. Далі ми з вами розберемо, як це робиться.
Налаштування robots.txt
Robots.txt є звичайним файлом, створеним в текстовому редакторі, наприклад notepad ++ і включає в себе кілька важливих директив. Перша і найголовніша директива User-agent, містить в собі назву пошукового робота. Щоб адресувати User-agent всіх пошукових роботів, які прийшли на ваш ресурс, її слід прописати таким чином:
User-agent: *
Наступна директива, без якої не обходиться не один файл robots.txt, позначається так: Disallow. Директива Disallow призначена для заборони певних папок і файлів і будь-який правильний robots.txt повинен обов'язково містити після User-agent директиву Disallow. Ось простий приклад, що дозволяє всім пошуковим системам індексувати весь вміст вашого ресурсу:
User-agent: *
Disallow:
Якщо до Disallow додати правий слеш «/»:
User-agent: *
Disallow: /
Ви навпаки, забороніть всім пошуковим системам індексувати ваш сайт. Тепер, що стосується не потрібних файлів і папок самого движка wordpress. Для заборони індексації пошуковими системами, наприклад всього вмісту папки wp-admin, вам слід прописати наступне:
User-agent: *
Disallow: / wp-admin /
Далі, я вам покажу повноцінний і правильний robots.txt для wordpress, рекомендований розробниками, а поки що розглянемо ще одну важливу директиву Host. Директива Host призначена виключно для Яндекса. З якої це радості такі привілеї? Так повелося, що пошукова система Яндекс по статистиці має найбільшу вагу в російськомовному інтернеті, що є самим собою зрозумілим підлаштовуватися під її забаганки!
При всьому при цьому рекомендується ще, і виділити окремий блок для Яндекса:
User-agent: Yandex
Щоб уникнути неправильної індексації ресурсу, директива Host прописується тільки для Яндекса і вказує на основне дзеркало вашого ресурсу, тобто за якою адресою буде доступний ваш сайт: www.sait.ru або sait.ru. Інші пошукові системи не розуміють директиву Host! Для Яндекса блок у файлі robots.txt повинен виглядати наступним чином:
User-agent: Yandex
Disallow:
Host: www.sait.ru
або
User-agent: Yandex
Disallow:
Host: sait.ru
У цьому випадку, щоб уникнути зайвих неприємностей, правильніше буде налаштувати 301 редирект , Але про нього я як-небудь, розповім в окремому пості. , Щоб нічого не пропустити, а поки розглянемо останню директиву, яку повинен включати в себе правильний robots.txt для wordpress. Вона має знайоме вам назву, Sitemap. Про неї я більш детально розповідав в статті «Як зробити карту сайту», посилання наведена трохи вище.
Директива Sitemap вказує пошуковим роботам на місце розташування карти сайту і прописується окремо від попередніх директив і тільки один раз. Її розуміють всі пошукові системи. Ось як це виглядає:
Sitemap: http://blogiseo.ru/sitemap.xml Sitemap: http://blogiseo.ru/sitemap.xml.gz
Ми з вами розглянули основні директиви, які використовуються в правильному robots.txt і рекомендуються розробниками. Більше я не буду вас вантажити незрозумілими словами, а покажу конкретний приклад правильного файлу robots.txt. У мене він виглядає наступним чином:
Першочергове, що необхідно згодувати пошуковим системам для індексації, є контент! При такому розкладі, ваш блог на wordpress буде чудово себе почувати, і що найважливіше, правильно і швидко індексуватися . Не одна ваша стаття не залишиться без уваги, і пошукові роботи не будуть витрачати свій час на непотрібний мотлох! Якщо ви сумніваєтеся в правильності його складання, можете вивчити дане питання більш докладно.
Також, ви можете порівняти кілька файлів robots.txt на різних блогах мають платформу wordpress, всі вони будуть приблизно однакові! Щоб подивитися, як він виглядає на іншому ресурсі, досить прописати в рядку браузера, після доменного імені /robots.txt. І останнє, що я ще не сказав, ім'я файлу повинна бути завжди однаковим і мати такий вигляд:
robots.txt
Ніяких великих літер бути не повинно і на кінці не забувайте прописувати «s»! Запам'ятайте це! Ось, напевно, і все, що я хотів сьогодні вам розповісти. Тепер вам теж відомо, як створити і налаштувати файл robots.txt. І залишається нагородити переможців кросворду.
Переможці кросворду на blogiseo.ru №8
Цього разу кросворд був трохи незвичним, але все-таки все впоралися і оцінили його. Надалі час від часу постараюся змінювати правила кросворду, щоб було цікавіше! Ну а тепер зустрічаємо наших переможців:
Молодці хлопці. Вітаю вас із заслуженою перемогою і чекаю ваші гаманці для перекладу винагород! На цьому я свій пост буду закінчувати. Бажаю всім гарного настрою, поки і до нових зустрічей!
Як вам стаття? А у вас на блозі є файл robots.txt? Чекаю на ваші коментарі!
З повагою, Микола Коротков
З якої це радості такі привілеї?Як вам стаття?
Txt?