Запобігання індексації небажаних сторінок Google

  1. Ефективні рішення
  2. Рішення WordPress / Yoast
  3. Створення та редагування файлів Robots.txt
  4. Вбудована функція без індексування
  5. Замикаючі думки

Іноді ви бачите, що сторінки вашого веб-сайту індексуються компанією Google, і ви не обов'язково бажаєте отримати індексування. Зазвичай це можна побачити на веб-сайтах на основі CMS, таких як WordPress, які автоматично генерують багато підсторінок і каталогів автоматично. Ці сторінки, швидше за все, не покарають ваш сайт, але іноді можуть рангу вище іншого вмісту для пошуків, пов’язаних із брендом, які ефективно забивають присутність вашого сайту в видачах. Є кілька швидких порад, щоб запобігти цьому і очистити речі, якщо вони вже відбулися.

Ефективні рішення

Я вважаю, що WordPress пропонує один з найпростіших і економічно ефективних засобів створення веб-сайтів. Він пропонує зручні інтерфейси, потужну розширюваність і потужну підтримку користувачів і розробників. Одна з недоліків, однак, полягає в тому, що вона вимагає певної досконалості з коробки, перш ніж вона підходить для більшості підприємств. З іншого боку, це всі швидкі налаштування, які не пов'язані з кодуванням і можуть швидко перетворити ваш сайт на SEO оптимізовані скарби . WordPress вміщує широкий спектр застосувань і тому часто бачиться, що вони мають трохи наворотів. Одним з таких прикладів є автоматично згенеровані архіви автора, архіви на основі дати, архіви категорій підсторінок і архіви на основі тегів.

Усі ці ресурси індексуватимуться ресурсами Google, якщо не вказано інше. Це може призвести до дублювання питань контенту, а також до подразнюваного заплутаних результатів для пошукачів, пов'язаних із брендом. Наприклад, ви б не хотіли, щоб архів повідомлень минулого травня перевершив першу сторінку ваших останніх повідомлень у блозі, але це відбувається багато! Якщо ви використовуєте WordPress, плагіни люблять Yoast SEO пропонують великі безкоштовні рішення для швидкого визначення статусу "без індексу" для певних архівів і каталогів, або навіть окремих посад і сторінок. Якщо ви використовуєте інші рішення, деякі прості доповнення до файлу robots.txt також допоможуть вирішити вашу проблему. Нижче наведені деякі приклади, в яких ці методи використовуються.

Рішення WordPress / Yoast

Один з найпростіших способів обійти це за допомогою WordPress рішення для вашого сайту. Якщо обставина не вимагає іншого, я часто вважаю, що WordPress відповідає потребам більшості малих підприємств, за винятком деяких веб-сайтів електронної комерції з глибокими категоричними структурами. WordPress робить життя легким і економічним, але ви все ще повинні бути обережними щодо певних застережень, які виникають під час його використання. У WordPress є ядро, призначене для багатоцільового використання, яке вийшло з світу особистого блогу. Такі функції, як архіви авторів, архіви на основі тегів і під-сторінки архівів, часто є небажаними доповненнями до вашого веб-сайту. Вони не перешкоджають вирішенню будь-яких критичних проблем, але додають роздуття і перешкоди з точки зору веб-сканерів. Yoast SEO дозволяє за один раз відключити архіви і не індексувати небажані функціональні можливості WordPress. Крім того, Yoast також дозволяє швидко створювати та редагувати файл robots.txt без використання FTP. Нижче ви знайдете короткий огляд впровадження цього рішення за допомогою безкоштовного плагіна Yoast SEO для WordPress.

Створення та редагування файлів Robots.txt

Файл Robots.txt використовується веб-браузерами для застосування правил безпеки та вмісту на вашому вмісті. Це допоможе запобігти доступу користувачів до каталогів із приватною інформацією, обслуговувати інший вміст користувачам на основі веб-переглядача чи реферера і може повідомляти пошукові системи, де розташовані ваші мапи сайту, і які типи вмісту не потрібно індексувати. На більшості веб-сайтів цей файл редагується через FTP-з'єднання через текстовий редактор, наприклад Notepad ++. Це відмінно працює, але коли ви намагаєтеся потрапити на землю, іноді вивчення інтерфейсу іншої програми є складним завданням. Тут Yoast вступає і пропонує дуже корисну розширюваність. Після встановлення плагін Yoast зареєструє меню "SEO" на лівій панелі інструментів WordPress. Клацніть на меню 'Інструменти', і вам буде показаний екран з опцією 'Редактор файлів' - клацніть по ньому. Знайшовши цей екран, потрібно натиснути посилання "Редактор файлів", яке приведе вас до ще одного екрану. Див. Нижню діаграму для візуального напрямку:

Тут ви знайдете одну з двох речей; або у вас вже є файл robots.txt, і ви бачите дві текстові панелі, або у вас ще немає файлу robots.txt, і ви побачите кнопку "Створити файл Robots.txt" з панеллю редактора .htaccess нижче. Якщо ви бачите кнопку "Створити файл Robots.txt", клацніть, і з'явиться поле для редагування тексту, що дозволить швидко додати будь-які необхідні правила. Нижче наведено приклад того, як має виглядати цей екран:

Завдяки постійному поглибленню розуміння веб-сайтів від Google я зазвичай вважаю, що правила роботи robots.txt більше не потрібні на сайтах на основі WordPress. Використовуючи безкоштовні плагіни, такі як рішення Yoast SEO, ви можете вимкнути всі розділи архіву, такі як архівування на основі дат і тегів, і навіть вказати на окремих сторінках, чи хочете ви пошукові системи індексувати їх. Для переважної більшості веб-сайтів це рішення обробляє 90% роботи за 5% зусиль. Щоб дізнатися більше про те, як і коли використовувати правила robots.txt, я пропоную вам перевірте цю статтю самого Йоаста, який пропонує трохи подальшого розуміння цього питання. Він робить рішучий випадок, щоб уникнути великої уваги до файлу robots.txt взагалі, посилаючись на можливість блокувати критичні ресурси, які використовуються певними плагінами та іншими функціями сайту. Я погоджуюся з тим, що це підходить для переважної більшості випадків із залученням малих та середніх бізнес-сайтів без великих обсягів складності.

Вбудована функція без індексування

Одним з зручностей, які пропонує плагін SEO від Yoast, є можливість вказати статус індексу окремих повідомлень і сторінок, використовуючи їх розширений мета-вікно, а також вказати інші корисні доповнення robots.txt. Ця функціональність за замовчуванням вимкнена, але її можна ввімкнути, перейшовши в меню "SEO", натиснувши на опцію "Dashboard", перейшовши на вкладку "Security" і ввімкнувши опцію "Додаткові частини мета-поля Yoast SEO". Щоб також дозволити керувати іншими розширеними налаштуваннями, перейдіть на вкладку "Функції" та ввімкніть параметр "Додаткові сторінки налаштувань". який дасть вам новий пункт меню в рядку меню SEO ліворуч, і дозволить додаткове форматування постійних посилань, перенаправлення вкладень до батьківських URL-адрес, видалення стоп-слів у поштових пробках і керування деякими основними функціями RSS. Нижче наведено ілюстрацію того, як увімкнути ці дві функції:

У меню "SEO" Yoast, виберіть опцію "Титули та метаси", щоб відкрити панель керування, яка дозволить вимкнути певні функції архіву WordPress одним натисканням. Відкривши вкладку "Архіви" у верхньому меню цього екрана, ви можете вимкнути архіви на основі авторів і архіви на основі дати, щоб уникнути їх індексування. Якщо у вас є один сайт автора (більшість малих підприємств), ваш авторський архів буде точно такою ж, як і сторінка індексу вашого блогу, в якій перераховані всі ваші останні повідомлення. Це можна розглядати як дубльований вміст, але насправді просто додає перешкоди для присутності вашого сайту в фірмових пошуках. Нижче наведено ілюстрацію того, як вимкнути ці параметри:

Щоб відключити іншу функціональність, засновану на архівах, ви можете переглядати "Типи повідомлень" та "Таксономії". Це дуже корисно, коли ви додаєте певні типи плагінів, такі як візуальні редактори, менеджери бюлетенів або плагіни портфоліо, які створюють додаткові типи повідомлень у базі даних WordPress. Типово, ці новостворені типи буде додано до вашої мапи сайту і включено до індексування Google вашого веб-сайту. Кожен новий тип повідомлення з'явиться в меню "Тип повідомлення", з можливістю вимкнення. Після того як ви пройшли ці дії, ви повинні мати набагато більш чисту загальну структуру сайту в очах Google, а також мати можливість контролювати, як веб-сканери діють по відношенню до окремих сторінок і повідомлень. Для кожної сторінки та публікації на вашому сайті, доступний у новому розділі розділ Yoast SEO Meta буде доступний, натиснувши маленький значок шестерні, який можна побачити нижче:

Замикаючі думки

WordPress не завжди є найкращим рішенням для бізнесу, а також не є ідеальним рішенням для SEO. З додаванням деяких простих безкоштовних плагінів, таких як Yoast SEO, однак, ви можете ефективно контролювати деякі дуже важливі структурні аспекти вашого сайту. Це може допомогти позбутися вашого сайту, уникнути дублювання вмісту та підвищити ймовірність того, що брендові пошуки повернуть ваші головні сторінки. Якщо ви новачок у SEO, або намагаєтеся оновити свій бізнес-сайт, щоб конкурувати в Інтернеті, комбінація WordPress + Yoast SEO може запропонувати вам смертельну силу з мінімальними інвестиціями. Для того, щоб все, що згадувалося в цьому пості, створене на новому сайті WordPress, ви дивитеся приблизно на 5 хвилин часу з можливістю динамічно змінювати речі на ходу вперед.