Ўсім прывітанне!
Сёння я вам пакажу, як стварыць файл robots.txt для wordpress. Robots.txt з'яўляецца вельмі важным файлам для сайтаў. Гэты файл дазваляе паказаць пошукавым сістэмам, як правільна трэба індэксаваць ваш рэсурс.
Ён з'яўляецца першачарговым файлам для вашага блога, як толькі той з'явіўся ў сеціве! Адсутнасць дадзенага файла або няправільнае яго складанне з'яўляецца распаўсюджанай памылкай сярод блогераў - пачаткоўцаў. Таму, калі на вашым блогу яго няма ці налада robots.txt выклікае ў вас сумнеў, уважліва вывучыце дадзеную артыкул!
Як стварыць файл robots.txt
Файл robots.txt, гэтак жа як і карта сайта (sitemap.xml) , Прызначаны для кіравання індэксацыяй вашага блога! Задаўшы ў файле robots.txt пэўныя правілы для пошукавікаў, якія мы разбяром ледзь ніжэй і, змясціўшы яго ў каранёвай каталог, вы зможаце правільна кіраваць індэксацыяй свайго рэсурсу, што вельмі важна для яго паспяховага прасоўвання !
Тут галоўнае дакладна разумець, што не ўсе файлы, якія знаходзяцца ў каранёвым каталогу, павінны быць праіндэксаваныя пошукавымі сістэмамі. Зараз я вам раскажу пра гэта больш падрабязна. Калі хто не ведае, каранёвай каталог, гэта асноўная тэчка вашага сайта з усім яго змесцівам. У залежнасці ад хостынгу, гэта будзе ці «httpdocs» або «public_html».
Любы блог на wordpress, мае пэўныя тэчкі і файлы, абумоўленыя самім рухавічком, напрыклад (wp-admin, wp-includes). Дык вось, гэтыя тэчкі і файлы не нясуць ніякай каштоўнасці ні для чытачоў, ні для пошукавых сістэм. Яны патрэбныя толькі для працы самога рухавічка. І калі іх пакінуць па-за ўвагай і не забараніць індэксацыю, то пошукавыя робаты, зайшоўшы на ваш рэсурс, будуць індэксаваць ўсё, што трапіцца на іх шляху.
А ў іх ёсць пэўны ліміт! І бываюць такія выпадкі, калі яны не паспяваюць праіндэксаваць патрэбныя вам файлы, займаючыся індэксацыяй не патрэбных! Плюс да ўсяго, калі не прапісаць пэўныя правілы, з часам ваш блог абрасце дубляваным кантэнтам, што пошукавыя сістэмы проста ненавідзяць і жорстка караюць, накладваючы на блог розныя фільтры. Асабліва гэта тычыцца пошукавай сістэмы Яндэкс.
Дублямі старонак у wordpress у большасці выпадкаў выступаюць рубрыкі, архівы, архівы метак. Калі іх не зачыніць ад індэксацыі, то па меры з'яўлення новых старонак, дубляваны кантэнт будзе распаўсюджвацца на вашым блогу са імклівай хуткасцю. Каб пазбегнуць усяго гэтага, для wordpress існуе вельмі важны убудова пошукавай аптымізацыі All In One SEO Pack . Які, пры правільнай яго наладзе, здольны прадухіліць усе непрыемнасці!
Таксама, калі вы дадаеце ў каранёвай каталог нейкія папкі з файламі, у якіх змяшчаецца мноства знешніх спасылак або скрыптоў, не забывайце іх зачыняць ад індэксацыі ў файле robots.txt. Далей мы з вамі разбяром, як гэта робіцца.
Настройка robots.txt
Robots.txt з'яўляецца звычайным файлам, створаным у тэкставым рэдактары, напрыклад notepad ++ і ўключае ў сябе некалькі важных дырэктыў. Першая і самая асноўная дырэктыва User-agent, утрымлівае ў сабе назву пошукавага робата. Каб адрасаваць User-agent ўсім пошукавым робатам, які зайшоў на ваш рэсурс, яе вынікаюць прапісаць такім чынам:
User-agent: *
Наступны дырэктыва, без якой не абыходзіцца не адзін файл robots.txt, пазначаецца так: Disallow. Дырэктыва Disallow прызначана для забароны пэўных тэчак і файлаў і любы правільны robots.txt павінен абавязкова змяшчаць пасля User-agent дырэктыву Disallow. Вось просты прыклад, які дазваляе ўсім пошукавым сістэмам індэксаваць ўсе змесціва вашага рэсурсу:
User-agent: *
Disallow:
Калі да Disallow дадаць правы слэш «/»:
User-agent: *
Disallow: /
Вы насупраць, забароніце ўсім пошукавым сістэмам індэксаваць ваш сайт. Цяпер, што тычыцца не патрэбных файлаў і тэчак самага рухавічка wordpress. Для забароны індэксацыі пошукавымі сістэмамі, напрыклад ўсяго змесціва тэчкі wp-admin, вам варта прапісаць наступнае:
User-agent: *
Disallow: / wp-admin /
Далей, я вам пакажу паўнавартасны і правільны robots.txt для wordpress, рэкамендуемы распрацоўшчыкамі, а пакуль што разгледзім яшчэ адну важную дырэктыву Host. Дырэктыва Host прызначана выключна для Яндэкса. З якой гэта радасці такія прывілеі? Так павялося, што пошукавая сістэма Яндэкс па статыстыцы мае найбольшы вага ў рускамоўным інтэрнэце, што з'яўляецца самім сабой зразумелым падладжвацца пад яе капрызы!
Пры ўсім пры гэтым рэкамендуецца яшчэ, і вылучыць асобны блок для Яндэкса:
User-agent: Yandex
Каб пазбегнуць няправільнай індэксацыі рэсурсу, дырэктыва Host прапісваецца толькі для Яндэкса і паказвае на асноўнае люстэрка вашага рэсурсу, г.зн. па якім адрасе будзе даступны ваш сайт: www.sait.ru або sait.ru. Іншыя пошукавыя сістэмы не разумеюць дырэктыву Host! Для Яндэкса блок у файле robots.txt павінен выглядаць наступным чынам:
User-agent: Yandex
Disallow:
Host: www.sait.ru
або
User-agent: Yandex
Disallow:
Host: sait.ru
У гэтым выпадку, каб пазбегнуць лішніх непрыемнасцяў, больш правільна будзе наладзіць 301 рэдырэкт , Але пра яго я як-небудзь, распавяду ў асобным пасце. , Каб нічога не прапусціць, а пакуль разгледзім апошнюю дырэктыву, якую павінен ўключаць у сябе правільны robots.txt для wordpress. Яна мае знаёмае вам назву, Sitemap. Пра яе я больш падрабязна распавядаў у артыкуле «Як зрабіць карту сайта», спасылка прыведзена крыху вышэй.
Дырэктыва Sitemap паказвае пошукавым робатам на месцазнаходжанне карты сайта і прапісваецца асобна ад папярэдніх дырэктыў і толькі адзін раз. Яе разумеюць усе пошукавыя сістэмы. Вось як гэта выглядае:
Sitemap: http://blogiseo.ru/sitemap.xml Sitemap: http://blogiseo.ru/sitemap.xml.gz
Мы з вамі разгледзелі асноўныя дырэктывы, якія выкарыстоўваюцца ў правільным robots.txt і рэкамендуюцца распрацоўшчыкамі. Больш я не буду вас грузіць мудрагелістымі словамі, а пакажу канкрэтны прыклад правільнага файла robots.txt. У мяне ён выглядае наступным чынам:
Першачарговае, што неабходна скарміць пошукавікам для індэксацыі, з'яўляецца кантэнт! Пры такім раскладзе, ваш блог на wordpress будзе выдатна сябе адчуваць, і што самае важнае, правільна і хутка індэксавацца . Не адна ваша артыкул не застанецца па-за ўвагай, і пошукавыя робаты не будуць марнаваць свой час на непатрэбны хлам! Калі вы сумняваецеся ў правільнасці яго складання, можаце вывучыць гэта пытанне больш падрабязна.
Таксама, вы можаце параўнаць некалькі файлаў robots.txt на розных блогах якія маюць платформу wordpress, усе яны будуць прыкладна аднолькавыя! Каб паглядзець, як ён выглядае на іншым рэсурсе, досыць прапісаць у радку браўзэра, пасля даменнага імя /robots.txt. І апошняе, што я яшчэ не сказаў, імя файлаў мусяць быць заўсёды аднолькавым і мець наступны выгляд:
robots.txt
Ніякіх вялікіх літар быць не павінна і на канцы не забывайце прапісваць «s»! Запомніце гэта! Вось, напэўна, і ўсё, што я хацеў сёння вам расказаць. Цяпер вам таксама вядома, як стварыць і наладзіць файл robots.txt. І застаецца ўзнагародзіць пераможцаў крыжаванкі.
Пераможцы крыжаванкі на blogiseo.ru №8
У гэты раз крыжаванка быў трохі незвычайным, але ўсё ж такі ўсе справіліся і ацанілі яго. У далейшым час ад часу паспрабую змяняць правілы крыжаванкі, каб было цікавей! Ну а цяпер сустракаем нашых пераможцаў:
Малайцы хлопцы. Віншую вас з заслужанай перамогай і чакаю вашыя кашалькі для перакладу ўзнагароджанняў! На гэтым я свой пост буду заканчваць. Жадаю ўсім выдатнага настрою, пакуль і да новых сустрэч!
Як вам артыкул? А ў вас на блогу маецца файл robots.txt? Чакаю вашых каментароў!
З павагай, Мікалай Караткоў
З якой гэта радасці такія прывілеі?Як вам артыкул?
Txt?