🥇 🥇 ROBOTS.TXT i META ROBOTS: Jaka jest różnica?

1. Transkrypcja filmu o Robots.txt i Meta Robots Poziom podstawowy [Wersja lipiec 2017]
2. Co to jest Robots.txt? [Drugi 52]
3. Jaki jest pożytek z Robots.txt?
4. Czym są roboty Meta? [Minuta 2:00]
5. Co wskazuje każda z tych etykiet?
6. Praktyczne przykłady [Minuta 3:00]
7. Analiza robotów meta ze Screaming Frog [Minuta 4:56]
8. Przykłady Robots.txt [Minuta 6:26]
10. # 2 - Jakie kombinacje robotów meta można wykonać?
11. # 3 - Jaka jest wielka różnica między Robots.txt i Meta Robots?
12. Wniosek

Ile razy zadawałeś sobie pytanie, jaka jest różnica między plikiem robots.txt a tagiem robota meta ? Chociaż podobne, mają różne funkcje. Dzisiaj Iván Torrente wyjaśni to bardzo wyraźnie w tym filmie.

Dzięki temu Szkolenie SEO zdobędziesz wiedzę, aby poprawić budżet indeksowania swojej sieci lub czas, który Google przypisuje swoim robotom do śledzenia stron internetowych.

Ponadto wideo zawiera przykłady robots.txt i narzędzi, takich jak Screaming Frog, za pomocą których można w kilka sekund przeanalizować etykietę meta robotów dla szerokiego zestawu stron.

Nadszedł czas. Hit the play i ciesz się!

Transkrypcja filmu o Robots.txt i Meta Robots Poziom podstawowy [Wersja lipiec 2017]

Czy chcesz mieć całą zawartość filmu na piśmie? Tutaj masz i z rozszerzeniami!

Nie trać żadnego szczegółu szkolenia podanego przez naszego partnera w tym filmie, do którego dodaliśmy kilka częstych pytań i danych, które wzmacniają naukę o tych kluczowych pojęciach w pozycjonowaniu stron internetowych.

Witajcie, przyjaciele SEO! Jestem Iván Torrente, konsultant w zespole Webpositer. W dzisiejszym filmie dowiemy się, jak poprawić budżet indeksowania, budżet indeksowania wyszukiwarki za pomocą robots.txt i metarobotów. Śmiało!

Co to jest Robots.txt? [Drugi 52]

Pierwszą rzeczą, którą wyjaśnię w dzisiejszym filmie, jest robots.txt.

Jest to plik zawieszony w katalogu głównym naszej domeny , zazwyczaj jest to nazwa naszej domeny, pasek robots.txt.

PRZYKŁAD -> mydomain.com/robots.txt

+ INFO:

Plik robots.txt to metoda uniemożliwiająca niektórym robotom analizującym strony internetowe lub inne roboty, które badają całość lub część dostępu do witryny, dodając niepotrzebne informacje do wyników wyszukiwania .

Robots.txt, znany również jako protokół wykluczania robotów, składa się z pliku tekstowego, który należy wstawić w głównym folderze swojej witryny , którego celem jest poinformowanie Google botów, które adresy URL chcemy indeksować i które chcemy, aby pominęli, a zatem nie byli zapisywani w bazie danych Google ani pokazywani w wynikach wyszukiwania.

Jaki jest pożytek z Robots.txt?

Ten plik jest używany do blokowania dowolnego katalogu lub adresu URL, którego nie chcemy, aby wyszukiwarka indeksowała i nie tracił czasu. W ten sposób zaoszczędzimy budżet śledzenia, słynny budżet indeksowania, dzięki czemu będzie on dedykowany innym ważniejszym adresom URL.

+ INFO:

Wykorzystanie tego pliku jest konieczne, aby uniknąć indeksowania stron, które nie chcemy, aby Google wzięło pod uwagę , uniemożliwiając ich śledzenie, a tym samym ich indeksowanie. Bez obecności pliku robots.txt roboty będą indeksować całą witrynę i indeksować wszystkie adresy URL, które znajdują się na twojej drodze.

Roboty Google przed rozpoczęciem wyszukiwania przeszukają plik robots.txt, aby poznać trasę, którą powinny podążać , dlatego ważne jest, aby w pliku wyraźnie zaznaczyć te adresy URL, które chcemy indeksować i te, które tego nie robią.

Stąd pracujemy z dyrektywą Disallow . Może być z parametrami, zamówieniami lub filtrami, to zależy. Na przykład w WordPress możemy zablokować typowy wp-admin, możemy zablokować dla prestashop kolejność przez lub filtrować, jeśli mamy rozróżnienia w kategoriach. Będziemy blokować to wszystko, aby tego nie mieć duplikat treści brak adresów URL

Ważne jest, aby wiedzieć, że plik robots.txt jest jednym z najczęściej czytanych przez wyszukiwarkę , dlatego musimy wskazać, gdzie znajduje się plik . mapa witryny ,

Zrobimy to w dolnej części pliku robots.txt, który zazwyczaj jest midominio.com/sitemap.xml .

Czym są roboty Meta? [Minuta 2:00]

Meta roboty to tag HTML, który zwykle pojawia się na górze każdego adresu URL. Każdy adres URL naszej witryny musi mieć różne roboty meta, w zależności od tego, co nas interesuje. Mogą być oznaczone jako Brak indeksu / Indeks lub Bez obserwowania / śledzenia .

+ INFO:

Tag meta robots informuje Google, które strony naszej witryny nie chcą być indeksowane lub wyświetlane w wynikach wyszukiwania.

Działa w podobny sposób jak plik robots.txt, ze szczególnym uwzględnieniem tego, że tag meta robots i dyrektywa non-index uniemożliwiają botom indeksowanie adresu URL w Google, ale nie śledzenie go , co oznacza, że ​​Google czyta treść i wie, że te strony są obecne, ale w końcu nie dodaje ich do swojej bazy danych.

Jedną ze szczególnych cech tagu meta robots jest to, że pozwala on oferować Google informacje , nie tylko o adresach URL, które chcesz indeksować, czy nie, ale także o wewnętrznych linkach, obrazach lub dowolnym typie pliku .

Co wskazuje każda z tych etykiet?

• Brak indeksu służy do tego, że adres URL nie jest indeksowany.

• Indeks jest używany do indeksowania adresu URL.

• No Follow jest używane, aby nie przekazywać uprawnień do łączy, które mają w tym wewnętrznym adresie URL.

• Śledź, aby przekazać uprawnienia. W kodzie będziemy grać z indeksem i następującymi, jak to pokazano, przykładem tagu html meta robots :.

• W zależności od naszych zainteresowań będziemy bawić się różnymi kombinacjami etykiet. [Więcej informacji w dziale FAQ w Robots.txt i Meta Robots]

Praktyczne przykłady [Minuta 3:00]

Teraz, z przodu komputera, zobaczymy kilka praktycznych przykładów tagu robots.txt i meta robots.

Jako przykład wykorzystujemy sieć Zalando.es i widzimy jej kod źródłowy. Jeśli klikniemy skrót klawiaturowy „Control + F”, znajdziemy roboty. Na przykład w tym przypadku w domu, w którym go masz, indeksuj. Możemy to zrobić bardziej wizualnie Rozszerzenia Google Chrome dla SEO jak Seeroboty ,

Bez konieczności wprowadzania kodu źródłowego informuje nas, co to jest indeks, śledzenie tej strony.

Pracujemy przez większość czasu ScreamingFrog , jedno z najpotężniejszych narzędzi do symulacji, jak silnik Google indeksuje naszą sieć.

Po prostu musisz otworzyć Screaming Frog, wstaw Zalando.es i zacznie to śledzić.

Nie będziemy czekać, aż go całkowicie zaindeksuje, ponieważ jest to nieskończona sieć, ale pozwalamy śledzić kilka adresów URL i zatrzymamy się, aby zobaczyć, czy widzimy różnice między brakiem indeksu a indeksem.

Screaming Frog dzieli wszystko, co znajduje się w kolumnie, i będziemy szukać kolumny meta robotów. Możemy go zabrać na początek, jeśli chcemy pracować z nim bardziej komfortowo.

Analiza robotów meta ze Screaming Frog [Minuta 4:56]

Widzimy, że roboty meta pojawiają się po lewej stronie, a następnie adresy URL.

W ten sposób możemy zobaczyć, które strony zazwyczaj zawierają etykietę No Index w meta robotach:

Wszystkie te strony muszą zawierać No Index, ponieważ nie są interesujące dla Twojej pozycji w wyszukiwarkach . Jednak muszą mieć parametr Follow , aby mogli przekazać uprawnienia do posiadanych łączy.

Na przykład w Zalando widzimy, że ma on jakieś Indeksowanie niektórych kategorii lub rozmiarów, być może dlatego, że je wyeliminował. To zależy od przypadku Twojej witryny możemy pracować w ten czy inny sposób.

Jeśli zamierzamy użyć pełnego ekranu w Google, wykryłem to, robiąc site: zalando.es inurl: size ” , widzimy wszystkie adresy URL, które Zalando ma z artykułami o rozmiarze S.

Jeśli je otworzymy, zobaczymy, że See Robots wskazuje, że ta strona to Brak indeksu, Obserwuj.

Co robi Zalando? Podczas przygotowywania tego mini-kursu wykryłem, że ten typ adresu URL powoduje brak indeksu, a następnie blokowanie go za pomocą robots.txt.

WAŻNE: Przed zablokowaniem czegokolwiek w pliku robots.txt należy go usunąć z indeksu . Dlaczego? Ponieważ jeśli zablokujemy przed wstawieniem Brak indeksu w robotach meta, nie zostanie on zaindeksowany, ponieważ Google nie będzie w stanie go prawidłowo śledzić i usunąć.

Przykłady Robots.txt [Minuta 6:26]

Dowolny ciekawy przykład robots.txt? Dom królewski, chyba się dowiesz. Jeśli spojrzymy, zobaczymy, że pan Urdangarín został zablokowany.

Vodafone użył go, by rozgłosić. Roboty dają ci pewien wirusowy punkt do skomentowania później na blogach.

FAQ O ROBOTACH.TXT I METAROBOTACH

# 1 - Jak utworzyć plik Robots.txt?

Do utworzenia pliku robots.txt możesz użyć notatnika komputera, w którym będziesz musiał wstawić odpowiednią treść, która wskaże Google ścieżkę, którą powinny podążać twoje boty.

• User-agent: [spider name / Google bot]

• Disallow: [katalog lub plik]

• Zezwól: [katalog lub plik]

• Mapa strony: [URL mapy witryny XML]

User-agent odnosi się do oficjalnej nazwy otrzymanej przez bota Google (Googlebot, googlebot-image, googlebot-mobile itp.)

Polecenie „disallow ” wskazuje te treści, których nie chcemy indeksować, a „allow” robi odwrotnie.

Za pomocą polecenia „ sitemap ” pokazujemy Google adres naszej mapy witryny XML, pomagając w szybszym indeksowaniu.

Jeśli chcesz poznać robots.txt dowolnej sieci, wystarczy wpisać odpowiedni adres URL wraz z poleceniem /robots.txt → www.example.com/robots.txt.

# 2 - Jakie kombinacje robotów meta można wykonać?

Poprzez tag meta robots możesz tworzyć różne kombinacje w zależności od tego, jak chcesz, aby Google działał:

• Indeksuj, śledź: w ten sposób poinformujesz Google, że Twoje roboty będą indeksować, a następnie indeksować stronę →.

• Brak indeksu, śledzenie : dzięki tej kombinacji indeksowanie jest unikane, ale śledzenie jest dozwolone. Jest to najbardziej skuteczna opcja, jeśli chcesz zapobiec wyświetlaniu określonej strony w wynikach wyszukiwania →.

• Indeks, brak śledzenia : umożliwia indeksowanie adresu URL, ale nie jego śledzenie. Ta kombinacja jest zalecana, gdy masz stronę z linkami, które chcesz pozostawić niezauważone dla Google →.

• Brak indeksu, brak śledzenia : unika się zarówno indeksowania, jak i śledzenia →.

Jeśli pracujesz z CMS, zalecamy skorzystanie z wtyczki, która pozwala na poprawną konfigurację, taką jak Yoast SEO lub SEO Ultimate.

# 3 - Jaka jest wielka różnica między Robots.txt i Meta Robots?

Główna różnica między obydwoma elementami polega na tym, że podczas gdy plik robots.txt mówi botom strony, których nie powinny śledzić , znacznik meta robotów umożliwia śledzenie stron, ale nie indeksowanie .

W przypadku obu opcji strony powinny być całkowicie niewidoczne w Google SERP, ale podczas blokowania za pomocą robots.txt zablokuje zarówno stronę, jak i wszelkie linki zawarte na tej stronie, jeśli zdecydujesz się na meta roboty, strona nie będzie indeksowana, ale będzie były śledzone , podążając ścieżką linków, które uwzględniły i przekazały wartość tych linków.

Jeśli weźmiemy pod uwagę, że Google korzysta z linków, aby podróżować z jednego adresu URL na inny, znajdujemy oczywistą przewagę w metatagu , ponieważ oferuje on możliwość uniknięcia indeksowania stron, które chcesz, bez ich stania się przeszkodą dla wyszukiwarek podczas indeksowania nowych stron.

Z drugiej strony robots.txt jest bardziej skuteczny niż tag meta robotów, jeśli chodzi o blokowanie kompletnych katalogów , ponieważ boty nie muszą uzyskiwać dostępu do strony, aby wiedzieć, czy ją indeksować, co pozwala na znacznie szybsze czytanie i to Przy każdej wizycie robota można śledzić większą liczbę stron.

Kluczem do sukcesu jest wiedza o tym, jak połączyć obie techniki , blokując za pomocą robots.txt i używając tagu meta robotów do wszystkiego, czego nie możemy pokryć za pomocą pliku protokołu wykluczania robotów.

Wniosek

Tutaj masz dwie podstawowe koncepcje optymalizacji sieci, ponieważ dzięki plikowi robots.txt możemy zapobiec indeksowaniu strony do bota Google, ale nie indeksowaniu strony. Ze swojej strony tag meta robotów uniemożliwia indeksowanie adresu URL, ale nie jego indeksowanie, dlatego ta strona nie pojawi się w wynikach Google.

Dlatego też, chociaż obie opcje są używane, aby zapobiec pojawieniu się strony w SERPach wielkiej wyszukiwarki, każda z nich działa w konkretny sposób, stąd potrzeba poznania jej natury i wybrania najlepszej alternatywy zgodnie z naszymi celami.

Mamy nadzieję, że zarówno wideo, jak i artykuł pomogły ci zobaczyć światło na końcu tunelu tych dwóch pojęć, które są tak podobne, ale jednocześnie różne.

Masz wątpliwości? Zostaw nam swoje komentarze poniżej.