Kako izbrisati web mjesto ili njegove fragmente iz Google indeksa

Prema konceptu indeksiranja koji je usvojio Google, uzima se u obzir potpunost, objektivnost informacija i sukladnost s upitom za pretraživanje u isporuci rezultata. Ako se web lokacija s nezakonitim sadržajem unese u indeks ili je izvor namijenjen za neželjenu poštu, stranice takve web stranice neće biti označene u općoj bazi tražilice. Za nas je važno naučiti, kako izbrisati web mjesto od izdavanja poslužitelja na temelju rezultata pretraživanja.

Opcije indeksiranja nula za Google

Nakon pretraživanje robota - program za prikupljanje informacija o novim resursima - će skenirati stranicu web stranicu po stranicu, a zatim, kada se pod uvjetima Google pravila za parsiranje, to će biti indeksirana. Ali opisat ćemo i kako izbrisati vašu web-lokaciju ili pojedinačne fragmente za tražilice pomoću robots.txt - pokazivača i istodobno traženog terminatora.

Da biste izuzeli cijeli resurs iz tog problema, u korijenskoj mapi poslužitelja na kojem se nalazi ta web lokacija stvara se određena tekstna zona - gore spomenuta robots.txt. Tu zonu obrađuju tražilice i djeluju u skladu s uputama.

Imajte na umu da će Google tražilica indeksirati stranicu, čak i ako korisniku nije dopušteno gledanje. Kada preglednik objavljuje odgovor 401 ili 403, "Pristup nije valjan", to vrijedi samo za posjetitelje, a ne za graditelje za to tražilicu.

Da biste razumjeli, kako ukloniti stranice iz indeksa pretraživanja, u tekstualnom pokazivaču treba sadržavati sljedeće retke:

Korisnički agent: Googlebot

Disallow: /

To označava robotu za pretraživanje da je zabranjeno indeksirati cijeli sadržaj web mjesta. ovdje kako izbrisati web mjesto Google, tako da potonji ne cache resurs na popisu pronađen.

Mogućnosti skeniranja za različite protokole

Ako trebate popis pojedinačnih komunikacijskih standarda za koje želite primijeniti određena pravila za indeksiranje Googlea, na primjer, zasebno za hipertekst http / https, To bi također trebalo postaviti u robots.txt na sljedeći način (primjer).

(https://yourserver.com/robots.txt) - naziv domene vaše web lokacije (bilo koji)

Korisnički agent: * - za svaku tražilicu

Dopustite: / - dopustiti punu indeksiranje

Kako ukloniti web lokaciju iz izdavanja u potpunosti za https protokol

(Https://yourserver.com/robots.txt):

Korisnički agent: *

Ne dopusti: / potpunu zabranu indeksiranja

Hitno uklanjanje URL resursa s Googleovog Google pretraživanja

Ako ne želite čekati za ponovno indeksaciju, a site želite sakriti kao, preporučujem da se uskoro koristiti uslugu https://services.google.com/urlconsole/controller moguće. Pred-robots.txt već bi trebao biti postavljen u korijenski direktorij poslužitelja web mjesta. U njemu treba upisati upute.

Ako pokazivač iz nekog razloga nije dostupan za uređivanje u korijenskom direktoriju, dovoljno ga je stvoriti u mapi s objektima za koje želite sakriti od tražilica. Čim to učinite i kontaktirate uslugu automatskog uklanjanja adresa hiperteksa, Google neće skenirati mape koje su navedene u robots.txt.

Razdoblje takve nevidljivosti je fiksno za 3 mjeseca. Nakon tog razdoblja Googleov poslužitelj će ponovno obrađivati ​​imenik uklonjen iz izdavanja.

KKako izbrisati stranicu za skeniranje djelomično

Kada bot traži sadržaj robots.txt, a na temelju njegovog sadržaja, donose se određene odluke. Na primjer, iz cijelog zaslona morate isključiti cijeli imenik anatom. Za to je dovoljno napisati takve upute:

Korisnički agent: Googlebot

Disallow: / anatom

Ili, na primjer, ne želite indeksirati sve slike kao što su .jpg. Da biste to učinili, dodajte sljedeći popis:

Korisnički agent: Googlebot

Disallow: /*.jpg$

Evo još jedan primjer. Obrišimo podatke o dinamički generiranim stranicama iz raščlanjivanja, a zatim dodamo sljedeći unos u pokazivač:

Korisnički agent: Googlebot

Disallow: / *?

Dakle, otprilike, i pravila za tražilice su propisane. Druga stvar je da je puno pogodnije za sve to koristiti META oznaku. I webmasteri često koriste samo takav standard koji regulira rad tražilica. Ali o tome ćemo govoriti u sljedećim člancima.