Lehe Google'ist eemal hoidmine: robots.txt või noindex?
Kas sa ei taha, et mõni leht oleks Google'is, näiteks tänulehekülg, testleht või vana kampaania? Siis mõtlevad paljud failile robots.txt. Kuid robots.txt ei hoia lehte Google'ist eemal. Selleks on noindex. Selles artiklis loed, mis vahe neil on, kuidas mõlemat kasutada ja mida teha lehega, mille oled kustutanud. Näitena kasutame domeeni example.com.
Erinevus lühidalt
| robots.txt | noindex | |
|---|---|---|
| Mida see ütleb | "Ära laadi seda lehte." | "Ära lisa seda lehte otsingutulemustesse." |
| Kas see hoiab lehe Google'ist eemal? | Ei. Kui teised lehele lingivad, võib aadress siiski ilmuda, ilma kirjelduseta. | Jah, niipea kui Google on lehte uuesti külastanud. |
| Kus see asub? | Üks fail aadressil https://example.com/robots.txt | Lehel endal või päisereana, mille server kaasa saadab |
| Milleks seda kasutad? | Roomamisliikluse suunamiseks, näiteks oma saidi otsingutulemuste lehtede vahelejätmiseks | Lehtede jaoks, mis jäävad kättesaadavaks, kuid ei kuulu Google'isse |
Kumbki neist ei ole turvameede. Igaüks saab sinu robots.txt faili lugeda ja noindex-märkega leht jääb ikka kättesaadavaks. Kui midagi peab olema päriselt kaitstud, pane see parooli taha. Vaata Kausta kaitsmine parooliga DirectAdminis.
noindexi kasutamine
Lisa see rida lehe <head> osasse:
<meta name="robots" content="noindex">
Ilma HTML-ita failide puhul, näiteks pdf-i jaoks, saab server sama juhise kaasa saata päisereana: X-Robots-Tag: noindex. Mõju on sama.
Enamasti ei pea sa seda ise sisestama:
- AI Builder: ava jaotis SEO, vali leht ja lülita jaotises Rohkem selle lehe jaoks välja lüliti See leht on Google'is leitav. Leht jääb kättesaadavaks, kuid saab noindex-märke. Seejärel avalda uuesti.
- WordPress: SEO-pluginal on iga lehe jaoks seade, millega lehte ei indekseerita. Linnuke Keela otsingumootoritel selle saidi indekseerimine menüüs Seaded, Lugemine kehtib kogu saidile.
- Muud veebilehe koostajad: otsi seadet nagu "peida otsingumootorite eest".
robots.txt loomine või muutmine
Majutuspaketis asub robots.txt sinu domeeni veebikaustas, DirectAdminis kaustas public_html. Faili saad luua või muuta failihalduri või FTP kaudu, vaata Failihalduri avamine: sinu paketi kaustad. Näide:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *kehtib kõigile otsingurobotitele.Disallow:koos teega keelab kõik, mis selle teega algab.Disallow: /keelab kogu saidi.- Kui lood ka grupi
User-agent: Googlebot, järgib Google ainult seda gruppi ja eirab gruppi*. Korda seal seega kõiki reegleid, mis kehtivad ka Google'ile. - Ära blokeeri kaustu stiililehtede, skriptide või piltidega, mida sinu leht vajab.
- Kui robots.txt faili pole, pole see probleem: siis on kõik lubatud. Kui aadress annab serveri vea, lõpetab Google ajutiselt laadimise.
WordPress loob ise robots.txt faili, kuni veebikaustas faili pole. AI Builder lisab avaldamisel ise robots.txt faili koos Sitemap:-reaga.
Põhjalik selgitus koos ekraanipiltidega: Saidikaart ja robots.txt AI Builderis ja Saidikaart ja robots.txt WordPressis ja sinu enda saidil juhendis „Internetis leitavaks”.
Google hoiab sinu robots.txt faili tavaliselt kuni 24 tundi alles. Search Console'is leiad jaotisest Seaded robots.txt aruande: millise versiooni Google viimati laadis, koos vigade ja hoiatustega, ning nupu, millega saad selle uuesti laadida lasta.
Kustutatud leht: 404 või 410, mitte soft 404
Kui oled lehe kustutanud, peaks aadress andma olekukoodi 404 (ei leitud) või 410 (kadunud). Järgmisel külastusel eemaldab Google siis aadressi otsingutulemustest. Kui lehel on järglane, suuna vana aadress 301-ga sellele uuele lehele, vaata Saidi ümbersuunamine: domeeni või lehe edasisuunamine.
Soft 404 on leht, mis ütleb, et seda pole olemas, või on peaaegu tühi, kuid annab siiski koodi 200 (leitud). Google tunneb selle sageli ära ega lisa sellist lehte. Search Console'is näed seda põhjusena Soft 404. Ka kõigi kustutatud lehtede suunamine avalehele võib lugeda soft 404-ks. Lase seega päriselt kadunud lehel anda päris 404 või 410.
Kas leht peab kiiresti tulemustest kaduma, näiteks kuna sellel olid kogemata isikuandmed? Kasuta siis Search Console'is jaotist Eemaldamised. See toimib ajutiselt, umbes kuus kuud. Seepärast hoolitse ka selle eest, et lehel oleks 404, 410, parool või noindex.
Loe edasi
- Google: indekseerimise blokeerimine noindexiga (inglise keeles)
- Google: sissejuhatus robots.txt faili (inglise keeles)
- Google: robots.txt aruanne
- Failide blokeerimine .htaccess kaudu
Kasutad WordPressi? Tasuta WordPressi kursuse tunnis Leitavus: põhitõed loed rohkem robots.txt faili ja otsingumootorite indekseerimise keelamise linnukese kohta.
Tahad rohkem õppida? Osale tasuta kursusel „Internetis leitavaks”, tund 3.3 robots.txt: mida blokeerida ja mida mitte.
Tahad rohkem teada? Läbi tasuta kursus Leitav veebis, õppetund 3.3 robots.txt: mida blokeerida ja mida mitte.