Kas hoida lehekülg Google'ist eemal: robots.txt või noindex?
Kas sa ei taha, et mõni leht oleks Google'is näha, näiteks tänulehekülg, testleht või vana pakkumine? Siis paljud mõtlevad faili robots.txt peale. Aga robots.txt ei hoia lehte Google'ist eemal. Selleks on noindex. Sellest artiklist loed erinevuse kohta, kuidas mõlemat kasutada ja mida teha lehega, mille oled kustutanud. Näitena kasutame example.com.
Erinevus lühidalt
| robots.txt | noindex | |
|---|---|---|
| Mida see ütleb | "Ära seda lehte lae." | "Ära võta seda lehte otsingutulemustesse." |
| Kas see hoiab lehe Google'ist eemal? | Ei. Kui teised lingivad lehele, võib aadress siiski ilmuda, ilma kirjelduseta. | Jah, niipea kui Google on lehte uuesti külastanud. |
| Kus see asub? | Üks fail aadressil https://example.com/robots.txt | Lehe enda sees või päisereana, mille server kaasa saadab |
| Milleks seda kasutad? | Roomamisliikluse suunamiseks, näiteks oma saidi otsingutulemuste lehtede vahelejätmiseks | Lehtedele, mis jäävad kättesaadavaks, aga ei peaks Google'is olema |
Kumbki pole turvameede. Igaüks saab su robots.txt-faili lugeda ja noindexiga leht jääb ikkagi kättesaadavaks. Kui midagi peab tõesti varjatud olema, pane see parooli taha. Vaata Kausta kaitsmine parooliga DirectAdminis.
noindexi kasutamine
Lisa see rida lehe <head> ossa:
<meta name="robots" content="noindex">
Failide puhul, millel pole HTML-i, näiteks pdf, saab server sama juhise saata päisereana: X-Robots-Tag: noindex. Mõju on sama.
Enamasti ei pea seda ise kirjutama:
- AI Bouwer: ava osa SEO, vali leht ja lülita jaotises Rohkem selle lehe kohta lüliti See leht on leitav Google'is välja. Leht jääb kättesaadavaks, kuid saab noindexi. Seejärel avalda uuesti.
- WordPress: SEO-pistikprogrammil on igal lehel seade, mis takistab lehe indekseerimist. Märkeruut Palu otsingumootoritel seda saiti mitte indekseerida jaotises Seaded, Lugemine kehtib kogu saidile.
- Teised veebiehitajad: otsi seadet nagu "peida otsingumootorite eest".
robots.txt loomine või muutmine
Majutuspaketis asub robots.txt su domeeni veebikaustas, DirectAdminis kaustas public_html. Faili saad luua või muuta Failihalduri või FTP kaudu, vaata Failihalduri avamine: kaustad su paketis. Näide:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *kehtib kõigile otsingurobotitele.Disallow:koos teega keelab kõik, mis selle teega algab.Disallow: /keelab kogu saidi.- Kui loote ka grupi
User-agent: Googlebot, siis Google järgib ainult seda gruppi ja eirab gruppi*. Korda seal kõiki reegleid, mis kehtivad ka Google'ile. - Ära blokeeri kaustu stiililehtede, skriptide või piltidega, mida su leht vajab.
- Kui robots.txt puudub, pole see probleem: siis on kõik lubatud. Kui aadress annab serveri vea, peatab Google ajutiselt laadimise.
WordPress loob ise robots.txt-faili, kui veebikaustas pole veel faili. AI Bouwer lisab avaldamisel ise robots.txt-faili koos Sitemap:-reaga.
Google salvestab su robots.txt-faili tavaliselt kuni 24 tunniks. Search Console'is leiad jaotisest Seaded robots.txt aruande: millise versiooni Google viimati laadis, koos vigade ja hoiatustega, ning nupu selle uuesti laadimiseks.
Kustutatud leht: 404 või 410, mitte soft 404
Kui oled lehe kustutanud, peaks aadress andma olekukoodi 404 (ei leitud) või 410 (kadunud). Järgmisel külastusel eemaldab Google siis aadressi otsingutulemustest. Kui lehel on järeltulija, suuna vana aadress 301-ga uuele lehele, vaata Saidi ümbersuunamine: domeeni või lehe suunamine.
Soft 404 on leht, mis ütleb, et teda pole olemas, või mis on peaaegu tühi, kuid annab siiski koodi 200 (leitud). Google tunneb selle sageli ära ega võta sellist lehte vastu. Search Console'is näed seda põhjusena Soft 404. Ka kõigi kustutatud lehtede suunamine avalehele võib kehtida soft 404-na. Lase lehel, mis on tõesti kadunud, anda tõeline 404 või 410.
Kas leht peab kiiresti tulemustest kaduma, näiteks kuna seal olid kogemata isikuandmed? Kasuta siis Search Console'is Eemaldamised. See töötab ajutiselt, umbes kuus kuud. Seepärast veendu ka, et lehel on 404, 410, parool või noindex.
Loe lisaks
- Google: indekseerimise blokeerimine noindexiga (inglise keeles)
- Google: sissejuhatus robots.txt-i (inglise keeles)
- Google: robots.txt aruanne
- Failide blokeerimine .htaccess-i abil
Kas kasutad WordPressi? Tasuta WordPressi kursuse tunnis Leitavus: põhialused loed robots.txt-i ja märkeruudu "otsingumootoritele indekseerimisest loobumine" kohta rohkem.