Indekseerimine: mis jõuab indeksisse ja mis mitte

Moodul 1: Kuidas otsingumootorid töötavad · Lugemisaeg: 11 minutit

Õpieesmärk: Pärast seda õppetundi oskad lehe kohta hinnata, kas see pääseb indeksisse, ja kui ei pääse, siis milline neljast "lukust" seda takistab: olekukood, robots.txt, noindex või canonical.

Põhimõisted: indekseerimine, Google'i tehnilised nõuded, noindex (meta robots ja X-Robots-Tag), robots.txt ei ole noindex, kanoniseerimine, topeltsisu, soft 404, "Crawled - currently not indexed", "Discovered - currently not indexed", garantii puudumine

Mis indekseerimisel toimub

Kui roomaja on lehe alla laadinud (õppetund 1.2), hakkab otsingumootor seda lugema. Google analüüsib teksti, pealkirja, alapealkirju, pilte ja videoid ning määrab, mis keeles leht on. Samuti uurib Google, kas leht on mõne teise lehe koopia ja milline neist koopiatest on "päris". Alles seejärel otsustab Google, kas leht jõuab indeksisse.

Google ütleb selle kohta kaks asja, mida tasub hästi meeles pidada:

• Indeksisse jõudmine ei ole garanteeritud. Isegi kui su leht vastab kõigile nõuetele, võib Google otsustada seda mitte lisada.
• On tavaline, et kõik ei ole indeksis. Google kirjutab indekseerimisaruande abis sõna-sõnalt, et ei maksa oodata, et su saidi iga aadress oleks indekseeritud, ja et see võib olla täiesti korras. Oluline on, et su tähtsad lehed oleksid indeksis.

Kolm tehnilist nõuet

Google nimetab indeksisse kvalifitseerumiseks kolm tehnilist nõuet:

1. Googlebot ei ole blokeeritud. Leht on kättesaadav ja robots.txt ei keela selle allalaadimist.
2. Leht töötab. Server annab olekukoodi 200, mitte vea.
3. Lehel on indekseeritav sisu. Tekst failitüübis, mida Google suudab lugeda, ja rämpsposti eeskirju ei rikuta.

Praktikas lisanduvad sellele kaks saidi omaniku valikut: noindex ("ära seda lisa") ja canonical, mis viitab teisele aadressile ("mitte see, vaid too"). Kokku teeb see neli lukku, millest leht peab läbi pääsema.

Lukk 1: olekukood

Indeksisse saab jõuda ainult leht olekuga 200. Kood 301 või 308 suunab otsingumootori uuele aadressile; siis hinnatakse seda uut aadressi. Kood 404 või 410 eemaldab varem lisatud aadressi indeksist.

Keerulisem juhtum on õppetunnist 1.2 tuttav soft 404: olek on 200, kuid sisu on veateade või peaaegu tühi leht. Google tunneb selle sageli ära ega lisa sellist lehte. Ka e-poe tühja kategoorialehte ("tooteid ei leitud") võidakse käsitleda kui soft 404.

Lukk 2: robots.txt

Failiga robots.txt keelad roomajal lehte alla laadida. See on midagi muud kui keelata lehte indeksisse lisada. Google ütleb seda selgelt: robots.txt ei ole viis lehte Google'ist eemal hoida. Kui teised saidid lingivad blokeeritud lehele, võib aadress siiski tulemustes ilmuda, lihtsalt ilma kirjelduseta. Search Console'is nimetatakse seda "Indexed, though blocked by robots.txt".

Robots.txt on mõeldud roomamisliikluse suunamiseks: näiteks selleks, et roomaja ei käiks läbi tuhandeid su enda saidi otsingutulemuste lehti. Õppetund 3.3 räägib sellest põhjalikumalt.

Lukk 3: noindex

Kui tahad tõesti, et leht otsingutulemustesse ei jõuaks, kasuta noindex'i. Seda saab teha kahel viisil, sama mõjuga:

<!-- lehe <head>-osas -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Teine on HTTP-päis, mille server kaasa saadab. See töötab ka failide puhul, mis ei ole HTML, näiteks pdf. Väärtus none tähendab sama mis noindex, nofollow. Kirjega <meta name="googlebot" content="noindex"> kehtib reegel ainult Google'i kohta; teised otsingumootorid võivad üldist reeglit teisiti tõlgendada.

Nüüd tuleb lõks, mis esineb väga sageli: noindex ja robots.txt blokeering koos ei tööta. Kui robots.txt lehe blokeerib, ei laadi Google seda alla ega näe seega kunagi noindex'i. Leht võib siis teiste linkide kaudu siiski indeksisse jõuda. Kui tahad lehte Google'ist eemaldada: lase see alla laadida ja lisa sellele noindex.

Kus võib noindex ootamatult ette tulla?

• WordPressis on jaotises Settings, Read linnuke "Discourage search engines from indexing this site". See paneb noindex'i kogu saidile. Ehitamise ajal mugav, aga katastroofiline, kui unustad selle välja lülitada.
• AI Builderis saad saidi või lehe seada olekusse "mitte indekseerida"; siis lisatakse lehele noindex, nofollow. Ka tasuta demosaiti ei indekseerita kunagi.
• SEO-plugin või teema, millel on vale seadistus lehe või lehetüübi kaupa.

Teistel veebilehe koostajatel on sarnased lülitid, sageli nimega nagu "peida otsingumootorite eest".

Lukk 4: canonical

Paljudel saitidel on sama leht mitme aadressi all: www-ga ja ilma, http ja https kaudu, parameetriga lõpus nagu ?utm_source=nieuwsbrief. Google valib sellistest rühmadest ühe aadressi kanooniliseks versiooniks ja näitab tulemustes ainult seda. Ülejäänud on duplikaadid.

Saad Google'il valida aidata ümbersuunamisega (tugev signaal) või lehel oleva canonical-viitega:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Canonical on signaal, mitte käsk: Google võib valida teise aadressi. Kui su canonical viitab teisele aadressile, ütleb leht ise: "ära lisa mind, vaid too teine". See on hea, kui see on õige, ja probleem, kui see on eksitus, näiteks kui iga leht viitab avalehele. Õppetund 3.5 käsitleb seda põhjalikumalt.

Topeltsisu su enda saidil ei ole Google'i sõnul rämpsposti eeskirjade rikkumine ega too kaasa käsitsi rakendatud meedet. See on aga ebatõhus: roomajad laadivad sama asja mitu korda alla ja sa ei otsusta ise, milline aadress tulemustes kuvatakse.

Teated Search Console'is

Search Console'i aruandes Pages (õppetund 2.4) näed iga indekseerimata lehe juures põhjust. Kõik neli lukku tulevad seal esile:

Kaks viimast ei ole tehniline viga. "Crawled - currently not indexed" esineb sageli; Google ütleb, et see ei ole alati probleem. Kui tegu on olulise lehega, vaata, kas see annab tõesti midagi juurde: ainulaadsel ja kasulikul lehel on suurem võimalus kui õhukesel lehel, mis sarnaneb kümnele teisele.

Kokkuvõte

• Pärast roomamist otsustab otsingumootor, kas leht jõuab indeksisse; see pole kunagi garanteeritud ja kõik ei peagi seal olema.
• Neli lukku: olek 200, robots.txt-s blokeerimata, noindex puudub, canonical puudub või viitab iseendale.
• robots.txt keelab allalaadimise, mitte indeksisse lisamise. Kasuta noindex'i, et midagi tulemustest eemal hoida, ja ära siis blokeeri seda lehte robots.txt-s.
• Canonical on tugev signaal, mitte käsk. Topeltsisu ei ole rämpspost, kuid on ebatõhus.
• "Crawled - currently not indexed" ei ole tehniline viga; vaata lehe väärtust.

Test

Ülesanne

Ülesanne A1.3: Kas see leht tohib indeksisse? Sisesta lehe aadress (oma saidi leht või leht, mida teadlikult peidad, näiteks tänuleht). Seejärel vali oma ootus: "tohib indeksisse" või "ei tohi indeksisse", ja kui valid "ei tohi", siis milline lukk seda takistab (olekukood, robots.txt, noindex, canonical teisele aadressile). Programm kontrollib neli lukku nagu selles õppetunnis ja paneb oma tulemuse sinu omaga kõrvuti.

Loe edasi

• Google, Google'i otsingu tehnilised nõuded: https://developers.google.com/search/docs/essentials/technical
• Google, Indekseerimise blokeerimine noindex'iga: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Sissejuhatus robots.txt-sse: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Topelt-URL-ide koondamine (kanoniseerimine): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Google Search Console'i abi, aruanne Page indexing: https://support.google.com/webmasters/answer/7440203