Roomamine: kuidas otsingumootor su saidi leiab

Moodul 1: Kuidas otsingumootorid töötavad · Lugemisaeg: 11 minutit

Õpieesmärk: Pärast seda õppetundi oskad kirjeldada, kuidas roomaja uusi lehti avastab, milliseid olekukoode ta kohtab ja mida need tähendavad ning mis roomajat takistab.

Põhimõisted: roomaja (Googlebot, Bingbot), linkide järgimine, saidikaart, HTTP-olekukood (200, 301, 302, 404, 410, 429, 5xx), ümbersuunamine, roomamiseelarve, JavaScript ja renderdamine, orvuks jäänud leht, robots.txt

Mis on roomaja

Roomaja (crawler, ka spider või bot) on programm, mis laadib veebilehti alla samamoodi nagu sinu brauser, aga automaatselt ja tohutus mahus. Google'il on Googlebot, Bingil on Bingbot. Nad küsivad aadressi, saavad vastuseks HTML-i, loevad, millised lingid seal on, ja panevad need uued aadressid oma nimekirja, et need hiljem alla laadida.

Google ütleb, et Googlebot külastab saiti keskmiselt mitte sagedamini kui kord paari sekundi jooksul ja et enamik päringuid tuleb Googleboti nutitelefoniversioonilt. Google vaatab su saiti seega peamiselt nii, nagu seda näeb telefon. Selle juurde tuleme tagasi õppetunnis 4.2.

Roomaja võib end ka Googlebotiks teeselda: nime (user-agent) on lihtne järele teha. Google soovitab kahtlast külastust kontrollida IP-aadressi pöörd-DNS-päringuga. See on kasulik, kui näed oma serveri logis „Googlebotti”, kes teeb imelikke asju.

Kuidas roomaja uusi lehti leiab

Google nimetab kolme viisi:

1. Juba tuntud lehtede uuesti külastamine. Seal näeb ta muudatusi ja uusi linke.
2. Linkide järgimine. Link Google'ile juba tuntud lehelt uuele lehele on kõige olulisem viis leitud saamiseks. See kehtib nii sinu enda saidi sees olevate linkide (menüü, link tekstis) kui ka teistelt saitidelt tulevate linkide kohta.
3. Nimekiri, mille ise esitad: saidikaart. Saidikaart on fail sinu lehtede aadressidega. Esitad selle Search Console'is või lisad robots.txt-faili (õppetund 3.4). Google'i sõnul pole saidikaart kohustuslik, kuid see on kasulik, eriti uutele saitidele, millel on veel vähe linke, suurtele saitidele ja lehtedele, mis asuvad saidis sügaval.

Lingid peavad olema päris lingid

Google saab linki järgida ainult siis, kui see on tavaline <a>-element koos href-iga:

<a href="/bruidsboeketten">Bruidsboeketten</a>          <!-- hea -->
<span onclick="ga('/bruidsboeketten')">Bruidsboeketten</span>   <!-- Google'i jaoks pole see link -->

Nupp, mis viib teisele lehele ainult JavaScripti abil, ei ole roomaja jaoks link. Lehte, millele ei viita ükski link, nimetatakse orvuks jäänud leheks (orphan page). Roomaja leiab selle ainult saidikaardi kaudu ja ka külastajatel on seda raske leida. Uuele lehele peaks seega alati kuskil menüüs või tekstis link olema.

JavaScript: kõigepealt allalaadimine, hiljem käivitamine

Paljud tänapäevased saidid ehitavad lehe brauseris JavaScripti abil. Google saab sellega hakkama: ta käivitab JavaScripti Chromiumi uue versiooniga, mis on Chrome'i brauseri alus. Seda nimetatakse renderdamiseks. Google kirjeldab selliste lehtede töötlemist kolme etapina: roomamine, renderdamine ja indekseerimine. Olekuga 200 lehed lähevad renderdamiseks järjekorda.

Kaks tagajärge:

• Mis tuleb lehele alles JavaScripti järel, seda näeb Google hiljem kui seda, mis on otse HTML-is.
• Kõik roomajad ei käivita JavaScripti. Seda ütleb ka Google ise. Otse HTML-is olevad tekstid, pealkirjad ja lingid on seega kõigi otsingumootorite jaoks kõige kindlamad. Google nimetab serveris loodud HTML-i „endiselt heaks mõtteks”.

Selle kursuse automaatkontrollid loevad HTML-i sellisena, nagu server selle saadab, ilma JavaScriptita. See, mida näed oma brauseris, võib sellest erineda.

Olekukoodid: mida server vastab

Iga lehega saadab server kaasa olekukoodi. Ekraanil sa seda ei näe, aga roomaja loeb seda esimesena:

Pane tähele soft 404-i: leht, mis näitab teadet „ei leitud”, kuid annab olekukoodi 200. Roomajale näib see päris lehena, külastajale mitte. Search Console teatab sellistest lehtedest eraldi. Eemaldatud leht peaks seega andma päris 404 või 410 või suunama 301-ga ümber asenduslehele.

Ümbersuunamisahelat (http, siis https, siis www, siis uus leht) Google küll järgib, umbes kümne sammuni, kuid iga samm võtab aega. Õppetund 4.1 näitab, kuidas teha seda ühe sammuga.

Mis roomajat takistab

Google nimetab põhjustena, miks lehte ei roomata: probleemid serveriga, võrguprobleemid ja robots.txt-i reeglid, mis keelavad Googlebotil ligipääsu. Praktikas näed lisaks:

• saiti, mis on veel „hooldusrežiimis” või parooli taga;
• WordPressis linnukest „Discourage search engines from indexing this site”, mis lisab noindexi (see on 2. samm, kuid mõju on sama: saiti ei leita);
• turvalahendust või tulemüüri, mis keeldub tundmatutest bottidest koodiga 403 või 429;
• saiti, kus saab liikuda ainult JavaScripti nuppudega.

robots.txt saab oma õppetunni (3.3). Praegu piisab sellest: see on tekstifail aadressil https://www.example.com/robots.txt, mis ütleb, milliseid su saidi osi roomaja alla laadida ei tohi.

Roomamiseelarve: enamiku saitide jaoks pole muret

Veebis loed palju roomamiseelarvest: kui palju lehti Google su saidilt alla laadida tahab ja suudab. Google ütleb, et sellekohane juhend on mõeldud suurtele saitidele, ligikaudse hinnanguga üle miljoni lehe või üle kümne tuhande lehe, mis muutuvad iga päev. Kui su uued lehed laaditakse alla juba avaldamise päeval, ei pea sa sellega tegelema. Saidi puhul nagu Bloemenatelier Lotte oma kolmekümne lehega ei ole see teema. Ajakohane saidikaart ja aeg-ajalt pilk indekseerimise aruandesse on piisavad.

Praktikas: su serveri logi

DirectAdminis ja sarnastes paneelides saad vaadata oma saidi juurdepääsulogi. Otsi „Googlebot” või „bingbot” ja näed, milliseid lehti nad küsisid ja millise olekukoodi said. Kui näed seal palju 404-sid või 5xx-vigu, tead, kust alustada. Teistel teenusepakkujatel leiad logid tavaliselt kliendipaneelist sarnase nime alt.

Kokkuvõte

• Roomaja laadib lehti alla ja leiab uusi aadresse linkide ja su saidikaardi kaudu.
• Järgitakse ainult päris <a href>-linke; leht, millele ükski link ei vii, on orb.
• Google käivitab JavaScripti, aga hiljem; teised roomajad sageli mitte. Oluline sisu peab olema HTML-is.
• Olekukood määrab, mida roomaja teeb: 200 töötleb, 301 kolib, 404/410 eemaldab, 5xx ja 429 roomab aeglasemalt.
• Roomamiseelarve on oluline ainult väga suurte või väga kiiresti muutuvate saitide puhul.

Test

Ülesanne

Ülesanne A1.2: Mida näeb roomaja sinu avalehel? Sisesta oma saidi aadress (või www.wikipedia.org, kui sul oma saiti pole). Seejärel sisesta, mida ootad: lõpliku lehe olekukood, aadress, kuhu pärast ümbersuunamist jõuad, ja kas lehel on noindex. Programm laadib avalehe alla nagu roomaja, ilma JavaScriptita, ja näitab ümbersuunamisahelat, olekukoodi, HTML-is olevate päris linkide arvu sinu enda saidile ning seda, kas lehe tekst on ilma JavaScriptita loetav.

Loe edasi

Nende artiklite sammud kehtivad WebOké paneelide kohta; teiste teenusepakkujate juures töötab see sarnaselt.

• DirectAdmin juhend 4.7: Site Redirects: domeeni või lehe edasisuunamine
• DirectAdmin juhend 17.2: Site summary & logs: veateade ja juurdepääsulogi
• Suuna külastajad kohustuslikult https-ile
• Google, kuidas HTTP-olekukoodid ja võrguvead mõjutavad Google'i otsingut: https://developers.google.com/search/docs/crawling-indexing/http-network-errors
• Google, JavaScripti SEO alused: https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
• Google, roomamiseelarve suurtele saitidele: https://developers.google.com/crawling/docs/crawl-budget