Sitemap ja robots.txt WordPressis ja sinu enda saidil

Sitemap on loetelu aadressidest, mida soovid otsingumootoritesse saada. Fail robots.txt ütleb otsingumootoritele, milliseid aadresse nad külastada ei tohi ja kus asub su sitemap. Nii kontrollid neid WordPressis ja saidil, mille oled ise teinud.

WordPress

WordPress loob alates versioonist 5.5 ise sitemapi ja robots.txt faili:

• Sitemap asub aadressil https://jouwdomein.nl/wp-sitemap.xml.
• Fail robots.txt on virtuaalne: sinu veebikaustas faili ei ole, kuid WordPress näitab seda aadressil https://jouwdomein.nl/robots.txt koos viitega sitemapile.
• Kasutad SEO-pluginat, näiteks Yoast SEO või Rank Math? Siis loob see sageli oma sitemapi, näiteks sitemap_index.xml. Aadressi leiad plugina seadetest. Just selle aadressi esitad Google'ile ja Bingile.

WordPressi tavaline robots.txt näeb välja umbes selline:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Kas WordPress takistab otsingumootoreid?

1. Logi WordPressi sisse ja ava Seaded ning seejärel Lugemine.
2. Vaata otsingumootorite nähtavuse juures linnukest Keela otsingumootoritel seda saiti indekseerida.
3. See linnuke peab olema eemaldatud. Klõpsa Salvesta muudatused.

Kui linnuke on märgitud, palub WordPress otsingumootoritel kogu su saidi vahele jätta. See lülitatakse sageli sisse saidi ehitamise ajal ja unustatakse hiljem välja lülitada.

WordPressi leitavuse kohta loe lähemalt artiklist Leitavus: põhitõed.

Oma robots.txt

Kui paned oma veebikausta ise faili robots.txt, on see WordPressi virtuaalse robots.txt ees ülimuslik. WebOké majutuspaketis on veebikaust su domeeni kaust public_html. Faili saad sinna panna DirectAdmini failihalduriga (vaata Failihalduri avamine: sinu paketi kaustad) või FTP kaudu.

Lihtne robots.txt, mis lubab kõike ja viitab su sitemapile:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Sait, mille teed ise

Teed saidi ise või mõne muu programmiga? Siis vaata, kas see programm loob sitemapi. Kui ei, saad ka ilma hakkama: väike sait, mille lehtede vahel on head lingid, leitakse samuti üles. Sitemap siiski aitab. Pane see oma veebikausta ja maini seda oma robots.txt failis, nagu eespool näidatud.

Kontrollimine

• Ava https://jouwdomein.nl/robots.txt. Kas rea User-agent: * all on Disallow: /? Siis ei tohi ükski otsingumootor su saiti külastada. Eemalda see rida, kui su sait on valmis.
• Kas seal on rida Sitemap:? Ava see aadress oma brauseris. Peaksid nägema oma saidi aadresside loetelu, https-iga ja sinu enda domeeniga.

Nõuanne: robots.txt ei hoia lehte Google'ist eemal. Leht, mida külastada ei tohi, võib siiski otsingutulemustesse jõuda, kui teised saidid sellele lingivad. Kui soovid lehe tõesti Google'ist eemal hoida, kasuta noindexit. Erinevuse kohta loe kursuse Veebis leitavaks tunnist robots.txt: mida blokeerid ja mida mitte.