AI-roomajate lubamine või blokeerimine: robots.txt ja llms.txt
Tehisintellekti teenused nagu ChatGPT, Claude, Gemini ja Perplexity laadivad veebilehti alla: mudelite treenimiseks, otsinguvastuste andmiseks või kasutaja küsimusele vastamiseks. Failiga robots.txt määrad, millised neist robotitest tohivad su saiti külastada. Lisaks on olemas ettepanek llms.txt. Sellest artiklist loed, millised robotid on olemas, kuidas neid lubada või blokeerida ning mida llms.txt teeb ja mida mitte. Kasutame näitena domeeni example.com.
1. Olulisemad AI-robotid
Enamik tehisintellekti ettevõtteid kasutab treenimiseks, otsinguks ja kasutaja palvel lehtede laadimiseks eraldi nimesid. Nii saad näiteks treenimise blokeerida ja ikkagi otsinguvastustes püsida.
| Nimi robots.txt-is | Ettevõte | Eesmärk |
|---|---|---|
GPTBot | OpenAI | Lehtede kogumine, mida võidakse kasutada mudelite treenimiseks |
OAI-SearchBot | OpenAI | ChatGPT otsingufunktsioon. Kui selle blokeerid, ei ilmu su sait ChatGPT otsinguvastustesse |
ChatGPT-User | OpenAI | Lehe laadimine, kui kasutaja seda palub. OpenAI sõnul ei pruugi robots.txt siin kehtida |
ClaudeBot | Anthropic | Lehtede kogumine, mida võidakse kasutada mudelite treenimiseks |
Claude-SearchBot | Anthropic | Lehtede indekseerimine Claude'i otsingufunktsiooni jaoks |
Claude-User | Anthropic | Lehe laadimine, kui kasutaja seda palub |
Google-Extended | Pole eraldi robot, vaid nimi, millega annad teada, kas Google võib su sisu kasutada Gemini mudelite treenimiseks ja groundingu jaoks. Google'i sõnul ei mõjuta see su kohta Google'i otsingus | |
PerplexityBot | Perplexity | Saitide kuvamine ja linkimine Perplexity otsingutulemustes, mitte treenimiseks |
Perplexity-User | Perplexity | Lehe laadimine, kui kasutaja seda palub. Perplexity sõnul eirab see robots.txt-i enamasti |
Loend muutub regulaarselt. Ajakohased nimed leiad OpenAI, Anthropicu, Google'i ja Perplexity dokumentatsioonist.
2. Näidis-robots.txt
See näide blokeerib mudelite treenimise, kuid lubab otsingurobotid ja tavalised otsingumootorid:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Robot järgib ainult oma nimega gruppi ja selle puudumisel gruppi
*. Näites ei tohi GPTBot seega kuhugi minna ningDisallow: /winkelmand/GPTBotile ei kehti. - Kui tahad kõiki AI-roboteid lubada, ei pea sa midagi tegema: reeglite puudumisel on kõik lubatud.
- Kui blokeerid kogemata mõne otsingurobot, näiteks
OAI-SearchBot,Claude-SearchBotvõiPerplexityBot, leitakse sind nendes tehisintellekti otsinguteenustes halvemini. - Blokeerimine kehtib ainult edaspidi. Seda, mis on juba varem alla laaditud, sellega tagasi ei saa.
public_html. Selle loomiseks või muutmiseks kasuta File Managerit või FTP-d. WordPress loob ise robots.txt, kuni faili pole, ja AI Builder paneb selle avaldamisel ise paika. Kuidas robots.txt muidu töötab, loe artiklist Lehe hoidmine Google'ist eemal: robots.txt või noindex?.3. Mis on llms.txt?
llms.txt on 2024. aasta ettepanek tekstifailiks aadressil https://example.com/llms.txt. Sinna kirjutad Markdownis lühikese kirjelduse oma saidist ja lingid olulisematele lehtedele, et tehisintellekti teenus näeks kiiresti, kus õige info asub. Lihtne näide:
# Pagarikoda Näide > Käsitööpagarikoda Tartus: leib, saiakesed ja tordid tellimisel. ## Olulised lehed - [Tootevalik](https://example.com/assortiment): leib, saiakesed ja tordid - [Tellimine](https://example.com/bestellen): tordi tellimine ja järeletulek - [Kontakt](https://example.com/contact): aadress ja lahtiolekuajad
Hea teada:
- llms.txt ei ole ametlik standard, vaid ettepanek. Pole mingit garantiid, et tehisintellekti teenused faili loevad. Google on teatanud, et Google'i otsing seda ei kasuta.
- llms.txt ei blokeeri midagi. Kui tahad roboteid eemal hoida, kasuta robots.txt-i.
- Fail ei teki iseenesest: lood selle ise või lased pluginal selle luua.
4. llms.txt loomine WordPressis
Tuntud SEO-pluginad oskavad llms.txt sinu eest luua ja ajakohasena hoida:
- Yoast SEO: ava Yoast SEO, Seaded, Saidi funktsioonid ja lülita AI-funktsioonide all sisse llms.txt. Võid lasta Yoastil lehed valida või määrata need ise.
- Rank Math: lülita Rank Mathi jaotises Töölaud sisse moodul LLMS Txt. Seaded leiad seejärel jaotisest Üldseaded.
Menüüde nimed erinevad versiooniti. Kui sa valikut ei näe, uuenda pluginat. Seejärel vaata faili aadressil https://sinudomeen.ee/llms.txt.
Ilma WordPressita lood faili ise: tekstifail llms.txt kaustas public_html, täpselt nagu robots.txt.
Põhjalik selgitus koos ekraanipiltidega: Saidikaart ja robots.txt WordPressis ja sinu oma saidil ning Saidikaart ja robots.txt AI Builderis juhendis „Veebis leitavaks”.
Tahad rohkem õppida? Läbi tasuta kursus „Veebis leitavaks”, õppetund 3.3 robots.txt: mida blokeerida ja mida mitte.