Älä sulje ovia hyödyllisiltä tekoälyboteilta – kuka verkkosivustollasi liikkuu?
tiedot
Kesällä 2026 internetissä tapahtui jotain, mitä ei odotettu tapahtuvan vielä vuoteen: tekoälybottien sekä muiden bottien tuottama verkkoliikenne on toistuvasti ohittanut ihmisliikenteen. Verkkosivustolla vierailee siis yhä useammin kone kuin ihminen.
Mutta onko tämä bottiliikenne sivustolle hyödyllistä vai tuhlaako se vain kaistaa? Ja miten erottaa botit, jotka tuovat oikeasti asiakkaita, kuten Googlen hakubotti?
Tekoälybotit jonottavat sivustosi ovella
Kun yritämme hakea tämän artikkelin inspiraation lähteenä toimivaa NBC Newsin juttua tekoälytyökalulla, sivusto torjuu meidät. Hakukoneet pääsevät sisään, tekoälytyökalu ei. Tämä pieni esimerkki kertoo paljon: verkossa käydään parhaillaan neuvottelua siitä, ketkä koneet pääsevät sisään ja ketkä eivät.
Neuvottelu on tärkeä, koska koneita on nyt enemmän kuin ihmiskävijöitä. Cloudflaren datan mukaan botit tekivät kesäkuussa noin 57 % sen verkon kautta kulkevien sivustojen pyynnöistä ja ihmiset 43 %. Bottien liikenteen kasvun tahti yllätti jopa Cloudflaren toimitusjohtajan, joka oli arvioinut käännekohdan osuvan vasta vuodelle 2027.
Kaikkia botteja ei kuitenkaan kannata estää, ja liian tiukka esto voi pudottaa sivun myös Googlesta.
Kaikki botit eivät ole samanlaisia
Osa bottiliikenteestä on puhdasta hukkaa. Cloudflaren mukaan yli puolet hyvämaineistenkin bottien hauista kohdistuu sivuihin, jotka eivät ole muuttuneet edellisen käynnin jälkeen. Se kuormittaa palvelimia turhaan.
Silti osa boteista tuo sivustolle ihmisiä, jotka ostavat tai ovat aidosti kiinnostuneita palvelusta. Adoben yhdysvaltalaisilta verkkokaupoilta keräämän datan mukaan tekoälyavustajien kautta saapuneet kävijät ostavat muita useammin. Tämä johtuu siitä, että kun ihminen kysyy tekoälyltä suositusta, vastauksessa mainittu sivusto saa todennäköisesti kävijän, joka on jo pitkällä ostopäätöksessään. Lue lisää siitä, miten tekoäly muuttaa hakukäyttäytymistä.
”Hyvä bottistrategia ei sulje ovia. Se päättää, kenelle ne avataan ja millä ehdoilla.”
Kolme bottityyppiä, kolme eri päätöstä
Cloudflare jakaa tekoälyliikenteen kolmeen luokkaan sen mukaan, mitä botti sivustolla tekee, ja sivuston omistaja voi päättää, miten niitä kohdellaan.
| Bottityyppi | Mitä se tekee | Suositeltu linja |
|---|---|---|
| Search | Indeksoi sisältöä vastatakseen myöhemmin kysymyksiin ja viitatakseen lähteeseen | Päästä sisään |
| Agent | Asioi reaaliajassa ihmisen puolesta: etsii, vertailee, ostaa | Kohtele kuin asiakasta |
| Training | Kerää sisältöä tekoälymallien koulutukseen | Rajoita harkiten |
Search-botit: päästä sisään. Ne indeksoivat sisältöä, jotta tekoäly voi myöhemmin vastata käyttäjien kysymyksiin ja viitata lähteeseen. Näiden kautta sivustolle tulee kävijöitä, joten ne kannattaa lähtökohtaisesti sallia.
Agent–botit: kohtele kuin asiakasta. Agentit asioivat reaaliajassa ihmisen puolesta: ne etsivät, vertailevat ja yhä useammin myös ostavat. Niiden takana odottaa oikea ihminen. Lue, miten agenttinen ostaminen muuttaa verkkokaupan ostopolkua.
Training-botit: rajoita harkiten. Ne keräävät sisältöä tekoälymallien koulutukseen. Eston voi perustella sillä, että hyöty sivustolle on epäsuora. Toisaalta koulutusdatassa näkyminen voi vaikuttaa siihen, miten mallit tuntevat brändisi. Päätös kuuluu liiketoiminnalle, ei pelkästään palomuurille.
Tarkista, mihin esto osuu – myös Google voi jäädä ulos
Osa suurimmista boteista kuuluu useampaan luokkaan kerralla: sama crawler hakee sisältöä sekä hakuun että tekoälyn koulutukseen. Siksi Training-botteja rajoittava sääntö voi osua myös hakukoneisiin, kuten Googlebotiin, Bingbotiin ja Applebotiin. Hyvää tarkoittava suojausasetus voi näin heikentää sivuston näkyvyyttä myös perinteisissä hakutuloksissa.
Cloudflaressa olevilla sivustoilla säännöt aktivoituvat kahdella tavalla. Nykyiset asiakkaat ovat voineet heinäkuusta 2026 lähtien valita itse, sallivatko he Search-, Agent- ja Training-botit. Uusille asiakkaille tulivat syyskuussa 2026 voimaan oletusasetukset: mainoksia näyttävillä sivuilla Training- ja Agent-botit estetään automaattisesti, ja Search sallitaan.
Monikäyttöiset crawlerit Cloudflare käsittelee tiukimman säännön mukaan. Jos valitset ”estä Training”, esto koskee siis myös niitä crawlereita, jotka hakevat sisältöä hakukoneille.
Sama logiikka koskee muitakin palveluita, kuten Akamaita, Fastlya tai omaa palomuuria. Jos muutat bottien estoasetuksia, varmista aina, mihin botteihin esto oikeasti osuu.
Strategiasta käytäntöön
Kun eri bottityypeille on päätetty omat pelisäännöt, ne voidaan kuvata sivuston robots.txt-tiedostossa. On hyvä kuitenkin muistaa, että robots.txt on ohje eikä varsinainen ovimies: kaikki botit eivät noudata sitä.
Todellinen valvonta tehdään muualla. Tarkempi pääsynhallinta toteutetaan WAF-säännöillä ja rate limitingillä. Aitous varmistetaan verifioitujen bottien listoilla tai tarkistamalla lokeista, että pyyntö tulee botin virallisesta IP-osoitteesta.
Tuoreussignaalit vähentävät turhaa kuormaa. Kun sivusto kertoo koneille itse, mikä on muuttunut (esim. IndexNow-protokollalla ja ajantasaisella metadatalla), botit hakevat oikeat sivut eivätkä samoja muuttumattomia uudestaan. Hyvin toimiva välimuisti hoitaa loput.
Mittaa erikseen. Ihmiset, hakukoneet, AI-haku, koulutusbotit ja agentit ovat eri käyttäjäryhmiä. Kiinnostavin mittari on usein se, montako kertaa botti hakee sivuja suhteessa siihen, montako kävijää se lopulta ohjaa sivustolle.
Haluatko tietää, keitä sivustollasi oikeasti liikkuu? Ota yhteyttä ja selvitetään se yhdessä.