Tekninen SEO » Robots.txt

Robots.txt-tiedosto

Robots.txt on tiedosto, jonka avulla hakurobottien vierailu voidaan estää tietyillä sivuilla tai sivuston osa-alueilla. Tällä tavoin säästetään crawling-budjettia, jotta hakubotit käyttävät aikansa oikeasti hyödyllisten sisältöjen tutkimiseen ja indeksoimiseen.

Robots.txt kertoo, millä sisältösivuilla hakubotit saavat vierailla

29.6.2024By Marinella Himari

Paljon onnea robots.txt 30-vuotta!

Useimmat verkkosivustot suoriutuvat hienosti robots.txt-tiedoston “perusmuodolla”. On kuitenkin tapauksia, jolloin haluat hyödyntää kieltokomentoa, jota hakukoneet yleisesti ottaen kunnioittavat.

Käydään tässä artikkelissa läpi, mikä robots.txt tiedosto on ja miten hyödynnät sitä omalla sivustollasi.

Robots.txt-tiedoston avulla voidaan säästää sivuston crawling-budjettia.

1. Tarkista, löytyykö sivustoltasi robots.txt-tiedosto

Tämän voit tehdä yksinkertaisimmillaan näin: kirjoita domainisi perään /robots.txt 

URL olisi tällöin muotoa: domain.fi/robots.txt

Jos käytössäsi on Google Search Console, testaa robots.txt-tiedostolla määritetyt kiellot GSC:n avulla.

2. Tarkista seuraavaksi indeksoituneiden sisältöjen määrä

Näin tarkistat indeksoituneiden sisältöjen määrän nopeasti:

  • kirjoita hakutuloskenttään site:sivustosinimi.fi
  • saat näkyville kaikki verkkosivustosi sisällöt, jotka ovat indeksoituneet Googleen.

Tätä määrää kannattaa tarkastella: huomaatko, että indeksoituneita sisältöjä on itse asiassa vähemmän kuin julkaistuja sivuja?

Entä onko tuloksiin noussut “turhia” sivuja, kuten tietoturvaselosteita, kirjautumissivuja tai muita sellaisia, joilla ei ole SEO-arvoa.

3. "Turhien" sivujen estäminen indeksistä

Sivustollasi saattaa olla sisältöjä, joita et halua Googlen indeksiin eli löytyväksi hakutuloksista.

Tällaisia sivuja voivat esimerkiksi olla:

  • staging-versio sivustouudistuksen yhteydessä
  • kirjautumissivu
  • tietosuojaseloste
  • lyhytaikainen kampanjasivu
  • blogin kategoriat (jotta et luo tuplasisältöä)
  • blogien tägit

Esimerkiksi näissä tapaukseissa voit kertoa robots.txt-tiedostolla hakuboteille, ettei kyseisiä sivuja tarvitse nostaa hakutulosten indeksiin.

4. Maksimoi sivustolle allokoitu crawling-budjetti

Mikäli sivustosi on todella laaja, eli sillä on julkaistu paljon sisältöä, kaikki sivut eivät välttämättä nouse indeksiin.

Tämä johtuu siitä, että jokaisella sivustolla on käytössään rajallinen crawling-budjetti.

Kun estät SEO-arvoltaan turhien ja merkityksettömien sivujen indeksoinnin, annat “lisätilaa” hyödyllisten sisältöjen tallentumiselle Googlen tietokantaan.

Näin poistat pdf:t indeksistä.

5. Tiettyjen resurssien estäminen indeksistä

Haluat kenties estää pdf-tiedostojen indekstoitumisen, koska pdf-tiedostoja ei voida optimoida samoin kuin verkkosivuston sisältöjä.

Näin tarkistat, ovatko sivustolle ladatut pdf-tiedostot nousseet Googleen:

  • kirjoita hakukenttään site:domainisinimi.fi filetype:pdf
  • saat listan kaikista tiedostoista, jotka ovat indeksoituneet Googleen asti.

Lue myös tämä: Nämä viisi asiaa voit poistaa sivustoltasi heti

6. Tarkista ja analysoi sivustosi tilanne

Voit tarkistaa Google Search Consolesta (kohdasta Indeksointi » Sivut), kuinka moni sivustosi sisällöistä on indeksoitunut.

Mikäli indeksoitujen sivujen määrä vastaa niiden sivujen määrää, jotka olet halunnut indeksoida, kaikki on hyvin. Jos indeksoitujen sivujen määrä on kuitenkin toivottua suurempi, voit piilottaa turhat sisällöt indeksistä robots.txt-tiedoston avulla.

Löydät ohjeet Google Developers -sivustolta.

7. Seuraavaksi haluat tarkistaa XML-sitemapit

XML-sivustokartat päivittävät sivustosi tiedot Googlen hakuroboteille, ja siksi niistä saa löytyä vain SEO-näkyvyydeltään relevantteja sekä 100% toimivia (HTTP 200) URL-osoitteita.


Olet lämpimästi tervetullut opiskelemaan robots.txt-tiedoston hyödyntämistä – kuten monia muita teknisen SEO:n vaiheita – syvemmin SEO MasterClass™ -koulutukseen sekä muihin hakukoneoptimoinnin koulutuksiimme.


Syvennä SEO-taitojasi

Tilaa opintokirje ja syvennä osaamistasi entisestään.

Opi SEO

Opiskele SEO-mestariksi koulutusohjelmissamme

Tule mukaan hakukoneoptimoinnin koulutuksiin ja vie SEO-taitosi uudelle tasolle.

Valitse koulutus