Sitemap

Effektiv bruk av robots.txt

En "robots.txt"-fil forteller søkemotoren alt om hva den kan få tilgang til, og på grunnlag av det crawler den deler av din nettside. Denne filen, som må ha navnet "robots.txt", er plassert i rotkatalogen til nettstedet.

Du ønsker kanskje ikke at bestemte sider på nettstedet ditt blir crawlet fordi det kanskje ikke ville være nyttig for brukerne om de ble vist i søkeresultatene. Hvis du vil hindre søkemotorene fra å gjennomgå sidene dine, finnes det ulike verktøy ala Webmastertools som kan hjelpe deg med å genere en slik robots.txt fil. Merk deg at hvis nettstedet bruker subdomener og du ønsker å at enkelte sider ikke skal bli crawlet for et bestemt subdomene, må du opprette en egen robots.txt-fil for dette domenet.

Det er mange andre måter å forhindre at innhold vises i søkeresultatene, man kan for eksempel legge "NOINDEX" til robot metataggen, ved å bruke .htaccess for å passordbeskytte kataloger, og ved hjelp av Webmastertools til å fjerne innhold som allerede har blitt crawlet.

God praksis for bruk av robots.txt

• Bruk mer sikre metoder for sensitivt innhold - Du bør ikke føle deg komfortabel med å bruke robots.txt til å blokkere sensitiv eller konfidensiell materiale. En årsak er at søkemotorene kan fremdeles referere URLen du blokkerer (visesr bare URL, ikke tittelen eller tekstutdraget) hvis det er slik at det er lenker til disse URLene et sted på Internett (som referer logger). Også, ikke-kompatible søkemotorer som ikke anerkjenner Robots Exclusion Standard trenger ikke å følge instruksjonene i din robots.txt. En nysgjerrig bruker kan undersøke kataloger eller underkataloger i robots.txt-filen din, og gjette URLen til innhold som du ikke vil vise frem. Kryptering av innholdet eller passord-beskyttelse gjennom .htaccess er sikrere alternativer.

Unngå:

 

Tilbake til: Lær om SEO Neste: "nofollow"

 

International Search Summit

Hosted by WebCertain around the world



Bes√łg hjemmeside

Kunder

Kunder

 


© WebCertain AS, Bes√łksadresse: Henrik Ibsens gate 90, 0255 OSLO. Postadresse: Postboks 3081, 0207 Oslo