Yahoo begynner å komme seg?

Noen som har merket hard trafikk fra Yahoo sine crawlere i det siste? Jeg har merket et stort trykk på absolutt alle mine nettsider i det siste. En av nettsidene mine hadde faktisk over 60 forskjellige crawlere fra Yahoo inne på en gang.. Nesten så jeg vurderer å sperre dem ute!

Driver kanskje Yahoo og strammer seg sammen?

hvorfor vurderer du å sperre dem ute?

Fordi på de mindre sidene skapte dem endel fake statestikk, kjøre enkelte tyngre prosesser osv. Crawlerene er jo laget for å snike rundt overalt :slight_smile: Og når det er 60 stykker som svimmer rundt på weben din kan det fort hende den kjenner det faktisk..

Ja :wink: jeg har hat besøk at 3 yahoo bot’er denne mnd .. ifølge stat

hehe.. det var da ikke store greiene!

Men som du ser /har sett har ikke jeg den beste siden :S
hehe

Prøver å finne det mest SEO venlige CMS nå så vi får se åssen det går

robots.txt:

User-agent: Slurp
Disallow: /