En fejl i både Google Toolbar og Chrome gør, at man kan få Googlebot til at crawle internettet i en uendelig løkke og producere massive duplicate content problemer.
Hvis du har arbejdet bare en lille smule med søgemaskineoptimering så kender du garanteret til site-søgningen. Med site: søgningen kan du undersøge hvilke sider på din hjemmeside som Google har indekseret. Skriver du f.eks. site:webtuner.dk i søgefeltet vil du se alle siderne de sider under webtuner.dk som ligger i Google indekset.
Det har længe været kendt at Google Toolbar og Chrome sender informationer om webadresser (URLs) til Google, så Googlebot senere kan indeksere dem. Men en fejl i denne mekanisme gør at site søgningernes URL også sendes med.
Laver du en sitesøgning som før eksemplificeret, vil indholdet fra webtuner.dk nu optræde på Google – dels sidetitler og meta beskrivelser, og dels sidernes øvrige indhold i deres cache.
Når det samme indhold findes på to forskellige sider, kalder man det for duplicate content – altså duplikeret eller kopieret indhold. Det slår Google hårdt ned på, og i værste fald fjerner de det duplikerede indhold fra deres indeks.
Problemet er nu, at Google har en langt højere autoritet end webtuner.dk, og dermed er det webtuner.dk der bliver opfattet som kopisten.
Google selv ender som bambuspinde
Det siger nok sig selv, at det til sidst ender med at det kun er Google der er repræsenteret i Googles indeks.
Forestil dig nu at du laver en sitesøgning på google.dk, altså site:google.dk. Med millioner af websider indekseret, kan det få katastrofale følger. Googlebot vil nu crawle det crawlede og re-crawle det hele igen og igen, i en uendelige løkker der bliver ved med at udvide sig.
Det vil dels få Googles databaser til at vokse indtil de til sidst ikke har mere serverkraft og server plads tilbage. Og de vil ligeledes få problemer med duplicate content og til sidst ende som offer for deres egene Panda opdateringer.
Jeg spår at størstedelen af SEO branchen inden for få uger vil flytte deres fokus til primært at arbejde med SEO på Bing, og at linkkataloger som Jubii, Yahoo og det internationale DMOZ vil få et snarligt comeback.