Nogle teorier som stadig holder:

I min lancering af mit labs-site fulgte jeg dagligt Googles handlinger og flg. kan jeg nu dele med dig:

Ingen indeksering uden aktivt at gøre noget

Jeg havde heller ikke kunnet forestille mig, at Google sådan uden videre ville kunne opdage sitet og dermed indeksere det.

Jeg oprettede dog sitet i Google Analytics, Google Webmaster Tools, hvor jeg oprettede et Sitemap, men der skete ikke rigtig noget i en uge.

Ét link og så var Google dér

Da jeg så fik lavet min blogpost om sitet og eksperimentet og havde et link i min blogpost, så var Google der samme dag og havde indekseret forsiden.

Og nu begyndte der er blive oprettet nogle nyheder som ping’ede

Menustrukturen kom først

Dagene lige efter, at Google havde placeret sitets forside i indekset, kom mine sider med fra min menustruktur i indekset.

Og i flere dage ca. 5 havde jeg kun 3 sider i mit indeks: Forsiden, siden med nyhedslisten og Om Websitet.

Det skal nævnes, at siden med nyhedslisten har sit RSS feed, og nyhederne indgår også i sitets Sitemap, så der burde egentlig ikke være nogen til hindre for at Google fik nyhederne med i indekset, men der skulle åbenbart gå lidt længere tid.

Indekseringshastigheden på nyhederne

Efter at nyhederne kom med i indekset har jeg kunnet følge med i at der går lidt tid fra at Google har “crawlet” nyheden til den kan findes i Google, hvilket ikke er overraskende i sig selv, men jeg synes sådan gennemsnitligt, at det skér altså indenfor 24 timer, hvilket jeg må sige er lidt imponerende.

Hastigheden hvormed nyhederne nu indekseres ligger ca. på 2 dage fra oprettelsen, det slår ikke min blog her, som får indekseret forsiden efter få minutter, når jeg har postet et nyt indlæg, og ca. 20-30 minutter senere har Google indekseret min blogpost via mit RSS feed (ikke linket på min forside til blogposten – underligt egentlig). Jeg har haft Googles kampagne-sporing på mine blogpost indlæg i RSS feed, og jeg kan se, at efter 20-30 minutter ligger min blogpost på Google, hvor linket til blogposten er med kampagne-sporingen som jeg har i mit RSS feed.

Konklusion

Jeg har helt klart lært at links er triggeren over dem alle forstået på den måde, at hvis du vil have indekseret dit nye indhold i en fart, så få et link til dit indhold fra et godt besøgt/Google crawlet site, som fx en blog som min eller lign.

Det næste som jeg skal til at prioritere endnu mere er RSS feeds. Google er åbenbart en preference rent hastighedsmæssigt i RSS feeds istedet for interne links.

Dernæst har det selvfølgelig også en virkning at Sitemap’et i Google Webmaster Tools er dynamisk (man kan også submitte sit RSS feed som Sitemap!).

Sidst må jeg konstatere, at XML-RPC ikke giver nogen målbar effekt i mit eksperiment, så hvis du har mulighed for at lave noget optimering med links, RSS feeds eller dit Sitemap så glem XML-RPC ping, med mindre at din indekseringstider er decideret længere end et par dage.

Har du andre erfaringer, oplevelser eller har lært lidt ligesom som jeg har? Vil elske at høre fra dig!

Grundlæggende er teknikken bag XML-RPC og RSS, lidt noldert, men intet mindre. XML-RPC er en måde hvor på 2 websites kan kommunikere lidt ligesom en Web Service. RSS er en ganske enkel en struktureret og syndikeret XML fil, som er helt vild optimal for søgemaskinerne, fordi den typisk har sorteret informationerne i kronologisk orden og er XML baseret, så det en super hurtigt at læse for en søgemaskine i forhold til en almindelig HTML-side.

Så, hvordan får du så dine produkter og nyheder ud til Google med samme hastighed, som er muligt med en blog?

• Lav et RSS feed af dine produkter eller dine nyheder
• Hav et meta tag på dine produktsider og dine nyhedssider som henviser til dit RSS feed.
• Send din nye produktside eller nyhedsside til fx http://rpc.pingomatic.com med et ping kald via XML-RPC.

Jeg har lavet et lille eksperiment på det, så du kan afprøve det og forhåbentlig se, hvor effektivt det er.

Prøv at hoppe over på mit eksperiment og opret en nyhed og lad os se, hvor hurtigt den kommer på Google.

Vil helt vildt gerne høre din holdning til emnet.

Det betyder, at forsidens indhold ligger på 2 forskellige URL’er og det er dublicate content.

Dynamicweb kan p.t. ikke indstilles til at rette det

Der findes p.t. ikke en indstilling i Dynamicweb som kan rette op på dette problem, du er nødt til at rette problemet selv. Jeg har prøvet, at rette problemet med modulet “Direkte stier”, men den gik ikke.

Sådan kan du rette problemet

Jeg går udfra, at du i forvejen har slået “Brugervenlige URL’er” til i din Dynamicweb løsning, hvis ikke så er det på tide!

Typisk opstår problemet egentlig først, når du laver en menu i Dynamicweb, som indeholder link til forsiden, så du er nødt til at lave en lille finte.

Jeg har lavet en genvejs-menu med nye sider i Dynamicweb og så er hele tricket i at lave henvisning til de faktiske sider

Så har jeg lavet en genvej på Forside-menupunktet så den linker til mit websites / (roden)

Så får jeg det fantastiske resultat

Hvis du undlader at sætte en genvej på til / og bare vælger siden via “Internt link”-ikonet så går det galt

HUSK: Alle de menuer og links som du laver via Dynamicweb menuer eller hardcoded (bad style) i templates, så lav linket til forsiden med en href=”/”.

Jeg smider naturligvis finten ind til Dynamicweb, de kunne jo gøre det helt overflødigt ved at lave et ændring i “Brugervenlige URL’er” modulet, men indtil videre må du hygge dig med denne måde.

Sidder du ikke i sammen situation, men ønsker at opnå det samme, så prøv om du kan beskrive det for mig, så skal jeg se, om jeg kan hjælpe dig.

Kl. 20:24 havde Google opdateret min forside

Kl. 20:47 havde Google fundet min nye blogpost

Det er ikke ligefrem Google fra den lade side…

Google Reader

Jeg har en mistanke om, at Google måske bruger oplysningerne fra deres egen Google Reader.

Jeg abonnere jo på min egen blog for at kontrollere, at mine blogpost ser rigtige ud i RSS readers. Jeg bruger Google Reader, som er en online RSS reader, hvor jeg kan samle alle mine RSS feeds.

Det undrer mig helt vildt at Google kan indeksere min blogpost på under 20 minutter, og det er ikke første gang jeg opdager det. Jeg opdagede det første gang på min blogpost Linq, Dataset, Recordset performance resultat, der tog det ca. 15 minutter.

Min traffik på min blog synes jeg ikke er tankevækkende høj til, at Google bør komme forbi så hurtigt og opdage mine nye blogpost. Og jeg synes, at det ville virke ganske gennemtænkt, da Google Readeren jo henter mine nye indlæg på baggrund af mit RSS tilmelding, så kunne den jo lige sende Googlebot ud på sitet, når den nu ved, at der er et nyt indlæg at indeksere.

Kender du til tegn på lignende eller det helt modsatte, så vil jeg gerne høre fra dig, imens hopper jeg lige i logfilerne for min blog og undersøger, hvor tit Googlebot kommer forbi, eller den bare kigger forbi lige efter, jeg har oprettet en blogpost.