The main problem in Dynamicweb that this module deal correctly with is when you have a multiple websites in your solution but only one domain name.

In Dynamicweb you have a few settings that should be inplace to minimize dublicate content these settings are explained here http://nicolaipedersen.com/blog/2011/11/dynamicweb-and-duplicate-content.aspx in more detail but your control panel should look like this

Note 1)

When having a multiple websites you can this setting make som nice sub-folder structure when name you websites “da”, “en”, “de”, “se”, “no” etc.

Your websites will be separated with /da, /en, /de, /se, /no but we face another problem with URL guessing and bookmarking. You can just access the website with www.example.com/da/ but the module takes care of that

Note 2)

Especially remember to replace / (slash) with dash. If you have a page named “Goodies / Downloads” your indexing of your website goes in an inifite loop because the relative URL generating goes deeper and deeper.

Note 3)

If you don’t have e-commerce on your site you can avoid Canonical link in meta together with this module.

Main problem

The problem today is that a website can have multiple domains associated with it example.com, www.example.com, eksempel.dk, www.eksempel.dk etc. Dynamicweb deals with this to a certain point, because you can set a primary domain for a given website, to follow that convention, you need a dedicated unique domain for each website you have in your solution!

Example:

International website Primary domain: www.example.com
Danish website primary domain: www.eksempel.dk
etc.

This module comes into play when you don’t have or want a specific dedicated domain name for each website in your solution, so how does the module deal with this, lets dive into it.

The module explained

1′st we hook into the process of handling request to Dynamicweb with the Notification Subscriber “Dynamicweb.Notifications.Standard.Application.BeginRequest”.
The module test various stuff to determine if modul should even handle the request at all, like if the request goes to /admin  etc.

2′nd it test to see if the request is on a different domain than the one that is set as THE domain for the whole solution, if the request is on a domain different we step into analyzing the request.

3′rd it goes into test configuration setting to determine how the redirect URL should look like which depends on your settings inside the Customized URL Control Panel (see above).

4′th is does the proper redirect to the requested page BUT on THE domain you have set in the module as the SINGLE primary domain for the solution.

Example:

You have two websites in your solution:

Website 1: English version named “en”
Website 2: Danish version named “da”
You only have one domain name: www.example.com to run both websites so you set www.example.com domain on the English website so that the user startpage is the first page on the English version and you add it as the primary domian.

Now everything is great for the English version no pages in that website can be access by any other domain except for the primary domain. But the pages on the danish version can!!!

Now you tell this module to enable its “SingleDomainHandling” on www.example.com and now you get 301 redirects on any page request in the solution on a domain that is different from www.example.com.

The module has also support for redirecting to the proper page based on the requested domain name if that domain name is associated with the website.

Example:

You have three websites and only two domains but you want everything to be browser on your single primary domain www.example.com:

Website 1: English version named “en”
Website 2: Danish version named “da”
Website 3: German version named “de”

Website 1 is associated with www.example.com and example.com
Website 2 is associated with www.eksempel.dk and eksempel.dk
Website 3 is associated with www.beispiel.de and beispiel.de

Your goal is to have this URL structure:

www.example.com/ (English website)
www.example.com/da/<pagename>.aspx (Danish website)
www. example.com/de/<pagename>.aspx (German website)

If you make a request to www.beispiel.de/de/<pagename>.aspx you a 301 redirected to the found page but on your single primary domain to www.example.com/de/<pagename>.aspx. However if you just type www.beispiel.de then the module finds the website in your solution and redirects to the websites firstpage which could be www.example.com/de/Home.aspx

That’s it – a great solid and fast module for preventing dublicate content on Dynamicweb solutions with multiple website but fewer domain names.

I don’t have a download for you because I think it should be part of the Dynamicweb core, but I have not taken the dialog with Dynamicweb yet – I know they are busy finishing up Dynamicweb 8

But if you are in the situation where you could benefit from having this module – let me know.

What do you think about it?

Nogle teorier som stadig holder:

I min lancering af mit labs-site fulgte jeg dagligt Googles handlinger og flg. kan jeg nu dele med dig:

Ingen indeksering uden aktivt at gøre noget

Jeg havde heller ikke kunnet forestille mig, at Google sådan uden videre ville kunne opdage sitet og dermed indeksere det.

Jeg oprettede dog sitet i Google Analytics, Google Webmaster Tools, hvor jeg oprettede et Sitemap, men der skete ikke rigtig noget i en uge.

Ét link og så var Google dér

Da jeg så fik lavet min blogpost om sitet og eksperimentet og havde et link i min blogpost, så var Google der samme dag og havde indekseret forsiden.

Og nu begyndte der er blive oprettet nogle nyheder som ping’ede

Menustrukturen kom først

Dagene lige efter, at Google havde placeret sitets forside i indekset, kom mine sider med fra min menustruktur i indekset.

Og i flere dage ca. 5 havde jeg kun 3 sider i mit indeks: Forsiden, siden med nyhedslisten og Om Websitet.

Det skal nævnes, at siden med nyhedslisten har sit RSS feed, og nyhederne indgår også i sitets Sitemap, så der burde egentlig ikke være nogen til hindre for at Google fik nyhederne med i indekset, men der skulle åbenbart gå lidt længere tid.

Indekseringshastigheden på nyhederne

Efter at nyhederne kom med i indekset har jeg kunnet følge med i at der går lidt tid fra at Google har “crawlet” nyheden til den kan findes i Google, hvilket ikke er overraskende i sig selv, men jeg synes sådan gennemsnitligt, at det skér altså indenfor 24 timer, hvilket jeg må sige er lidt imponerende.

Hastigheden hvormed nyhederne nu indekseres ligger ca. på 2 dage fra oprettelsen, det slår ikke min blog her, som får indekseret forsiden efter få minutter, når jeg har postet et nyt indlæg, og ca. 20-30 minutter senere har Google indekseret min blogpost via mit RSS feed (ikke linket på min forside til blogposten – underligt egentlig). Jeg har haft Googles kampagne-sporing på mine blogpost indlæg i RSS feed, og jeg kan se, at efter 20-30 minutter ligger min blogpost på Google, hvor linket til blogposten er med kampagne-sporingen som jeg har i mit RSS feed.

Konklusion

Jeg har helt klart lært at links er triggeren over dem alle forstået på den måde, at hvis du vil have indekseret dit nye indhold i en fart, så få et link til dit indhold fra et godt besøgt/Google crawlet site, som fx en blog som min eller lign.

Det næste som jeg skal til at prioritere endnu mere er RSS feeds. Google er åbenbart en preference rent hastighedsmæssigt i RSS feeds istedet for interne links.

Dernæst har det selvfølgelig også en virkning at Sitemap’et i Google Webmaster Tools er dynamisk (man kan også submitte sit RSS feed som Sitemap!).

Sidst må jeg konstatere, at XML-RPC ikke giver nogen målbar effekt i mit eksperiment, så hvis du har mulighed for at lave noget optimering med links, RSS feeds eller dit Sitemap så glem XML-RPC ping, med mindre at din indekseringstider er decideret længere end et par dage.

Har du andre erfaringer, oplevelser eller har lært lidt ligesom som jeg har? Vil elske at høre fra dig!

Grundlæggende er teknikken bag XML-RPC og RSS, lidt noldert, men intet mindre. XML-RPC er en måde hvor på 2 websites kan kommunikere lidt ligesom en Web Service. RSS er en ganske enkel en struktureret og syndikeret XML fil, som er helt vild optimal for søgemaskinerne, fordi den typisk har sorteret informationerne i kronologisk orden og er XML baseret, så det en super hurtigt at læse for en søgemaskine i forhold til en almindelig HTML-side.

Så, hvordan får du så dine produkter og nyheder ud til Google med samme hastighed, som er muligt med en blog?

• Lav et RSS feed af dine produkter eller dine nyheder
• Hav et meta tag på dine produktsider og dine nyhedssider som henviser til dit RSS feed.
• Send din nye produktside eller nyhedsside til fx http://rpc.pingomatic.com med et ping kald via XML-RPC.

Jeg har lavet et lille eksperiment på det, så du kan afprøve det og forhåbentlig se, hvor effektivt det er.

Prøv at hoppe over på mit eksperiment og opret en nyhed og lad os se, hvor hurtigt den kommer på Google.

Vil helt vildt gerne høre din holdning til emnet.

Det betyder, at forsidens indhold ligger på 2 forskellige URL’er og det er dublicate content.

Dynamicweb kan p.t. ikke indstilles til at rette det

Der findes p.t. ikke en indstilling i Dynamicweb som kan rette op på dette problem, du er nødt til at rette problemet selv. Jeg har prøvet, at rette problemet med modulet “Direkte stier”, men den gik ikke.

Sådan kan du rette problemet

Jeg går udfra, at du i forvejen har slået “Brugervenlige URL’er” til i din Dynamicweb løsning, hvis ikke så er det på tide!

Typisk opstår problemet egentlig først, når du laver en menu i Dynamicweb, som indeholder link til forsiden, så du er nødt til at lave en lille finte.

Jeg har lavet en genvejs-menu med nye sider i Dynamicweb og så er hele tricket i at lave henvisning til de faktiske sider

Så har jeg lavet en genvej på Forside-menupunktet så den linker til mit websites / (roden)

Så får jeg det fantastiske resultat

Hvis du undlader at sætte en genvej på til / og bare vælger siden via “Internt link”-ikonet så går det galt

HUSK: Alle de menuer og links som du laver via Dynamicweb menuer eller hardcoded (bad style) i templates, så lav linket til forsiden med en href=”/”.

Jeg smider naturligvis finten ind til Dynamicweb, de kunne jo gøre det helt overflødigt ved at lave et ændring i “Brugervenlige URL’er” modulet, men indtil videre må du hygge dig med denne måde.

Sidder du ikke i sammen situation, men ønsker at opnå det samme, så prøv om du kan beskrive det for mig, så skal jeg se, om jeg kan hjælpe dig.

Kl. 20:24 havde Google opdateret min forside

Kl. 20:47 havde Google fundet min nye blogpost

Det er ikke ligefrem Google fra den lade side…

Google Reader

Jeg har en mistanke om, at Google måske bruger oplysningerne fra deres egen Google Reader.

Jeg abonnere jo på min egen blog for at kontrollere, at mine blogpost ser rigtige ud i RSS readers. Jeg bruger Google Reader, som er en online RSS reader, hvor jeg kan samle alle mine RSS feeds.

Det undrer mig helt vildt at Google kan indeksere min blogpost på under 20 minutter, og det er ikke første gang jeg opdager det. Jeg opdagede det første gang på min blogpost Linq, Dataset, Recordset performance resultat, der tog det ca. 15 minutter.

Min traffik på min blog synes jeg ikke er tankevækkende høj til, at Google bør komme forbi så hurtigt og opdage mine nye blogpost. Og jeg synes, at det ville virke ganske gennemtænkt, da Google Readeren jo henter mine nye indlæg på baggrund af mit RSS tilmelding, så kunne den jo lige sende Googlebot ud på sitet, når den nu ved, at der er et nyt indlæg at indeksere.

Kender du til tegn på lignende eller det helt modsatte, så vil jeg gerne høre fra dig, imens hopper jeg lige i logfilerne for min blog og undersøger, hvor tit Googlebot kommer forbi, eller den bare kigger forbi lige efter, jeg har oprettet en blogpost.

Inside AdWords – Danmark, den officielle danske AdWords blog
http://adwords-da.blogspot.com/

Og dertil finder du så den danske Google kanal på YouTube, som giver informationer lidt mere spiseligt og pædagogisk.
http://www.youtube.com/user/GoogleDenmark

QuickPoll: