Når man tæller det sammen lyder projektet på

• etablering af en 500Mbit dedikeret linje til hostingcenteret
• migrering af 40 servere, isoleret set for Co3 og mit ansvar 14 servere kørende på Windows 2000, 2003, 2003 R2 med 4 IIS 6 servere og 2 SQL 2000 samt 1 SQL 2005 servere med over 10 gamle løsninger kørende med ASP, .NET 1.1, .NET 2.0, 3.5 og 4.0.
• ny platform baseret på Windows 2008 R2 64 bit servere
• vmware virtualisering oven på IBM Blades

Det hele skulle migreres over på en ny virtualiseret platform med Windows server 2008 R2 64 bit og selvfølge med mindst muligt nedetid for vores kunder.

Forud for migreringen lå at vi afventede etableringen af den dedikeret net-linje til hosting centeret, men eftersom Blade-server og infrastruktur blev klar i hostingcenteret, fik vi dog en VPN tunnel derud, så vi kunne starte på simpel server opsætning og konfiguration.

Mit projekt

• Migrere 4  IIS webserveres websites sammen på én ny IIS 7.5 ( 260 websites)
• Migrere 2 DNS maskiner fra Win 2003 over på Win 2008
• Kopiere data og efterfølgende ændringer hver anden dag ind til driftsstart
• Kopiere data fra filservere til én server
• Flytte 3 SQL servere (2000,2005) sammen på én 2008 server
• Omkodning af websites med hardcodede IP’er (da det nye hosting center ikke kunne fortsætte med vores IP range)
• Omkonfigurering af integrationsløsninger: drev-bogstaver, SMTP og SQL henvisninger m.m.

Min plan

1. Ændre alle database forbindelser til at køre på DNS navn på alle 260 websites
2. Ændre alle smtp forbindelser til at køre på DNS navn på alle 260 websites
3. Flytte databaserne en nat og ændre DNS navn til at pege på den nye server
1. Så kunne løsningerne køre med databaser hen over vores VPN tunnel ind til dedikeret linje kom op.
4. Få automatiseret kopieringen af IIS opsætninger fra 4 IIS servere til én
5. Få automatiseret data kopieringen fra 4 webservere til én med mulighed for at overføre ændringer hver anden dag ind til driftstart
6. Få koordineret router ændringen til vores IP adresser
7. Få kopieret vores filservere henover den dedikerede linje på én nat, så der kan køres drift fra næste morgen.

Konklusion

Planen lykkedes med samlet set 1 times nedetid for vores kunder en sen aften.

Vores rack er slukket

Og er nu erstattet af 5 RDP forbindelser

Tidsforbrug ca. 150 timer inkl. research på best practices samt mine automatiseringsprocesser.

Tips & tools

Til automatiseret kopiering af IIS opsætninger brugte jeg Microsoft Deployment værktøj “msdeploy” – det mest geniale værktøj til min ogave.

msdeploy -verb:sync -replace:objectname=metaproperty,scopeAttributeName=name,scopeAttributeValue=Path,targetAttributename=value,match=D:\\inetpub,replace=E:\inetpub -source:metakey=lm/w3svc/1 -disableLink:contentExtension -dest:metakey=lm/w3svc/1001,computername=co3prod01.co3dmz.lan

Min udfordring med msdeploy var at den nye servers data drev var bogstav E og de gamle lå på D – men med Google fandt jeg nogle stumper, så jeg fik strikket ovenstående kommando sammen, og så ville jeg ikke have at den skulle tage data med så derfor -disableLink:contentExtension, det ville jeg gerne håndtere med xcopy så jeg fik rettigheder på filer med over.

Til automatiseret kopieringen af data med ændringer de efterfølgende dage brugte jeg xcopy

xcopy /K /E /Y /D <source> <destination>

Adskellige kilder peger på robocopy og det er på mange måder et stærkere tool, men jeg fandt ikke pendanten til xcopys /D parameter.

Skal du ud i et lignende projekt, så håber jeg, at du har fået lidt med fra denne blogpost og har du spørgsmål så fyr løs.

Hvis der i et Windows miljø er sat ekstra sikkerhedsindstillinger på web indhold, så vil billeder som ikke ligger på en https adresse slet ikke bliver vist, og i ældre browseren (IE6 etc) får brugeren en teknisk advarsel.

Indstillingen som giver problemerne i Internet Explorer er under “Internet Indstillinger”->”Sikkerhed”->”Brugerdefineret niveau”->”Diverse”->”Vis blandet indhold”. Hvis denne indstilling er sat til “Deaktivér”, så vises billederne slet ikke, standard står den på “Spørg”, og brugeren vil blive spurgt om indholdet fra den ikke sikre forbindelse skal vises.

Gmail kan give problemer. Med en standard dansk Gmail konto logger den ind på https://mail.google.com, men det er muligt, at tilgå den via http://mail.google.com, men det gør hr. og fru. DK sikkert ikke

Den billige løsning på problemet er, at få billeder hosted i et CDN som understøttet https fx Amazon S3, der kan man lave mapper til billederne og så er de tilgængelige både via http og https.

Den gode løsning er selvfølgelig, at du laver et dedikeret https website til at hoste alle dine billeder til dine nyhedsmails, så er det bare en FTP adgang og så er du kørende, men det koster naturligvis et SSL certifikat plus vedligeholdelsen af det.

Jeg håber på, at du kan få forbedret dine nyhedsmails med denne viden – var det noget du ville bruge?

UPDATE 4. maj 2011 på baggrund af Sørens kommentar:

Internet Explorer 6 og 7 viser flg. besked ved blandet indhold:

Internet Explorer 8 viser flg. besked ved blandet indhold:

Åbenbart ikke alle, og jeg kan sagtens se fordelene med AppPoolIdentity kontoen. Lad os se om jeg kan overbevise dig om, at det en ret god idé.

Lidt om sikkerhed i IIS

Når jeg i IIS 5 og 6 skulle styre eksekveringen af server-side kode med .NET, brugte jeg altid den system konto som hedder “Network Service” eller “Netværkstjeneste”. Udfordringen er at i hostingsystemer er det så den samme bruger (samme sikkerhed) som alle webløsninger i hosting centeret kører som. IKKE SÆRLIG SMART! Med mindre at hosting systemer lavede en bruger-konto pr. website så ville du faktisk have mulighed for at arbejde på et website på samme server, hvis du ville kunne finde ud af hvad de lokale mapper og filer hedder på serveren.

Forbedringerne med AppPoolIdentity

Hvis vi istedet lader vores Application Pool køre som AppPoolIdentity istedet for NetworkService kontoen, så giver det nu mulighed for at vi med navnet på Application Pool’en kan give den nogle rettigheder, som om det var en almindelig brugerkonto. Det sparer os jo for en masse bruger-konti, nu skal der så bare oprettes Application Pools, når der skal system isoleres – DET ER SMART!

Her vælges AppPoolIdentity som konto for din Application Pool:

Her kan du se, hvordan du får sat rettigheder op på din Application Pool:

Hvis du ikke kan få den til at tilføje din ApplicationPool til din mappe eller fil så brug kommandoen:

ICACLS test.txt /grant “IIS AppPool\DefaultAppPool”:F

Links

http://learn.iis.net/page.aspx/624/application-pool-identities/
http://learn.iis.net/page.aspx/764/ensure-security-isolation-for-web-sites/

Den have nulstillet listen over ip-adresser i “Relay Restrictions”

Den havde også nulstillet “Fully-qualified domain name” ind i “Advanced Delivery” til maskinens eget netværksnavn

Efter jeg fik konfigureret disse indstillinger igen, så var vi igen kørende.

Jeg har ikke set problemet på Windows Server 2003 kun på Windows Server 2008.

Du får domænet peget over på dit nye site i god tid, som nu står med en midlertidig side og blinker med “velkommen, vores site åbner onsdag kl. 12:00″. Og dine trofaste besøgende må gå forgæves!

Det kan gøres bedre!

Løsning

Man kan godt indstille et domæne navn til at kunne ændre sig på sekundet! Det er rent beslastningsmæssigt ikke ønskværdigt at gøre muligt så det ændres fra sekund til sekund, men i en kortere periode lige op til en lancering, er det oftest intet problem.

24 timers undskyldningen skal aflives

Hvis din tekniske domæneadministrator svarer flg. på dit ønske om at kunne ændre www.ditdomaene.dk til at pege på dit nye site, så det slår igennem på hele internettet onsdag kl. 12:00: Det kan man ikke, fordi der går 24 timer inden det er opdateret på hele internettet. Så er det mod bedre viden eller du har en dårlig DNS service. Fx hos www.gratisdns.dk kan det ikke lade sig gøre – men OK det er gratis. Alt der kræves er, at der kan ændres på TTL-værdien (Time To Live) på dine DNS records.

Forklaring

Debat på Facebook: Du kan også diskutere dette emne på Facebook

Min anbefaling har til dato været, at de må sætte sig ind i de forskellige services som hosting firmaer tilbyder, men det kunne jeg ikke blive ved med, så jeg gik i krig med at se på hvordan markedet blandt hosting produkter som markedsfører sig med at være billige så ud.

Resultat: Billigt webhotel = ingen backup

Ja, det lyder lidt vildt, men når alt kommer til alt, så markedsfører de sig godt nok med daglig backup osv. Men fakta er, at de ikke kan genskabe dine data, hvis du ved et uheld sletter en fil.

Hvad er det så lige der gemmer sig bag hosting firmaers markedsføring om daglig backup?

Backup hos de billige

For at kunne drifte 10, 20 eller 30GB data på den billigste måde, så laves der central backup af hele servere uden nogen former for identificering af, hvilke data der tilhører hvilke kunder. Hvis en server brænder sammen, så lav en ny nøjagtig magen til og restore fra seneste backup af den server, og alle sites er kørende med én-dag-gammel data.

Hvis du sletter en fil og du kontakter supporten, så aner er det forholdsvist dyrt rent tidsmæssigt at genskabe data, sikkert fordi data ikke er struktureret for hver kundeløsning, men bare pr. server, så genskabelse af data vil være en manuel process. Derfor tilbydes der i mange tilfælde slet ikke sådan en løsning – fordi hvem skal betale?

Tid til at hænge virksomhederne ud

One og clichehosting siger direkte fra.

Jeg har snakket med One.com’s live-chat og de siger at man selv står for backup af sit websites data – de kan kun genskabe data, hvis deres egne systemer fejler.

Clichehosting er en partner jeg aldrig glemmer. De fik mig i den grad til at føle mig som en total webamatør. Under JP-krisen (behøver ikke nævne hvilke tegninger) blev et website hacket via forum softwaren phpBB og de havde slettet alle filerne på websitet (heldigvis ikke databasen), så jeg kontakter support og får at vide at de ikke kan hjælpe mig og henviser mig blot til deres forretningsbetingelser – og der står noget i stil med at vi tager daglig systembackup, men at man selv skal tage backup af sine data. Clichehosting var ikke billige dengang – vi gav 149,-/md for det webhotel, fordi vi skulle bruge noget seriøst! BAHH!

Surftown kan heller ikke rigtig kæmpe med. Sidst jeg undersøgte det, skulle jeg have et webhotel (erhverv) til 129,-/md for at få VIP support, som giver mulighed for: “…og skulle du komme til at slette dine data, så hjælper vi også gerne med det”.

Unoeuro.com skriver via en support ticket at det koster 25€, hvis du selv er skyld i data tab.

Måske sidder du og tænker på DanDomain og Scannet – men de er altså ikke så billige

Fælles for dem alle er, at de ikke skriver noget brugbart om deres backup-service:

1. Hvordan kan data genskabes
2. Hvad koster det i særtilfælde/uheld
3. Hvornår og hvor hurtigt kan genskabelsen finde sted

Opfordring til bedre data sikkerhed

Nu læser jeg så her i dag på Computerworld.dk at der bør laves noget lovgivning om de services et hosting-firma tilbyder og evt. mærknings-ordning som kun kan opnåes med en minimums egenkapital. Konklusion: små hosting-firmaer = useriøst foretagen.

Jeg synes måske tværtimod at de store har deres udfordringer. De har så store komplekse systemer at deres backup/restore muligheder bliver så komplekse, at det bliver uhyggelig dyrt, at få genskabt data fordi det skal gøres manuelt. Et lille IT-firma, men den remote backup løsning, som typisk tager backup af data for hver enkelt kunde, det kan restores i løbet af timer!

Konklusion

Jeg aner ikke, hvem jeg skal anbefale – måske din lokale IT-leverandør, måske du kan hjælpe mig?

Sindsygt at tænke på forskellen på, hvordan det været at dimensionere den første server mod den måde, der bliver dimensioneret på i dag: “Hvordan håndtere vi de næste 300 millioner brugere?”.

Jeg synes også det er virkelig fedt at høre om. IBM, Microsoft, Google og TDC m.fl. fortæller langt mindre om deres driftsmiljø, men kunne sikkert få fin mediedækning på at komme ud af busken. Facebook har endda selv udviklet dele af infrastrukturen som de har udgivet som open source!

Læs mere på ComOn Sådan klarer Facebook 300 millioner brugere – ComON

Eller se Facebooks Vice President of Technology, Jeff Rothschild

http://cns.ucsd.edu/lecturearchive09.shtml#Roth

Det åbner op for de lidt udfordrende ting som at binde servere sammen med fx et eksisterende Active Directory i virksomheden. Hvis vi kan få maskinerne ind på LAN siden kan de også sikres med de interne sikkerhedssystemer og “policies”. Og ikke mindst pga. Active Directory integrationen kan de nu meget nemmere indgå i Single Sign-On systemer.

Jeg har i dag forespurgt på at få adgang til det i den begrænsede beta udgave, så jeg er meget spændt på om jeg får en adgang til at eksperimentere med.

Skynd dig og lav en forespørgsel på Virtual Private Cloud

Der gemmer sig desværre et lille problem som godt kan blive vanskeligt at vedligeholde. Og det er valget af "Active Directory"-domæne. Mange vælger et rigtig internet domæne fx co3.dk og det kan give lidt problemer når en "Active Directory" installation ikke er sat til at styre domænet rent DNS-mæssigt på internettet. Det kan ikke undgås at bruge et domæne, men jeg vil anbefale at man måske bruger endelserne .local, .loc eller .lan.
Det er ikke særlig brugervenligt overfor de medarbejder som skal til at anvende de nye "Active Directory" resourcer når de skal huske på at de ender på .local, .loc eller .lan fx webmail.co3.local – det ser lidt mærkeligt ud og kræver lidt tilvending.

Hvorfor giver det problemer at bruge et rigtigt domæne som fx co3.dk?
Teknikken bag problemet er DNS. Internettet er blev gjort brugervenligt med DNS. DNS oversætter navne til IP-adresser og er hierakisk opbygget i en træ-struktur. P.t. har vi i danmark DK-Hostmaster som styrer vores .dk domæne. Køber du et domæne igennem en af de DK-registrars (bl.a. Co3) så bliver domænet kontrolleret af den DK-registrars navneservere (DNS Servere) som du har købt det hos. Disse to navneservere er nu styrende for dit domæne fx co3.dk er styret af ns.ikastnet.dk og ns.co3.dk.
Problematikken starter nu hvis vi hos Co3 implementerede et "Active Directory" med co3.dk som domæne. Så ville jeg manuelt skulle vedligeholde alle de indstillinger/ændringer jeg foretager på ns.ikastnet.dk og ns.co3.dk maskinerne (altså på internettet). Det er ikke så slemt for os hvor vi har alle servere stående og selv kan foretage alle ændringer, men har du nu købt et domæne hos TDC Hosting fx mitdomaene.dk og du så også implementere "Active Directory" med mitdomaene.dk se når så TDC Hosting foretager ændringer på opfordring af din webmaster så skal man lige huske også at få rette domænet til i sit "Active Directory"s DNS server. Og det er ikke lige noget alle husker at få gjort.

Hvis du står i den situation at du har et "Active Directory" kørende på et internet domæne. Så jeg vil helt klart anbefale dig at få kørt et rutine check ind som engang imellem kontrollere om der er overenstemmelse mellem de helt centrale DNS navne som fx www, mail, ftp, webmail osv. mellem dit "Active Directory"s DNS Server og den DNS server som styrer dit domæne på internettet. Hvis de pludselig ikke stemmer overens så lad overvågningen sende dig en mail på uoverenstemmelsen.