Kennis en ervaring Datamigratie

In mijn CV staat slechts één zin over datamigratie:

“Uitvoeren van een haalbaarheidsonderzoek voor het uitfaseren van de UWV1-complex van Heerlen en het in kaart brengen van de consequenties als dit complex wordt overgenomen door de bestaande complexen in Amsterdam.”

Het betreft een datamigratietraject van 250.000 cliënten met één of meerdere uitkeringen. In dit project was ik (samen met een collega) aanspreekpunt voor het project voor alle vragen met betrekking tot de bron data. Bij het project heb ik een adviserende rol gehad over de aanpak en de wijze waarop het resultaat getest zou moeten worden. Tevens had ik een belangrijke rol in het deelproject Schonen & Verrijken. Alle item m.b.t. onvolkomenheden in het bronsysteem moesten door mij geanalyseerd worden en er moesten oplossingsrichtingen gedefinieerd worden. Vervolgens werden er opdrachten uitgezet richting gebruikersorganisatie om fouten op te lossen of werden er wijzigingsopdrachten gemaakt om de problemen langs geautomatiseerde weg op te lossen.  

Ik heb echter veel meer gedaan aan datamigratie dan in mijn CV is terug te vinden. Veelal was datamigratie onderdeel van de projecten/werkopdrachten die ik heb uitgevoerd:

Uitfaseren Invaliditeitspensioen (IP) en HPT
De uitkeringsgegevens moeten gemigreerd worden van UWV naar APG. Gekozen is om de gegevens ‘plat’ aan te leveren. De verantwoordelijkheid van het inlezen lag bij de ontvangende partij. De definities van aangeleverde gegevens moesten goed gedocumenteerd worden. Omdat de hoogte van IP en HPT afhankelijk zijn van de WAO-uitkering moest er tevens een interface gerealiseerd worden om wijzigingen door te geven aan het APG.

Migreren Elektronisch Dossier
Als functioneel beheerder van het Elektronisch Dossier EDS ben ik nauw betrokken geweest bij de conversie van EDS naar het nieuwe Elektronisch Dossier. Hierbij speelde dataconversie in mindere mate, maar lag de nadruk op de aanpak en het testen van de conversie. Deze conversie had een doorlooptijd van 2 weken en herstartbaarheid was van groot belang.

Conversie van Regres
De regresgegevens waren opgeslagen in het uitkerings- en logistieke systeem. Na 5 jaar is er voor regres een eigen systeem gebouwd en moesten de gegevens naar de nieuwe applicatie gemigreerd worden. Ik heb de analyse gedaan en het functioneel ontwerp gemaakt om de gegevens uit de bronsystemen halen.

Tips voor een succesvolle datamigratie

Er zijn een aantal tips om de datamigratie tot een succes te maken:
•    Zorg voor een projectmatige aanpak
•    Bepaal vooraf de scope (welke gegevens uit welke systemen, wel of geen historie) en de aanpak
•    Besteed voldoende aandacht aan opschonen & verrijken
•    Zorg dat het datamigratieteam flexibel op veranderingen kan inspelen
•    Zorg voor een adequate datamigratietestomgeving, met stabiele kopieën van bron- en doelsysteem.
•    Voer een definitieve proefconversie uit die exact gelijk is qua uitvoering en omvang aan de ‘echte’ conversie
•    Zorg dat de volledigheid van de datamigratie gecontroleerd kan worden.

Aandachtspunten bij dataconversies

1.    Inventarisatie projectorganisatie

a.    Welke scenario wordt gekozen:

•    Big-bang (alles in één keer) of gefaseerd?
•    Welke fasering: 

-    Project of implementatie gefaseerd?
-    Faseren op deelpopulaties of deelsystemen of functionaliteit

b.    Welke projectmanagementmethode: Prince2 of scrum?

2.    Inventarisatie IT-beheer omgeving

a.    Inrichten conversie omgeving (Ontwikkel-, Test- en Acceptatie-omgeving)

•    Testomgeving met volledige functionaliteit

 •    Testomgeving via ETL

 b.    Afspraken over wijzigingen in bron- en doel-systemen (incl. gegevensmodel).

3.    Inventarisatie systemen en samenhang data

a.    De structuur en samenhang van de bron- en doelsystemen moeten helder zijn.

Bij een 1:1-conversie is dit helder maar de conversie kan ook 1:n, n:1 of n:m zijn.

b.    De gegevensstructuur van de bron- en doelsystemen moet helder zijn.

Probleem bij grote conversies is dat binnen de conversiegroep zowel kennis moet zijn van de bron- en doelsystemen.

c.    Bestaande fouten in het bronsysteem moeten bekend zijn.

4.    Voorbereiding

a.    Compleet maken datamodel van de bron- en doelsystemen
b.    Beschrijven mapping
c.    Analyse van data bronsysteem

•    Inzicht krijgen in de kwantiteit en kwaliteit van de data

d.    Scope conversie

•    Wel of geen historie?
•    Moeten gegevens bronsysteem raadpleegbeer blijven na conversie (hoe lang)?

5.    Opschonen en Verrijken

a.    Opschonen en verrijken is een apart deelproject.
b.    Onvolkomenheden uit het bronsysteem, die essentieel zijn voor het doelsysteem moeten worden opgelost.

Bijvoorbeeld:
•    relaties die in het bronsysteem optioneel zijn, maar in het doelsysteem verplicht;
•    gegevens die in het bron systeem bij bepaalde voorkomens ontbreken;
•    Formaat doelsysteem is kleiner dan bronsysteem;
•    etc.

c.    Het doelsysteem heeft gegevens nodig die niet in het bronsysteem worden bijgehouden.
d.    Schonen en verrijken kan op verschillende manieren gerealiseerd worden:

•    in het bronsysteem;
•    in het doelsysteem;
•    in excel-bestanden, die tijdens de conversie worden ‘bijgeladen’.

e.    Uit acceptatietesten komen vaak onvolkomenheden, die moeten worden opgelost door schonen & verrijken.

6.    Conversie

a.    Bouwen conversie
b.    Testen conversie

•    Uit de testen komen items voor schonen en verrijken;
•    Regressietest doelsysteem

Behalve het testen van de conversie moet ook een volledige regressietest van het doelsysteem worden uitgevoerd. Door een grote hoeveelheid data in het doelsysteem te laden, komen zwakheden sneller naar boven.

•    Uiteindelijk moet er een definitieve proefconversie worden uitgevoerd.

-    A.d.h.v. deze conversie vindt een go-nogo-beslising plaats.

c.    Uitvoeren conversie

•    Uit de conversie dienen controleaantallen te komen;
•    Op de uitvallijsten mogen geen vreemde / onverwachte zaken voorkomen;
•    Er zal een terugvalscenario moeten zijn voor het geval dat de conversie niet gelukt is.

7.    Nazorg

a.    Compleet maten dataconversie

•    Verrijken data
•    Oplossen uitvallijsten (eventueel handmatig opvoeren)

b.    Archiveren bronsysteem, conversie-programmatuur, etc.