ETL & Datamanagement

Transformatie en beheer van data

Gegevensbeheer dus. ETL tooling en datamanagement kunnen we niet los zien van de connectie met open en closed source data. Echter, wat doe je vervolgens met de data? Datamanagement is een breed begrip en omvat woorden als data governance, gegevensarchitectuur, gegevensmodellering, database- en opslagbeheer, dataveiligheid, gegevensintegratie, documentbeheersysteem, datawarehousing en BI, metadata en data kwaliteit. Met andere woorden: we kunnen veel met data en dat kan en moet gemanaged worden.

ETL staat voor Extraction, Transformation and Load. Het benoemt de processen die gebruikt worden om gegevens uit verschillende gestructureerde databases te verenigen in een andere database, veelal een datawarehouse. Data wordt uit een bron opgehaald, omgezet volgens opgestelde regels en opzoektabellen en vervolgens weggeschreven op een andere plaats. Hieronder lichten we enkele begrippen uit.

Data governance

Data governance-initiatieven verbeteren de kwaliteit van gegevens door een team toe te wijzen dat verantwoordelijk is voor de nauwkeurigheid, volledigheid, consistentie, tijdigheid, validiteit en uniciteit van gegevens. Doordat dit veel componenten bevat van beleid en implementatie wordt vaak een projectmanager of een ander uitvoerend leiderschapstype verantwoordelijk gemaakt voor het goed neerzetten daarvan. Het beleid over het opslaan, nauwkeurigheid en uitwisseling van data wordt sterk beïnvloed door bijvoorbeeld de ethiek rondom dataveiligheid.

Gegevensarchitectuur

Het plaatje van modellen, beleid, regels of normen die bepalen welke gegevens worden verzameld en hoe deze worden opgeslagen, geordend, geïntegreerd en gebruikt in gegevenssystemen en in organisaties. Een efficiënte architectuur is voelbaar op de werkvloer.

Database- en opslagbeheer

Een database is een georganiseerde verzameling van gegevens, doorgaans opgeslagen en elektronisch benaderd vanuit een computersysteem. Waar de gegevens worden opgeslagen is een onderdeel van de gegevensarchitectuur. Voor het overzetten van gegevens kan FME gebruikt worden. MySQL wordt veel gebruikt als databasemanagementsysteem. Andere voorbeelden van databases die binnen GIS veel gebruikt worden zijn PostgreSQL, MSSQL, Oracle Database, Geoserver, Mapserver en Microsoft Access.

Dataveiligheid

Gegevensbeveiliging betekent het beschermen van digitale gegevens, zoals die in een database, tegen de ongewenste acties van onbevoegde gebruikers, zoals een cyberaanval of een datalek.

Datawarehousing

Het huishouden van de data is een systeem dat wordt gebruikt voor rapportage en data-analyse. Een dergelijk systeem bevat bijvoorbeeld metadata (data die informatie geeft over andere data) en ruwe data. Met andere woorden: data wordt uit een bron gehaald (operationele systemen, documentomgevingen e.d.) en opgeslagen in een magazijn (warehouse) en vervolgens omgezet voor verschillende doeleinden zoals rapportages en analyses. Dit proces leent zich uitstekend voor het gebruik van de ETL-tool FME.

Datakwaliteit

De staat van kwalitatieve en kwantitatieve data is erg belangrijk. Alles binnen datawarehousing draait om data die zo juist mogelijk is. Initiatieven voor data governance, veiligheid en warehousing gaat vrijwel altijd gepaard met het opschonen en integreren van data als ook de kwaliteitsborging daarvan. Een veelgebruikte term voor dit soort initiatieven is ‘data-to-go’.

 

Kennismaken?

Hans Jonkman
Sales Manager

E hans.jonkman@geoexperts.nl
T 088 643 8900


Technologieën GeoExperts

Logosopensources
Open source GIS

De afgelopen 20 jaar heeft de open source software een enorme ontwikkeling doorgemaakt van ‘tegendraads en controversieel’ naar nu veelal geliefd en zelfs in primaire processen toegepast. Zo ook in GIS en aanliggende technologieën.

Logosclosedsources
Closed source GIS

Veruit de meeste business processen worden met zogenaamde closed source applicaties en systemen ondersteund. De software is commercieel beschikbaar en de maker heeft een levensbelang bij het realiseren van de juiste werking ervan.

Datamanagement
Datamanagement

Gegevensuitwisseling, verwerking en beheer. Data is waar het in uitvoering om gaat. Formaten, standaarden, modellen, koppelvlakken en services. Extract, Translation & Load processen zijn niet meer weg te denken. We gebruiken hiervoor vaak FME.

Databases
Databases

Er bestaan vele soorten databases, van de no-sequal tot de spatial-database varianten. De laatste categorie is voor het effectief werken met ruimtelijke data onontbeerlijk. Het vraagt echter ook specifieke kennis van opbouw, inrichting en beheer. En Geo.       

Data Sciene
Data Science

Gestructureerde en ongestructureerde data transformeren tot bruikbare inzichten en informatie. Zo brengt ongestructureerde ruimtelijke data als point clouds satellietbeelden en luchtfoto’s, in relatie tot gestructureerde data, een schat aan kansen.

Softwareontwikkeling
Software ontwikkeling

GIS software pakketten zijn veelal een soort halfproducten. Je kan er wel wat mee maar wil je het goed laten aansluiten op je processen, dan moet je er een eindgebruiker applicatie voor bouwen. Dat vraag kennis van IcT maar ook van Geo en GIS platformen.