Gegevensbeheer dus. ETL tooling en datamanagement kunnen we niet los zien van de connectie met open en closed source data. Echter, wat doe je vervolgens met de data? Datamanagement is een breed begrip en omvat woorden als data governance, gegevensarchitectuur, gegevensmodellering, database- en opslagbeheer, dataveiligheid, gegevensintegratie, documentbeheersysteem, datawarehousing en BI, metadata en data kwaliteit. Met andere woorden: we kunnen veel met data en dat kan en moet gemanaged worden.
ETL staat voor Extraction, Transformation and Load. Het benoemt de processen die gebruikt worden om gegevens uit verschillende gestructureerde databases te verenigen in een andere database, veelal een datawarehouse. Data wordt uit een bron opgehaald, omgezet volgens opgestelde regels en opzoektabellen en vervolgens weggeschreven op een andere plaats. Hieronder lichten we enkele begrippen uit.
Data governance
Data governance-initiatieven verbeteren de kwaliteit van gegevens door een team toe te wijzen dat verantwoordelijk is voor de nauwkeurigheid, volledigheid, consistentie, tijdigheid, validiteit en uniciteit van gegevens. Doordat dit veel componenten bevat van beleid en implementatie wordt vaak een projectmanager of een ander uitvoerend leiderschapstype verantwoordelijk gemaakt voor het goed neerzetten daarvan. Het beleid over het opslaan, nauwkeurigheid en uitwisseling van data wordt sterk beïnvloed door bijvoorbeeld de ethiek rondom dataveiligheid.
Gegevensarchitectuur
Het plaatje van modellen, beleid, regels of normen die bepalen welke gegevens worden verzameld en hoe deze worden opgeslagen, geordend, geïntegreerd en gebruikt in gegevenssystemen en in organisaties. Een efficiënte architectuur is voelbaar op de werkvloer.
Database- en opslagbeheer
Een database is een georganiseerde verzameling van gegevens, doorgaans opgeslagen en elektronisch benaderd vanuit een computersysteem. Waar de gegevens worden opgeslagen is een onderdeel van de gegevensarchitectuur. Voor het overzetten van gegevens kan FME gebruikt worden. MySQL wordt veel gebruikt als databasemanagementsysteem. Andere voorbeelden van databases die binnen GIS veel gebruikt worden zijn PostgreSQL, MSSQL, Oracle Database, Geoserver, Mapserver en Microsoft Access.
Dataveiligheid
Gegevensbeveiliging betekent het beschermen van digitale gegevens, zoals die in een database, tegen de ongewenste acties van onbevoegde gebruikers, zoals een cyberaanval of een datalek.
Datawarehousing
Het huishouden van de data is een systeem dat wordt gebruikt voor rapportage en data-analyse. Een dergelijk systeem bevat bijvoorbeeld metadata (data die informatie geeft over andere data) en ruwe data. Met andere woorden: data wordt uit een bron gehaald (operationele systemen, documentomgevingen e.d.) en opgeslagen in een magazijn (warehouse) en vervolgens omgezet voor verschillende doeleinden zoals rapportages en analyses. Dit proces leent zich uitstekend voor het gebruik van de ETL-tool FME.
Datakwaliteit
De staat van kwalitatieve en kwantitatieve data is erg belangrijk. Alles binnen datawarehousing draait om data die zo juist mogelijk is. Initiatieven voor data governance, veiligheid en warehousing gaat vrijwel altijd gepaard met het opschonen en integreren van data als ook de kwaliteitsborging daarvan. Een veelgebruikte term voor dit soort initiatieven is ‘data-to-go’.
