Menu Sluit menu

Datakwaliteit

Datakwaliteit

Strikt genomen slaat ‘kwaliteit’ op de juistheid, nauwkeurigheid en volledigheid van data. Hierop wordt ingegaan in het principe 15 van het datacharter voor citizen science. In ruimere zin horen onder de term ‘kwaliteit’ ook zaken als het correct ordenen, opslaan, en vrijgeven van je data, zowel technisch als ethisch-juridisch. Deze aspecten komen ook aan bod in het charter, en worden hieronder kort toegelicht, omdat ze van groot belang zijn bij citizen science. 

Kind bestudeert insecten in een bokaal

Foto: An Van Gijsegem

Vereisten

Algemeen stelt men dat de kwaliteit van je data minstens moet voldoen om op een statistisch significante manier het antwoord te kunnen geven op de onderzoeksvraag van je project. Als je data dan ook goed gedocumenteerd zijn en technisch zo opgesteld zijn dat men ze kan koppelen aan andere projectgegevens (zie paragraaf ‘Vindbaar en combineerbaar’), dan is dat ideaal.

Hoe?

De betrouwbaarheid van informatie en data is cruciaal in de geloofwaardigheid van citizen science. Er zijn verschillende manieren om daaraan te werken, maar je zal altijd een bewuste afweging moeten maken tussen de verschillende methoden: zet je in op een groot aantal deelnemers of eerder op een klein aantal zeer gespecialiseerde deelnemers? Investeer je extra tijd om hen beter op te leiden of zorg je voor vereenvoudigde meetmethoden (‘protocollen’) die je breder kan verspreiden?


Om die keuze te maken houd je best rekening met de context en de overkoepelende doelstellingen van je project: hoe belangrijk is datakwaliteit voor jou in vergelijking met bijvoorbeeld het educatief gehalte van je project? Sowieso  zal je altijd een middenweg moeten zoeken tussen individuele datakwaliteit enerzijds, en het opschalen naar grotere hoeveelheden observaties/metingen anderzijds.


Zorg hoe dan ook voor goed afgestemde methoden of protocollen: probeer vooraf via een kleine pilootstudie in te schatten wat de mogelijke fouten kunnen zijn, zodat je die kan voorkomen door je protocol aan te passen. Hiervoor hou je best rekening met de achtergrond van je (beoogde) deelnemers en hun kennis over het onderwerp. De data moeten interessant zijn, maar de meet- of staalnamemethoden moeten ook uitvoerbaar zijn door de deelnemers.
 

In grote lijnen kan je inzetten op volgende aspecten:

Opleiding

Je besteedt extra aandacht aan opleiding van de burgerwetenschappers, zodat ze meer nauwkeurige waarnemingen kunnen uitvoeren of op een meer zelfstandige manier te werk kunnen gaan. Zo kan je voorzien in extra gidsen, een uitgebreide website of een lespakket, meerdere contactmomenten of extra begeleiding door ‘ambassadeurs’ uit jouw vakgebied (zie hoofdstuk 4). Zo zette men bij het project MamaMito, waarin deelnemers een stamboom langs moeders lijn reconstrueerden, sterk in op begeleiding van de burgerwetenschappers via workshops en een online gids. Hiervoor werd samengewerkt met Familiekunde Vlaanderen, het Davidsfonds, en enkele heemkundige kringen.

Inzetten op 'revisie'

Je zet in op ‘revisie’: je werkt samen met wetenschappers of met de voornoemde ‘ambassadeurs’, zodat zij het werk van de burgerwetenschappers kunnen nakijken en valideren. Op het platform DoeDat van de Plantentuin Meise valideren de wetenschappers zelf de data die er worden ingegeven. Zij ervaren deze manier van werken nog steeds als efficiënter dan wanneer zij zonder de hulp van burgers hun waarnemingen doen.

Groot aantal

Je zorgt voor een zeer groot aantal stalen, metingen of waarnemingen door een groot aantal deelnemers bij je project te betrekken. Hierbij kan je ofwel inzetten op een maximaal aantal deelnemers, ofwel op een kleinere groep die meerdere observaties of metingen doet. Het voordeel van een groot aantal deelnemers is dat je een grote hoeveelheid data verzamelt waar je achteraf statistische correcties op kan uitvoeren.

Een ander voordeel van ‘grote aantallen’ is dat verschillende deelnemers bepaalde waarnemingen, metingen of analyses kunnen dubbelen (dupliceren), en je op die manier de nauwkeurigheid van hun resultaten kan nagaan.

Bij een project als CurieuzeNeuzen, waarbij het NOx-gehalte  in Vlaanderen in kaart gebracht werd voor de maand mei 2019, mikte men op de kracht van de aantallen: 20.000 deelnemers zorgden voor een bijzonder groot aantal meetpunten. Daartegenover stond dan wel dat er geen gedetailleerde metingen met sensoren mogelijk waren bij al die deelnemers, omwille van de haalbaarheid. Wel werd de NOx bij elke deelnemer dubbel gemeten, via twee meetbuisjes die tegelijk werden opgehangen. Kwamen die metingen niet met elkaar overeen? Dan was er zeker eentje van de twee foutief, en werd het hele staal (dus de twee waarden) uit de uiteindelijke dataset geweerd wegens ‘niet afdoende betrouwbaar’.

Op een gelijkaardige manier worden bij vele projecten op het citizen-scienceplatform Zooniverse.org dubbels gemaakt van waarnemingen. Een voorbeeld is het project Radio Meteor Zoo van het Belgisch Instituut voor Ruimte Aeronomie (BIRA). In dit project wordt aan deelnemers gevraagd om zo klein mogelijke rechthoeken te tekenen rond signalen die duiden op de aanwezigheid van meteoren (meestal zichtbaar als een verticale lijn) op een spectrogram. In een voorstudie werd aan 35 mensen gevraagd om rechthoeken te tekenen op minstens 12 verschillende spectrogrammen. Zij kregen de toestemming om opzettelijk foutieve rechthoeken te trekken. Er werd nagegaan hoeveel de rechthoeken van de verschillende deelnemers met elkaar verschilden qua grootte en positie. Zo kwam men tot het besluit dat men elk spectrogram door tien verschillende personen zou laten analyseren, en dat alle ‘ruimte’ die door minimaal vier deelnemers aangeduid stond, zou worden gebruikt als ‘kleinste omkadering’ van een meteoorsignaal.

Systematiek

Los van bovenstaande methoden spring je best ook zorgvuldig om met de selectie van burgers die aan je project zullen deelnemen en/of de gebieden of tijdspannes waar ze waarnemingen zullen doen. Vaak is het nodig om een gebied systematisch in te delen in segmenten zodat uitspraken over het geheel kunnen worden gedaan. Evenzeer moet je bewust kiezen of je je waarnemingen beperkt tot bijvoorbeeld een seizoen, of het hele jaar.

Spinicornis, de Belgische werkgroep voor landpissebedden, wou de verspreiding van pissebedden in België in kaart brengen. Hiervoor deelde ze het grondgebied van België op in segmenten van 10x10 kilometer, waar ze gedurende meer dan een jaar excursies organiseerde naar elk van die segmenten. De vrijwilligers van Spinicornis  deden observaties in verschillende habitats (bijvoorbeeld in een bos, in een bebouwde zone, in de buurt van een stroom) en over de duur van een heel jaar, om systematisch ook alle seizoenen te dekken.

Wie is verantwoordelijk?

Als lokaal bestuur heb je niet altijd experten in huis om bij alle citizen-scienceprojecten waar je aan meewerkt een betrouwbare datakwaliteit te garanderen en om de technische vereisten van je gebruikte software en hardware (bv. sensoren) te bepalen (zie hoofdstuk 4). Dat hangt bovendien ook af van de rol die je als bestuur inneemt binnen een project (zie hoofdstuk 3). Zorg dat je steeds een projectpartner hebt met specialisten ter zake om de juistheid van de methodologie te helpen bewaken. Dit hoeven niet per se wetenschappers te zijn, maar het moeten wel mensen zijn met een gedegen kennis van het onderzoeksdomein en de methoden. Het is wel nodig dat die experten in contact blijven met burgers, om de toegankelijkheid van de protocollen te bewaken.

In het project Leuven.cool plaatste men weerstations in openbare ruimten en in privé-tuinen om het stedelijk hitte-eilandeffect te bestuderen. Dit gebeurde in samenwerking met de stad Leuven, KU Leuven en met het Koninklijk Meteorologisch Instituut (KMI). Er is ook een link met het citizen-scienceplatform ‘Mijn Tuinlab’

Wil je als lokaal bestuur een project zijdelings ondersteunen, dan kan je opteren om kwaliteitsvoorwaarden op te nemen in een bilateraal contract, gebaseerd op de principes van het Datacharter van Scivil. Dit charter is niet bindend, maar kan wel een goede leidraad zijn om offertes van externen te evalueren.

Naar de volgende pagina: Eigenaarschap en vindbaarheid

page-square2--black Created with Sketch.