Ethische aspecten bij nieuwe technologieën

Naomi Jacobs, docent aan de Universiteit Twente, is als bio-ethicus geïnteresseerd in ethics by design en het belang van kwetsbaarheid en rechtvaardigheid bij het ontwerpen van nieuwe medische technologieën. Ze promoveerde in techniekfilosofie aan de Technische Universiteit Eindhoven met het proefschrift Values and Capabilities: Ethics by Design for Vulnerable People en is coauteur van het boek Onszelf voorbij. Kijken naar wat we liever niet zien dat in 2018 verscheen bij Uitgeverij Arbeiderspers. We gingen met haar in gesprek over de relatie tussen kwetsbaarheid en technologie en ethics by design.

Interview met Naomi Jacobs

Je doet onderzoek naar nieuwe technologieën en kwetsbaarheid. Wat houdt dit in?

Ik focus vooral op nieuwe digitale technologieën en hoe die ontworpen worden. Ik onderzoek hoe de technologie in elkaar zit, welke functies ze heeft, hoe we er gebruik van kunnen maken en de technische aspecten waaruit ze bestaat.

Technologieën worden vaak ontworpen vanuit een specifiek bepaalde standaard. Voornamelijk een witte man van twintig tot dertig jaar oud. De laatste jaren werd inzichtelijk onderzocht hoe die standaard vrouwen achterstelt. Zij worden hierdoor kwetsbaar gemaakt. Het gaat natuurlijk breder dan enkel vrouwen, het gaat over iedereen die niet aansluit bij de standaard. Dit kan zijn omdat ze andere lichamelijke of cognitieve mogelijkheden hebben of situationeel anders gepositioneerd zijn. Door een gebrek aan diversiteit krijgen bepaalde groepen mensen minder mogelijkheden. Bij het ontwerpen van nieuwe technologie is het belangrijk dat in gedachten te houden en er wordt nagedacht over het begrip kwetsbaarheid.

PATHOGENE KWETSBAARHEID

Wat bedoel je precies met kwetsbaarheid?

Binnen de feministische filosofie en ethiek wordt daar al langer over nagedacht. Catriona Mackenzie, Wendy Rogers en Susan Dodds hebben binnen die stroming een conceptualisatie van kwetsbaarheid geformuleerd. Ze maken een onderscheid tussen inherente, situationele en pathogene kwetsbaarheid. Inherente kwetsbaarheid betekent dat we als mens allemaal kwetsbaar zijn vanuit onze lichamelijkheid en ontologie: om te kunnen overleven in de wereld hebben we allemaal water, voedsel en een dak boven ons hoofd nodig en hebben we nood aan sociale relaties. Mens zijn is inherent kwetsbaar.

Technologie werkt soms als een accelerator en vergroot de kwetsbaarheid

Tegelijkertijd zijn sommige mensen kwetsbaarder dan andere. Dat is belangrijk om te erkennen omdat sommige mensen meer nodig hebben om eenzelfde soort levensstandaard te bereiken als andere. Dit wordt situationele kwetsbaarheid genoemd.Deze komt bijvoorbeeld tot uiting in de sociaal politieke structuren waarin iemand leeft. Hoe de leefwereld waarin iemand zich begeeft is ingericht, kan kwetsbaarheden vergroten, verergeren of net doen ontstaan.

Tot slot is er de pathogene kwetsbaarheid. Hierbij wordt gekeken hoe bepaalde maatregelen of initiatieven om mensen in een kwetsbare positie te helpen, mensen net extra kwetsbaar maken doordat ze bijvoorbeeld afhankelijk zijn van zorgverleners of van instituties of intermenselijke relaties. In mijn onderzoek zie ik vooral hoe technologie als een bron voor pathogene kwetsbaarheid kan functioneren.

Kan je dit wat meer specificeren?

Een gezondheidsapp of fitnessapp zijn hiervan eenvoudige voorbeelden. De apps hebben doorgaans tot doel een fitnesspatroon en voedingspatroon bij te houden zodat het bijdraagt tot een gezondere levensstijl. Vaak heb je bij deze apps calorietellers en stimuleren ze je om steeds hogere doelen te bereiken. Bij iemand die al vatbaar is voor een eetstoornis of worstelt met een positief zelfbeeld, kan zo’n app er juist voor zorgen dat een eetstoornis gestimuleerd wordt. Technologie werkt in dit voorbeeld als een accelerator en vergroot de kwetsbaarheid.

Femtech-apps zien er ogenschijnlijk onschuldig uit, maar het ontwerp ervan is vaak stereotiep feminien

Een ander voorbeeld zijn de femtech-apps, die je kunt gebruiken om je menstruatiecyclus, fertiliteit of zwangerschap bij te houden. Ze zien er ogenschijnlijk onschuldig uit, maar het ontwerp ervan is vaak stereotiep feminien. De lay-out is roze of paars met bloemetjes en hartjes. Er wordt ook vaak stereotiep taalgebruik gehanteerd. Je wordt aangesproken met ‘hey girl’. Voor sommige vrouwen werkt dat prima en is het inderdaad een handige tool om de menstruatiecyclus bij te houden, maar dit geldt zeker niet voor iedereen. Daarnaast kan je bijvoorbeeld niet ingeven dat je een miskraam hebt gehad of dat je ongewenst zwanger bent geweest en een abortus hebt ondergaan. Voor de ene persoon is het meemaken van een miskraam of een abortus heftiger dan voor iemand anders, maar over het algemeen kan je zeggen dat in deze situaties er een kwetsbaarheid is. Voor deze situaties is geen plaats in de technologie. Terwijl het voor iemand die iets dergelijks meemaakt, heel impactvol kan zijn en het de kwetsbaarheid nog kan vergroten.

ETHISCH KADER

Je haalt twee particuliere voorbeelden aan. Zijn er nog voorbeelden van nieuwe technologieën die het particuliere overstijgen?

Jazeker. Bij de voorbeelden die ik net aanhaalde kan je zeggen dat men dan maar moet stoppen met er gebruik van te maken. Je bent niet verplicht om een fitness- of menstruatieapp te gebruiken. Maar er zijn ook digitale systemen waar mensen niet zelfstandig kunnen kiezen om het al dan niet te gebruiken. Denk hierbij aan digitale overheidssystemen of systemen die gebruikt worden door de politie. Deze kunnen informatie verzamelen over mensen en op basis van profielen en kansberekeningen bepaalde voorspellingen doen. Het gaat hierbij vaak over mensen die al in een kwetsbare positie zitten, bijvoorbeeld omdat ze uitkeringen ontvangen vanwege een laag sociaaleconomische positie in de samenleving. Als je al in een kwetsbare positie zit en dan onderdeel wordt van een digitaal systeem dat profielen maakt op basis waarvan het voorspellingen en beslissingen maakt, kun je relatief gemakkelijk terechtkomen in een systeem dat actief kwetsbaarheden uitvergroot.

Bij gezondheidstechnologie is de kans groot dat die is gebaseerd op datasets waarbij het mannenlichaam de norm is

Hebben we nood aan een ethisch kader?

Absoluut. Duidelijke ethische kaders en op basis daarvan duidelijke regelgeving, zijn cruciaal. Zowel op het niveau van overheidsinstellingen als op het niveau van particuliere apps. Het is hierbij belangrijk om te starten vanuit de lens van kwetsbaarheid om zo onrechtvaardigheden bloot te leggen en tegen te gaan.

GEZONDHEIDSTECHNOLOGIE

Je gaf daarnet aan dat er bij de ontwikkeling van apps doorgaans wordt uitgegaan van een standaardpersoon die als norm wordt genomen. Schuilt er op die manier ook een gevaar/kwetsbaarheid binnen de technologie voor het verkrijgen van zorg?

Zeker. De technologie die gebruikt wordt binnen de gezondheidszorg, gezondheidstechnologie dus, is hiervan het beste voorbeeld. Twee disciplines komen daarin samen: enerzijds de geneeskunde en anderzijds technologie en technologie ontwerp. Binnen de geneeskunde is al eeuwenlang het mannenlichaam de standaard. Medische diagnoses en behandelingen, zoals medicijnen, zijn ontwikkeld en getest met het mannenlichaam als norm. Dit zorgt ervoor dat we een datagap hebben wat betreft vrouwengezondheid, ook wel de gender health gap genoemd.

Ontwerpkeuzes binnen technologische ontwikkelingen, bijvoorbeeld over de functionaliteit, de esthetiek, het materiaal dat gebruikt wordt, zijn niet waardevrij

Binnen het domein van de technologie zie je eenzelfde soort geschiedenis, ook daar wordt het mannenlichaam als uitgangspunt genomen. De grootte van een smartphone is bijvoorbeeld ontwikkeld op de grootte van een mannenhand. Zo zijn ook decennialang auto’s getest met een mannelijke dummy pop. Dit betekent dat alle voorzorgsmaatregelen, bijvoorbeeld een airbag, zijn afgestemd op een mannenlichaam. Daardoor heeft een vrouwelijke bestuurder of bijrijder grotere kans op lichamelijke letsels dan een man mocht ze in een auto-ongeluk terechtkomen.

Bij gezondheidstechnologie zijn beide tradities samengevoegd. Zo is de kans groot dat je komt tot technologie die gebaseerd is op datasets waarbij het mannenlichaam de norm is. Die datasets vormen vervolgens de basis waarop nieuwe algoritmes worden getraind. Denk hierbij aan technologie die huisartsen bijstaan bij het stellen van diagnoses. Zo wordt de kwetsbare positie van vrouwen vergroot, omdat er simpelweg minder kennis is over vrouwelijke gezondheidsaandoeningen. De nieuwe digitale systemen die gebruikmaken van de eeuwenoude norm van het mannenlichaam accelereren die kwetsbaarheid.

Technologie is dus nooit waardeneutraal?

Inderdaad. Technologie ontstaat altijd vanuit de sociaal politieke context waarin het wordt ontworpen en wat dan gezien wordt als normaal en belangrijk. Het zijn weerspiegelingen van sociale structuren en machtsstructuren die zich ook weer vertalen in hoe technologie ontworpen, gebruikt en ingezet wordt.

ETHICS BY DESIGN

Dit aankaarten en aantonen is een deel van je onderzoek. Wat houdt het onderzoek nog meer in?

Ik onderzoek ook de ethics by design, de ethiek bij het ontwikkelen en ontwerpen van technologie. Alle ontwerpkeuzes binnen technologische ontwikkelingen, bijvoorbeeld over de functionaliteit, de esthetiek, het materiaal dat gebruikt wordt, zijn niet waardevrij. Met mijn onderzoek probeer ik ervoor te zorgen dat we expliciet en proactief aan het begin van een ontwerpproces ethisch meedenken over het ontwerpen van een nieuwe technologie. Zo kunnen we, wat we als maatschappij belangrijk vinden, ook verankeren in het technologisch ontwerp. Door ethiek proactief binnen een ontwerpproces op de voorgrond te zetten zal dat uiteindelijk leiden tot een meer ethische technologie die morele waarden juist promoot in plaats van ondermijnt.

Schuilt in die verankering van morele waarden, die op dat moment in een samenleving en binnen een bepaalde politieke constellatie worden gehanteerd, geen gevaar?

Jazeker, dat is een kritische noot waar ik me van bewust ben. We moeten rekening houden met de sociaal politieke structuren en machtsverhoudingen rondom de technologie. Zeker met alles wat er momenteel gaande is in de wereld, de conflicten die er zijn. Met mijn onderzoek hoop ik mensen ervan bewust te maken dat technologie nooit waardeneutraal is en dat de keuzes voor het ontwerp en de functionaliteit ervan ethisch belangrijk zijn.

We moeten met elkaar in gesprek gaan over wat we belangrijk vinden en hoe de technologie ingericht en ontworpen moet worden.Zo hebben mensen niet het gevoel dat ze niets kunnen betekenen of dat de macht enkel bij de grote Tech-bazen ligt

Net zoals de manier waarop het ingezet wordt en wat het belooft te doen, eveneens waardeoordelen in zich besloten heeft. Burgers moeten zich hiervan bewust zijn, zelf over kunnen nadenken en bespreken met elkaar. We moeten met elkaar in gesprek gaan over wat we belangrijk vinden en hoe de technologie ingericht en ontworpen moet worden. Zo hebben mensen niet het gevoel dat ze niets kunnen betekenen of dat de macht enkel bij de grote Tech-bazen ligt. Als het ons lukt om daar gezamenlijk over na te denken en te praten, staan we als burgers al veel sterker. Dan kan er ook nagedacht worden over ethics by design. Er is al een basis binnen de ethiek en de techniekfilosofie. Als we dat debat veel meer publiekelijk kunnen voeren, is dat al een stap in de goede richting.

Linde Waeyaert

Wil je de papieren versie van De Geus thuis ontvangen? klik hier voor meer informatie.