Annotatie bij:
Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:793
Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:796
Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:804
Introductie
Op 4 april 2023 heeft het gerechtshof Amsterdam uitspraak gedaan in een drietal rechtszaken betreffende de rittendienstverleners Uber en Ola. Het hof heeft in deze zaken de informatieverzoeken van een groep chauffeurs over de werking van de algoritmes van Uber en Ola, grotendeels ingewilligd.
Deze uitspraken hebben grote gevolgen voor het veel bediscussieerde ‘recht op een uitleg’ in de AVG. Dit recht houdt in dat betrokkenen een uitleg kunnen eisen van verwerkingsverantwoordelijken over de werking van algoritmes die hun leven in zekere mate beïnvloeden. In deze annotatie zal ik ingaan op de gevolgen van deze uitspraken voor de reikwijdte en de inhoud van het recht op een uitleg. Kort daarna volgt ook een beschouwing over het belang van een brede interpretatie van het recht op een uitleg in het licht van de lacunes van de aankomende Wet op de Artificiële Intelligentie (AIA) en de AI-aansprakelijkheidsrichtlijn.
In een drietal rechtszaken klaagde een groep Londense chauffeurs, bijgestaan door de ‘App Drivers & Couriers Union’, de bedrijven Uber en Ola aan. Deze bedrijven bieden rittendiensten aan waarbij algoritmes gebruikt worden. In het hoger beroep verzochten de chauffeurs op grond van de AVG, informatie over de werking van de algoritmes van Uber en Ola. Hierbij betrof het o.a. algoritmische besluiten betreffende het koppelen van passagiers aan chauffeurs (het batched matching-systeem), de wijze waarop de ritprijs werd berekend (het upfront pricing-systeem) en de berekening van fraudekansscores (de fraud probability-score).Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:793, r.o. 2.7; Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:796, r.o. 3.33-3.34; Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:804, r.o. 3.8. Simpel gezegd wensten de chauffeurs een uitleg te krijgen over de werking van de desbetreffende algoritmes. Het hof kende de verzoeken grotendeels toe, maar wees het verzoek van één van de chauffeurs af.Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:793, r.o. 3.25.
In deze drie zaken hebben de chauffeurs hun informatieverzoeken gegrond op basis van artikel 15 lid 1 onder h AVG. Hierin staat dat betrokkenen een recht van inzage hebben over het ‘het bestaan vangeautomatiseerde besluitvorming, met inbegrip van de in artikel 22, leden 1 en 4, bedoelde profilering, en, ten minste in die gevallen, nuttige informatie over de onderliggende logica, alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene’.
Een onduidelijke reikwijdte
Artikel 15 lid 1 onder h AVGAlsook haar zusterbepalingen: art. 13 lid 2 onder f en art. 14 lid 2 onder g AVG. is al enige tijd een onderwerp van discussie in de academische literatuur.Sandra Wachter, Brent Mittelstadt & Luciano Floridi, ‘Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation’, International Data Privacy Law (7) 2017, p. 76; Emre Bayamlıoğlu, ‘The Right to Contest Automated Decisions under the General Data Protection Regulation: Beyond the so-Called “Right to Explanation”’, Regulation & Governance (16) 2022, p. 1058; Diana Dimitrova, ‘The Right to Explanation under the Right of Access to Personal Data: Legal Foundations in and beyond the GDPR’, European Data Protection Law Review(EDPL) (6) 2020, p. 211; Lilian Edwards & Michael Veale, ‘Slave to the Algorithm? Why a Right to Explanation Is Probably Not the Remedy You Are Looking For’, Duke Law & Technology Review (18) 2017, p. 67; Marco Almada, ‘Human Intervention in Automated Decision-Making: Toward the Construction of Contestable Systems’, Proceedings of the Seventeenth International Conference on Artificial Intelligence and Law (Association for Computing Machinery 2019); Claudio Sarra, ‘Put Dialectics into the Machine: Protection against Automatic-Decision-Making through a Deeper Understanding of Contestability by Design’, Global Jurist (20) 2020; Lilian Edwards & Michael Veale, ‘Enslaving the Algorithm: From a “Right to an Explanation” to a “Right to Better Decisions”?’, IEEE Security & Privacy (16) 2018, p. 46-54; Gianclaudio Malgieri, ‘Automated Decision-Making in the EU Member States: The Right to Explanation and Other “Suitable Safeguards” in the National Legislations’, Computer Law & Security Review (35) 2019, p. 105327; Margot E. Kaminski, ‘The Right to Explanation, Explained’, Berkeley Technology Law Journal (34) 2019, p. 189; Margot E. Kaminski & Jennifer M. Urban, ‘The Right to Contest Ai’, Columbia Law Review (121) 2021, p. 1957. Eén van de onduidelijkheden hier is of elke vorm van geautomatiseerde besluitvorming valt onder de reikwijdte van deze bepaling, of dat het ‘recht op nuttige informatie’ slechts besluitvorming in de zin van artikel 22 AVG betreft.
In artikel 22 AVG staat namelijk een verbod geformuleerd voor volledig geautomatiseerde besluitvorming waaraan rechtsgevolgen zijn verbonden of die anderszins betrokkenen in aanmerkelijke mate treft. Op dit verbod zijn er enkele uitzonderingsgevallen geformuleerd in lid 2. In de door lid 2 beschreven gevallen moeten wel passende maatregelen worden getroffen om de betrokkenen te beschermen, waaronder het recht op een uitleg.Ow. 71 en art. 22 lid 3 AVG. De EDPB heeft in zijn richtsnoeren verder toegelicht dat de term ‘volledige geautomatiseerde besluitvorming’ inhoudt dat er geen ‘betekenisvolle’ menselijke tussenkomst plaatsvindt in het besluitvormingsproces. Hierbij mag de tussenkomst niet slechts symbolisch van aard zijn, maar moet deze uitgevoerd worden door iemand die bevoegd en bekwaam is om het besluit te veranderen.Art. 29 Working Party, ‘Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679’, aangenomen op 3 oktober 2017, laatste wijziging op 6 februari 2018 (wp251rev.01).
De vraag of artikel 15 lid 1 onder h AVG beperkt is tot slechts volledig geautomatiseerde besluitvorming kwam in de Uber- en Ola-rechtszaken aan bod. Ten aanzien van de reikwijdte van artikel 15 lid 1 onder h AVG heeft het hof gekozen voor een nauwe interpretatie. Deze bepaling is dus beperkt tot gevallen waarin de ‘verwerkingsverantwoordelijke de betrokkene “onderwerpt” aan “een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft”’.Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:793, r.o. 3.17; Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:796, r.o. 3.33; Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:804, r.o. 3.30.
Het hof stelt dat, naar de letter gelezen, de Nederlandse tekstversie ook niet-volledig geautomatiseerde besluitvorming kan omvatten. Op basis van de Engelse en Franse tekstversie beargumenteerde het hof desalniettemin dat deze bepaling nauw geïnterpreteerd moet worden. Dit argument snijdt echter geen hout, gezien men óók de Engelse en Franse tekstversie breed kan uitleggen. De tekstelementen ‘at least in those cases’ en ‘au moins en pareils cas’ kunnen betrekking hebben op de gehele voorafgaande tekst incluis ‘automated decision-making’ en ‘une prise de décision automatisée’ en niet alleen de gevallen ‘referred to in article 22’ en ‘visée à l’article 22’.Hetzelfde geldt ook voor de Duitse en Kroatische tekstversies. Duits: ‘das Bestehen einer automatisierten Entscheidungsfindung einschließlich Profiling gemäß Artikel 22 Absätze 1 und 4 und – zumindest in diesen Fällen – aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person.’ Kroatisch: ‘postojanju automatiziranog donošenja odluka, što uključuje izradu profila iz članka 22. stavaka 1. i 4. te, barem u tim slučajevima, smislenim informacijama o tome o kojoj je logici riječ, kao i važnosti i predviđenim posljedicama takve obrade za ispitanika.’
Het hof stelt daarnaast dat de verwijzing naar artikel 22 lid 1 en 4 AVG niet slechts betrekking kan hebben op de betekenis van de term ‘profilering’, omdat profilering niet expliciet wordt benoemd in artikel 22 lid 4 AVG. Hier kan tegenover gesteld worden dat het gehele artikel 22 AVG als ondertitel heeft ‘Geautomatiseerde individuele besluitvorming, waaronder profilering’, waardoor lid 4 óók verwijst naar gevallen van profilering. Daarnaast kan men de nauwe interpretatie van het hof ook bekritiseren met ditzelfde argument, gezien lid 4 ook de term ‘volledige geautomatiseerde besluitvorming’ niet expliciet noemt.
Ten slotte beroept het hof zich ook op de EDPB-richtsnoeren waarin gesteld wordt dat artikel 15 lid 1 onder h AVG betrokkenen het recht geeft op informatie over volledig geautomatiseerde besluitvorming.Art. 29 Working Party, ‘Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679’, aangenomen op 3 oktober 2017, voor het laatst gewijzigd op 6 februari 2018 (wp251rev.01), p. 26. Hier is echter niet expliciet gesteld dat men daarnaast niet een dergelijk recht zou kunnen hebben op niet-volledig geautomatiseerde besluitvorming.
Deze tegenargumenten daargelaten, is het nauwe standpunt van het hof niet onbegrijpelijk. Artikel 15 lid 1 onder h AVG is bij uitstek een Hartiaanse ‘hard case’H.L.A. Hart, The Concept of Law, Oxford: Oxford University Press 2021. te noemen gezien hoe onduidelijk deze bepaling geformuleerd is. Toch is een bredere uitleg van de reikwijdte van artikel 15 lid 1 onder h AVG nog steeds denkbaar. Een dergelijke uitleg kan men terugvinden in de jurisprudentie van de Oostenrijkse toezichthoudende autoriteit: de Datenschutzbehörde. In een uitspraak uit 2020 werd een informatieverzoek ex artikel 15 lid 1 onder h AVG ingewilligd ook al was er geen sprake van volledig geautomatiseerde besluitvorming.Datenschutzbehörde 8 september 2020, RIS - 2020-0436002, ECLI:AT:DSB:2020:2020.0.436.002. Hier is dus een tegenstrijdigheid te zien tussen enerzijds de Nederlandse en anderzijds de Oostenrijkse interpretatie van het recht op een uitleg.
Inhoudelijke vereisten voor informatieverzoeken
Een ander vraagstuk waarop het hof antwoord gaf, is welke informatie verwerkingsverantwoordelijken moeten verstrekken na een informatieverzoek ex artikel 15 lid 1 onder h AVG. In het verleden hebben Wachter et al. deze bepaling nauw geïnterpreteerd als een verplichting om slechts informatie voorafgaand aan het besluit te verstrekken. Dit zou dan slechts de algemene werking van het algoritme betreffen. Een uitleg over waarom en hoe een specifiek besluit genomen is, zou dus niet vereist worden door artikel 15 lid 1 onder h AVG.
Wachter et al. stellen daarom dat er geen ‘recht op een uitleg’ bestaat.Sandra Wachter, Brent Mittelstadt & Luciano Floridi, ‘Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation’, International Data Privacy Law (7) 2017, p. 76. Het recht op een uitleg is namelijk niet expliciet geformuleerd in de wettekst van de AVG. Het wordt enkel benoemd in overweging 71 AVG. Desalniettemin staat in artikel 22 lid 3 AVG wel dat de verwerkingsverantwoordelijke een recht om het besluit aan te vechtenEngels: ‘to contest’; Frans: ‘contester’. moet waarborgen in de gevallen benoemd onder lid 2. Verschillende academici en de EDPB hebben beargumenteerd dat om het recht om het besluit aan te vechten te effectueren, betrokkenen óók een recht op een uitleg dienen te hebben.Claudio Sarra, ‘Put Dialectics into the Machine: Protection against Automatic-Decision-Making through a Deeper Understanding of Contestability by Design’, Global Jurist (20) 2020; Emre Bayamlioglu, ‘Contesting Automated Decisions’, European Data Protection Law Review (EDPL) (4) 2018, p. 433. Indien een betrokkene immers niet begrijpt op welke gronden een besluit is genomen, kan de betrokkene dat besluit ook niet aanvechten.
Het hof lijkt mee te gaan met deze lezing van artikel 15 lid 1 onder h AVG, en stelt dat informatie moet worden verstrekt ‘over factoren die in het besluitvormingsproces in aanmerking zijn genomen, en hun respectieve “weging” op een geaggregeerd niveau’.Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:793, r.o. 3.28. Hierbij stelde het hof dat de informatie volledig genoeg moet zijn ‘voor de betrokkene om de redenen van het besluit te kunnen begrijpen’.Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:804, r.o. 3.48. Het is dus te beargumenteren dat het hof hier vereist dat verwerkingsverantwoordelijken daadwerkelijk een uitleg van het besluit verschaffen aan betrokkenen.Vgl. deze criteria met de langere lijst aan vereisten waaraan de inwilliging van een informatieverzoek moet voldoen volgens de Datenschutzbehörde: Datenschutzbehörde, 8 september 2020 RIS - 2020-0436002, ECLI:AT:DSB:2020:2020.0.436.002.
Uber en Ola stelden echter dat het inwilligen van de informatieverzoeken hun bedrijfsgeheimen zou kunnen beschadigen. Op basis van artikel 41 lid 1 onder a i UAVG kan een informatieverzoek ex artikel 15 AVG afgewezen worden indien dit de rechten en vrijheden van anderen schaadt, voor zover dit evenredig en noodzakelijk is. Het hof wees de tegenargumenten van Uber en Ola echter af, gezien een volledige onthouding van alle informatie noch evenredig, noch noodzakelijk zou zijn. Uber en Ola zouden alsnog gedeeltelijke informatie kunnen verschaffen over hun algoritmen. Hiermee zouden hun bedrijfsgeheimen voldoende gewaarborgd blijven.Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:793, r.o. 3.27; Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:796, r.o. 3.39; Hof Amsterdam 4 april 2023, ECLI:NL:GHAMS:2023:804, r.o. 3.47.
Een lacune in de Europese AI-wetgeving
Het belang van een brede uitleg van artikel 15 lid 1 onder h AVG is nog steeds evident, ondanks de introductie van nieuwe Europese AI-wetgeving. Het voorstel van de Europese Commissie voor de AIA bevat namelijk géén recht op een uitleg voor betrokkenen.Europese Commissie, ‘Proposal for a Regulation of the European Parliament and of the Council Laying Down Harmonized Rules on Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts’, 21 april 2021, COM(2021)206 def. 2021/0106(COD), eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52021PC0206. Vgl. met het Braziliaanse voorstel voor een Wet op Artificiële Intelligentie waar wel (transparantie)rechten opgenomen staan voor betrokkenen. Zie in het bijzonder: hoofdstuk II, sectie I, art. 5, subparagrafen I, II en III op p. 20: Coordenação de Comissões Especiais, Temporárias e Parlamentares de Inquérito, ‘Relatório final comissão de juristas responsável por subsidiary elaboração de substitutivo sobre inteligência artificial no brasil’, 6 december 2022, legis.senado.leg.br/sdleg-getter/documento/download/777129a2-e659-4053-bf2e-e4b53edc3a04. Het bevat weliswaar transparantievereisten onder artikel 14 AIA, maar deze verschaffen slechts de gebruikers van het AI-systeem informatie over de interne werking ervan. Wel bevat artikel 3 van de AI-aansprakelijkheidsrichtlijn vereisten voor het verschaffen van bewijsstukken indien een AI-systeem met een hoog risico, zoals beschreven in de AIA, schade heeft veroorzaakt aan een derde partij. Indien deze derde partij echter nog geen schade heeft ondervonden van een niet volledig geautomatiseerd besluitvormingsproces, maar dit graag zou willen voorkomen door middel van een informatieverzoek, biedt het Europees wetgevingskader op dit moment geen recht op een uitleg. Slechts als het te laat is, en de burger reeds schade heeft ondervonden, kan men compensatie eisen in een rechtsprocedure. Daarnaast geldt dit laatste geval slechts voor AI-systemen met een hoog risico en niet voor geautomatiseerde besluitvorming in het algemeen.
Artikel 15 lid 1 onder h AVG kan dus een belangrijke lacune opvullen in het Europese AI-reguleringspakket. Gezien echter de strikte lezing van het gerechtshof Amsterdam is een recht op een uitleg nu moeilijker te waarborgen in gevallen van niet-volledig geautomatiseerde besluitvorming.
Conclusie
Concluderend zijn de Uber- en Ola-uitspraken een gedeeltelijke overwinning voor het recht op een uitleg van betrokkenen. Verwerkingsverantwoordelijken moeten daadwerkelijk een uitleg verschaffen over hun algoritmes. Daarnaast kunnen bedrijfsgeheimen niet een algemene uitzondering hierop vormen. Desalniettemin is het wel problematisch dat de reikwijdte van artikel 15 lid 1 onder h AVG beperkt is tot volledig geautomatiseerde besluitvorming in de zin van artikel 22 AVG. Er zijn veel situaties te bedenken waarbij een mens weliswaar het uiteindelijke besluit neemt, maar waarbij een algoritme desalniettemin een cruciale assisterende rol heeft gespeeld. Oók in zulke gevallen zouden betrokkenen een belang hebben bij het verkrijgen van een uitleg over de werking van het desbetreffende algoritme. Het heeft daarom mijn voorkeur dat de brede Oostenrijkse interpretatie van het recht op een uitleg uiteindelijk zal overwinnen in dit juridische debat.