Sem dúvida, uma das mais difíceis equações em matéria de inteligência artificial (IA) aplicada ao direito é na relação das seguintes variáveis: transparência, privacidade, segurança do programa e proteção intelectual de códigos operacionais.
A privacidade, por exemplo, pode ser utilizada como argumento para se reduzir a transparência, que, por sua vez, pode ser um perigo à proteção da propriedade intelectual da máquina. Além disso, a segurança sobre os dados tratados na IA pode ser o motivo para se restringir o acesso externo.
Fato é que o desenvolvimento das tecnologias de IA é precipuamente feito no setor privado, em que a lógica principal é a captação de recursos por meio de usuários/consumidores. Assim, é natural que a regulação jurídica dessas novas tecnologias seja muito amparada sob o direito civil, em especial o direito do consumidor, onde a preocupação é mais sensível, por exemplo, nos limites de disposição da empresa sobre dados pessoais cedidos pela pessoa usuária.
Nesse sentido, embora se alcance excelente doutrina nacional e vasta literatura estrangeira sobre o tema da regulação jurídica em matéria de IA, é fundamental manter atenção permanente sobre os pressupostos e objetivos de determinada discussão em relação à área de implementação da IA. Afinal, o mesmo princípio pode ter sentidos diferentes a depender do prisma do qual se parte, ou ter maior ou menor peso quando em choque com outros.
Quando o assunto é Segurança Pública, fala-se essencialmente da mão armada do Estado e, sendo assim, com alto potencial interventivo. E por ser voltada não para garantia da soberania e da segurança nacional, mas sim de combate à criminalidade e policiamento em geral, o público alvo não é nem consumidor nem inimigo, mas cidadãos, ainda que na condição eventual de criminosos.
Em matéria de Segurança Pública, portanto, o pano de fundo é a dinâmica própria da relação Estado penal/policial x cidadania. Ninguém há de desejar corpos policiais mal municiados para o combate à criminalidade que assola o cotidiano das pessoas, porém, a longa e diversa experiência histórica de Estados policialescos nos faz exigir do Estado penal rigorosa e transparente gestão.
Há, é claro, o pensamento inquisitorial e autoritário que vê no segredo e no sigilo importantes elementos para eficácia dos sistemas informativos. É daí que usualmente se parte para as falsas dicotomias, como eficiência x garantismo ou eficiência x privacidade. Entretanto, a plataforma jurídica democrática torna sem sentido a construção de uma gestão penal que não dispõe no cerne da eficiência a exigência elevada de respeito à legalidade, transparência, publicidade e prestação de contas. Poder oculto penal se volta, em verdade, ao público comum, e o suposto discurso de combate à criminalidade vai aos poucos armando o Estado de Polícia.
Isso não significa que na questão IA e Segurança Pública deixe de existirem as relações de perda e ganho (trade off). Ainda será preciso calibrar os algoritmos de IA para que se priorize alguns interesses e valores do que outros. O ponto que tento trazer é que a relação poder de polícia e cidadania exige um olhar atento a nuances que, muito usualmente, estão fora de prisma na discussão sobre princípios aplicados a IA e o direito. Assim, entro finalmente da questão da transparência.
Em estudo empírico com usuários, os pesquisadores Springer e Whittaker1 se depararam com efeito inesperado e paradoxal na questão de sistemas transparentes. Embora os sistemas com maior transparência foram mais bem avaliados no ponto de partida, as pessoas não mantiveram essa avaliação após a experiência de uso. Se, de um lado, a transparência contribuiu para que as pessoas formassem modelos de trabalho úteis, por outro, algumas pessoas perderam confiança no sistema. No mesmo sentido, a versão não transparente pode ter levado as pessoas a superestimar as capacidades do sistema, levando-os a uma maior preferência.
Como aponta Eslami,2 níveis errados de transparência podem confundir e sobrecarregar usuários, afastando-os do verdadeiro entendimento de seus processos; pode também expor o sistema a práticas maliciosas e ainda expor a privacidade de usuários. Por isso, é importante calibrar qual o nível de transparência desejado, e qual devem ser os enfoques principais.
Repare que a forma como o problema foi colocado acima prioriza a experiência de usuárias, e o critério é a própria avaliação e a percepção dessas pessoas. Ocorre que, em matéria de Segurança Pública, a preocupação com a confiança e satisfação das pessoas (cidadãs) é de outra natureza.
Utilizar-se da falta de transparência dos algoritmos para gerar impacto de confiabilidade maior na tomada de decisões em matéria de segurança se aproxima, em verdade, de prática reprovável e antidemocrática. Ao contrário, um sistema aberto, que permite a pessoas, setores da sociedade civil organizada e instituições diversas, a avaliar e a contribuir na solução de erros e sugestões em prol da sofisticação do sistema, parece mais adequado ao caráter democrático que deve se almejar. Em outras palavras, a possível desconfiança decorrente da participação ativa das pessoas é um ponto positivo, e não negativo, quando o assunto é políticas públicas.
Além disso, a falta de transparência, com o efeito de esconder erros e de se fechar em um tecnicismo inacessível, pode implicar na ampliação do arbítrio punitivo, auferindo uma legitimidade presumida e autopoiética no lugar da legitimidade democrática por participação popular, ainda que por meio de instituições.
Outra questão relevante é: que tipo de transparência devemos buscar? Como bem sabemos, iluminar as caixas pretas da IA é tarefa árdua, e, convenhamos, o simples acesso aos códigos e a abertura dos algoritmos pouco ou nada podem indicar a respeito das motivações envolvidas nos processos decisórios com auxílio de IA.
Conveniente é a diferença entre transparência de aquário (fishbowl transparancy) e transparência fundamentada ou motivada (reasoned transparency).3 A primeira está associada à habilidade do povo olhar dentro do governo, bem como de adquirir informações sobre o que seus agentes têm feito. Em outras palavras, a transparência de aquário está mais associada à questão da publicidade e do acesso à informação.
Por sua vez, “a transparência fundamentada enfatiza a utilidade das informações – isto é, se o governo revela por que agiu de determinada maneira. Enfatiza a importância de o governo explicar suas ações apresentando suas motivações”.4
Na medida em que algoritmos se referem a questões técnicas complicadíssimas e enorme volume de dados, transparência em IA tem muito mais sentido em matéria de Segurança Pública quando relacionada à fundamentação e motivações. É mais importante que o Estado, nas suas decisões, consiga justificar suas ações5 do que apenas permitir seletivo e infrutífero acesso a algoritmos não decodificados.
Não é que acesso a dados e a informação não seja também relevante, mas a transparência de aquário tende a mostrar muito pouco sobre o que efetivamente motiva os processos decisórios. Em síntese, em matéria de segurança pública, transparência de aquário deve ser compreendida como complementar à transparência motivada.
No mesmo sentido está Zednik,6 que distingue “questões de que” (what-questions) e “questões de por que” (why-questions). Segundo o autor, quando se busca responder quais dados foram utilizados, qual o processo do sistema, quais são os inputs e outputs, há o risco de afastar do que é mais importante: por que se chega em determinado resultado, e como interpretar as etapas em seu contexto e atributos.
Focar nos porquês e nas justificativas dos processos algorítmicos, dando enfoque à motivação política para além da compreensão técnica dos processos, pode ser o caminho para solucionar outros problemas que advém com a transparência em excesso, tais como risco de interferências externas, divulgação de dados sensíveis e na exposição de dados sensíveis que devem ser protegidos ou mantidos sigilosos e privados.
Quanto à questão da barreira à transparência por causa da proteção da propriedade intelectual ou por cláusulas contratuais, deve-se pontuar que, assim como qualquer processo licitatório ou de contratação com o serviço público, o sigilo e cláusulas ocultas estão em flagrante contrariedade com os princípios que regem a Administração. Assim, se o Estado, seja na definição de políticas ou na tomada de decisões, fizer uso de IA, que seja a partir de sistemas capazes de permitir escrutínio público, evitando elementos típicos da iniciativa privada que tem como premissa o segredo.
Concluindo:
(i) Compreender a aplicação de transparência em matéria de Segurança Pública impõe um olhar às pessoas não como simples usuários na busca de um serviço privado, mas como cidadãos que têm o direito de compreender, questionar e participar das decisões do poder público.
(ii) O simples acesso à informação, na referida transparência de aquário, é importante, mas deve ser compreendida como complementação à transparência motivada. Mais importante do que perguntas “como é feito?“, “quais dados são utilizados?“, são as questões de “por que é feito?” e “o que será feito?“. O foco em questões que exigem justificativa do poder público pode ter o efeito de mitigar os problemas decorrentes de transparência excessiva, tais como risco de interferência maliciosa, vazamentos, quebras de sigilo, identificação de usuários e violação de privacidade.
(iii) Assim como em qualquer contratação do poder público com empresas privadas, o sigilo e as cláusulas ocultas ou inacessíveis devem ser evitados, de modo que o Estado deve priorizar a contratação de serviços que permitem o máximo possível de transparência em matéria de IA. Desse modo, o direito da empresa de proteção da propriedade intelectual não deve se sobrepor aos princípios gerais da Administração Pública.
____________________
Referências
________________________________________
1. SPRINGER, Aaron; WHITTAKER, Steve. 2020. Progressive Disclosure: When, Why, and How Do Users Want Algorithmic Transparency Information? ACMTrans. Interact. Intell. Syst. 10, 4, Article 29 (October 2020), 32 pages. https://doi.org/10.1145/3374218
2. ESLAMI , Motahhare et al. User Attitudes towards Algorithmic Opacity and Transparency in Online Reviewing Platforms. CHI Conference on Human Factors in Computing Systems Proceedings (CHI 2019), Glasgow, Scotland Uk. ACM, New York, NY, USA, 2019. https://doi.org/10.1145/3290605.3300724
3. COGLIANESE, Cary and LEHR, David, “Transparency and Algorithmic Governance” (2019). Faculty Scholarship at Penn Law.
4. COGLIANESE, Cary and LEHR, David, “Transparency and Algorithmic Governance” (2019). Faculty Scholarship at Penn Law.
5. COGLIANESE, Cary and LEHR, David, “Transparency and Algorithmic Governance” (2019). Faculty Scholarship at Penn Law.
6. ZEDNIK, C. Solving the Black Box Problem: A Normative Framework for Explainable Artificial Intelligence. Philos. Technol. (2019). https://doi.org/10.1007/s13347-019-00382-7.
