Fernando Portela Câmara, MD, PhD, Prof., UFRJ
Diretor científico do Instituto Stokastos
Quis custodiet ipsos custodes? (Juvenal)
Em artigo anterior comentei sobre os riscos do uso de inteligências artificiais (IA) como substitutas da atividade humana e de lhes dar excessiva autonomia (Câmara, 2017). A chegada da telemedicina e inteligência artificial nas empresas de assistência médica e seguro saúde no Brasil pegou a categoria profissional de surpresa, sem ter havido um amplo debate nas associações, conselhos e academia. A reação da categoria médica e os CRMs rechaçaram a resolução do CFM que, com efeito, decidiu revogá-la recentemente.
IAs não trabalham com subjetividade, eles são apenas máquinas, apesar de a propaganda antropomorfizá-las para equipara-las à figura humana do médico, na mente popular. Esses computadores especialistas estão sujeitos a erros lógicos quando o filtro da subjetividade está ausente. Somente médicos e, mais ainda, psiquiatras, têm experiência em lidar com a subjetividade do paciente. Empatia, experiência e escuta são elementos cruciais na relação médico-paciente. Uma máquina será sempre e apenas uma máquina. Humanos como nós já existem há pelo menos 20 mil anos, e não evoluímos de máquinas.
Confiamos demais na IA, sugestionados pelo seu “poder”, negligenciamos nossa participação ativa e colocamos toda confiança do diagnóstico cibernético, seguindo a lei universal do menor esforço. Entretanto, inteligências artificiais são apenas lógica aplicada, heurísticas e aprendizagem de máquina que deduzem conclusões com base nos dados, seguindo a norma silogística. O diagnóstico não se fundamenta apenas na técnica, mas sobretudo na relação médico-paciente, onde o jogo de subjetividade aos poucos cede a fatos objetivos e, nesse particular, a intuição é um fator importante. O médico humano é insubstituível.
Vejamos um exemplo. A experiência ensina que medicar e mandar de volta para casa aqueles pacientes com pneumonia sem outras doenças é a melhor conduta para evitar que peguem outras infecções no hospital. Mas alguns pacientes, especialmente aqueles com fatores complicadores como asma e cardiopatias, devem ser admitidos imediatamente no hospital devido aos riscos. Uma equipe da Universidade Carnegie Mellon (Pittsburgh, Pensilvânia) usou uma rede neural treinada com um conjunto de dados fornecidos por 78 hospitais. No início, parecia que ela trabalhava bem, mas logo se descobriu que ela estava liberando pacientes asmáticos para casa, aumentando o risco de agravamento do quadro (Voosen, 2017). O que houve então com a rede, se os dados estavam bem definidos? O que a fez aprender errado? A desconfiança que esse experimento causou nos pesquisadores era plenamente justificada, pois não havia como prever ou saber se a rede aprenderia do modo como se esperava.
Posteriormente, os registros originais foram reanalizados usando-se uma técnica estatística de regressão conhecida como Métodos Aditivos Generalizados (MAG), e foi possível formular uma teoria sobre o acontecido.. Os hospitais rotineiramente colocam os asmáticos (e cardiopatas) com pneumonia em regime de monitoramento e tratamento intensivo, o que os levam a melhorarem rapidamente. A IA incluiu então esses pacientes no grupo de tratamento ambulatorial devido ao fato de que melhoravam rapidamente, portanto, a ambiguidade em alguns dados gerou o “erro otimista” (Voosen, 2017). IAs não pensam e nem interpretam, apenas processam lógica.
A IA da IBM chamada Watson é capaz de ler todos os artigos de pesquisas em câncer publicados em todo mundo. Como entende a nossa linguagem, é possível a um médico interrogá-la sobre dados atuais dessa doença e prontamente receber uma compilação de dados e mesmo um julgamento estatístico sobre tais (Steadman, 2013). Watson dá respostas, seleciona e analisa textos usando inferência bayesiana, mas não questiona, não investiga por si mesmo algo que julgue importante ou que os médicos precisariam saber. IAs apenas dão respostas, fazem buscas em seu dataset. Watson pode se enganar, não intencionalmente, mas por alguma ambiguidade dos programadores que inadvertidamente pode levá-la a contradições. O exemplo anterior dá uma ideia desse risco.
Vejamos outro exemplo. Uma rede neural profunda treinada para identificar raças de cães confundia cães da raça Husky com lobos. Por sorte, ao reescreverem o programa, os pesquisadores descobriram onde estava o problema. Eles verificaram que o erro ocorria quando o cão era fotografado na neve, de modo que a rede aprendera a associar lobos a neve, pois no seu treinamento todas as fotos de lobo tinham neve do fundo (Ribeiro et al., 2016). A rede criara um “preconceito” não por deliberação própria, mas por um “tic” lógico. Isso mostra como vieses podem eventualmente passarem despercebidos quando se usa IAs, propagado-se erros que, a curto ou longo prazo, podem ser desastrosos.
Colocamos hoje excessiva confiança nessas IAs deixando a elas todo trabalho de análise e decisão. É o mesmo fenômeno estudado por Stanley Milgram (1974) no agora famoso e bem conhecido experimento: tendemos a obedecer cegamente a uma autoridade, mesmo que isto signifique ter de ferir alguém. É a mesma postura que a sociedade vem assumindo em relação às IAs, consideradas “superinteligências”. Médicos, juízes, contadores, investidores, cientistas tendem a colocar total confiança nos “softwares inteligentes”. Em 13 estados da América do Norte o algoritmo “Compes Criminal Sentencing” é usado pelos juízes como ferramenta de decisão para agilizar sentenças levando em conta automaticamente o risco de incidência (Kehl, 2017). Isso mostrou que um afroamericano terá 77% de chance a mais que um caucasiano de sofrer uma condenação com esse software (Berk, 2009). Algoritmos semelhantes estão sendo usados nas entrevistas de emprego, empréstimos para compra da casa própria, acesso a serviços do seguro saúde, diagnósticos etc. A injustiça provocada por IAs equivocadas e seus programadores atônitos será futuramente um grande problema para os operadores do direito.
Esses resultados inesperados mostram que IAs – atualmente montadas em machine learning (especialmente deep learning) – são caixas pretas, portanto uma fonte de preocupação, pois é um produto em que não podemos confiar totalmente. Muito esforço está sendo feito para se criar ferramentas que permitam compreender como as redes neurais tomam decisões, dando origem a uma nova disciplina informalmente denominada “neurociência da IA”. Essa urgência não é apenas uma preocupação científica. Por exemplo, uma diretiva do Parlamento da União Européia exigiu das empresas que implementam algoritmos que influenciam substancialmente o público a dar explicações técnicas sobre o funcionamento dos mesmos, ou seja, sobre a lógica interna de seus modelos (Pires e Silva, 2017).
Referências
Berk R. The role of race in forecasts of violent crime, Race and Social Problems 2009; 1:231-259, https://pdfs.semanticscholar.org/45b5/cd7ba3504b6f96f3195e81607766fa263124.pdf
Kehl D, Guo P, Kessler S. Algorithms in the Criminal Justice System: Assessing the Use of Risk Assessments in Sentencing. Responsive Communities Initiative, Berkman Klein Center for Internet & Society, Harvard Law School, 2017. http://nrs.harvard.edu/urn-3:HUL.InstRepos:33746041
Milgram S. Obedience to authority: an experimental view. New York: Harper and Row, 1974.
Câmara FP. A Era dos Algoritmos. Psychiatry On-Line Brazil, vol.22 no. 09, 2017. https://www.polbr.med.br/ano17/cpc0917.php
Pires TCF, Silva RP. A responsabilidade civil pelos atos autônomos da inteligência artificial: Notas iniciais sobre a resolução do parlamento europeu, Revista Brasileira de Políticas Públicas, vol. 7, no. 3, 2017. https://www.publicacoesacademicas.uniceub.br/RBPP/article/view/4951
Ribeiro MT, Singh S, Guestrin C. “Why should I trust you?” Explaining the prediction of any classifier, KDD ’16 Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, https://arxiv.org/pdf/1602.04938.pdf
Steadman I. IBM’s Watson is better at diagnosing cancer than human doctors, Wired, Monday 11, February 2013, https://www.wired.co.uk/article/ibm-watson-medical-doctor
Voosen P. The AI detectives, Sciece 2017; 357: 22-27.