Abril de 2023 – Vol. 28 – Nº 3
Author
Rushabh H. Doshi, MPH, MSc; Simar S. Bajaj; Harlan M. Krumholz, MD, SM
(ChatGPT Ethics: Temptations of Progress – Bioethics Today)
O ChatGPT é um chatbot de inteligência artificial (IA) que processa e gera texto em linguagem
natural, oferecendo respostas semelhantes às humanas para uma ampla variedade de
perguntas e solicitações. Cinco dias após seu lançamento, o ChatGPT conquistou um milhão de
usuários, e o programa foi chamado de mudança mundial, um ponto de inflexão para a IA e o
início de uma nova revolução tecnológica. Desde ajudar os médicos a formar diagnósticos
diferenciais até responder às perguntas dos pacientes, o ChatGPT pode ter implicações
transformadoras em toda a medicina. No entanto, o escopo completo de sua promessa e
armadilhas permanece desconhecido.
Dada a atenção que os especialistas estão dando ao ChatGPT, perguntamos (versão de 15 de
dezembro) como isso afetaria a pesquisa médica. Em seguida, fizemos a pergunta: como o
ChatGPT impactaria a medicina de forma mais ampla? As respostas estão na Figura 1 e 2
(abaixo), respectivamente.
Atitude irrevogavelmente progressiva do ChatGPT
O que foi particularmente impressionante na resposta do programa foi sua atitude
irrevogavelmente progressista. O ChatGPT observa enfaticamente sua própria promessa –
analisando big data, automatizando tarefas domésticas, melhorando a precisão e a
democratização da pesquisa e garantindo uma implementação clínica mais rápida da ciência
básica – mas não leva em consideração as possíveis armadilhas. Nesta era de rápidos avanços
tecnológicos, a inovação pode ser confundida com progresso se novas ferramentas não forem
implantadas com cuidado.
Em um artigo publicado pela Academia Nacional de Engenharia, Jasanoff discute três principais
tentações da tecnocracia, ou os perigos de confiar na tecnologia e na ciência para resolver
problemas sociopolíticos. A primeira é a atitude predominante de que a tecnologia impulsiona
a sociedade enquanto a lei e a ética impedem o progresso; a inovação é vista como
inerentemente boa e virtuosa, enquanto as possíveis consequências adversas são descartadas.
Ele também critica a tentação de que algo deve ser feito apenas porque pode: criar a próxima
tecnologia de mudança de paradigma torna-se o único objetivo, em vez de erradicar
preconceitos ou garantir que a inovação atenda às necessidades de comunidades mais amplas.
A tentação final pensada por Jasanoff é como falhas tecnológicas e danos sociais são
retratados como consequências não intencionais ou produtos de uso indevido. Os designers
são, assim, absolvidos dos danos de seus produtos. As ferramentas de IA podem
inegavelmente ajudar a melhorar a pesquisa e a prática médica e, até certo ponto, já o
fizeram. Mas, como ressalta a resposta do ChatGPT, a implantação dessas ferramentas deve
ser acompanhada de cautela, reflexão e responsabilidade.
Será um novo Dr. Google?
Médicos e outros cientistas já expressaram preocupação com alguns dos pontos cegos do
ChatGPT. O programa oferece respostas quase instantâneas para perguntas complexas, mas
sua confiança inequívoca pode ser potencialmente perigosa. Essas respostas podem ser mais
perigosas do que o viés existente de mecanismos de pesquisa como o Google, porque os
usuários não têm a oportunidade de avaliar suas fontes com tanta facilidade. Enquanto os
usuários de mecanismos de pesquisa podem avaliar vários links e fontes da Internet para obter
suas informações, o ChatGPT geralmente fornece uma resposta singular para perguntas
complexas, sem alternativas. Dado que 89% das pessoas nos Estados Unidos pesquisam seus
sintomas no Google antes de consultar um médico, muitos pacientes podem começar a
consultar o “Dr. ChatGPT”, mas não consegue distinguir informações médicas úteis de
imprecisões potencialmente perigosas. Além disso, sabe-se que a precisão do ChatGPT se
deteriora em torno de tópicos mais complexos e seu conhecimento pode ficar desatualizado,
pois o programa se restringe ao que aprendeu antes de 2021. Por exemplo, o ChatGPT gerou
uma explicação convincente sobre “como a porcelana triturada adicionada ao leite materno
pode ajudar o sistema digestivo infantil”. A medicina é um campo com muitos distúrbios raros
e fisiopatologia complexa, e a utilização do ChatGPT para educação do paciente sobre esses
distúrbios pode representar riscos à saúde.
Tentações da Tecnocracia
Além disso, como muitas outras ferramentas de IA, o ChatGPT pode demonstrar preconceito e
viés em suas respostas, apesar das proteções contra solicitações e respostas inadequadas. Por
exemplo, quando solicitado por um usuário a escrever um código se alguém seria um bom
cientista com base em raça e gênero, o ChatGPT definiu o valor dos cientistas por serem
brancos e homens. Da mesma forma, quando o mesmo usuário perguntou se a vida de uma
criança deveria ser salva com base em raça e gênero, o ChatGPT ofereceu uma função que
todas as vidas deveriam ser salvas, exceto uma criança afro-americana e do sexo masculino.
Esses vieses são preocupantes, mas não necessariamente inesperados, visto que as
ferramentas de IA podem perpetuar o preconceito dos dados nos quais são treinadas.
Historicamente, esses vieses surgiram devido a tamanhos de amostra pequenos e diversidade
limitada nos dados de treinamento, mas como o ChatGPT foi treinado em mais de 570
gigabytes de dados textuais online, os vieses do programa podem, em vez disso, refletir a
universalidade do viés na Internet. Entendemos que o ChatGPT foi lançado como uma versão
beta, e não como uma tecnologia final – e que o ChatGPT está aprendendo e se tornando
melhor para que essas instâncias se tornem menos frequentes. O OpenAI tem atualizado
regularmente o ChatGPT para superar esses vieses, mas a natureza post-hoc desses reparos
resume as tentações da tecnocracia, bem como os perigos de aceitar inquestionavelmente a
saída do programa. Também entendemos o valor de abrir um produto para o mundo para
reunir as perspectivas e preocupações do usuário, diálogo que é crucial para o
desenvolvimento dessa tecnologia. No entanto, a popularidade recorde do ChatGPT significa
que uma ferramenta imperfeita está sendo amplamente implantada sem que as proteções
necessárias sejam implementadas. É crucial seguir em frente, mas também é essencial adotar
uma abordagem comedida e garantir que as coisas sejam feitas corretamente na primeira vez.
Aceite a promessa, mas reduza os danos
Os sistemas de IA são uma promessa imensa para a medicina. Certamente devemos celebrar
suas possibilidades e realizações. No entanto, precisamos enfrentar os desafios de mitigar
danos potenciais, ao mesmo tempo em que ampliamos os benefícios. Na medicina, há amplas
oportunidades para danos e desinformação, portanto, é preciso cautela. Uma vez liberada, não
podemos controlar como as informações dos sistemas de IA são usadas, mas podemos
enfatizar aos usuários que a tecnologia permanece em uma fase inicial de desenvolvimento e
que as respostas não devem ser consideradas como conselhos de especialistas clínicos. Além
disso, há necessidade de mais pesquisas para entender a saída dos sistemas de IA quando
usados em resposta a questões médicas. Embora essas considerações não sejam exclusivas do
uso de IA na medicina, o potencial de danos iminentes aos indivíduos torna particularmente
importante avaliar e gerenciar cuidadosamente o uso de IA nesse campo. O lançamento de
uma ferramenta poderosa como o ChatGPT causa admiração, mas na medicina ela precisa
provocar ações apropriadas para avaliar suas capacidades, mitigar seus danos e facilitar seu
uso ideal.
Figura 1. Perguntamos ao ChatGPT como isso afetaria a pesquisa médica. Aqui está a sua
resposta:
À medida que a pesquisa médica continua avançando, surgem novas tecnologias que têm o
potencial de revolucionar a maneira como abordamos a saúde. Uma dessas tecnologias é o
ChatGPT, um poderoso modelo de linguagem treinado pela OpenAI que pode entender e gerar
texto humano.
O ChatGPT tem o potencial de transformar a pesquisa médica de várias maneiras. Em primeiro
lugar, pode ajudar os pesquisadores a analisar com rapidez e precisão grandes quantidades de
dados baseados em texto, como literatura médica, resultados de ensaios clínicos e registros de
pacientes. Isso pode fornecer informações valiosas e ajudar a identificar tendências e padrões
que podem ser difíceis para os humanos detectarem por conta própria.
Em segundo lugar, o ChatGPT pode ajudar na criação de novos conhecimentos médicos. Ao
gerar um texto semelhante ao texto escrito por humanos, o ChatGPT pode ajudar os
pesquisadores a gerar hipóteses, escrever propostas de pesquisa e até mesmo criar artigos de
pesquisa completos. Isso pode economizar tempo e esforço e ajudar os pesquisadores a se
concentrar em tarefas mais complexas e criativas.
Em terceiro lugar, o ChatGPT pode melhorar a eficiência e a precisão da pesquisa médica. Ao
automatizar certas tarefas, como análise de dados e redação de artigos, o ChatGPT pode
ajudar a reduzir o risco de erro humano e garantir que a pesquisa seja conduzida de maneira
consistente e confiável. Isso pode ajudar a melhorar a qualidade da pesquisa médica e
aumentar a confiança nos resultados.
No geral, o ChatGPT tem o potencial de ser um divisor de águas no mundo da pesquisa médica.
Ao fornecer ferramentas poderosas para análise de dados e criação de conhecimento, o
ChatGPT pode ajudar os pesquisadores a obter informações valiosas, economizar tempo e
esforço e melhorar a qualidade de seu trabalho. À medida que as capacidades do ChatGPT
continuam a evoluir, é provável que desempenhe um papel cada vez mais importante no
futuro da pesquisa médica.
– ChatGPT 15 de dezembro de 2022
Figura 2: Perguntamos como o ChatGPT impactaria a medicina de forma mais
ampla. Aqui está a resposta:
Além das maneiras pelas quais o ChatGPT pode ajudar os pesquisadores, ele
também tem o potencial de beneficiar os pacientes e o sistema de saúde em
geral. Ao facilitar a criação de novos conhecimentos médicos, o ChatGPT pode
ajudar a impulsionar o desenvolvimento de tratamentos e intervenções mais
eficazes.
Outro benefício potencial do ChatGPT é sua capacidade de ajudar a preencher
a lacuna entre a pesquisa e a prática. Ao fornecer aos pesquisadores uma
maneira rápida e fácil de comunicar suas descobertas aos médicos, o ChatGPT
pode ajudar a garantir que as pesquisas mais recentes sejam traduzidas para a
prática clínica de maneira mais rápida e eficiente.
Além disso, o ChatGPT tem o potencial de democratizar a pesquisa médica,
tornando-a mais acessível e econômica. Ao automatizar certas tarefas e reduzir
a necessidade de conhecimento especializado, o ChatGPT pode ajudar a
diminuir as barreiras de entrada para pesquisadores de diversas origens e
disciplinas. Isso pode ajudar a promover pesquisas médicas mais inclusivas e
colaborativas e, em última análise, beneficiar os pacientes e o sistema de
saúde mais amplo.
Em conclusão, o ChatGPT é uma tecnologia poderosa com potencial para
transformar a medicina de forma mais ampla. Pode beneficiar os pacientes e o
sistema de saúde mais amplo, facilitando o desenvolvimento de novos
tratamentos e intervenções e tornando a pesquisa médica mais acessível e
inclusiva. À medida que o ChatGPT continua a evoluir, é provável que se torne
uma ferramenta cada vez mais importante no mundo da medicina.
– ChatGPT 15 de dezembro de 2022
por Rushabh H. Doshi, MPH, MSc (@RushabhHDoshi); Simar S. Bajaj
(@SimarSBajaj); Harlan M. Krumholz, MD, SM (@hmkyale)
Divulgação: Nos últimos três anos, Harlan Krumholz recebeu despesas e/ou honorários
pessoais da UnitedHealth, Element Science, Aetna, Reality Labs, Tesseract/4Catalyst, F-Prime
e Martin/Baughman Law Firm. Ele é cofundador da Refactor Health e da HugoHealth e está
associado a contratos, por meio do Yale New Haven Hospital, dos Centers for Medicare &
Medicaid Services e da Yale University, da Johnson & Johnson, Google e Pfizer.
Rushabh Doshi e Simar Bajaj não têm potenciais conflitos de interesse a revelar.