A crescente disponibilidade de grandes modelos de linguagem (LLMs), como o ChatGPT, acelerou a sua utilização em contextos clínicos, particularmente para responder a questões médicas, apoiar o diagnóstico e ajudar na educação do doente. Com a evolução para versões multimodais, como o ChatGPT-4, passou a ser possível combinar a análise de imagem com a interpretação de texto, aproximando estes sistemas de um apoio clínico mais abrangente. Contudo, embora modelos especializados de aprendizagem profunda, como as CNNs, já tenham demonstrado elevada precisão na análise de imagem em gastrenterologia, o desempenho de LLMs de uso geral neste domínio permanece pouco explorado e ainda requer validação robusta.

Início / Publicações / Publicação

Início / Publicações / Publicação

Gráficos ilustrativos
Imagem reproduzida do artigo.

Tipo de publicação: Resumo do Artigo
Título original: Evaluating ChatGPT-4 for the Interpretation of Images from Several Diagnostic Techniques in Gastroenterology
Data de publicação do artigo: Janeiro de 2025
Fonte: Journal of Clinical Medicine (MDPI)
Autor(es): Miguel Mascarenhas Saraiva; Tiago Ribeiro; Belén Agudo; João Afonso; Francisco Mendes; Miguel Martins; Pedro Cardoso; Joana Mota; Maria João Almeida; António Costa; Mariano Gonzalez Haba Ruiz; Jessica Widmer; Eduardo Moura; Ahsan Javed; Thiago Manzione; Sidney Nadal; Luis F. Barroso; Vincent de Parades; João Ferreira; Guilherme Macedo

Qual é o objetivo, público-alvo e áreas da saúde digital em que se enquadra?
     O estudo tem como objetivo avaliar de forma sistemática o desempenho do ChatGPT-4 na interpretação automática de imagens médicas provenientes de múltiplas técnicas de diagnóstico em gastrenterologia. O público-alvo inclui gastrenterologistas, clínicos, investigadores em inteligência artificial aplicada à saúde e decisores envolvidos na transformação da saúde digital. A publicação posiciona-se principalmente nas áreas da inteligência artificial generativa e multimodal, da análise de imagem médica, dos sistemas de apoio à decisão clínica e da integração de dados clínicos e de imagem.

Qual é o contexto?
     A crescente disponibilidade de grandes modelos de linguagem (LLMs), como o ChatGPT, acelerou a sua utilização em contextos clínicos, particularmente para responder a questões médicas, apoiar o diagnóstico e ajudar na educação do doente. Com a evolução para versões multimodais, como o ChatGPT-4, passou a ser possível combinar a análise de imagem com a interpretação de texto, aproximando estes sistemas de um apoio clínico mais abrangente. Contudo, embora modelos especializados de aprendizagem profunda, como as CNNs, já tenham demonstrado elevada precisão na análise de imagem em gastrenterologia, o desempenho de LLMs de uso geral neste domínio permanece pouco explorado e ainda requer validação robusta.

Quais são as abordagens atuais?
     As abordagens atualmente dominantes na análise de imagem médica baseiam-se em redes neuronais convolucionais (CNNs) e noutros modelos especializados de aprendizagem profunda, treinados em grandes conjuntos de dados clínicos anotados. Estes modelos alcançaram resultados robustos na deteção de lesões, na endoscopia, no diagnóstico pancreático e na deteção de cancro. Em contraste, os LLMs multimodais, como o ChatGPT-4, combinam interpretação textual e visual, mas não foram concebidos originalmente como modelos dedicados de visão computacional. O seu desempenho pode, por isso, depender da integração com componentes externos de visão, o que pode limitar a eficácia em tarefas clínicas altamente especializadas.

Qual é a inovação e como foi avaliado o seu impacto?
     A principal inovação do estudo reside na avaliação de um modelo de uso geral, o ChatGPT-4, em tarefas tradicionalmente dominadas por modelos especializados. O sistema foi testado em 740 imagens clínicas provenientes de cinco técnicas: cápsula endoscópica, enteroscopia assistida por dispositivo, ultrassonografia endoscópica (EUS), colangioscopia digital por operador único (DSOC) e anuscopia de alta resolução (HRA). Cada imagem foi analisada com recurso a prompts estruturados, e os resultados foram comparados com o diagnóstico de referência utilizado como gold standard. O estudo avaliou o impacto através de métricas-padrão de desempenho clínico, incluindo exactidão, sensibilidade, especificidade, valor preditivo positivo e valor preditivo negativo (PPV/NPV), bem como a AUC.

Quais são os principais resultados, conclusões e implicações futuras?
     Os resultados mostram um desempenho variável entre as diferentes técnicas. Na cápsula endoscópica, a exactidão variou entre 50% e 90%, com diferenças relevantes entre localizações anatómicas. Na enteroscopia assistida por dispositivo, a exactidão global foi de 67%. Na ultrassonografia endoscópica, a exactidão variou aproximadamente entre 40% e 55%, revelando capacidade limitada para diferenciar lesões pancreáticas. Na colangioscopia digital por operador único, a exactidão foi de cerca de 55% para a deteção de malignidade. Na anuscopia de alta resolução, a exactidão variou entre 47,5% e 67,5%, consoante a fase do exame.

     De forma global, o desempenho foi subótimo e inconsistente, mantendo-se abaixo do observado em modelos especializados, como as CNNs, que podem atingir exactidões superiores a 90%–99% em tarefas semelhantes. O estudo destaca um risco significativo de erro diagnóstico, incluindo falsos positivos e falsos negativos. A curto prazo, não é recomendada a sua utilização clínica direta, e a sua utilidade como ferramenta autónoma permanece limitada. A médio e longo prazo, existe potencial para um modelo híbrido de apoio que combine texto e imagem, mas serão necessárias melhorias substanciais na componente visual. Os principais riscos identificados incluem diagnósticos incorretos com impacto clínico negativo e uma possível perda de confiança por parte de profissionais e doentes.

Voz em IA

O futuro do diagnóstico: Fala e IA

A fala é um biomarcador que reflete, de forma sensível, o funcionamento integrado de vários sistemas fisiológicos, nomeadamente o nervoso, o respiratório e o muscular….

Ler mais
TEF-HEALTH Logo

SPMS integra a iniciativa TEF-Health

A SPMS participa na iniciativa TEF-Health como parceira de um consórcio composto por 51 entidades de 9 países da União Europeia. Esta ação é cofinanciada…

Ler mais

tem uma ideia inovadora
na área da saúde?

Partilhe-a connosco e veja-a ganhar vida.
Ajudamos a dar vida aos seus projetos!

Newsletter

Receba as novidades do
Portal InovarSaúde

República Portuguesa logo
logotipo SNS
SPMS logotipo

Acompanhe-nos

YouTube
LinkedIn

Cofinanciado por :

PRR Logotipo
república Portuguesa logo
União Europeia Logo

Newsletter

Receba as novidades do
Portal InovarSaúde

República Portuguesa logo
SNS Logo
SPMS Logo

Acompanhe-nos

Cofinanciado por :

PRR Logotipo
República Portuguesa logo
União Europeia Logo

Início / Publicações / Publicação

Gráficos ilustrativos
Imagem reproduzida do artigo.

Tipo de publicação: Resumo do Artigo
Título original: Evaluating ChatGPT-4 for the Interpretation of Images from Several Diagnostic Techniques in Gastroenterology
Data de publicação do artigo: Janeiro de 2025
Fonte: Journal of Clinical Medicine (MDPI)
Autor(es): Miguel Mascarenhas Saraiva; Tiago Ribeiro; Belén Agudo; João Afonso; Francisco Mendes; Miguel Martins; Pedro Cardoso; Joana Mota; Maria João Almeida; António Costa; Mariano Gonzalez Haba Ruiz; Jessica Widmer; Eduardo Moura; Ahsan Javed; Thiago Manzione; Sidney Nadal; Luis F. Barroso; Vincent de Parades; João Ferreira; Guilherme Macedo

Qual é o objetivo, público-alvo e áreas da saúde digital em que se enquadra?
     O estudo tem como objetivo avaliar de forma sistemática o desempenho do ChatGPT-4 na interpretação automática de imagens médicas provenientes de múltiplas técnicas de diagnóstico em gastrenterologia. O público-alvo inclui gastrenterologistas, clínicos, investigadores em inteligência artificial aplicada à saúde e decisores envolvidos na transformação da saúde digital. A publicação posiciona-se principalmente nas áreas da inteligência artificial generativa e multimodal, da análise de imagem médica, dos sistemas de apoio à decisão clínica e da integração de dados clínicos e de imagem.

Qual é o contexto?
     A crescente disponibilidade de grandes modelos de linguagem (LLMs), como o ChatGPT, acelerou a sua utilização em contextos clínicos, particularmente para responder a questões médicas, apoiar o diagnóstico e ajudar na educação do doente. Com a evolução para versões multimodais, como o ChatGPT-4, passou a ser possível combinar a análise de imagem com a interpretação de texto, aproximando estes sistemas de um apoio clínico mais abrangente. Contudo, embora modelos especializados de aprendizagem profunda, como as CNNs, já tenham demonstrado elevada precisão na análise de imagem em gastrenterologia, o desempenho de LLMs de uso geral neste domínio permanece pouco explorado e ainda requer validação robusta.

Quais são as abordagens atuais?
     As abordagens atualmente dominantes na análise de imagem médica baseiam-se em redes neuronais convolucionais (CNNs) e noutros modelos especializados de aprendizagem profunda, treinados em grandes conjuntos de dados clínicos anotados. Estes modelos alcançaram resultados robustos na deteção de lesões, na endoscopia, no diagnóstico pancreático e na deteção de cancro. Em contraste, os LLMs multimodais, como o ChatGPT-4, combinam interpretação textual e visual, mas não foram concebidos originalmente como modelos dedicados de visão computacional. O seu desempenho pode, por isso, depender da integração com componentes externos de visão, o que pode limitar a eficácia em tarefas clínicas altamente especializadas.

Qual é a inovação e como foi avaliado o seu impacto?
     A principal inovação do estudo reside na avaliação de um modelo de uso geral, o ChatGPT-4, em tarefas tradicionalmente dominadas por modelos especializados. O sistema foi testado em 740 imagens clínicas provenientes de cinco técnicas: cápsula endoscópica, enteroscopia assistida por dispositivo, ultrassonografia endoscópica (EUS), colangioscopia digital por operador único (DSOC) e anuscopia de alta resolução (HRA). Cada imagem foi analisada com recurso a prompts estruturados, e os resultados foram comparados com o diagnóstico de referência utilizado como gold standard. O estudo avaliou o impacto através de métricas-padrão de desempenho clínico, incluindo exactidão, sensibilidade, especificidade, valor preditivo positivo e valor preditivo negativo (PPV/NPV), bem como a AUC.

Quais são os principais resultados, conclusões e implicações futuras?
     Os resultados mostram um desempenho variável entre as diferentes técnicas. Na cápsula endoscópica, a exactidão variou entre 50% e 90%, com diferenças relevantes entre localizações anatómicas. Na enteroscopia assistida por dispositivo, a exactidão global foi de 67%. Na ultrassonografia endoscópica, a exactidão variou aproximadamente entre 40% e 55%, revelando capacidade limitada para diferenciar lesões pancreáticas. Na colangioscopia digital por operador único, a exactidão foi de cerca de 55% para a deteção de malignidade. Na anuscopia de alta resolução, a exactidão variou entre 47,5% e 67,5%, consoante a fase do exame.

     De forma global, o desempenho foi subótimo e inconsistente, mantendo-se abaixo do observado em modelos especializados, como as CNNs, que podem atingir exactidões superiores a 90%–99% em tarefas semelhantes. O estudo destaca um risco significativo de erro diagnóstico, incluindo falsos positivos e falsos negativos. A curto prazo, não é recomendada a sua utilização clínica direta, e a sua utilidade como ferramenta autónoma permanece limitada. A médio e longo prazo, existe potencial para um modelo híbrido de apoio que combine texto e imagem, mas serão necessárias melhorias substanciais na componente visual. Os principais riscos identificados incluem diagnósticos incorretos com impacto clínico negativo e uma possível perda de confiança por parte de profissionais e doentes.

Cadeira de rodas

Mobilidade autónoma de doentes em ambiente hospitalar

O transporte interno de doentes em instituições de saúde, embora à primeira vista possa parecer uma tarefa simples, representa uma operação logística complexa, contínua, exigente e demorada, que atravessa todos os níveis da organização hospitalar….

Ler mais
Voz em IA

O futuro do diagnóstico: Fala e IA

A fala é um biomarcador que reflete, de forma sensível, o funcionamento integrado de vários sistemas fisiológicos, nomeadamente o nervoso, o respiratório e o muscular. Esta complexidade torna-a um recurso promissor para a deteção de…

Ler mais
Literatura sobre os cuidados de saúde no futuro

O que revela a literatura sobre os cuidados de saúde no futuro

O setor da saúde vive uma transformação acelerada impulsionada pelo envelhecimento populacional, pela complexidade dos cuidados e pelos avanços digitais, num cenário que exige maior integração, sustentabilidade e adaptação a novas realidades como o Espaço…

Ler mais
Perturbação do sono

Uma intervenção digital para a Insónia em Oncologia

A insónia é uma perturbação do sono caracterizada por dificuldades persistentes em iniciar o sono, mantê-lo durante a noite ou alcançar um sono de qualidade. Estas dificuldades surgem mesmo na presença de condições adequadas para…

Ler mais
Sistema robótico autónomo INSIDE

Sistema robótico autónomo para a terapia do autismo

O transtorno do espetro do autismo é uma condição do neurodesenvolvimento com repercussões clínicas, sociais e económicas significativas ao longo da vida. Segundo a Organização Mundial de Saúde, estima-se que afete aproximadamente 1 em cada…

Ler mais
troca de informações de saúde e interoperabilidade

A nova era da interoperabilidade em sistemas de saúde

A crescente utilização de registos eletrónicos de saúde, sistemas de diagnóstico digital e tecnologias de monitorização remota tem levado a um aumento expressivo no volume e na complexidade dos dados em saúde. Este aumento intensifica…

Ler mais
robótica colaborativa

Robótica colaborativa melhora as condições de trabalho

Os trabalhadores enfrentam desafios crescentes no ambiente industrial. Entre os mais críticos estão a fadiga e as posturas inadequadas, frequentemente associadas a tarefas repetitivas e a condições de trabalho que carecem de adequação ergonómica. Estes…

Ler mais
Benefícios da Eletrônica Médica

Deteção da ansiedade e de ataques de pânico em tempo real

O crescente número de pessoas com transtornos de ansiedade, juntamente com o aumento da conscientização sobre a saúde mental, impulsiona a necessidade de novas ferramentas tecnológicas que forneçam a monitorização remota e contínua de transtornos…

Ler mais
Personalização e tecnologia na gestão da Diabetes

Personalização e tecnologia na gestão da diabetes

A crescente prevalência de doenças crónicas, particularmente DM, está a sobrecarregar os sistemas de saúde globais e a aumentar os custos dos cuidados de saúde devido à complexidade dos cuidados e à fraca integração, resultando…

Ler mais
TEF-HEALTH Logo

SPMS integra a iniciativa TEF-Health

A SPMS participa na iniciativa TEF-Health como parceira de um consórcio composto por 51 entidades de 9 países da União Europeia. Esta ação é cofinanciada pela Comissão Europeia e tem uma duração de cinco anos….

Ler mais
Global Digital Health Partnership Logo

SPMS representa Portugal como vice-presidente da GDHP

A GDHP é uma organização intergovernamental da área da saúde digital que facilita a cooperação e colaboração entre representantes governamentais e a Organização Mundial da Saúde (OMS), cujo propósito é fomentar o desenvolvimento de políticas…

Ler mais
HealthData@PT Logo

HealthData@PT: Nova iniciativa da SPMS para dados de saúde

A ação HealthData@PT é lançada no contexto da implementação do Espaço Europeu de Dados de Saúde, sendo uma iniciativa aprovada pela Comissão Europeia no âmbito do programa EU4Health 2021-2027. Esta iniciativa contribui para a transformação…

Ler mais

tem uma ideia inovadora
na área da saúde?

Partilhe-a connosco e veja-a ganhar vida.
Ajudamos a dar vida aos seus projetos!

Newsletter

Receba as novidades do
Portal InovarSaúde

República Portuguesa logo
SNS Logo
SPMS Logo

Acompanhe-nos

YouTube
LinkedIn

Cofinanciado por :

PRR Logotipo
República Portuguesa logo
União Europeia Logo
Scroll to Top