Sin embargo, el chatbot dio una respuesta basada en información obsoleta. Otras dos tenían respuestas incoherentes que variaban significativamente cada vez que se planteaba la misma pregunta.

«Descubrimos que ChatGPT respondía correctamente a las preguntas el 88% de las veces, lo cual es bastante sorprendente», afirma el autor del estudio, Paul Yi. «También tiene la ventaja añadida de resumir la información en una forma fácilmente digerible para que los consumidores la entiendan fácilmente».

ChatGPT respondió correctamente a preguntas sobre los síntomas del cáncer de mama, quién está en riesgo y preguntas sobre el coste, la edad y las recomendaciones de frecuencia relativas a las mamografías.

El inconveniente es que no es tan exhaustivo en sus respuestas como lo que una persona encontraría normalmente en una búsqueda en Google. «ChatGPT sólo ofrecía un conjunto de recomendaciones sobre el cribado del cáncer de mama, emitidas por la Sociedad Americana contra el Cáncer, pero no mencionaba las distintas recomendaciones emitidas por otros organismos nacionales e internacionales», afirma la autora principal del estudio, la doctora Hana Haver, de la Universidad de Maryland.

«Según nuestra experiencia, ChatGPT a veces inventa artículos falsos de revistas o consorcios sanitarios para respaldar sus afirmaciones», afirma Yi. «Los usuarios deben ser conscientes de que se trata de tecnologías nuevas y no probadas, y deben seguir confiando en su médico, y no en ChatGPT, para que les asesore».

Yi y sus colegas están analizando ahora los resultados de ChatGPT en cuanto a recomendaciones de cribado del cáncer de pulmón e identificando formas de mejorar las recomendaciones que hace ChatGPT para que sean más precisas y completas, además de comprensibles para quienes no tienen un alto nivel educativo.

«Con la rápida evolución de ChatGPT y otros grandes modelos lingüísticos, tenemos la responsabilidad, como comunidad médica, de evaluar estas tecnologías y proteger a nuestros pacientes de los posibles daños que puedan derivarse de recomendaciones de cribado incorrectas o estrategias de salud preventiva obsoletas», sostiene Mark T. Gladwin.