Такое соревнование решили устроить исследователи из Grossman School of Medicine (США). Известно, что модели искусственного интеллекта уже достаточно неплохо справляются с ответами на общеклинические вопросы и даже способны успешно сдавать теоретическую часть экзамена на получение медицинской лицензии. Но получится ли у них справится с нетривиальными, специфическими ситуациями, с которыми периодически сталкиваются врачи?

ChatGPT версий 3.5, 4 и 4V были заданы 12 вопросов, касающиеся сложных случаев трансплантации почки. Вопросы были взяты из теста стипендиальной программы Американского общества нефрологов. Ранее на них отвечали стипендиаты-нефрологи, большинство из которых правильно решили 9 задач, а также руководители стипендиальных программ, давшие в среднем 11 верных ответов.

ChatGPT 4V показал не уступающий результат и дал 10 правильных ответов! Исследователи отметили значительный прогресс модели искусственного интеллекта: её предыдущие версии 3.5 и 4 смогли правильно ответить только 5 и 7 вопросов соответственно. 

Хотя ChatGPT и продемонстрировал многообещающие возможности в “понимании” и ответах на сложные вопросы, авторы считают, что его следует рассматривать как дополнительный инструмент к человеческому опыту, а не как его замену.

Полностью соглашаясь с выводами авторов, добавим, что проведённое тестирование все-таки не совсем отражает реальную жизнь, так как к каждому вопросу прилагались варианты ответов, а задача заключалась в выборе правильного из них. Абсолютно ясно, что модели искусственного интеллекта уже в самом скором времени станут полноценным инструментом для диагностики и выбора лечения многих заболеваний. Его эффективность и польза для пациентов будут зависеть от того, насколько правильно, понимая все преимущества и ограничения, им будут пользоваться врачи.

Mankowski MA, Jaffe IS, Xu J, et al. ChatGPT Solving Complex Kidney Transplant Cases: A Comparative Study With Human Respondents. Clin Transplant. 2024;38(10):e15466. doi:10.1111/ctr.15466