Разные подходы к объяснению работы ИИ
Современные системы ИИ используют разные методы, чтобы объяснить свои выводы. Одни подсвечивают области на медицинских изображениях, которые повлияли на диагноз. Другие предлагают похожие примеры для сравнения. Большие языковые модели (LLM) идут еще дальше: они могут составить текстовое описание логики системы на понятном языке.
Исследователи из MIT протестировали эти методы на задачах диагностики кожных заболеваний. Они сравнивали, как на разные форматы подачи информации реагируют профессиональные медики и люди без специального образования.
Эффект для обычных пользователей
Для людей без медицинского образования использование ИИ в целом повысило точность диагностики, но с важной оговоркой. Улучшение результатов произошло в основном за счет того, что пользователи начали безоговорочно доверять рекомендациям модели.
Особенно опасными оказались объяснения, созданные языковыми моделями. Пользователи склонны верить им, даже если ИИ ошибается. Причем чем более расплывчатым или общим было текстовое объяснение, тем более убедительным оно казалось людям. Это создает риск: уверенный тон нейросети может ввести человека в заблуждение, если сам диагноз неверен.
Реакция профессиональных врачей
У медицинских специалистов ситуация иная. Врачи не склонны слепо следовать за ИИ, если его выводы противоречат их знаниям. Даже если система выдает ошибочное объяснение, специалисты способны заметить ошибку и сохранить точность диагностики.
Интересно, что лучшие результаты у врачей были в тех случаях, когда интерфейс давал только прогноз модели без каких-либо дополнительных объяснений. Текстовые пояснения от языковых моделей принесли медикам меньше польб, чем другие методы. Для профессионалов ИИ выступает как инструмент для проверки гипотез, а не как замена собственному опыту.
Проблема доверия и дизайна интерфейсов
Исследование показало, что уровень экспертизы пользователя напрямую определяет, станет ли объяснение ИИ полезным инструментом или фактором риска. Непрофессионалы, которые больше всего полагались на ИИ, показывали худшие результаты, когда модель ошибалась. Ошибка ИИ наносила им больше вреда, чем правильный ответ приносил пользы.
Ученые также заметили, что люди становятся более склонны доверять системе, если она выдает объяснение еще до того, как пользователь успел сам сформулировать гипотезу. Это указывает на необходимость особого подхода к дизайну: например, сначала просить пользователя дать свое мнение, а затем показывать решение ИИ.
Что это значит
Разработчикам медицинских ИИ-систем нельзя использовать единые стандарты интерфейса для всех. То, что помогает врачу в работе, может стать ловушкой для пациента. Для профессионалов эффективнее работают прямые прогнозы, а для обычных пользователей требуется особая осторожность при использовании текстовых объяснений, чтобы их уверенный тон не скрывал ошибки алгоритма.