Исследователи из Пекинского института визуальных наук и трансляционных исследований глаза создали AI-TEC – экспериментальную глазную клинику, в которой искусственный интеллект использовали практически на каждом этапе работы. Врачи продолжали контролировать процесс, но система изначально проектировалась с расчетом на активное участие ИИ: от предварительной консультации и анализа снимков до наблюдения за пациентами после приема.
ИИ научили работать в глазной клинике: одного точного алгоритма оказалось недостаточно
Китайские исследователи проверили необычный сценарий: что будет, если построить глазную клинику вокруг искусственного интеллекта, а не просто добавить несколько алгоритмов к работе врачей. Эксперимент показал, что точность ИИ важна, но сама по себе еще не делает медицинскую систему эффективной.
Unsplash
Особое внимание уделили диагностике заболеваний по изображениям глаза, включая глаукому и возрастную макулярную дегенерацию.
Качество данных оказалось важнее их количества
Количество ложных срабатываний значительно сократилось после добавления в обучающие данные изображений, прошедших экспертную оценку
Поначалу алгоритм справлялся с диагностикой не слишком хорошо. Ситуация резко изменилась после того, как офтальмологи предоставили ему 1426 качественных снимков с точной разметкой заболеваний.
Продолжение ниже
Видео
Продолжение
Парадоксально, но этот сравнительно небольшой набор оказался полезнее почти 27 тысяч изображений, использовавшихся для первоначального обучения. После дообучения показатель AUROC превысил 0,93 – примерно такой уровень демонстрируют современные передовые системы анализа офтальмологических снимков.
Точный ИИ бесполезен, если им неудобно пользоваться
Вторая проблема обнаружилась уже в реальной работе клиники. Через пять месяцев после запуска сотрудники использовали AI-TEC лишь в 41 из 1113 обследований за месяц – всего в 3,8% случаев.
Исследователи упростили интерфейс, сократили количество кликов и ручного ввода. Уже в следующем месяце системой воспользовались в 259 из 1126 обследований, или в 23% случаев.
Эксперимент показал еще одну важную вещь: ИИ необходимо постоянно получать быструю обратную связь от врачей. Если замечания поступают спустя недели, система развивается слишком медленно.
В итоге исследователи выделили три главных условия для ИИ-клиники: качественные данные, удобный рабочий процесс и оперативная обратная связь.
При этом остается фундаментальная проблема. ИИ обычно начинает с вопроса «есть ли у пациента заболевание?», тогда как врач сначала разбирается с жалобами и симптомами – например, с ухудшением зрения. Поэтому высокая точность алгоритма на снимках еще не гарантирует улучшения медицинской помощи.
Авторы считают, что будущие эксперименты с медицинским ИИ стоит оценивать не только по точности алгоритмов, но и по тому, действительно ли технология меняет работу клиники и улучшает результаты лечения. Результаты исследования опубликованы в журнале Nature Medicine.
Загружаем