Технологии здравоохранения на основе искусственного интеллекта быстро переходят из лабораторий, где ИИ обычно превосходил врачей , в руки потребителей .
Общедоступные приложения для обнаружения рака кожи, такие как SkinVision , используют анализ на основе ИИ, чтобы определить, является ли новая или меняющаяся родинка источником беспокойства или не о чем беспокоиться. Тем не менее, согласно новому анализу научных данных, стоящих за этими приложениями, есть о чем беспокоиться.
В исследовании, опубликованном на этой неделе в The BMJ , группа экспертов оценила научные данные, лежащие в основе шести приложений для обнаружения рака кожи, и обнаружила, что их очень не хватает. Приложения пропускают меланому, самую серьезную форму рака кожи; давать ложные срабатывания, которые могут привести к ненужному удалению безобидных родинок; плохо регулируются; и пользователи не информируются об ограничениях приложений.
В то время как большинство таких приложений содержат заявления об отказе от ответственности , такие как мелкий шрифт SkinVision о том, что их услуги «не являются диагнозом и не заменяют визиты к медицинскому работнику», нет упоминания о том, что 1 из 10 меланом будет пропущен.
«Пользователям приложений не сообщают об этих частотах ошибок», — говорит автор исследования Джонатан Дикс , специалист по биостатистике из Института прикладных исследований в области здравоохранения Бирмингемского университета. «Я лично не буду их использовать».
Ранняя диагностика рака кожи имеет решающее значение для выживания, поэтому идея мгновенной оценки риска рака кожи с помощью снимка очень привлекательна, особенно в ситуациях, когда люди имеют ограниченный доступ к врачу.
Текущая статья является продолжением Кокрейновского обзора приложений для лечения рака кожи 2018 года, в котором Дикс и его сотрудники обнаружили, что приложения имеют высокий уровень отсутствия меланомы. Но поле двигалось так быстро, что команда решила, что пришло время взглянуть еще раз.Путем поиска литературы и изучения веб-сайтов компаний исследователи собрали девять исследований, в которых оценивались шесть приложений для смартфонов на основе ИИ. В настоящее время только одно из этих приложений, SkinVision, все еще коммерчески доступно; остальные пять были сняты с продажи или больше не доступны.
Команда извлекла данные из каждого исследования и повторно проанализировала их, чтобы определить, насколько точным и надежным было каждое приложение. В целом качество исследований было низким, говорит Дикс, и исследования проводились таким образом, чтобы не отражать, как приложения используются потребителями в реальной жизни.
Во-первых, исследования были небольшими. Одно приложение, например, оценивалось всего за одно исследование 15 изображений. Эти 15 изображений включали 5 меланом. Приложение не определило ни одну из 5 меланом.
Во-вторых, исследования основывались на изображениях, сделанных экспертами с хорошими телефонными камерами и в течение большого количества времени. Это резко контрастирует с пользователями приложений, которые могут фотографировать родинку на спине грязным объективом смартфона или в отражении зеркала. Кроме того, если изображение не давало оценки риска, иногда его просто исключали из исследования.
Наконец, многие исследования основывались только на изображениях людей, уже исследованных на предмет рака, а не на широком спектре случаев. Исследования, которые действительно включали изображения безразличных родинок, не выявили, какие из них, если таковые имеются, переросли в рак.
SkinVision, наиболее изученное из шести приложений, было оценено в трех исследованиях, два из которых были повторно проанализированы в этой статье. Основываясь на данных этих статей, исследователи из Бирмингема пришли к выводу, что в гипотетической популяции из 1000 взрослых, из которых 3 процента больных меланомой, приложение не выявит 4 из 30 меланом, и более 200 человек получат ложноположительные результаты. Однако, из-за ограничений в исследованиях, возможно, может быть допущено гораздо больше ошибок, говорит Дикс.
«Самое худшее было бы, если бы у кого-то была меланома, о которой [в приложении] сказали, что все в порядке, а потом они не обратились бы к врачу, как раньше», — сказал он. «Это наносит вред».
Ни одно из приложений в настоящее время не одобрено Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), которое опубликовало строгие рекомендации для мобильных медицинских приложений в 2013 году и обновило эти рекомендации в 2015 и 2019 годах . в этом документе) одобрены как медицинские устройства класса 1, класс устройств с низким уровнем риска, включая очки для чтения.«Коллективно как общество мы должны решить, что является надежным доказательством при оценке приложений для здоровья», — написал Бен Голдакр и его коллеги из Оксфордского университета в сопроводительной редакционной статье к газете. «Без более качественной информации пациенты, врачи и другие заинтересованные стороны не могут быть уверены в эффективности и безопасности приложения».