ИИ в патологии оказался уязвим: микроскопический шум может привести к ошибкам в диагностике рака

Развитие искусственного интеллекта открыло новые возможности для диагностики онкологических заболеваний. Современные алгоритмы способны анализировать цифровые изображения тканей, выявлять злокачественные изменения, определять подтипы опухолей и помогать врачам принимать клинические решения. Особенно большие надежды возлагаются на использование ИИ при диагностике таких распространенных заболеваний, как рак груди, где своевременное обнаружение патологических изменений напрямую влияет на прогноз лечения. Однако новое исследование показало, что даже самые современные системы могут иметь серьезные уязвимости.

Группа ученых из Калифорнийского университета в Лос-Анджелесе (UCLA) продемонстрировала, что специализированный микроскопический шум способен существенно ухудшать работу моделей искусственного интеллекта, применяемых в цифровой патологии. Результаты исследования поднимают важные вопросы о безопасности использования ИИ в клинической практике и необходимости создания дополнительных механизмов защиты.

В основе работы лежит технология универсальных и переносимых состязательных возмущений, получившая название UTAP (Universal and Transferable Adversarial Perturbations). Этот метод позволяет создавать особый цифровой шум, который практически незаметен для человеческого глаза, но при этом оказывает значительное влияние на работу алгоритмов машинного обучения.

Создание такого возмущения происходит посредством адаптивного процесса оптимизации. Алгоритм постепенно формирует шаблон микроскопического шума, который затем накладывается на изображения тканей, полученные при исследовании биопсийного материала. Несмотря на визуальную незаметность, этот шум нарушает способность нейросетей корректно распознавать морфологические особенности тканей и выделять диагностически значимые признаки.

Особую обеспокоенность исследователей вызвали две характеристики новой атаки — универсальность и переносимость. Универсальность означает, что один и тот же шаблон возмущения способен воздействовать на большое количество различных изображений тканей без необходимости дополнительной настройки. Переносимость заключается в том, что созданный шум эффективно снижает точность работы не только одной конкретной модели, но и других алгоритмов, которые ранее не сталкивались с подобным воздействием.

Во время испытаний специалисты протестировали воздействие UTAP на семь современных базовых моделей цифровой патологии. Во всех случаях наблюдалось заметное ухудшение качества распознавания патологических изменений. Это свидетельствует о том, что проблема носит системный характер и может затрагивать широкий спектр решений, используемых в медицинской диагностике.

Для клинической практики подобные результаты имеют большое значение. Сегодня цифровая патология все активнее внедряется в онкологические центры и исследовательские лаборатории. Алгоритмы помогают специалистам анализировать огромные объемы данных, ускоряют обработку изображений и снижают нагрузку на врачей-патоморфологов. Однако если система может быть дезориентирована практически незаметным цифровым воздействием, возникает риск ошибочной интерпретации результатов исследования.

Особенно важно учитывать подобные угрозы при диагностике заболеваний, где точность анализа имеет критическое значение, включая рак груди, рак легких, колоректальный рак и другие злокачественные опухоли. Даже незначительные ошибки могут повлиять на выбор тактики лечения, сроки начала терапии и общую эффективность медицинской помощи.

Интересно, что традиционные методы защиты оказались недостаточно эффективными. Обычно для борьбы с вредоносными цифровыми воздействиями применяются низкочастотные фильтры, предназначенные для удаления высокочастотного шума. Однако исследователи показали, что адаптивный противник способен обходить такие механизмы защиты, учитывая их особенности еще на этапе формирования возмущения.

В связи с этим ученые предлагают использовать многоуровневый подход к обеспечению безопасности. Он включает автоматическое обнаружение подозрительных изображений, идентификацию возможного источника вмешательства, повторное сканирование образцов тканей и обязательное участие специалиста-человека в окончательной интерпретации результатов.

Предлагаемая система предполагает наличие отдельной нейросети, способной выявлять признаки потенциальной атаки еще до начала основного анализа. Если обнаруживаются подозрительные изменения, выполняется повторная цифровизация препарата и дополнительная проверка данных. Завершающим этапом остается экспертная оценка патоморфолога, который может подтвердить или опровергнуть выводы алгоритма.

Еще одной особенностью исследования стала высокая скорость создания опасного возмущения. Для генерации рабочего шаблона UTAP потребовалось менее 15 минут обучения. Это означает, что потенциальные угрозы могут возникать достаточно быстро, а потому разработчикам медицинских ИИ-систем необходимо учитывать подобные риски уже на этапе проектирования.

Авторы работы подчеркивают, что целью исследования является не создание инструментов для злоупотреблений, а повышение устойчивости медицинских технологий. Подобный подход можно сравнить с этичным хакингом, когда специалисты намеренно ищут слабые места систем безопасности, чтобы устранить их до того, как ими воспользуются злоумышленники.

По мнению исследователей, дальнейшее развитие цифровой патологии невозможно без глубокого изучения подобных угроз. Чем активнее искусственный интеллект внедряется в медицину, тем важнее становится обеспечение надежности алгоритмов и защита пациентов от потенциальных ошибок. Разработка устойчивых моделей нового поколения позволит сохранить преимущества ИИ при диагностике онкологических заболеваний и повысить безопасность технологий, которые уже сегодня помогают выявлять рак груди на ранних стадиях и спасать жизни тысяч пациентов.