Недавно ученые обнаружили метод атаки, при котором вредоносный код может быть скрыт внутри цифровых изображений. Исследователи из Trail of Bits обнаружили, что автоматическое уменьшение размера изображений может стать уязвимостью, позволяющей злоумышленникам внедрять скрытый код, активирующийся при изменении масштаба изображения. Это может представлять угрозу для безопасности данных на платформах, таких как Google Gemini CLI [1].
Атака основана на манипуляции определёнными пикселями в высокоразрешённых изображениях. При автоматическом уменьшении размера изображения алгоритмы масштабирования преобразуют несколько пикселей высокого разрешения в один пиксель низкого разрешения. Таким образом злоумышленники могут внедрит в картинку инструкции для ИИ-бота, которые будут невидимы для обычного пользователя. Если пользователь загрузит такое изображение в ИИ-бот, то он может выполнить скрытую инструкцию. Например, исследователям удалось заставить Google Gemini отправить список контаков пользователя злоумылшенникам.
Особый риск для мобильных устройств
Важно отметить, что уязвимость может затрагивать не только протестированные системы, но и другие платформы. Особенно высокий риск для мобильных и крайних устройств, которые чаще всего применяют фиксированные размеры изображений и зависят от алгоритмов уменьшения размера. Ограниченные вычислительные ресурсы этих устройств часто вынуждают использовать высокое сжатие, что может увеличивать эффективность атак, основанных на масштабировании.
Разработчикам, для защиты от таких угроз специалисты рекомендуют избегать автоматического уменьшения размера изображений и вместо этого ограничивать размер загружаемых изображений. Для систем, которые всё же должны обрабатывать изображения, пользователям следует иметь возможность просматривать, как модель ИИ обрабатывает данные, особенно в инструментах командной строки и API. Что же касается обычных пользователей ИИ, то следует быть внимательнее при загрузке в ИИ изображений, источник которых вызывает сомнения, например, присланных вам на почту неизвестными лицами
Рекомендации по защите
Специалисты рекомендуют:
- Избегать использования уязвимых ИИ-ботов.
- Ограничивать размер загружаемых изображений.
- Не загружать в ИИ-боты изображения из сомнительных источников