ИИ как двойной агент: где заканчивается польза и начинается угроза

На XIX Конгрессе «Подмосковные вечера» секция «ИИ как двойной агент» собрала экспертов по кибербезопасности, промышленности, энергетике и корпоративным ИТ, чтобы обсудить: может ли искусственный интеллект оставаться союзником бизнеса, если в его руках сосредоточена и мощь, и риск.

С каждой новой волной автоматизации компании получают всё больше данных и возможностей — но вместе с ними растут угрозы, которые требуют контроля, прозрачности и здравого смысла. Как найти баланс между безопасностью и инновациями — обсуждали участники секции.

ИИ уже здесь — но не весь одинаково безопасен

Сегодня искусственный интеллект внедрён повсюду — от видеоаналитики и промышленной диагностики до антифрод-систем. Но по мере того как появляются генеративные модели, осторожность растёт.

«ИБ всегда была консервативной, и мы не исключение. Когда говорят об ИИ, чаще всего имеют в виду генеративные модели — и именно они вызывают максимальную настороженность», — отметил Рустэм Хайретдинов (Гарда).

В промышленности ИИ уже давно стал привычным инструментом.

«В добыче, логистике, в управлении оборудованием бизнес-эффект очевиден, но генеративные технологии требуют куда больших ресурсов, чем привычная корпоративная инфраструктура», — подчеркнул Александр Пружинин (ЛУКОЙЛ-Технологии).

А вот энергетика подходит к новым моделям особенно взвешенно.

«Машинное обучение у нас давно работает, но большие языковые модели пока изучаем. Даже видеоконференции требуют фильтрации: в эфир не должно попадать ничего конфиденциального», — добавил Александр Капустин (СО ЕЭС).

Доверие начинается с контроля данных

Ключевой вывод участников — доверять можно не моделям, а процессам. Любая система, использующая ИИ, должна оставаться под контролем человека.

«Главная угроза — не снаружи, а внутри. Когда человек влюбляется в технологию, он перестаёт думать о безопасности. Поэтому всё должно работать только с доверенными моделями под контролем компании», — отметил Рустэм Хайретдинов.

«ИИ может готовить материалы, анализировать данные, помогать в принятии решений, но ответственность остаётся у человека. Это базовый принцип доверия», — подчеркнул Александр Пружинин.

ИИ в защите и атаке

ИИ способен быть и защитником, и нарушителем. По словам экспертов, всё зависит от того, кто и как управляет его обучением.

«ИИ должен регулярно проходить тестирование и показывать точность не ниже 98%, иначе доверие теряется», — считает Михаил Малышев (ИИ-энтузиаст).

Но даже при высокой точности остаётся вопрос: кто контролирует данные?

«Доверие возможно только при тотальном контроле структуры данных: нужно следить, чтобы не происходило подмены и отравления датасетов», — отметил Александр Капустин.

Теневой ИИ: технологии вне контроля

Особый резонанс вызвала тема «теневого ИИ» — когда сотрудники используют нейросети без одобрения компании. Это уже стало частью корпоративной реальности.

«На корпоративный ноут я ничего не ставлю — всё нужное делаю на личном. И так поступают многие. Важно не дойти до абсурда, когда чем больше безопасности, тем меньше безопасности», — признался Рустэм Хайретдинов.

Чтобы победить «теневой ИИ», компании должны не только запрещать, но и давать альтернативу.

«Если хотим, чтобы пользовались безопасными инструментами, нужно дать свой сервис, удобнее внешнего», — предложил Роман Попов (ЗПНК).

ИИ — инструмент, но не альтернатива человеку

В финале дискуссии модератор секции Всеслав Соленик (СберТех) подвёл итог разговору, отметив, что развитие технологий не должно опережать культуру их использования:

«ИИ — мощный инструмент, но лишь в руках ответственного владельца данных. Важно выстраивать внутренние правила, тестировать решения и не терять осознанность. Только так ИИ останется нашим союзником, а не “двойным агентом”».

Партнером секции выступила компания СберТех. Решения и технологии СберТеха обеспечивают бизнесу и государству цифровое развитие с бескомпромиссной кибербезопасностью и высокой доступностью сервисов.