10 · 1 эксперт
Human & AI Cognitive Synergy
Защита человека, бизнеса и цифровой инфраструктуры от рисков, возникающих при разработке, внедрении и использовании искусственного интеллекта: AI-агентов, больших языковых моделей, автономных систем, корпоративных AI-сервисов и генеративного ИИ.
Ключевые угрозы
- Утечка конфиденциальных данных через AI-сервисы
- Передача коммерческой тайны публичным моделям
- Prompt Injection и манипулирование AI-агентами
- Несанкционированные действия автономных AI-агентов
- Ошибочные или вымышленные ответы моделей
- Deepfake, клонирование голоса и синтетические личности
- AI-фишинг и автоматизированная социальная инженерия
- Подмена или отравление данных и знаний модели
- Использование небезопасных сторонних моделей и AI-сервисов
- Чрезмерные полномочия AI-агентов
- Ошибочные автоматизированные решения
- Нарушение конфиденциальности и защиты персональных данных
- Неконтролируемое использование ИИ сотрудниками — Shadow AI
- Новые AI-атаки на информационные системы
- Репутационные, юридические и операционные риски применения ИИ
Типовые задачи
- AI Security Audit организации
- Аудит использования генеративного ИИ сотрудниками
- Аудит AI-агентов и их полномочий
- Разработка корпоративной политики безопасного использования ИИ
- Классификация данных, разрешённых и запрещённых для передачи AI-системам
- Threat Modeling AI-систем
- Проверка AI-решений перед внедрением
- Red Teaming AI-моделей и AI-агентов
- Тестирование устойчивости к Prompt Injection
- Настройка Human-in-the-Loop для критических операций
- Управление доступами AI-агентов к корпоративным системам
- Разработка процедур реагирования на AI-инциденты
- Обучение руководителей и сотрудников безопасному использованию ИИ
- Оценка поставщиков AI-решений
- Экспертная оценка новых AI-угроз
Эксперты сектора
Учебные материалы сектора
Материалов экспертов сектора в разделе «Обучение» пока нет.