AI в OSINT
В современном мире объем онлайн-данных с каждым годом растет, что затрудняет работу OSINT (от англ. Open Source Intelligence – разведка на основе открытых источников) аналитиков. Именно здесь на помощь могут прийти технологии искусственного интеллекта (AI), которые способны не только автоматизировать рутинные процессы, но и строить прогнозы, писать рекомендации и предоставлять относительно глубокий анализ.
Ниже будут описаны лишь некоторые примеры того, как можно эффективно интегрировать AI в процессы разведки.
1. Анализ личности через текст
- Распознавание авторства текста. Современные модели могут анализировать языковые паттерны, частотность слов, стиль написания, синтаксические конструкции и другие характеристики. Сравнение двух и более текстов позволяет определить, написаны ли они одним автором. При желании у модели можно запросить вероятность, с которой она уверена в своем ответе, и вывести обнаруженные признаки.
В качестве примера нейросети дали два отрывка из новостей разной направленности. Также запросили дать ответ: одним ли человеком написан текст, и по каким признакам он это определил.
- Психологический портрет. Нейросети через анализ лексики и тональности могут выделить ключевые черты личности (например, уровень агрессии, эмпатии, склонности к манипуляциям, предпочтительный стиль общения). Это поможет составить профиль человека, например, для оценки влиятельности в социальных сетях.
- Определение намерений. Также можно проанализировать текст на предмет скрытых мотиваций, например, запугивания или манипуляции. Об этом подробнее в пункте 2.
- Идентификация подозрительных личностей по авторству текста
- Изучение текста на предмет пропаганды и выявление ее авторов
- Составление психологического портрета типичного агрессора компании Х
2. Выявление признаков информационных атак
- Нейросети могут отследить резкие всплески активности в социальных сетях и других информационных каналах. Также можно настроить анализ ключевых слов, общего тона/настроения (негативное, позитивное, нейтральное) и выявить признаки информационного давления.
- Модели могут выявить координированное поведение, характерное для массовых информационных атак. Например, идентифицировать шаблонные сообщения от ботов.
- Обнаружение дезинформации. Модели могут сравнивать опубликованную информацию с достоверными источниками для определения фальшивых данных сопоставляя факты. Чтобы исключить галлюцинации моделей, можно заранее предоставить список проверенных источников, где будут проверяться факты.
В качестве реально примера нейросети дали ознакомиться с постом:
По итогам работы получили вывод:
- Защита компаний или госведомств от информационных атак путем отслеживания информационного фона
- Выявление недостоверных публикаций в СМИ, социальных сетях и мессенджерах
3. Формирование дорков и других поисковых запросов
Google Dork — это конструкция поискового запроса, с использованием операторов, таких как site:, filetype:, intitle:, inurl: и других. Такие запросы позволяют указывать конкретные параметры, по которым фильтруются результаты.
- Создание оптимальных запросов. Нейросети помогают находить наиболее релевантные запросы для конкретной задачи. Например, они могут искать чувствительные документы, изучить структуру домена, выявлять шаблоны в URL-адресах или названиях файлов и прочее.
В качестве примера запросили написать Google Dork для поиска всех поддоменов у компании с заданным доменом в Google.
Соответственно по итогам проверки в поисковике получили поддомены 3 и более уровня.
- Поиск чувствительной информации, доступной в открытых источниках
- Помощь в киберразведке и этическом хакинге
4. Анализ документов, репозиториев и прочего
- Анализ структуры текста. Выделение важных моментов: ключевых идей, аргументов и прочее.
- Извлечение данных и метаданных. Автоматическое получение контактной информации, авторства, дат публикации, используемых инструментов работы и даже отслеживание изменений в документах.
В качестве примера был взят журнал 2013 года, где требовалось найти все почтовые адреса.
При желании можно уточнить адреса с каким доменом нужно выводить, а с каким нет, в каком формате и так далее.
- Оценка угроз. В документах и репозиториях можно искать элементы, которые могут нести угрозу для компании или лица. Например, информацию, связанную с уязвимостями, партнерами и поставщиками или используемыми системами.
Для анализа репозиториев можно использовать инструмент gitsummarize.com
Для быстрого перехода к результатам анализа можно в строке github.com/name/1234/ заменить hub на summarize. По итогам на странице вы получите скомпонованную по блокам информацию о репозитории и его работе.
- Юридический анализ. Проверка содержания на соответствие правилам и требованиям законодательства, что особенно актуально для стран с жестким регулированием информации.
- Быстрый анализ больших отчетов и документов
- Просмотр репозиториев для выявления угроз
5. Автоматизация рутинных процессов
Все, что было описано выше тоже можно и нужно автоматизировать, используя AI.
- Быстрая фильтрация шума. В больших объемах данных можно настроить автоматическое отбрасывание нерелевантных кусков, экономя время.
- Повторяющиеся задачи. Например, автоматизировать поиск новых почтовых адресов, сайтов или постоянный мониторинг социальных сетей.
- Интеграция в другие системы. Нейросеть можно использовать в качестве агентов, которые анализируют потоки данных без участия человека.
- Поиск готовых инструментов для расследований.
- Отслеживание изменений в соц. сетях в режиме реального времени
- Проверка наличия сертификатов на сайтах
- Создание отчетов, статей об этом далее
6. Формирование итогового отчета
- Автомасштабируемая сводка. Модели способны автоматически обобщать ключевую информацию из крупных массивов данных, выделяя только важные моменты
- Автогенерация рекомендаций. Исходя из анализа, нейросети могут строить предположения о необходимых действиях для снижения рисков или возможных стратегиях реагирования. Если существуют конкретные примеры рекомендаций, то можно попросить модель выбирать их из заданного списка.
- Структурирование и редактура отчета. Модель может помочь с таблицами, графиками и схемами, чтобы облегчить восприятие информации. Также можно попросить ее поработать в качестве редактора отчета.
- Генерация аналитических справок
- Подготовка кратких выводов для принятия стратегических решений
7. GEOINT (геопространственная разведка)
- Распознавание объектов на изображениях. Например, распознавание машин, оборудования, инфраструктуры и прочее. Также можно спросить у модели, в каких широтах/городах распространена та или иная растительность, дорожные знаки и так далее.
Например, можно использовать ресурс https://geospy.web.app
- Анализ изменений. Нейросети могут сравнивать изображения за разные периоды, чтобы выявить изменения, например, при строительстве и уничтожении объектов.
- Оценка рисков. Например, проверка территорий на уязвимость к природным катастрофам.
На мой взгляд, использование AI в GEOINT требует дополнительной проверки фактов аналитиком, потому что тут чаще всего возникают ложные ответы.
- Помощь в поиске местоположения с фото
8. Написание ловушек и тестирование сотрудников
- Фишинговые письма. Генерация контексто-зависимых и убедительных фишинговых сообщений, чтобы протестировать безопасность внутри организации.
- Honeypot. На самом деле этот пункт по большей части тоже относится к автоматизации. Модели могут написать, например, бота для получения ip адреса собеседника.
- Повышение качества киберзащиты, проводя фишинговые учения в компании
9. Создание личности и легенды для OSINT исследований
- Генерация аватаров. Нейросети могут создавать реалистичные изображения людей, которые не существуют. На их основе можно генерировать и другие фотографии с данным лицом.
- Проработка повествования. Можно сгенерировать связанные друг с другом детали легенды: место жительства, хобби, семейное положение, место учебы и т.д.
В качестве примера нейросеть попросили сгенерировать личность и легенду без дополнительных параметров (не было описано ни желаемого пола, ни возраста, ни образования и т.д.)
- Автоматизация поведения. Создание "живых" профилей в социальных сетях, которые регулярно оставляют комментарии или публикуют контент. Данный пункт так же можно автоматизировать.
- Создание профиля для разведки в социальных сетях и на форумах
На самом деле это уже бонусный пункт. Если вам сложно сформулировать задачу для модели, то можно попросить ее написать грамотный промт за вас.
Для получения наиболее точного ответа от модели достаточно описать 3 вещи: