September 21

OSINT – Open Source Intelligence

@fefuctf @collapsz


Вступление

Всем привет!

Сегодня в деталях познакомимся с тем, что из себя представляет разведка по открытым источникам – Open Source Intelligence или же просто OSINT. Посмотрим на её CTF проявлениях, поговорим об используемых инструментах и посмотрим, где это может пригодиться в карьере будущего специалиста.

Приятного прочтения!

Что такое OSINT?

Open Source Intelligence (OSINT) — это дисциплина, посвященная сбору и анализу информации из открытых источников, доступных в интернете. Это может охватывать широкий спектр данных, которые можно найти практически в любых уголках сети.

Существуют и другие виды разведки, такие как:

  • HUMINT (Human Intelligence) — сбор информации через взаимодействие с людьми, включая беседы, допросы и наблюдение.
  • SIGINT (Signal Intelligence) — анализ радиомагнитного излучения для получения разведывательных данных.

Главное отличие OSINT от других способов разведки заключается в том, что вся информация, используемая в этом процессе, доступна общественности. Это делает OSINT уникальным инструментом, позволяющим получать важные сведения без необходимости доступа к закрытым или засекреченным данным.

Почему OSINT так важен и популярен?

На начальных этапах своей карьеры многие даже не задумываются о том, на сколько в современных реалиях распространен, важен и популярен OSINT. Вот некоторые из областей его применения:

  1. Бизнес:
    • Анализ конкурентной среды, выявление рыночных тенденций и возможностей.
    • Оценка репутации бренда через мониторинг отзывов и упоминаний в социальных сетях.
  2. Безопасность:
    • Выявление угроз, связанных с кибербезопасностью, через анализ открытых данных о потенциальных уязвимостях.
    • Мониторинг активностей групп, представляющих риск для информационной безопасности.
  3. Правительство:
    • Анализ общественного мнения и социальных движений для поддержки принятия политических решений.
    • Оценка международной ситуации, включая мониторинг новостей и публикаций из других стран.
  4. Журналистика:
    • Проверка фактов и получение информации для расследований через открытые источники.
    • Сбор контента и мнений для создания объективных новостных материалов.

Из интересных реальных кейсов могу порекомендовать ознакомиться с этим. В данном расследовании показано, как при помощи методов открытой разведки удалось установить точное местоположение главаря банды, разыскиваемого ФБР. Да, и такое бывает – данный тип разведки называется GEOINT.

Инструментарий

Как и многие другие задачи нашей сферы, сбор информации делится на ручной и автоматический. Для каждого из них существует свой набор инструментов.

Ручной поиск

Говоря о ручном поиске, первым делом в голову приходит использование различных поисковых систем, поскольку каждый из ныне существующих поисковиков выдает различные ответы на одинаковые запросы, что зачастую может быть полезным:

difference

Мощнейшим апгрейдом Google является использование Google Dorking — техники, позволяющей с помощью специальных ключей уточнять запрашиваемое содержимое. В рамках другой статьи мы более подробно рассмотрим эту тему, а сейчас приведем небольшой пример.

Запрос следующего вида вернет все индексированные .pdf и .doc файлы со строгим включением "Not for Public Release" и "Confedential", не предназначенные для широкой аудитории:

Dorks

История помнит реальный кейс, когда через такой подход произошла утечка документов Министерства обороны США.

В качестве помощников для доркинга можно привести инструменты DorkGPT и DorkGenius.

Reverse Image Search

Поиском по картинке сегодня уже никого не удивишь, однако мало кто задумывался, что у этого явления есть свое определение в контексте разведки по открытым источникам.

Это называется Reverse Image Search – процесс поиска информации об изображении, использующий технику CBIR (Content Based Image Retrival). Поисковой движок анализирует содержимое изображения и возвращает наиболее релевантные результаты (работает примерно так же, как полнотекстовый поиск, просто с добавлением распознания изображений).

RIS

Из наиболее используемых можно выделить Google Images, Yandex Images, Yahoo Image Search, Baidu Image Search и TinEye.

Автоматизированный поиск

Автоматизированный поиск, как можно догадаться, подразумевает использование утилит для сбора информации.

sherl

В качестве примера можно привести следующий набор:

  • Maryam – утилита для поиска по имени/никнейму
  • Sherlock – утилита для поиска пользователя по никнейму на различных ресурсах
  • TheHarvester – утилита для сбора почтовых ящиков, имен, поддменов и тд

Опытный OSINT-аналитик должен обладать навыками как ручного, так и автоматизированного поиска. В одном из следующих материалов, к слову, попробуем написать свой аналог Шерлока ;)

CTF-like пример

Предлагаю ознакомиться с одним из CTF заданий данной категории на примере задачки с codeby.games – Пропавший хост

task

В контексте задач по открытой разведке может пригодиться любой кусочек информации из описания, поэтому ознакомиться с ним нужно крайне внимательно:

Мы обратились к специалистам по OSINT для определения геолокации IP-адреса, который, как известно, был одним из предыдущих IP-адресов сайта, предположительно связанного с неким виртуальным игровым проектом. Название этого проекта напоминает имя отрицательной корпорации, фигурирующей в одном из сериалов о хакерах. Информация о данном IP-адресе ограничивается лишь нахождением домена на этом IP-адресе в 2017. Ваша цель - определить широту и долготу искомого IP-адреса.

Важные пункты, которые мы можем выделить из этого описания:

  • Виртуальный игровой проект
  • Сериал о хакерах
  • В сериале есть некая "отрицательная" корпорация
  • Год нахождения домена на IP-адресе — 2017
  • Необходимы широта и долгота адреса

Начать проще всего с перебора сериалов о хакерах:

series

Следующим шагом является поиск "отрицательной" корпорации. Перебрав парочку сериалов, можно достаточно скоро наткнуться на следующее:

mr robot corp

Немного погуглив, узнаем альтернативное "отрицательное" название корпорации – Evil Corp:

E corp

Далее возвращаемся к нашему списку: виртуальный игровой проект и 2017 год. Начнем с проекта. Составим запрос по ключевым словам и получим список доменных имен:

Domain list

Изучив полученные результаты, понимаем, что под описание игрового проекта отлично подходит домен evilcorpgame.com. Следующим шагом найдем нужный IP-адрес: мы знаем, что хост висел на нем в 2017 году.

Воспользуемся сервисом viewdns.info:

Viewdns

Видим список IP-адресов, один из которых как раз датируется 2017 годом. Имея на руках этот адрес, можем установить его геолокацию при помощи, например, maximind.com:

Maximind

Полученные координаты и сдаем в качестве ответа к заданию.

Заключение

На этой прекрасной ноте заканчивается наша ознакомительная статья. Умение хорошо пользоваться Гуглом может пригодиться как в карьере, так и в учебе или повседневной жизни. Поэтому даже если вы не планируете строить карьеру OSINT-аналитика, имеет смысл выделить время на изучение базовых аспектов этого ремесла – лишним оно точно не будет =)