Гайд по OSINT

Всем салют, дорогие друзья!
Сегодня поговорим про OSINT. В этой статье мы приведем полезный материал по данному направлению.
OSINT - невероятно денежное направление, за досье на одного человека готовы платить 27-30 тыс. рублей. Интересно? Тогда давай быстрее вникать в тему!

Классическая методология OSINT, которую вы найдете повсюду, проста:

1. Определите требования: что вы ищете?

2. Получите данные

3. Анализируйте собранную информацию

4. Сводные данные и отчетность. Далее, либо повторите поиск путем комбинации только что собранных данных, либо завершите расследование и напишите отчет.

Очень часто во время расследований мы теряемся в объеме собранных данных, и трудно понять, в каком направлении следует копать. В этом случае, я думаю, будет полезно сделать перерыв и вернуться к шагам 3 и 4: проанализируйте и суммируйте то, что вы нашли, перечислите, что может помочь вам развить и определите новые (или более точные) вопросы, на которые все еще нужны ответы.

Советы от меня:

Никогда не сдавайтесь: возможно, у вас будет ощущение, что вы изучили все возможности получения информации о цели. Но не сдавайтесь. Сделайте перерыв (час или день, занимаясь чем-то другим), затем снова проанализируйте входные данные и попытайтесь взглянуть на них с другой точки зрения.

Храните доказательства: информация исчезает онлайн очень быстро. Представьте, что человек, которого вы ищите, начинает что-то подозревать, внезапно все его учетные записи в социальных сетях и веб-сайты могут быть удалены им из сети. Так что храните доказательства: скриншоты, веб-архивы, а не только ссылки на онлайн ресурсы. В криминалистике, ключевым моментом является сбор событий, происходящих в одно и то же время. Когда был создан сайт? Когда была создана учетная запись FB? Когда было написано последнее сообщение в блоге?

Есть еще два других метода, которые я считаю полезными.
Первый - это блок-схемы, описывающие рабочий процесс для поиска дополнительной информации по типу данных (например, по электронной почте). Например, вот рабочий процесс при изучении информации на адрес электронной почты:

Я думаю, будет хорошей идеей начать разработку собственной типовой схемы расследования и постепенно улучшать ее с течением времени с помощью новых хитростей и сервисов, которые вы найдете. Бесплатно разработать блок-схему онлайн вы можете на draw.io

Последняя методология, которую я бы порекомендовал для длительных исследований, - это анализ конкурирующих гипотез .

Эта методология была разработана ЦРУ в 70-х годах, чтобы помочь аналитику убрать предвзятость из своего анализа и тщательно оценить различные гипотезы.

Подготовьте свою ОС

Прежде чем приступить к расследованию, необходимо рассмотреть несколько аспектов безопасности работы, чтобы не настораживать людей и компании, которые вы исследуете. Посещение личного веб-сайта цели может дать ей ваш IP-адрес и, следовательно, ваше местоположение, использование вашей личной учетной записи социальной сети в браузере с которого проводится расследование, может привести к автоматическому щелчку по лайку, реализованному с помощью уязвимости.

Я следую следующим правилам при проведении расследований:

Используйте коммерческий VPN или Tor для всех подключений из вашего браузера. Большинство коммерческих VPN предоставляют серверы в разных странах, и Tor позволяет вам выбрать страну выходного узла, поэтому я выбираю страну, которая не будет выделяться в этом контексте (США для расследования целей из США и т.д.). Используйте аккаунты в социальных сетях, созданные под вымышленным именем, чтобы случайно не деанонимизироваться перед целью.

Инструменты OSINT не имеют значения, гораздо важнее то, что вы делаете с этими инструментами. Тестируйте инструменты, читайте их код, создавайте свои собственные инструменты и т.д., Но убедитесь, что вы понимаете, что делаете. Следствием этого является то, что не существует идеального инструментария. Лучший инструментарий - тот, который вы знаете, любите и осваиваете.

Chrome и плагины

Я использую Chrome в качестве браузера для расследования, главным образом потому, что Hunchly доступен только для Chrome. Я добавляю к нему несколько полезных плагинов:

archive.is Button позволяет быстро сохранить веб-страницу в archive.is (подробнее об этом позже)

Wayback Machine для поиска заархивированной страницы в archive.org Wayback Machine

OpenSource Intelligence предоставляет быстрый доступ ко многим инструментам OSINT

EXIF Viewer EXIF Viewer позволяет быстро просматривать данные EXIF в изображениях

FireShot позволяет быстро сделать скриншот

Hunchly

Мне нравится использовать Hunchly. Это отличный инструмент. Hunchly - это расширение для Chrome, которое позволяет сохранять, и подписывать все веб-данные, найденные вами в ходе расследования. По сути, вам просто нужно нажать «Захват» в расширении, когда вы начинаете расследование, и Hunchly сохранит все веб-страницы, которые вы посещаете, в базе данных, что позволит вам добавлять к ним заметки и теги.

Maltego

По сути, Maltego предлагает графический интерфейс для представления графиков и преобразования для поиска новых данных в графике (например, доменов, связанных с IP-адресом из базы данных Passive DNS). Вы можете использовать Maltego Community Edition, который ограничивает охват поиска, но этого должно быть достаточно для небольших исследований.

Harpoon

Этот инструмент начинался как утилита для анализа угроз, но сейчас в нем много команд для OSINT.

Python

Очень часто вы сталкиваетесь с конкретными задачами по сбору данных и визуализации, которые не могут быть легко выполнены с помощью известных инструментов. В этом случае вам придется написать собственный код. Для этого я использую python, любой современный язык программирования будет работать одинаково хорошо, но мне нравится гибкость python и огромное количество доступных библиотек. Джастин Зейтц (автор Hunchly) - написал справочник по Python и OSINT, вам обязательно стоит взглянуть на его блог и книгу «Black Hat Python». SpiderFoot - это инструмент разведки, который собирает информацию с помощью множества различных модулей. Он имеет приятный веб-интерфейс и генерирует графики, показывающие связи между различными типами данных.

Recon-ng - это хороший инструмент CLI для запроса различных платформ, социальных сетей или платформ анализа угроз.

Buscador - это виртуальная машина Linux, в которую встроено множество различных инструментов OSINT. Я всегда предпочитаю иметь свои собственные системы, но это хороший способ опробовать новые инструменты без необходимости устанавливать их один за другим.

Теперь давайте рассмотрим, что может помочь вам в расследованиях OSINT

Техническая инфраструктура

Анализ технической инфраструктуры находится на перекрестке между хакингом и OSINT, но это определенно важная часть расследований. Вот, что вы должны искать: IP и домены: для этого есть много разных инструментов, но я считаю, что https://community.riskiq.com/ является одним из лучших источников информации. Бесплатный доступ дает вам 15 запросов в день через веб-интерфейс и 15 через API.

Сертификаты:

Censys.io - отличный инструмент

crt.sh - также очень хорошая база данных cертификатов Сканирование: часто полезно знать, какие сервисы работают на IP, вы можете выполнить сканирование самостоятельно с помощью nmap , но вы также можете положиться на платформы, выполняющие регулярное сканирование всех адресов IPv4. Две основные платформы - Censys и Shodan , обе они сосредоточены на разных аспектах (больше IoT для Shodan, больше TLS для Censys), поэтому полезно знать и использовать их обе.

Еще одним источником информации является Rapid7 Open Data, но вам придется скачивать файлы сканирования и проводить исследования самостоятельно.

Поддомены: существует множество различных способов найти список поддоменов для домена. PassiveTotal и BinaryEdge реализуют эту функцию напрямую.

Аналитика Google и социальные сети : последняя информация, которая действительно интересна, - это проверить, используется ли один и тот же идентификатор Google Analytics / Adsense на нескольких веб-сайтах. Этот метод был открыт в 2015 году и хорошо описан сообщество Bellingcat . Чтобы искать эти связи, я в основном использую SpyOnWeb и NerdyData.

Поисковые системы

В зависимости от контекста, вы можете захотеть использовать другую поисковую систему во время расследования. Я в основном полагаюсь на Google и Bing (для Европы или Северной Америки), Baidu (для Азии) и Яндекс (для России и Восточной Европы).

Изображения

Для изображений есть две вещи, которые вы хотите знать: как найти дополнительную информацию об изображении и как найти похожие изображения.

Чтобы найти дополнительную информацию, первым делом нужно посмотреть данные exif . Exif-данные - это данные, внедренные в изображение при его создании, и они часто содержат интересную информацию о дате создания, используемой камере, иногда GPS-данные и.т.д. Чтобы проверить это, мне нравится использовать командную утилиту ExifTool, но расширение Exif Viewer (для Chrome и Firefox) тоже очень удобно.

Чтобы найти похожие изображения, вы можете использовать Google Images, Bing Images или TinyEye. TinyEye имеет удобный API, а Bing имеет очень полезную функцию, позволяющую вам искать определенную часть изображения (https://www.cnet.com/news/bing-visual-search-within-images/). Нет простого способа проанализировать само содержание изображения и, например, найти его местоположение. Вам нужно будет найти на изображении определенные элементы, которые позволят вам угадать, в какой стране это может быть, а затем провести онлайн-исследование и сравнить его со спутниковыми изображениями и фото c Google Street View.

Социальные сети

Для социальных сетей доступно множество инструментов, но они сильно зависят от платформы. Вот краткая выдержка из интересных инструментов и приемов:

https://github.com/x0rz/tweets_analyzer - отличный способ получить обзор активности учетной записи Twitter. Facebook: лучший ресурс для расследования в Facebook - это https://inteltechniques.com/osint/facebook.html

LinkedIn: самый полезный трюк, который я нашел в LinkedIn, это как найти профиль LinkedIn на основе адреса электронной почты

Веб архивы

Существует несколько платформ для кеширования веб-сайтов, которые могут стать отличным источником информации во время расследования либо потому, что веб-сайт не работает, либо для анализа исторического развития веб-сайта. Эти платформы либо автоматически кэшируют сайты, либо кэшируют сайт по требованию.

Поисковые системы: большинство поисковых систем кэшируют содержимое веб-сайтов при их сканировании. Это действительно полезно, и многие веб-сайты доступны таким образом, но имейте в виду, что вы не можете контролировать, когда он кэшировался в последний раз (очень часто менее недели назад), и, скорее всего, он скоро будет удален, поэтому, если вы найдете там что-нибудь интересное, подумайте о сохранении закэшированной страницы.

https://archive.org/ - это отличный проект, целью которого является сохранение всего, что опубликовано в Интернете, включая автоматическое сканирование веб-страниц и сохранение эволюции страниц в огромную базу данных. Важно знать, что интернет-архив удаляет контент по требованию (они сделали это, например, для компании Stalkerware Flexispy), поэтому вы должны сохранять контент, где-то еще.

Другие платформы ручного кэширования. Мне очень нравится archive.today, который позволяет сохранять снимки веб-страниц и искать снимки, сделанные другими людьми.

Иногда бывает неудобно вручную запрашивать все эти платформы, чтобы проверить, была ли кэширована веб-страница или нет. Я реализовал простую команду в Harpoon, чтобы сделать это: harpoon cache https://citizenlab.ca

Сбор доказательств

Вы определенно погрязнете в большом количестве данных, которые дублируются, веб-страницы изменяются, учетные записи Twitter исчезают и.т.д. Вы не можете полагаться только на Интернет-архив, используйте другие платформы кеша и, если возможно, локальные копии.

- Сохраняйте изображения, документы и.т.д.

- Делайте скриншоты

- Сохраняйте данные о социальных сетях

Естественно, это далеко не все способы, помогающие найти ту или иную информацию.

Если вы хотите иметь то, что никогда не имели, вам придется делать то, что никогда не делали.

Осталось всего несколько мест на обучение в Hacker Place Academy.