Разведка и сбор информации — обзор инструментария OSINT
OSINT подразумевает сбор и анализ общедоступной информации, в основном из сетевых источников. В разрезе кибербезопасности/пентеста OSINT чаще всего применяется для сбора публичных данных о компании, и это касается не только информации об адресах электронной почты ее сотрудников. Не менее интересной будет информация о:
- DNS-именах и IP-адресах;
- открытых портах;
- запущенных сетевых службах;
- наличии сервисов удаленного доступа;
- незащищенных приложениях и операционных системах;
- имеющихся механизмах безопасности.
К счастью, для проведения OSINT существует множество инструментов и сегодня мы рассмотрим некоторые их тех, которые помогут собрать информацию об организации и составить ее цифровой след.
Консольные инструменты
Nmap
Nmap («Network Mapper») — это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.
# nmap -v -sV -p1-65535 pentestit.ru
Cканировать нужно не только диапазон TCP портов, но также и UDP:
# nmap -sU pentestit.ru
Эта информация поможет определить возможные точки входа в сетевой периметр организации.
Dmitry
Еще один консольный инструмент для поиска информации об интересующих хостах. Базовый функционал позволяет:
- собирать возможные поддомены;
- собирать адреса электронной почты;
- получить информацию о времени безотказной работы;
- выполнять сканирование TCP-портов (сканирует первые 150);
- производить поиск whois и многое другое.
Запуск инструмента рекомендуется производить с использованием всех доступных ключей:
# dmitry -winsepfb pentestit.ru
-i— Выполнить поиск whois по IP адресу хоста;-w— Выполнить поиск whois по имени домена хоста;-n— Получить информацию с Netcraft.com по хосту;-s— Выполнить поиск возможных поддоменов;-e— Выполнить поиск возможных адресов электронной почты;-p— Выполнить сканирование портов TCP на хосте;-f— Выполнить сканирование портов TCP на хосте и показать в отчёте фильтруемые порты;-b— Прочитать баннер полученный со сканируемого порта.
Функционал довольно обширный, но по возможностям и скорости обнаружения открытых портов все же уступает предыдущему инструменту, хотя это не мешает использовать их совместно. Все-таки, подобные вопросы требуют использования информации из разных источников для большей достоверности.
TheHarvester
TheHarvester — это целый фреймворк для сбора адресов электронной почты, имён поддоменов, виртуальных хостов, открытых портов/банеров и имён сотрудников компании из различных открытых источников. Позволяет производить как пассивный поиск по нескольким поисковым системам: google, yahoo, bing, shodan.io, googleplus, linkedin и т.д., так и активный, например, перебор имён поддоменов по словарю.
# theharvester -d pentestit.ru -b google -l 500
-d— домен;-b— поисковая система;-l— количество поисковых запросов для обработки.
Recon-ng
Recon-ng тоже полнофункциональный фреймворк веб-разведки, написанный на Python. В комплекте поставляются независимые модули, взаимодействие с собственной базой данных, удобные встроенные функции, интерактивная помощь и т.д. Из-за схожести интерфейса Recon-ng с Metasploit-framework освоиться будет куда проще, если был опыт использования последнего. Установить все доступные модули можно командой: marketplace install all при первом запуске инструмента т.к. они могут изначально отсутствовать. Некоторые модули при работе взаимодействуют с API различных сервисов, таких как: Google, Github, Bing и т.д. для них необходимо будет получить API ключ и указать его командой keys add. Посмотреть список ключей можно командой keys list, где будет выведена таблица.
Для просмотра основных команд необходимо вызвать справку:
TiDos
TiDos — универсальная платформа, охватывающая всё от сбора начальных данных до анализа на уязвимости. Во время запуска программы необходимо ввести интересующий домен и используется ли SSL:
В своем арсенале TiDos имеет 5 разделов, которые позволяют выполнять как поиск информации о цели в открытых источниках, так и искать некоторые уязвимости. Для выбора достаточно указать соответствующий ID.
Так как нас интересует только сбор информации, то и рассматривать будем только один раздел, содержащий порядка 50 модулей. Здесь можно проводить как пассивный сбор данных:
- поиск адресов и прочую контактную информацию в Интернете;
- информацию о домене (Whois-информация);
- информацию о конфигурации DNS;
- список поддоменов;
- список подсетей и т.д.
так и активный:
- сбор баннеров;
- проверка файлов robots.txt и sitemap.xml;
- определение CMS;
- определение альтернативных версий сайта путем обращения с различным параметром User-Agent;
- поиск файла info.php и его возможных вариаций и т.д.
Онлайн сервисы
Использование онлайн-сервисов также один из возможных путей при проведении сбора данных о цели. Есть обобщенная база таких сервисов — это osintframework. Здесь собраны и отсортированы по разделам различные инструменты. К слову говоря, здесь также предоставлены ссылки не только на онлайн сервисы, но и на полезные инструменты и фреймворки, относящиеся к конкретному разделу, как например, TheHarvester или Recon-ng — для OSINT.
Поиск адресов электронной почты
hunter
Сервис довольно прост в использовании. На сайте вводим название комании, или ее домен, и получаем список адресов, которые удалось найти вместе с ресурсами, где эти данные фигурировали. Доступен также плагин для установки в браузере Mozilla Firefox, чтобы автоматизировать процесс сбора учетных записей.
mailshunt
Аналогиично — указываем домен компании и получаем список найденных учетных записей. Разные сервисы могут работать по разным алгоритмам, поэтому для получения более обширного списка рекомендуется совместно использовать несколько сервисов.
Whois
who.is
Вводим домен компании и в ответе получаем whois-информацию о домене, DNS-записи и т.д.
2whois
Помимо получения whois-информации сайт предоставляет для работы онлайн-сервисы nslookup, dig, анализ DNS и многое другое. Весьма полезный сервис.
Hackertarget
Сервис похож на предыдущий, но набор инструментов значительно расширен, что позволяет дополнительно использовать, например, сканеры уязвимостей OpenVAS, Nmap, Nikto, WhatWeb и т.д.
Google Dorks
Google Dork Queries (GDQ) — это набор запросов для выявления всего того, что должным образом не спрятано от поисковых роботов. Вот небольшой список команд, которые чаще всего используются:
site— искать по конкретному сайту;inurl— указать на то, что искомые слова должны быть частью адреса страницы/сайта;intitle— оператор поиска в заголовке самой страницы;extилиfiletype— поиск файлов конкретного типа по расширению.
Комбинируя различным образом команды для поиска можно найти практически все, вплоть до логина/пароля администратора.
Вывод
Сбор информации является важным этапом проведения тестирования на проникновение. Периодическое проведение разведки поможет обнаружить потенциальные недостатки сетевого периметра раньше, чем этим воспользуются злоумышленники.