OSINT-SAN Framework - или чё такое OSINT.

Введение

OSINT-SAN Framework - это семейство OSINT-ориентированных утилит, предназначенных для упорядоченного сбора и хранения данных с помощью автоматизированных скриптов - парсеров.

Парсеры - это такие скрипты, которые на вход принимают некоторые данные, после чего обрабатывают их и сохраняют в удобном формате. Под обработкой понимается запрос на различные ресурсы и базы данных, где введенная информация сопоставляется с массивом других данных. Да, BIG DATA создаёт BIG BROTHER, так что парсеры заточены на то, чтобы вытащить релевантные данные по нашему запросу из массы источников.

Если источники открытые, то, это как правило в разведывательных сообществах принято называть OSINT (open-source intelligence, англ. разведка по открытым источникам).

Если же источники носят закрытый характер, например это какие-то федеральные базы, оперативное досье, сводки и так далее - это уже прямой путь в так называемый "пробив". Т.е. к подкупу действующих сотрудников, имеющих посредственный или непосредственный доступ к базам данных, готовых за определенную сумму вытащить оттуда всю инфу по вашему целевому запросу.

Но сегодня речь пойдет о clearnet, об открытых (по крайней мере относительно) источниках, и в частности о программе OSINT-SAN, потому как на её примере я хочу показать, кто такие на моё субъективное мнение асынтеры, те, которые действительно могут ими считаться.

Глава лирическая - OSINT-NASRAL.

И так как я уже ранее упомянул, OSINT-SAN - это фреймворк, т.е. семейство инфо продуктов. В отличии от например глаза бога, он состоит не только из одного телеграм бота. OSINT-SAN состоит из 3-х клиентов:

1. Linux client - скачать можно тут.
2. Web client - найти можно тут.
3. Telegram бот - он обитает тут.

В целом, почему назвал так данную главу - потому как на момент написания статьи работает это всё коряво, с багами и недоработками. Но, благо - работает!!! Да и цель не реклама продукта и даже не продвижение массы. Цель написание данной статьи иная, в конце поймете.

Linux client - установка и использование.

Ну, погнали попробуем скачать и установить клиент на линукс.

Требования:

1. Я использовал kali linux, последняя версия для virtualbox. Про гипервизоры потом отдельно поговорим.
2. Нужен установленный python 3 версии. С поддержкой pip. В kali linux по умолчанию установлен.

Ну вот и все собственно требования. Память на жестком диске, память оперативная. В общем всё по стандарту чтобы всё запустилось и работало.

Теперь установка по шагам:

• Мы с вами скачали и распаковали архив последней версии клиента.

• Далее открываем здесь командную строку, выполняем sudo -i чтобы стать root-ом, и далее просто запускаем установку клиента командой python3 install.py. Потребуется подключение к интернету и некоторое время чтобы установились все зависимости.

• После успешного (но таки да, с ошибками...) завершения процесса установки нас будет ждать сообщение о том, как запускать данный клиент.

По итогу у нас при установке в папке клиента создалась папка для python-venv - OSINT-SAN_ENVIRONMENT. Давайте посмотрим в неё.

Если вы шарите за python, то для вас данный фреймворк должен стать хорошим другом для изучения того, как можно всё автоматизировать и красиво сделать с помощью данного ЯП (языка программирования).

Теперь, пока вас не успел схватить инфаркт, поясняю - процесс запуска клиента мы с вами автоматизируем, чтобы не пришлось по сто раз вводить все эти команды.

Создадим с вами файл на рабочем столе, назовем его например osanrun.sh (.sh - это формат исполняемых файлов linux, bash скриптов.

Теперь пропишем в нём следующее:

#!/bin/bash cd /home/kali/Downloads/last_client/ source OSINT-SAN_ENVIRONMENT/bin/activate python3 san.py

Что здесь написано?

#!/bin/bash - здесь мы вызываем работу в bash.

cd /ваш_путь_до_клиента/ - здесь мы с вами переходим в папку с нашим клиентом (именно путь до клиента, не до OSINT-SAN_ENVIRONMENT ).

source OSINT-SAN_ENVIRONMENT/bin/activate - здесь мы задаем путь к нашей созданной python-venv библиотеке или как там правильно, не шарю.

python3 san.py - здесь мы запускаем наш клиент.

Сохраняем наш файл, открываем терминал на рабочем столе и пишем: chmod +x <название нашего файла> и запускаем командой sudo ./osanrun.sh (заменить на имя вашего файла).

И да, ура, у нас запустился клиент. Теперь, нужно до установить зависимости - пишем слово driver и жмем Enter

На всё соглашаемся и после чего видим окончание установки. Для того чтобы очистить экран от всего лишнего вводим команду clear

Теперь авторизовываемся в клиенте, введя цифру 1.

Здесь нас просят ввести логин и пароль от учетки. Учетка платная, благо у меня есть и я вам покажу платный клиент. Вы можете скачать с гитхаба бесплатную версию и пощупать её.

После авторизации нас встречает главное меню клиента.

Красными словами написаны команды, введя которые мы перейдем в соответствующий модуль со ссылками на источники, где можно поосинтить интересующую нас фигню, а также воспользоваться встроенными инструментами и самописными парсерами.

Попробуем на примере телефона, введя phone.

Но это всё полная хрень по сравнению с главной (как по мне) функцией - возможностью создать отчёт.

Для этого мы вводим команду pdf или project

У нас открывается пофикшенный в 13 версии report manager. Здесь чуть-чуть остановимся на функциях:

1. Создаёт проект, после этого мы с можем в него зайти и работать.
2. Показывает списки проектов.
3. Запускает нас в выбранный нами проект.
4. Удаляет выбранный проект.
5. Генерирует отчёт.

Ну 99 это стандартная кнопка выхода в главное меню.

Не буду останавливаться на всех тулзах и фичах, кроме как выбора нашего проекта и генерации отчета. И так, мы уже создали проект с помощью цифры 1. Теперь выберем его с помощью цифры 3.

Возвращаемся в главное меню и видим следующее:

Теперь у нас отображается test1 там где мы вводим команды.

Окей, теперь всё что нам остается, это поискать здесь инфу по нашей цели и сгенерировать отчёт.

Тут у меня выдало ошибку и здесь мы возвращаемся о корявости проекта.

Здесь мы заходим в модуль region который позволяет по нашему запросу доркнуть события в интернете. Доркинг - это использование слов-фильтров в поисковых системах, таких как Google, Yandex и другие.

Ну короче - чтобы нам добавить русский язык в кали, заходим в менеджер настроек, ищем там настройку Keyboard, заходим в Layout, выключаем вверху флажок дефолтных настроек, и с помощью разблокированной кнопки Add добавляем русский язык. В графе Change layout option выбираем как переключать язык, например стандартно Alt + Shift.

Ну вот и всё. Собираем запросики событий в инете и идём генерить отчет.

Здесь ещё подсобрали инфу по почте.

Ну и напоследок скажу об одной важной команде - help.

Здесь у нас отображаются красным все слова-модули, и ещё отдельным цветом в список так называемые теги. Теги - это слова, которые выдают нам источники где нарыть интересующую инфу. Проще говоря вбиваем тег, жмем Enter, и нам выдаст ресурсы на источники где можно пошерстить инфу по этому тегу. Например вводим email - получаем список сайтов где можно по email найти другие данные. Что-то вроде HowToFind и прочих агрегаторов инфы по OSINT источникам.

После окончания работы над проектом, обратно заходим в менеджер проектов.

С помощью цифры пять выбираем наш проект и генерим отчет, о чем успешно нам сообщает OSINT-SAN, написав, что наш отчёт сохранен в папке report/

Отчёт прикреплю к посту в комменты, так что сами сможете с ним более подробно ознакомиться. В ознакомительных целях конечно же.

И пару слов о других прогах.

Значит Web-клиент выглядит так:

Здесь прикольная фишка с камерами на карте, но на момент написания поста она сдохла, увы.

Бот телеграм. Ну здесь всё по стандарту, ничего нового.

Итоги и ответ на вопрос: "ну так и че такое OSINT??"

Покончив с обзором OSINT-SAN, хочу сказать следующее - продукт сырой, ждать доработки ещё придется N количество времени. Благо Максим Викторович нашёл программиста, так что надеюсь дело сдвинется с мертвой точки. Пока своих денег продукт не стоит, по функционалу и количеству багов. Моё субъективное мнение.

Для чего данный пост был написан? А для того, чтобы заострить ваше внимание на одной простой истине. Если ваш OSINT сводится к тупому тыканью в глазе бога и радостным крикам: "хы-хы-хы задоксил" - то хуевый с вас OSINT специалист. Лично я не могу относиться серьезно к тем, кто не умея банально автоматизировать сбор информации из баз данных и открытых источников обучает чему-то людей за большие деньги, берет в работу расследования инцидентов у коммерции или боже упаси, у физических лиц. Ну нет у вас квалификации должного уровня, хоть убей. Глаз бога умрет и вместе с ним умрут тысячи "крутых" осинтеров СНГ. Только через личный труд, постижение программирования, логики, автоматизации и агрегации инструментария растёт уровень компетенций OSINT специалиста. И именно как не асынтера, доксера, сватера и прочей чепухи, а как серьезного, с высокоразвитым критическим мышлением аналитика - военного, коммерческого, да и любого другого фронта.

Рекомендую скачать бесплатную версию OSINT-SAN и самостоятельно потыкаться в нем. Людям со знанием python должно качнуть проф. навыки.

Кстати ВАЖНО - OSINT-SAN собирает инфу о своих клиентах. Так что учитывайте это при работе с этим и любыми другими ботами/приложениями/веб-сервисами.

Благодарю за прочтение статьи.