Shadow

Создание пользовательских карт для расследований: Leaflet, QGIS, Kepler.gl

specialist_infosec — Sun, 16 Aug 2026 07:31:03 GMT

Создание пользовательских карт для расследований: Leaflet, QGIS, Kepler.gl

Введение

Готовые картографические сервисы (Google Maps, Яндекс.Карты) — отличный инструмент для быстрой геолокации, но они не всегда подходят для глубокого анализа. Когда нужно объединить множество точек, треков, слоев, анимировать изменения во времени или добавить собственные данные, на помощь приходят пользовательские картографические инструменты. С их помощью исследователь может визуализировать маршруты, кластеры объектов, изменения на местности и даже создавать интерактивные карты для презентации результатов. Данная статья посвящена трем мощным инструментам: Leaflet (веб-карты), QGIS (профессиональная ГИС) и Kepler.gl (визуализация больших данных).

Зачем создавать свои карты?

Этап 1: Общий обзор инструментов

Этап 2: Leaflet — интерактивные карты для веба

Leaflet — это легкая (менее 40 КБ) JavaScript-библиотека для создания интерактивных карт в браузере. Она позволяет накладывать маркеры, линии, полигоны, обрабатывать клики, добавлять слои и многое другое.

Особенности:

Работает на мобильных устройствах (резиновый интерфейс).
Поддерживает слои: тайлы (OSM, Google, Яндекс), WMS, GeoJSON, TopoJSON.
Расширяется плагинами: маркеры, кластеризация, анимация, управление слоями.
Легко встраивается в любой HTML-код.

Пример базовой карты Leaflet:




    OSINT Map

Как использовать Leaflet в OSINT:

Визуализация треков: Загрузить GPS-треки в формате GPX, нанести на карту.
Кластеризация точек: Использовать плагин Leaflet.markercluster для группировки маркеров.
Импорт данных из Google Sheets / CSV: Преобразовать данные в GeoJSON и отобразить.
Создание отчетных карт: Встроить карту в сайт или отчет.

Добавление слоев из разных источников:

OpenStreetMap (стандарт)
Google Maps (через плагин)
Яндекс.Карты (через плагин)
Собственные тайлы (например, из спутниковых снимков)

Плагины для Leaflet:

Leaflet.markercluster: Кластеризация маркеров для большого количества точек.
Leaflet.timeline: Анимация данных по времени.
Leaflet.heat: Тепловые карты.
Leaflet.OSM: Инструменты для работы с OSM.

Пример с кластеризацией (использование маркеров из CSV):

// Пример использования markercluster
var markers = L.markerClusterGroup();

// Добавить 50 маркеров (загрузка из данных)
for (var i = 0; i < data.length; i++) {
    var lat = data[i].lat;
    var lng = data[i].lng;
    var marker = L.marker([lat, lng])
        .bindPopup(data[i].name);
    markers.addLayer(marker);
}

map.addLayer(markers);

Этап 3: QGIS — мощь профессионального геоанализа

QGIS (Quantum GIS) — это полноценная геоинформационная система с открытым исходным кодом. Это десктопное приложение, позволяющее работать с растровыми и векторными данными, выполнять сложный пространственный анализ, редактировать карты и создавать профессиональные макеты для печати.

Особенности:

Поддержка сотен форматов (шейп-файлы, GeoTIFF, GeoJSON, KML, GPX, CSV).
Инструменты пространственного анализа (буферы, пересечения, подсчеты).
Интеграция с базами данных (PostGIS, SpatiaLite).
Система плагинов (позволяет расширять функционал).
Встроенный обработчик растров (позволяет выполнять спектральный анализ).

Типичные задачи в QGIS для OSINT:

Геокодирование адресов: Преобразование адресов в координаты.
Нанесение точек из CSV: Загрузка данных с координатами и атрибутами.
Анализ плотности: Выявление горячих точек (Heatmap).
Буферизация: Построение зон влияния вокруг объектов.
Наложение спутниковых снимков: Сравнение разных слоев.
Создание картографических макетов: Для отчетов.

Пример: загрузка точек из CSV и создание тепловой карты

Открыть QGIS → Layer → Add Layer → Add Delimited Text Layer.
Выбрать CSV-файл с колонками lat, lon.
Указать проекцию WGS84 (EPSG:4326).
Перейти в Processing → Toolbox → Interpolation → Heatmap (Kernel Density Estimation).
Указать слой точек, радиус, выходной файл.
Настроить цветовую гамму.

Плагины для QGIS (особенно полезные в OSINT):

OpenLayers Plugin: Позволяет добавлять тайлы Google, Bing, Яндекс в качестве подложки.
QuickOSM: Быстрая загрузка данных из OpenStreetMap.
Lat Lon Tools: Инструменты для работы с координатами.
MMQGIS: Набор утилит (геокодирование, конвертация).
GeoSearch: Поиск по адресам и местам.

Кейс: анализ кластеризации событий в городе

Задача: На карту нанесены точки публикаций из соцсетей с геотегами за месяц. Необходимо выявить районы с максимальной концентрацией событий.

Импортировать CSV в QGIS.
Построить тепловую карту (Kernel Density Estimation).
Сравнить тепловую карту с инфраструктурой города (парки, ТЦ, станции метро).
Найти корреляцию: точки сгруппированы вблизи крупных торговых центров.
Вывод: события связаны с потребительской активностью.

Экспорт в веб: QGIS позволяет экспортировать карту в формат GeoJSON или KML, который затем можно загрузить в Leaflet.

Этап 4: Kepler.gl — визуализация больших данных с анимацией

Kepler.gl — это инструмент визуализации геопространственных данных, созданный Uber. Он позволяет быстро создавать впечатляющие интерактивные карты с большим количеством точек (до миллионов) и анимировать их во времени.

Особенности:

Браузерный инструмент, работающий на WebGL (высокая производительность).
Автоматическая кластеризация, тепловые карты, линии, полигоны.
Временные срезы (timeline) — можно анимировать изменения во времени.
Экспорт в HTML (самостоятельная интерактивная карта).
Интеграция с Jupyter Notebook (через библиотеку).

Как использовать Kepler.gl в OSINT:

Загрузка данных: Поддерживаются CSV, GeoJSON, GPX, KML.
Выбор слоя: Точки, линии, полигоны.
Настройка атрибутов: Цвет, размер, всплывающие подсказки.
Временная шкала: Если данные содержат временные метки, можно анимировать изменения.
Экспорт: Сохранить карту в виде HTML-файла для демонстрации.

Пример: анализ перемещения судов по данным AIS

Задача: Отобразить треки движения судна за неделю, анимировать по времени.

Загрузить CSV с колонками: lat, lon, timestamp, speed.
В Kepler.gl выбрать слой типа "Line" (сегменты, соединяющие точки).
Включить опцию "Time" → выбрать поле timestamp.
Настроить цвет по скорости.
Запустить анимацию.
Получить интерактивную карту, показывающую движение судна во времени.

Сравнение с QGIS:

Kepler — быстрый и простой для визуализации больших массивов.
QGIS — более сложный, но дает больше инструментов анализа.

Этап 5: Сравнение инструментов

Рекомендация по выбору:

Этап 6: Комбинированный подход — использование всех трех

В реальных расследованиях часто используется комбинация:

QGIS для предварительной обработки, фильтрации и пространственного анализа данных.
Kepler.gl для быстрой визуализации и временной анимации.
Leaflet для публикации финальной карты на сайте или в отчете (с элементами, которые должны быть интерактивными).

Этап 7: Практический кейс — полное расследование с картами

Задача: По данным утечки баз данных, обнаружены координаты точек встреч контрабандистов. Необходимо визуализировать их, выявить паттерны и создать интерактивную карту для отчета.

QGIS: Загрузить CSV с координатами. Построить тепловую карту, выявить кластеры (горячие точки). Определить, что большинство встреч происходит вблизи портов.
Kepler.gl: Загрузить те же данные, добавить временную шкалу (если есть даты). Анимировать последовательность встреч, выявить закономерности: встречи происходят в определенные дни недели.
Leaflet: Экспортировать обработанные слои в GeoJSON. Создать HTML-страницу с интерактивной картой, где можно включать/выключать слои (точки, тепловая карта, буферные зоны). Встроить всплывающие подсказки с атрибутами (дата, тип груза).
Презентация: Карта встраивается в отчет. Заказчик может кликать по точкам и видеть подробности.

Инструменты для создания карт (сводная таблица)

Создание пользовательских карт — неотъемлемая часть GEOINT-расследований. Leaflet, QGIS и Kepler.gl дают исследователю полный набор инструментов: от быстрой визуализации на сайте до сложного пространственного анализа и анимации больших данных. Важно понимать сильные стороны каждого инструмента и комбинировать их для достижения максимального эффекта.

Картографические сервисы: сравнение Google Maps, Яндекс.Карты, Bing, OpenStreetMap

specialist_infosec — Wed, 12 Aug 2026 07:57:26 GMT

Картографические сервисы и их ограничения: сравнение Google Maps, Яндекс.Карты, Bing, OpenStreetMap

Карты — это не просто инструмент навигации, а один из основных источников географических данных в OSINT-расследованиях. Google Maps, Яндекс.Карты, Bing Maps и OpenStreetMap (OSM) — это четыре наиболее популярных сервиса, каждый из которых имеет свои сильные стороны, особенности и ограничения. Выбор правильной карты может существенно ускорить геолокацию, а неправильный — привести к ложным выводам. Данная статья посвящена сравнению этих сервисов, их сильным и слабым сторонам, а также практическим рекомендациям по использованию.

Зачем знать особенности картографических сервисов?

Сравнение основных картографических сервисов

Google Maps

Сильные стороны:

Лучшие панорамы улиц (Street View): Огромное покрытие, высокое качество, регулярные обновления. Возможность перемещаться по улицам и сравнивать с фото.
Высокое разрешение спутниковых снимков: Особенно в крупных городах и интересующих регионах.
Исторические панорамы: В Street View можно увидеть снимки за разные годы.
3D-здания: Позволяют оценить архитектуру и перспективу.
Интеграция с другими сервисами: Google Earth, Google Maps Platform (API).

Ограничения:

Цензура и ограничения: В некоторых странах (например, Китай) Google Maps работает с ограничениями.
Плата за API: Коммерческое использование API платное.
Политика конфиденциальности: Данные собираются и используются корпорацией Google.
Панорамы могут быть устаревшими: В некоторых регионах панорамы могут быть 5-10 летней давности.
Политическая ангажированность: Карты могут отражать официальную позицию США и других стран(например, в отношении Донбасса).

Когда использовать Google Maps:

Когда нужны панорамы улиц (особенно в США, Европе, многих других странах).
Для детального анализа местности в 3D.
Для поиска по названиям мест, организаций.

Яндекс.Карты

Сильные стороны:

Лучшее покрытие России и СНГ: Яндекс.Панорамы показывают практически все крупные города России, Беларуси, Казахстана, Украины, Турции, Грузии и других стран СНГ.
Детальные карты с большим количеством POI: Очень подробная информация о магазинах, кафе, остановках, банках.
Панорамы с возможностью перемотки во времени: В некоторых городах есть архив панорам.
Пользовательские правки: Местные жители часто обновляют данные, делая их актуальными.
API: Доступен для разработчиков (есть бесплатные лимиты).

Ограничения:

Меньше покрытие за пределами СНГ: В Европе и США панорамы доступны в ограниченных локациях.
Спутниковые снимки: Разрешение может быть ниже, чем у Google, в некоторых регионах.
Политическая ангажированность: Карты могут отражать официальную позицию России.

Когда использовать Яндекс.Карты:

Для России, Беларуси, Казахстана, Украины, Грузии, Турции, Армении.
Когда нужно быстро идентифицировать местность по панорамам в странах СНГ.
Для поиска местных объектов (магазины, банки, аптеки).

Bing Maps

Сильные стороны:

Высокое разрешение спутниковых снимков в США и Европе.
Интеграция с Microsoft Azure и другими сервисами.
Bing Streetside — панорамы в некоторых городах США и Европы.
Хорошая производительность.

Ограничения:

Меньшее покрытие панорамами по сравнению с Google.
Слабое покрытие России и развивающихся стран.
API платный для коммерческого использования.
Меньшая популярность, меньше пользовательских правок.

Когда использовать Bing Maps:

Как альтернатива Google в США.
Для спутниковых снимков в регионах, где Google может иметь менее свежие данные.
Для разработки (при интеграции с Azure).

OpenStreetMap (OSM)

Сильные стороны:

Полностью открытые данные: Любой может редактировать карту, добавлять объекты, исправлять ошибки.
Глобальное покрытие: Очень детальные карты во многих регионах (особенно в Европе, США, развитых странах).
Огромное количество слоёв: Велосипедные дорожки, пешеходные маршруты, общественный транспорт.
Бесплатный API: Безлимитный доступ к данным (при соблюдении условий).
Используется во многих OSINT-инструментах: Maltego, QGIS, Gephi и др.

Ограничения:

Отсутствие панорам улиц: Нет собственных панорам. Но можно использовать Mapillary (краудсорсинговые панорамы).
Нет спутниковых снимков: Спутниковые слои берутся из других источников (Bing, Esri).
Качество зависит от сообщества: В некоторых регионах карта может быть неполной или устаревшей.
Сложность для неподготовленных пользователей: Редактирование требует знаний.

Когда использовать OpenStreetMap:

Для исследования общественных данных (здания, дороги, инфраструктура).
Для анализа сетей (например, дорожной сети, маршрутов).
Для работы с OSINT-инструментами.
Для экспорта данных в QGIS.

Mapillary — альтернатива панорамам для OSM

Mapillary — краудсорсинговый сервис панорам, интегрированный с OSM. Пользователи по всему миру загружают панорамы улиц (через приложение), которые привязываются к координатам.

Сильные стороны:

Бесплатно и открыто.
Множество свежих панорам (от пользователей).
Интеграция с OSM (данные используются для уточнения карты).
Покрытие в регионах, где Google нет.

Ограничения:

Качество и покрытие нестабильны (зависит от пользователей).
Меньше исторических данных (не всегда есть архив).

Когда использовать Mapillary:

В дополнение к Google/Яндекс, когда нужна панорама в месте, где Google нет.
Для проверки объектов в труднодоступных регионах.

Практическое использование: сравнение панорам на примере

Задача: Определить место по фото, где видно здание с красной крышей и вывеску кафе.

Google Street View: Загружаем фото, ищем похожий угол. В большинстве городов мира панорамы доступны.
Яндекс.Панорамы: Если это Россия или СНГ, Яндекс.Панорамы могут показать более свежие снимки и с большей детализацией.
Mapillary: Если это отдаленный регион, где Google/Яндекс не имеют панорам, ищем в Mapillary.
Bing Streetside: Для США может быть альтернативой Google.

Вывод: Лучше проверять несколько сервисов, чтобы не пропустить нужный ракурс.

Этап 2: Спутниковые снимки — сравнение разрешения и свежести

Рекомендация: Для детального анализа зданий используйте Google Earth. Для мониторинга изменений — EO Browser (Sentinel). Для ежедневного мониторинга — Planet (если есть бюджет).

Этап 3: Картографические API для OSINT-автоматизации

Все сервисы предоставляют API для доступа к картам, но с разными условиями:

Пример использования Overpass API (OSM) для извлечения данных:

import requests

# Запрос всех зданий в определенной области (по координатам)
overpass_url = "https://overpass-api.de/api/interpreter"
query = """
[out:json];
(
  node["building"](48.85,2.35,48.87,2.37);
  way["building"](48.85,2.35,48.87,2.37);
  relation["building"](48.85,2.35,48.87,2.37);
);
out center;
"""
response = requests.get(overpass_url, params={'data': query})
data = response.json()
# Анализ данных

Этап 4: Ограничения картографических сервисов и как их обходить

1. Обновление данных:

Google Street View может быть неактуальным (снимки 5-10 летней давности в некоторых регионах).
OSM обновляется сообществом, но зависит от энтузиастов.

Решение: Сравнивать несколько источников и проверять дату снимков.

2. Географические ограничения:

Google Maps в Китае не работает (или с ограничениями). Используйте Baidu Maps.
Яндекс.Карты лучше всего в России и СНГ.

3. Спутниковые снимки с низким разрешением:

Бесплатные сервисы имеют 10-30 м разрешение, что недостаточно для детального анализа.

Решение: Использовать Google Earth (снимки Maxar) или платные Planet/Maxar.

4. API-лимиты:

Бесплатные API имеют ограничения.

Решение: Использовать несколько ключей (если разрешено), или оплачивать подписку.

Этап 5: Практический кейс — выбор сервиса для геолокации

Задача: Необходимо найти точное место по фото, где видны: здание с синей крышей, парк рядом, вывеска на русском языке.

Первичный анализ: Язык — русский → регион России, СНГ, Беларусь, Казахстан.
Google Street View: Проверяем по вывеске (если читается). Если Google имеет панорамы в этом городе, ищем похожий ракурс.
Яндекс.Панорамы: Если это Россия, Яндекс.Панорамы, скорее всего, дадут более свежие и детальные панорамы.
OSM: Проверяем наличие парка и здания в OSM. Если они отмечены, можно получить адрес.
Спутниковый снимок (Google Earth): Проверяем, есть ли здание с синей крышей.
Кросс-референс: Сравниваем панорамы Google и Яндекс — если они совпадают, геолокация подтверждена.

Сводная таблица рекомендаций

Выбор правильного картографического сервиса зависит от региона, задачи и доступных данных. Google Maps — универсальный лидер по панорамам и спутниковым снимкам. Яндекс.Карты незаменимы для России и СНГ. OpenStreetMap — ключ к открытым данным и API. Комбинируя эти сервисы и используя их сильные стороны, исследователь может значительно ускорить геолокацию и получить более достоверные результаты. Следующая статья цикла посвящена созданию пользовательских карт для расследований: Leaflet, QGIS, Kepler.gl.

Анализ временных рядов: выявление изменений на местности (стройки, техника, вырубка, передвижения)

specialist_infosec — Mon, 03 Aug 2026 18:13:18 GMT

Анализ временных рядов: выявление изменений на местности (стройки, техника, вырубка, передвижения)

Один снимок — это мгновение. Десять снимков за год — это история. Анализ временных рядов спутниковых снимков позволяет увидеть, как менялась местность: где появились новые здания, куда переместилась техника, где вырубили лес или проложили дорогу. Для OSINT-специалиста это возможность восстановить хронологию событий, проверить алиби, обнаружить скрытую деятельность и даже предсказать будущие изменения. Данная статья посвящена методам выявления изменений на местности с использованием спутниковых снимков разных дат.

Зачем анализировать временные ряды?

Типы изменений, которые можно обнаружить

Этап 1: Базовое сравнение снимков (визуальное)

Самый простой метод — открыть два снимка в EO Browser, Google Earth или QGIS и сравнить их визуально.

Методика:

Выбрать дату "до" (например, за год до события).
Выбрать дату "после" (после события).
Открыть в разделенных окнах или использовать слайдер времени.
Искать различия: новые объекты, исчезнувшие объекты, изменения цвета.

EO Browser:

Использовать "Compare" (сравнение двух снимков) — функция позволяет накладывать снимки разных дат с прозрачностью или разделять экран.

Google Earth:

Открыть исторические снимки и переключаться между датами.

Визуальные индикаторы:

Новые серые пятна → бетонные площадки, здания.
Темные пятна → вода, тени (возможно, новые объекты).
Светлые полосы → новые дороги.
Смена цвета с зеленого на коричневый → вырубка леса.

Этап 2: Использование спектральных индексов для выявления изменений (NDVI)

NDVI (Normalized Difference Vegetation Index) — индекс, показывающий здоровье растительности. Резкое изменение NDVI может указывать на вырубку леса, застройку или изменение сельскохозяйственной активности.

Формула NDVI:

NDVI = (NIR - Red) / (NIR + Red)

NIR (Near Infrared) — ближний инфракрасный канал (Sentinel-2 B08).
Red — красный канал (Sentinel-2 B04).
Значения от -1 до 1:

0.3+ → здоровая растительность.
0.0 → открытая почва, вода.
< 0 → вода или антропогенные объекты.

Как использовать NDVI для обнаружения изменений:

Вычислить NDVI для двух дат.
Вычислить разницу (NDVI_after - NDVI_before).
Выделить области с резким изменением (положительным или отрицательным).

Пример в EO Browser (применение индексной маски):

Использовать "Index" в EO Browser для отображения NDVI.
Сравнить NDVI за разные даты.
Области, где NDVI резко упал (с 0.6 до 0.2) → возможная вырубка или застройка.

Этап 3: Использование алгоритмов обнаружения изменений (Change Detection)

Существуют автоматические алгоритмы, которые выделяют области изменений.

Методы:

Пиксельное сравнение: Сравниваются значения пикселей в двух снимках.
Классификация: Снимки классифицируются на классы (вода, растительность, застройка), и изменения классов отслеживаются.
Временной анализ: Анализируются тренды NDVI за длительный период.

Google Earth Engine — пример обнаружения изменений:

// Загрузка двух снимков
var image1 = ee.Image('COPERNICUS/S2/2022-06-15');
var image2 = ee.Image('COPERNICUS/S2/2023-06-15');

// Расчет NDVI
var ndvi1 = image1.normalizedDifference(['B8', 'B4']);
var ndvi2 = image2.normalizedDifference(['B8', 'B4']);

// Обнаружение изменений (разница NDVI)
var diff = ndvi2.subtract(ndvi1);

// Визуализация изменений (красный=уменьшение, зеленый=увеличение)
var palette = ['red', 'white', 'green'];
Map.addLayer(diff, {min: -0.3, max: 0.3, palette: palette}, 'Changes');

Этап 4: Обнаружение новых объектов (зданий, дорог)

Новые объекты часто выглядят как светлые или темные пятна на фоне растительности или почвы.

Методы обнаружения новых объектов:

Визуальное сравнение: Сравнение снимков до и после.
Использование мультиспектральных каналов:

SWIR (коротковолновый инфракрасный): помогает отличать искусственные материалы (бетон, асфальт) от растительности.
NIR (ближний инфракрасный): показывает здоровье растений; увядание может указывать на строительство.

Автоматическое выделение границ объектов: Использование алгоритмов (например, Canny edge detection) для выделения контуров.

Пример в QGIS:

Загрузить два снимка.
Использовать инструмент "Raster Calculator" для вычисления разницы.
Применить порог (threshold) для выделения значительных изменений.

Этап 5: Отслеживание перемещения техники

Для отслеживания техники на спутниковых снимках нужна высокая разрешающая способность (3-5 м), что доступно только в коммерческих снимках (Planet, Maxar). Однако даже на бесплатных снимках можно заметить:

Следы гусениц.
Изменение тени (например, самолет на взлетной полосе).
Появление и исчезновение объектов (например, грузовиков, поездов).

Методология:

Найти область интереса (военная база, аэродром, порт).
Загрузить снимки за несколько дат (ежедневно, если есть доступ).
Сравнить и найти перемещения техники (например, танки выехали с базы).

Ограничения:

Не все спутники имеют достаточное разрешение.
Облака могут скрывать объекты.

Этап 6: Использование спутникового радара (Sentinel-1) для обнаружения изменений

Радарные снимки (Sentinel-1) не зависят от облачности и времени суток. Они позволяют обнаруживать изменения на поверхности земли, даже если снимок сделан ночью или под облаками.

Применение радарного анализа:

Обнаружение новых построек: Радар хорошо отражается от металлических и бетонных поверхностей.
Выявление вырубки леса: Уменьшение сигнала от растительности.
Отслеживание движения: Микроизменения поверхности, указывающие на активность.

Инструменты для работы с радаром:

Sentinel-1 Toolbox (SNAP): Бесплатное ПО от ESA.
EO Browser также поддерживает отображение Sentinel-1 (режим "Radar").

Этап 7: Анализ временных рядов за несколько лет

Иногда изменения происходят постепенно. Для анализа требуется не два снимка, а серия за несколько лет.

Методика:

Загрузить снимки за каждый год (например, летние, с минимальной облачностью).
Сравнить их последовательно.
Визуализировать тренды (например, с помощью графиков в Python).

Пример: мониторинг вырубки леса в Амазонии.

Снимки за 2010, 2015, 2020, 2025 годы.
Площадь леса постепенно уменьшается.
Выявлены новые дороги, ведущие вглубь леса.

Этап 8: Выявление движения грунта и изменений рельефа (InSAR)

InSAR (Interferometric SAR) — метод, использующий фазу радиоволн для измерения изменений высоты с точностью до миллиметров. Это позволяет выявить проседание грунта, оползни, тектоническую активность.

Применение:

Обнаружение подземных работ (туннели, шахты).
Мониторинг оползней.
Обнаружение движения военной техники (следы гусениц).

Инструменты:

SNAP (Sentinel-1 Toolbox) — InSAR модуль.
ASF Vertex — онлайн-интерфейс для обработки радарных данных.

Этап 9: Использование краудсорсинговых карт для проверки изменений

Изменения на спутниковых снимках можно подтвердить с помощью открытых карт:

OpenStreetMap — изменения вносятся пользователями (новые дороги, здания).
Wikimapia — пользовательские метки объектов.
Mapillary — панорамы с указанием дат (можно сравнить с датой на спутнике).

Этап 10: Практический кейс — обнаружение строительства военной базы

Задача: Обнаружить строительство новой военной базы в отдаленном районе.

Начало: Имеется подозрение о строительстве базы на основе данных от информатора.
Сбор снимков: EO Browser, снимки Sentinel-2 за 2023 год (до), 2024 год (после).
Визуальное сравнение:

На снимке 2023 года — лес.
На снимке 2024 года — вырубленный участок, следы грунта, бетонные площадки.

NDVI анализ: NDVI упал с 0.6 до 0.2 (вырубка леса).
Дополнительный снимок (Sentinel-1): Радар подтверждает наличие новых объектов (яркое отражение от металла и бетона).
Анализ временного ряда: Снимки за каждый месяц показывают последовательное появление зданий и дорог.
Сравнение с информацией от источника: Конфиденциально подтверждено (устно).
Вывод: Строительство военной базы подтверждено на 99%. Координаты: 55.XX, 37.XX. Информация передана заказчику.

Инструменты для анализа временных рядов

Ограничения метода

Облачность: Мешает оптическим снимкам. Используйте радар (Sentinel-1) как запасной вариант.
Периодичность: Не все спутники снимают каждый день. Для непрерывного мониторинга нужны коммерческие спутники (Planet).
Разрешение: Для обнаружения мелких объектов (один грузовик) нужно высокое разрешение (планет или maxar), что платно.
Интерпретация: Не все изменения — антропогенные. Лес может выгореть, вырубка может быть легальной.
Дата съемки: Если дата снимка неизвестна, сложно установить хронологию.

Анализ временных рядов спутниковых снимков — мощнейший инструмент в арсенале GEOINT. Он позволяет восстанавливать хронологию событий, выявлять скрытую деятельность, проверять алиби и мониторить изменения. Комбинация визуального сравнения, спектральных индексов (NDVI), радарных методов и алгоритмов обнаружения изменений дает максимально полную картину.

Работа со спутниковыми снимками: Sentinel Hub, EO Browser, Google Earth Engine

specialist_infosec — Mon, 03 Aug 2026 17:39:31 GMT

Работа со спутниковыми снимками: Sentinel Hub, EO Browser, Google Earth Engine

Спутниковые снимки — это окно в мир, доступное каждому. Современные спутники (Sentinel, Landsat, MODIS) предоставляют бесплатные снимки высокого и среднего разрешения с регулярностью от нескольких дней до нескольких недель. Для GEOINT-специалиста спутниковые данные — это возможность не только подтвердить геолокацию, но и увидеть изменения на местности, отследить перемещение техники, обнаружить скрытые объекты и даже восстановить историю событий. Данная статья посвящена методам работы с бесплатными спутниковыми сервисами: Sentinel Hub, EO Browser и Google Earth Engine.

Для большинства задач GEOINT достаточно Sentinel-2 (10 м разрешения) и Landsat (15-30 м).

Этап 1: Sentinel Hub и EO Browser — самый простой вход в спутниковый анализ

EO Browser (https://apps.sentinel-hub.com/eo-browser) — это веб-интерфейс для просмотра спутниковых снимков Sentinel, Landsat и других. Он не требует регистрации для просмотра, но для загрузки снимков нужен бесплатный аккаунт Sentinel Hub.

Основные функции EO Browser:

Визуализация снимков в реальном времени (с задержкой 1-5 дней).
Выбор различных комбинаций каналов (естественные цвета, NDVI, NDWI и др.).
Сравнение снимков разных дат (слайдер времени).
Загрузка снимков в высоком разрешении.
Поиск по координатам и названиям мест.

Как использовать EO Browser для геолокации:

Ввести координаты предполагаемого места.
Выбрать дату (в районе съемки фото/видео).
Сравнить снимок с фото/видео (поиск совпадений зданий, ландшафта).
Скачать снимок для дальнейшего анализа (в QGIS).

Пример:

Есть фото, предположительно из пригорода Парижа. Открываем EO Browser, находим район, сравниваем расположение зданий, очертания леса. Если всё совпадает — геолокация подтверждена.

Этап 2: Sentinel Hub API — автоматизация сбора данных

Sentinel Hub предоставляет API для программного доступа к спутниковым снимкам. Это позволяет автоматизировать мониторинг изменений, загружать снимки по расписанию и встраивать их в дашборды.

Настройка:

Зарегистрироваться на Sentinel Hub (бесплатный аккаунт).
Создать клиент (OAuth) и получить client_id и client_secret.
Установить библиотеку sentinelhub (Python).

Пример запроса снимка за определенную дату:

from sentinelhub import SHConfig, BBox, CRS, SentinelHubRequest, DataCollection, MimeType

config = SHConfig()
config.sh_client_id = "YOUR_CLIENT_ID"
config.sh_client_secret = "YOUR_CLIENT_SECRET"

# Координаты (пример: Париж)
bbox = BBox([2.3522, 48.8566, 2.38, 48.88], crs=CRS.WGS84)
request = SentinelHubRequest(
    data_folder="data",
    evalscript="""
        // Естественные цвета (RGB)
        // См. документацию для более сложных комбинаций
        return [B04, B03, B02];  // Red, Green, Blue (Sentinel-2)
    """,
    input_data=[
        SentinelHubRequest.input_data(
            data_collection=DataCollection.SENTINEL2_L2A,
            time_interval=("2023-06-15", "2023-06-16"),
            maxcc=0.1  # Максимальная облачность 10%
        )
    ],
    responses=[
        SentinelHubRequest.output_response('default', MimeType.PNG)
    ],
    bbox=bbox,
    size=[512, 512],
    config=config
)

request.get_data()

Бесплатный аккаунт имеет ограничения по количеству запросов и размеру снимков.
Для массовых запросов нужна платная подписка.

Этап 3: Google Earth Engine — мощная платформа для анализа временных рядов

Google Earth Engine (GEE) — это облачная платформа для анализа геопространственных данных. Она содержит огромный архив спутниковых снимков (Sentinel, Landsat, MODIS) и позволяет выполнять сложные вычисления (например, анализ NDVI за 10 лет) прямо в браузере, без скачивания данных.

Доступ: https://earthengine.google.com/ (требуется регистрация, бесплатно для академических и некоммерческих целей).

Основные возможности GEE:

Доступ к полному архиву (с 1980-х годов).
Выполнение скриптов на JavaScript или Python.
Сравнение снимков разных дат (временная шкала).
Создание анимаций изменений.
Экспорт данных в GeoTIFF, CSV, PNG.

Пример кода GEE (JavaScript) — обнаружение изменений:

// Загрузка коллекции Sentinel-2 за период
var collection = ee.ImageCollection("COPERNICUS/S2")
  .filterBounds(geometry)  // геометрия интереса
  .filterDate("2023-01-01", "2023-12-31")
  .filter(ee.Filter.lt("CLOUDY_PIXEL_PERCENTAGE", 10));

// Выбор одного снимка (например, за лето)
var image = collection
  .filter(ee.Filter.calendarRange(6, 8, 'month'))
  .median();

// Визуализация
Map.addLayer(image, {bands: ["B4", "B3", "B2"], min: 0, max: 3000}, "Sentinel-2 RGB");

Использование GEE для GEOINT:

Мониторинг изменений: Сравнить снимки до и после события (строительство, вырубка леса, перемещение техники).
Обнаружение скрытых объектов: Использование различных спектральных каналов для выявления объектов, невидимых в обычном RGB.
Анализ NDVI: Определение растительности (здоровые участки vs повреждённые).
Изучение истории: Просмотр снимков за разные годы для восстановления хронологии.

Этап 4: Сравнение спутниковых снимков разных дат (слайдер времени)

EO Browser, Google Earth Engine и даже Google Earth имеют инструменты для сравнения снимков.

Google Earth:

Открыть окно "Historical Imagery".
Выбрать дату и сравнить с современным состоянием.

EO Browser:

Использовать "Timeline" (слайдер времени) для быстрого сравнения разных дат.
Переключать снимки (например, "2023-05-10" vs "2023-08-15").

Google Earth Engine:

Использовать ui.Thumbnail или создавать анимации.
Сравнивать снимки до и после события.

Этап 5: Работа с мультиспектральными каналами (не только RGB)

Спутниковые снимки содержат больше, чем просто красный, зеленый и синий каналы.

Типичные каналы Sentinel-2:

Популярные комбинации каналов:

Пример использования SWIR в GEOINT:

Обнаружение скрытых дорог или троп (по изменению влажности почвы).
Выявление изменений в почвенном покрове (может указывать на строительство).

Этап 6: Автоматический поиск изменений с помощью скриптов

Можно настроить автоматическое уведомление при изменении снимка в определённой области.

Алгоритм:

Выделить область интереса (полигон).
Настроить скрипт, который сравнивает снимки (например, каждую неделю).
При обнаружении изменений (по NDVI или спектральному индексу) отправить уведомление.

Пример на Python (с использованием Sentinel Hub):

import numpy as np
from sentinelhub import ...

# Функция получения среднего NDVI за период
def get_mean_ndvi(bbox, start_date, end_date):
    evalscript = """
        // Расчет NDVI
        var ndvi = (B08 - B04) / (B08 + B04);
        return [ndvi];
    """
    request = SentinelHubRequest(...)
    data = request.get_data()
    return np.mean(data) if data.size > 0 else None

Этап 7: Спутниковые снимки и геолокация — практический кейс

Задача: Найти координаты старого аэродрома, который был заасфальтирован и превращен в парковку. Есть фото с самолётом на фоне лесополосы. Фото предположительно 1990-х годов.

Сбор информации: Точного адреса нет. Есть примерный район (Подмосковье).
Поиск в Google Earth:

Открыть исторические снимки.
Просматривать районы (бывшие аэродромы).
Найти участок с длинной прямой полосой (бывшая взлётно-посадочная) и лесополосой вокруг.

Сравнение с EO Browser:

Найти современный снимок (парковка, здания).
Найти снимок 1990-х (если есть в архиве) — подтвердить, что там был аэродром.

Визуальное совпадение:

Сравнить лесополосу на фото с лесополосой на спутниковом снимке. Совпадают по форме.

Координаты: 55.8045, 37.7456 (пример).
Кросс-референс: Поиск в интернете по описанию (старый аэродром + лесополоса) → находится официальная информация, подтверждающая геолокацию.

Инструменты для работы со спутниковыми снимками

Ограничения при работе со спутниковыми снимками

Облачность: Облака могут закрывать интересующую область. Выбирайте снимки с минимальной облачностью.
Разрешение: Для детального анализа нужны снимки высокого разрешения (0.3-1.5 м), но они платные.
Дата съемки: Спутники не снимают каждый день. Периодичность 2-16 дней.
Архивы: Не все снимки сохраняются в архивах (особенно старые).
Искажения: Спутниковые снимки могут быть искажены рельефом местности.

Спутниковые снимки — это неотъемлемая часть современного GEOINT. Они позволяют подтверждать геолокацию, выявлять изменения, анализировать историю местности и даже обнаруживать скрытые объекты. Бесплатные сервисы (EO Browser, Sentinel Hub, Google Earth Engine) предоставляют исследователю мощный инструментарий, который при правильном использовании даёт возможность заглянуть в прошлое и увидеть настоящее с высоты птичьего полёта.

Анализ теней, освещения и перспективы для определения времени и места съемки

specialist_infosec — Thu, 30 Jul 2026 07:09:02 GMT

Анализ теней, освещения и перспективы для определения времени и места съемки

Тени и освещение - это одни из самых мощных, но и самых сложных инструментов геолокации. Они могут дать точное время съемки, указать на географическую широту и даже помочь определить дату. В отличие от архитектуры или языка, тени не зависят от человеческой культуры - они подчиняются законам астрономии и геометрии. Однако их анализ требует понимания движения Солнца, работы с картами высот и использования специализированных калькуляторов. Данная статья посвящена методам анализа теней, освещения и перспективы для геолокации.

Что даёт анализ теней и освещения?

Основы движения Солнца

Для понимания теней необходимо знать основные законы:

Солнце восходит на востоке, заходит на западе (с небольшими отклонениями в зависимости от сезона и широты).
В полдень Солнце находится в наивысшей точке (в северном полушарии - на юге, в южном - на севере).
Тени короче всего в полдень (когда Солнце в зените).
Утром тени падают на запад, вечером - на восток (в северном полушарии).
Зимой Солнце ниже над горизонтом, тени длиннее (даже в полдень).

Этап 1: Определение направления по теням

Направление тени позволяет определить стороны света, если известен хотя бы приблизительный регион и время суток.

Как определить направление:

Выбрать вертикальный объект (столб, человека, здание).
Определить направление его тени (относительно объекта).
В северном полушарии:

Утром тень падает на запад (Солнце на востоке).
В полдень тень падает на север (Солнце на юге).
Вечером тень падает на восток (Солнце на западе).

В южном полушарии - наоборот (тень в полдень падает на юг).

Инструменты для определения азимута:

Компас (на телефоне или реальный) - если известно место.
Карты (Google Maps) с ориентированием по сторонам света.
Солнечные часы - метод "импровизированного компаса".

Этап 2: Определение времени суток по теням

Длина и направление тени зависят от высоты Солнца над горизонтом.

Примерное правило для северного полушария (умеренные широты):

Математический метод:
Отношение длины тени к высоте объекта = tg(угол Солнца).

Измерить на фото: высоту объекта (H) и длину тени (L) (в одних единицах).
Вычислить угол = arctg(L/H).
Зная приблизительную широту, определить время суток.

Пример:

Человек ростом 1.8 м отбрасывает тень длиной 2.7 м.
tg(α) = 2.7 / 1.8 = 1.5 → α ≈ 56°.
Солнце на высоте 56° над горизонтом. При широте ~55° (Москва) это соответствует ~13:00 летом.

Этап 3: Определение сезона по теням

Зимой Солнце ниже, поэтому тени длиннее. Летом - короче.

Признаки сезона:

Длинные тени (даже в полдень) - зима.
Короткие тени в полдень - лето (особенно вблизи экватора).
Тени отсутствуют (Солнце в зените) - тропики, примерно 2 раза в год.

Сравнение с визуальными признаками:

Листва на деревьях - лето/весна.
Снег на земле - зима.
Длинная одежда людей - осень/зима.

Этап 4: Определение широты по теням (метод "полуденной тени")

Если на фотографии известен полдень (или можно определить момент съемки), можно вычислить широту.

Метод:

Найти момент полдня (когда тени самые короткие).
Измерить угол Солнца над горизонтом (α) в полдень.
Широта = 90° - α + склонение Солнца (δ).

Склонение Солнца (δ) = 23.5° * sin(день года). Для 21 марта и 23 сентября δ=0°, для 21 июня δ=23.5°, для 21 декабря δ=-23.5°.

Упрощенно (без сложных вычислений):

Если в полдень тени почти отсутствуют - низкие широты (близко к экватору).
Если тени очень длинные даже в полдень - высокие широты (близко к полюсам).

Инструменты:

SunCalc.org - интерактивная карта с положением Солнца в любой точке мира в любое время.
SunEarthTools.com - более детальный калькулятор.
PhotoPills (мобильное приложение) - для фотографов, показывает положение Солнца и Луны.

Этап 5: Анализ перспективы и фокусного расстояния

Перспектива может помочь определить, где находилась камера и как был снят объект.

Ключевые понятия:

Угол обзора: Широкий (16-35 мм) - большая глубина, сильные искажения; телефото (100+ мм) - сжатие перспективы.
Точка схода: Линии параллельных объектов сходятся в одной точке (например, железнодорожные пути).
Горизонт: Линия горизонта позволяет определить высоту точки съемки (если видно море/равнина).

Как использовать:

Определение высоты съемки: Если горизонт виден, можно оценить, снимали с земли или с высоты (например, с квадрокоптера, из окна многоэтажки, или с горы).
Определение направления съемки: Если видна точка схода, можно определить, на какое направление смотрит камера (по компасу).

Этап 6: Использование онлайн-калькуляторов для точного определения времени и места

SunCalc.org

Загрузить карту, выбрать место, посмотреть траекторию Солнца.
Использовать "Sun Position" для конкретного времени.
Визуализация теней по времени.

MoonCalc.org

Аналогично, но для Луны.
Помогает определить дату по фазе Луны или точное время по положению Луны.

Stellarium

Планетарий для определения звёздного неба.
Если на фото видно звёзды, можно определить место и время (сложно).

Этап 7: Сложный кейс — определение времени по теням на часах

Иногда на фото видно часы (на здании, на руке). Если часы показывают время, его можно использовать для привязки.

Ограничения:

Часы могут быть неправильно установлены.
Летнее/зимнее время (DST).
Часовой пояс может отличаться от географического.

Этап 8: Использование метеоданных для подтверждения времени

Время съемки можно сравнить с архивными метеоданными.

Инструменты:

Weather Underground (архивы погоды по часам).
GISMETEO (Россия, СНГ — архивы погоды).
TimeAndDate.com — архивы погоды, восход/закат.

Что сравнивать:

Облачность (если видно на фото).
Осадки (снег, дождь).
Температура (по одежде людей).

Практический пример: определение времени по теням на фото здания

Задача: На фото здания с часами (на циферблате — 15:30). Тени падают на северо-восток. Нужно проверить, соответствует ли время.

Известно, что часы показывают 15:30 (возможно, московское время). Здание находится в Москве (UTC+3, летом UTC+4).
Тени падают на восток (а не на восток). В 15:30 в Москве тени должны падать на северо-восток, а в данном случае они падают на северо-запад. Несоответствие.
Гипотеза: часы переведены неправильно. Солнце: если тени падают на северо-запад, значит Солнце на юго-востоке — это утро (около 9:00). Следовательно, часы показывают 15:30, но реальное время около 9:00.
Проверка через SunCalc.org для Москвы: для 1 марта в 9:00 тени действительно падают на северо-запад.
Вывод: часы на здании неправильные, или фото было сделано в другое время года (летнее/зимнее время?). В любом случае, фото сделано утром, а не днем.

Инструменты и ресурсы

Ограничения метода

Тени зависят от времени года: Летом солнце выше, тени короче. Зимой — длиннее. Одна и та же фотография может дать разное время в разное время года.
Неизвестная ориентация: Если неизвестно, где север, сложно определить время.
Искажения объектива: Широкоугольные объективы искажают перспективу и длины теней. Нужно учитывать.
Тени могут быть от других объектов: Иногда тень падает не от основного объекта, а от рядом стоящего дерева или столба.

Анализ теней, освещения и перспективы — это мощный, но требующий практики и знаний метод геолокации. Он позволяет не только определить место съемки, но и установить точное время, а иногда даже дату. Комбинация с другими методами (язык, архитектура, ландшафт) даёт максимально точный результат. Важно никогда не полагаться на один метод. Солнце и тени — лишь часть пазла.

Методы геолокации по фотографиям: ландшафт, архитектура, растительность, дорожные знаки

specialist_infosec — Sun, 26 Jul 2026 17:09:06 GMT

Методы геолокации по фотографиям: ландшафт, архитектура, растительность, дорожные знаки

Геолокация по фотографии — это искусство и наука определения места съемки на основе визуальных элементов, присутствующих на изображении. В отличие от метаданных (которые могут быть удалены или подделаны), визуальные элементы объективны: архитектура, ландшафт, дорожные знаки, растительность — это то, что можно проверить и сопоставить с известными географическими базами. Данная статья посвящена систематическому анализу визуальных признаков для геолокации.

Уровни геолокации по фотографии

Пирамида геолокации

Язык и письменность - Вывески, надписи, реклама.
Архитектура - Стиль зданий, форма крыш, строительные материалы.
Транспорт - Типы автомобилей, номера, дорожная разметка.
Инфраструктура - Дорожные знаки, фонари, столбы, опоры ЛЭП.
Ландшафт и природа - Растительность, рельеф, водоемы.
Погода и освещение - Солнце, тени, облака.
Специфические маркеры - Флаги, гербы, памятники, таблички.

Этап 1: Язык и письменность

Это самый быстрый и очевидный способ ограничить географию.

Что искать:

Текст на вывесках: Магазины, кафе, остановки, указатели.
Язык: Русский, украинский, английский, китайский, арабский и т.д.
Скрипт (алфавит): Кириллица, латиница, арабское письмо, иероглифы.
Особенности орфографии: Буква «і» указывает на украинский, «ğ» - на турецкий.
Политика языков: Некоторые страны имеют два официальных языка - это сужает поиск.

Примеры:

Надпись на украинском и кириллица - Украина.
Латиница с диакритикой (ě, š, č) - Чехия, Словакия, Польша.
Арабский шрифт - Ближний Восток.
Иероглифы (упрощенные) - Китай.
Иероглифы (традиционные) - Тайвань, Гонконг.

Инструменты:

Google Translate (распознавание незнакомых языков по фото - Google Lens).
База Unicode, информация о региональных языках.

Этап 2: Архитектура

Архитектурный стиль региона - один из самых надежных маркеров, так как он меняется медленно.

Ключевые элементы архитектуры:

Дополнительные признаки:

Цвет фасадов (в Санкт-Петербурге - пастельные тона, в Скандинавии - яркие цвета, в Париже - бежевый камень).
Высота зданий (в Европе редко бывают небоскребы, в Азии и США - часто).
Элементы отделки (лепнина, мозаика, кафель, скульптуры).

Инструменты:

Google Lens: найти похожую архитектуру в интернете.
Базы архитектурных стилей (Wikipedia, архитектурные сайты).
Google Images и Yandex.Images (поиск по фрагментам).

Этап 3: Транспорт и автомобили

Автомобили и другие транспортные средства - отличный маркер региона.

Ключевые элементы транспорта:

Анализ номерных знаков:

Код региона: В России и Казахстане региональный код часто включен в номер.
Страна: Цвет и формат номеров регулируются законодательством.
Цвет фона:

Белый - большинство стран.
Желтый - Великобритания, Люксембург.
Зеленый - некоторые коммерческие авто в странах ЕС.

Инструменты:

PlateRecognizer (распознавание номеров по фото - платное).
Таблицы автомобильных номеров (поисковые запросы по формату).

Этап 4: Дорожные знаки и инфраструктура

Дорожные знаки имеют национальные особенности, хотя и стандартизированы (Венская конвенция).

Ключевые признаки дорожных знаков:

Форма: Круглые (запрещающие, предписывающие) vs треугольные (предупреждающие).
Цвет: Красная кайма (запрет), синий фон (предписание, информация).
Оформление: Шрифт, пиктограммы, наличие надписей на национальном языке.
Столбы и фонари: Тип и форма фонарных столбов может указывать на страну.

Примеры:

В России знак «Пешеходный переход» - синий квадрат с белым треугольником. В Европе - знак с пешеходом на зебре, часто желтый фон.
В странах ЕС границы стран часто обозначаются синим щитом с желтыми звездами.

Этап 5: Ландшафт и растительность

Природные особенности - одни из самых сложных, но и самых достоверных маркеров.

Инструменты:

Google Lens (распознавание растений и деревьев).
iNaturalist (определение растений по фото).
Спутниковые карты (Google Earth, Sentinel).

Этап 6: Погода как маркер сезона и климата

Погода на фотографии может указывать на сезон и климатическую зону.

Этап 7: Специфические маркеры (памятники, флаги, гербы)

Это самые сильные маркеры, если их удается идентифицировать.

Что искать:

Флаги: Государственный флаг часто виден на зданиях, аэродромах.
Гербы: На зданиях администрации, на гербовых печатях.
Памятники: Статуи, мемориалы, монументы.
Вывески с названиями: Улицы, города, крупные сети магазинов.

Инструменты:

Поиск по изображению (Reverse Image Search): Загружаем фото памятника в Google Images.
Википедия: Поиск по описанию памятника.

Практический пример: геолокация сложного фото

Задача: Определить место съемки по фотографии, где видны: здание с красной крышей, река с лодками, белая церковь с голубым куполом.

Язык: Надпись на здании - по-русски. - Россия или страны СНГ.
Архитектура: Церковь с голубым куполом - православная. Белые стены, голубой купол - характерно для многих регионов, но чаще на севере России.
Ландшафт: Река, лодки, на заднем плане лесистые холмы - северный регион.
Поиск по фрагментам: Вывеска на здании - «Гостиница Рыбацкая». Поиск в Яндекс - есть отель с таким названием в городе Петрозаводск.
Сравнение с панорамами: Яндекс.Панорамы показывают это здание на набережной Онежского озера в Петрозаводске.
Кросс-референс: В новостях Петрозаводска есть упоминания о реке и церкви, совпадающие по описанию.
Результат: Координаты: 61.79° N, 34.39° E (Петрозаводск, Россия).

Этап 8: Поиск по уникальным элементам с помощью Google Lens и поисковиков

Google Lens (мобильное приложение) позволяет сканировать объекты на фото и искать информацию о них. Это часто быстрее, чем вручную искать по тексту.

Использование Google Lens:

Открыть фото в приложении Google.
Обвести объект (вывеску, памятник, здание).
Посмотреть результаты поиска.

Использование Yandex.Images:

Загрузка фото и поиск по зданиям, вывескам, ландшафту. В русскоязычном сегменте часто точнее Google.

Этап 9: Составление карты-подсказки (Mind Map)

Для системного анализа полезно создать карту-подсказку:

Фото
├── Язык → [страны]
├── Архитектура → [стиль]
├── Транспорт
│   ├── Номера → [страна/регион]
│   └── Тип машин → [эпоха / регион]
├── Ландшафт
│   ├── Растительность → [климатическая зона]
│   └── Водоемы → [регион]
├── Инфраструктура
│   ├── Столбы → [региональный стиль]
│   └── Знаки → [страна]
└── Погода → [сезон]

Инструментарий геолокации (сводная таблица)

Ошибки при геолокации

Геолокация по фотографии — это детективная работа, требующая комбинации знаний из многих областей: географии, архитектуры, лингвистики, ботаники, культурологии. Ключевой принцип — «триангуляция»: никогда не полагаться на один признак. Комбинация языка, архитектуры, транспорта, инфраструктуры и ландшафта позволяет с высокой точностью определить место съемки даже по одному фото.

Введение в GEOINT: география как источник разведывательных данных

specialist_infosec — Tue, 21 Jul 2026 16:52:48 GMT

Введение в GEOINT: география как источник разведывательных данных

Геопространственный OSINT (GEOINT) — это направление открытой разведки, специализирующееся на сборе, анализе и интерпретации географической информации. В отличие от других направлений OSINT, GEOINT оперирует пространственными данными: координатами, картами, спутниковыми снимками, аэрофотосъемкой, панорамами улиц и даже астронавигационными методами. Геолокация по фотографии, анализ изменений на спутниковых снимках, создание собственных интерактивных карт — всё это инструменты GEOINT, которые позволяют исследователю ответить на вопросы «Где?», «Когда?», «Что изменилось?» и «Почему именно здесь?».

Что такое GEOINT и чем он отличается от других направлений OSINT?

GEOINT (Geospatial Intelligence) — это дисциплина, которая использует географические данные для поддержки принятия решений. В контексте открытой разведки это означает:

Пассивное извлечение географической информации из фотографий, видео, спутниковых снимков, карт и других открытых источников.
Анализ пространственных взаимосвязей между объектами, событиями и местами.
Визуализацию данных на картах для выявления закономерностей и трендов.

В отличие от транспортного OSINT, где акцент делается на перемещениях и логистике, GEOINT фокусируется на статической географии: место съемки, ландшафт, инфраструктура, изменения во времени.

Почему GEOINT важен для расследований?

Основные источники данных в GEOINT

Методологическая схема GEOINT-расследования

Обнаружение контента: Найдено фото/видео с неизвестной локацией.
Предварительный визуальный осмотр: Анализ видимых элементов — архитектура, язык, природа, транспорт.
Извлечение метаданных: EXIF, GPS, дата съемки (если не удалены).
Поиск по изображению (Reverse Image Search): Проверка, не публиковалось ли уже это фото с известной геолокацией.
Идентификация ключевых ориентиров: Уникальные объекты, которые можно найти на карте.
Сравнение с картами и панорамами: Google Maps, Яндекс.Панорамы, Mapillary.
Анализ теней и освещения: Определение времени суток и сезона.
Кросс-референс с другими источниками: Метеоданные, новости, соцсети.
Формулирование вывода: Точные координаты или район съемки, степень уверенности.

Ключевые навыки GEOINT-специалиста

Юридические ограничения и ответственность в GEOINT

Анализ спутниковых снимков публичных сервисов (Sentinel, Google Earth) легален.
Использование коммерческих спутниковых снимков (Maxar, Planet) для расследований допускается, но требует лицензии.
Геолокация частных лиц без их согласия (по фото из соцсетей) может нарушать законы о персональных данных.
Публикация точных координат секретных объектов (военные базы, ядерные объекты и объекты стратегического назначения) может быть запрещена законодательством.

GEOINT — это многогранная дисциплина, объединяющая географию, картографию, спутниковые технологии, анализ визуальных данных и методы верификации. Она позволяет исследователю не просто видеть объект, а понимать его пространственный контекст: где он находится, какова его история, что изменилось вокруг.

Кейсы технического OSINT: реальные примеры разведки перед пентестом, обнаружения забытых сервисов и выявления уязвимостей

specialist_infosec — Tue, 07 Jul 2026 21:39:23 GMT

Кейсы технического OSINT: реальные примеры разведки перед пентестом, обнаружения забытых сервисов и выявления уязвимостей

Технический OSINT — это не просто набор инструментов и методик, а практическая дисциплина, которая применяется в реальных сценариях: от оценки безопасности собственной инфраструктуры до разведки конкурентов и расследования инцидентов. Теория без практики мертва. В этой заключительной статье цикла мы разберем несколько реальных кейсов (обезличенных и агрегированных) из практики технической разведки. Каждый кейс демонстрирует применение методов и инструментов, описанных в предыдущих статьях, и показывает, как пассивный сбор данных может привести к обнаружению критических уязвимостей, забытых активов и инсайтов о стратегии организации.

КЕЙС 1: РАЗВЕДКА ПЕРЕД ПЕНТЕСТОМ (ПЛАНОВАЯ ОЦЕНКА ИНФРАСТРУКТУРЫ)

Исходные данные: Компания «Альфа» (вымышленное название) заказала внешний пентест своего интернет-периметра. У команды пентеста есть только домен alpha.com и разрешение на активное сканирование. Однако перед любыми активными действиями они проводят пассивную разведку, чтобы не пропустить сервисы, которые не сканируются стандартными средствами, и чтобы правильно спланировать нагрузку.

Ход работы:

WHOIS-анализ: alpha.com зарегистрирован 15 лет назад, регистратор — Namecheap. Контакты скрыты PrivacyGuard. DNS-серверы: ns1.alpha.com, ns2.alpha.com. Это указывает на то, что компания использует собственные DNS-серверы, а значит, возможно, имеет внутреннюю инфраструктуру.
DNS-разведка (dig):

A → 192.0.2.10 (основной веб-сервер).
MX → mail.alpha.com (приоритет 10), резервный mx.backup.net (приоритет 20).
TXT → v=spf1 include:spf.protection.outlook.com -all → используется Office 365.
NS → ns1.alpha.com, ns2.alpha.com.

Поиск поддоменов (crt.sh + SecurityTrails): Найдено 45 поддоменов, в том числе:

www.alpha.com (основной сайт).
mail.alpha.com (почтовый сервер).
remote.alpha.com (удалённый доступ, предположительно VPN).
jenkins.alpha.com (система CI/CD).
dev.alpha.com (тестовый поддомен).
old.alpha.com (старый сайт).

Анализ SSL-сертификатов: На jenkins.alpha.com сертификат выдан Let's Encrypt, истекает через 10 дней. Это указывает на то, что сервис жив и активно используется (сертификат обновляется). На old.alpha.com сертификат истёк год назад — возможно, сервис уже неактивен, но всё ещё доступен по IP.
Shodan/Censys по IP-адресам поддоменов:

192.0.2.10 (основной сайт) → порты 80, 443. Сканирование баннеров показало Nginx 1.18.0, PHP 7.4.33.
198.51.100.22 (jenkins.alpha.com) → порт 8080 открыт, Jenkins 2.289.1 (уязвимая версия, подверженная CVE-2023-23897).
203.0.113.45 (mail.alpha.com) → порты 25, 587, 993 (SMTP, SMTP over TLS, IMAPS).
198.51.100.88 (remote.alpha.com) → порт 443 с сертификатом, но баннер похож на OpenVPN или SSL-прокси.
192.0.2.50 (dev.alpha.com) → порт 22 (SSH), 80, 443. Баннер SSH: OpenSSH 7.9 (устаревший).

WHOIS по IP: Все IP-адреса принадлежат ALPHA-AS (AS12345), зарегистрированному в RIPE. Это означает, что компания использует собственные IP-адреса и не полагается на облачных провайдеров для этих сервисов.
Технологический стек (Wappalyzer): Основной сайт на Drupal 9.5.3 (уязвимый, CVE-2023-XXXX). Используется jQuery 3.6.0, Bootstrap 4.6. Google Analytics ID UA-123456-1.
GitHub-поиск: Организация alpha-org имеет несколько публичных репозиториев. Один из них — alpha-backend — содержит файл .env.example с реальными паролями (не были заменены на заглушки). В коде встречается строка DB_PASSWORD=AlphaDb2023.

Итог кейса:

Результат: Пентест-команда заранее составила карту активов, выявила три критических вектора атаки и спланировала нагрузку на активные сканеры так, чтобы не вызвать сбоев в работе Jenkins и почтового сервера. Обнаруженный пароль был передан клиенту до начала пентеста, что позволило избежать потенциального взлома до тестирования.

КЕЙС 2: ОБНАРУЖЕНИЕ ЗАБЫТОГО СЕРВИСА (JENKINS С УЯЗВИМОСТЬЮ)

Исходные данные: Сотрудник отдела безопасности компании «Бета» проводит аудит собственной инфраструктуры. Он подозревает, что в сети есть забытые сервисы, которые не отслеживаются централизованно. В компании используется домен beta.ru.

Ход работы:

Поиск поддоменов через crt.sh:
Запрос %.beta.ru выдает 120 сертификатов. Среди них есть ci.beta.ru, который не фигурирует во внутренних документах.
Проверка доступности (DNS):
ci.beta.ru резолвится в 192.168.1.100 (внутренний IP, но компания использует NAT, и этот IP доступен из интернета через публичный адрес). Это явно внутренний сервер, который был случайно опубликован во внешний DNS.
Shodan-поиск по IP (публичному адресу):
Порт 8080 открыт, баннер: Jenkins 2.263. Версия Jenkins 2.263 уязвима к CVE-2022-12345 (удалённое выполнение кода через панель управления).
Поиск в истории DNS: SecurityTrails показывает, что ci.beta.ru появился 3 года назад и с тех пор не менял IP. Это подтверждает, что сервис был создан для проекта, который давно завершён, но не выведен из эксплуатации.
Проверка сертификата: Сертификат для ci.beta.ru выдан Let's Encrypt и истекает через 45 дней. Это значит, что сервис всё ещё обслуживается (автоматическое обновление сертификатов), но никто не помнит, зачем он нужен.
Анализ заголовков: HTTP-заголовки показывают X-Content-Type-Options: nosniff, X-Frame-Options: SAMEORIGIN, что хорошо, но отсутствует CSP. Сам Jenkins доступен без аутентификации (что подтверждается при открытии страницы в браузере — панель администрирования видна).

Итог кейса:

Обнаружен забытый Jenkins-сервер, доступный из интернета с открытой панелью управления.
Версия Jenkins имеет критическую уязвимость, которая позволяет выполнить произвольные команды на сервере.
Компания «Бета» немедленно закрыла доступ к сервису, ограничив его внутренней сетью, и инициировала процедуру вывода из эксплуатации.
Это предотвратило возможную компрометацию всей инфраструктуры через данный сервер.

Вывод: Даже если вы не проводите активное сканирование, пассивный OSINT (crt.sh, Shodan) может выявить забытые сервисы, о которых не знает даже служба безопасности.

КЕЙС 3: РАССЛЕДОВАНИЕ УТЕЧКИ ДАННЫХ ЧЕРЕЗ GITHUB

Исходные данные: В СМИ появилась новость, что компания «Гамма» (домен gamma.tech) пострадала от утечки данных клиентов. Отдел безопасности должен выяснить, как произошла утечка и какие данные скомпрометированы.

Ход работы:

Поиск упоминаний компании в GitHub:
Использование GitHub Code Search с операторами: "gamma.tech" password, "gamma.tech" api_key, "gamma.tech" secret, "gamma.tech" token. Найдено 15 файлов, содержащих упоминания домена.
Анализ найденных файлов:

В репозитории gamma-public есть файл config/database.yml, содержащий строку: password: GammaDB2023!. Этот репозиторий был публичным.
В другом репозитории gamma-util в файле creds.py найден AWS-ключ: aws_access_key_id = "AKIAXXXXXXXXXXXXXXXX", aws_secret_access_key = "abcdefghijklmnopqrstuvwxyz1234567890". Ключ действителен.

Проверка активности ключей:

Подключение к AWS CLI с найденным ключом (в безопасной изолированной среде) показывает, что ключ имеет права на чтение S3-бакетов, включая бакет gamma-customer-data.
Список файлов в бакете содержит дампы баз данных с именами клиентов, email-адресами, телефонными номерами и даже хэшированными паролями (но слабый алгоритм хеширования).

Поиск других утечек:

Использование Dehashed и Leak-Lookup по email-адресам сотрудников показывает, что несколько сотрудников использовали корпоративные email для регистрации на сторонних сервисах, пароли от которых были скомпрометированы.
Это позволило злоумышленникам получить доступ к внутренним репозиториям и опубликовать их.

Восстановление цепочки:

Один из разработчиков случайно закоммитил файл с паролями в публичный репозиторий.
Злоумышленник нашёл этот файл через поиск по gamma.tech.
Используя пароль, получил доступ к базе данных и скачал её.
Также использовал AWS-ключ для доступа к S3-бакетам.

Итог кейса:

Причина утечки — человеческая ошибка (публикация секретов в открытом репозитории).
Скомпрометированы данные более 50 000 клиентов.
Компания «Гамма» немедленно:

Отозвала все скомпрометированные ключи и пароли.
Удалила публичные репозитории с секретами.
Внедрила политику автоматического сканирования всех публичных репозиториев на наличие секретов с помощью TruffleHog.
Уведомила регулятора и клиентов об утечке (в соответствии с GDPR).

Вывод: Поиск по открытым репозиториям — обязательный элемент мониторинга безопасности. Даже одна публичная строка с паролем может привести к катастрофической утечке.

КЕЙС 4: МОНИТОРИНГ КОНКУРЕНТА (ОБНАРУЖЕНИЕ НОВОГО ПРОДУКТА)

Исходные данные: Компания «Дельта» хочет узнать о планах своего конкурента «Эпсилон» по запуску нового сервиса. Конкурент использует домен epsilon.io.

Ход работы:

Настройка мониторинга:

CertSpotter добавлен на домен epsilon.io и *.epsilon.io.
Ежедневный скрипт проверяет crt.sh на новые сертификаты для epsilon.io.
Changedetection.io отслеживает главную страницу epsilon.io и страницу /careers (появление новых вакансий).

Обнаружение через 2 недели:

CertSpotter отправляет уведомление: новый сертификат для api.epsilon.io.
Сертификат выдан Let's Encrypt, в SAN указаны api.epsilon.io и *.api.epsilon.io.

Разведка нового поддомена:

api.epsilon.io разрешается в IP 52.0.0.123.
WHOIS показывает, что IP принадлежит AWS (AS14618).
Порт 443 открыт, баннер HTTP содержит заголовок Server: AmazonS3. Это указывает на статический сайт, размещённый в S3.
Порт 80 тоже открыт, редиректит на 443.
Открыт также порт 3000, на котором виден заголовок X-Powered-By: Express. Это указывает на Node.js-приложение.
Shodan показывает, что порт 3000 доступен, но баннер содержит ошибку 404.

Анализ контента:

Страница https://api.epsilon.io содержит Swagger-документацию (openapi.json). В ней перечислены эндпоинты для управления заказами, пользователями и платежами.
Это явно новый API-сервис, который ещё не анонсирован.

Связь с вакансиями:

На странице /careers появилась вакансия «Senior Node.js Developer» для работы над «новым облачным продуктом».
Это подтверждает, что компания запускает новый B2B-сервис.

Итог кейса:

Компания «Дельта» узнала о запуске нового продукта конкурента за месяц до официального анонса.
Изучив Swagger-документацию, они смогли оценить функционал и скорректировать свою стратегию.
Информация была передана в стратегический отдел для анализа рынка.

Вывод: Мониторинг новых сертификатов и поддоменов позволяет выявлять неанонсированные проекты и получать рыночное преимущество.

КЕЙС 5: ПОИСК СКРЫТЫХ ПОДДОМЕНОВ ЧЕРЕЗ CT-ЛОГИ И WAYBACK MACHINE

Исходные данные: Исследователь безопасности ищет все возможные поддомены компании zeta.space для составления карты инфраструктуры. В DNS и CT-логах есть поддомены www, mail, vpn. Но он подозревает, что есть ещё забытые.

Ход работы:

crt.sh (стандартный запрос): %.zeta.space даёт 25 результатов, включая те, что уже известны.
Wayback Machine CDX API:bashcurl "https://web.archive.org/cdx/search/cdx?url=zeta.space/*&output=json&limit=100000" > all_pages.jsonВ полученном списке страниц исследователь находит упоминания URL staging.zeta.space, dev.zeta.space, test.zeta.space, которые отсутствуют в CT-логах.
Проверка доступности:

staging.zeta.space резолвится в 203.0.113.77.
Порт 80 открыт, на нём видна тестовая страница с ошибкой PHP.
Порт 443 закрыт (сертификата нет).

Анализ контента на Wayback Machine:

Сохранённая копия staging.zeta.space от 2 лет назад содержит полную структуру каталогов: /admin, /backup, /old. В папке /backup лежит файл db_backup_2022.sql.

Поиск по файлу в Wayback Machine:

Исследователь скачивает db_backup_2022.sql (через архивную ссылку) и находит в нём email-адреса сотрудников, включая адреса IT-отдела.

Использование email для дальнейшей разведки:

Через утечки (Dehashed) находится, что один из email использовался на форумах, где пароль был скомпрометирован.

Итог кейса:

Обнаружены забытые поддомены (staging, dev, test), которые всё ещё доступны и содержат уязвимые версии ПО.
Найден дамп базы данных, который может содержать конфиденциальную информацию.
Получены email-адреса для дальнейшей социальной инженерии или проверки утечек.

Вывод: Wayback Machine — мощный инструмент для обнаружения поддоменов, которые уже не существуют в DNS или CT-логах, но всё ещё могут быть доступны по IP или содержать следы в архивах.

КЕЙС 6: КОМПЛЕКСНОЕ РАССЛЕДОВАНИЕ (ПОЛНАЯ КАРТИНА ЗА 1 ЧАС)

Исходные данные: Аналитик получает задачу: «Что мы знаем о компании omega.tech?» У него есть только домен.

Ход работы (пошагово, с таймингами):

WHOIS (2 мин): omega.tech зарегистрирован через GoDaddy, дата создания 2015-03-10, NS: ns1.omega.tech, контакты скрыты.
DNS (3 мин):

A → 54.0.0.10.
MX → mail.omega.tech (приоритет 10), mx2.omega.tech (20).
TXT → v=spf1 include:_spf.google.com ~all (использует Google Workspace).

Поддомены (crt.sh + SecurityTrails) (5 мин):

Найдено 30 поддоменов, включая jenkins, gitlab, monitoring, dev.

Анализ IP и ASN (5 мин):

54.0.0.10 принадлежит AWS (AS14618), регион us-east-1.
Другие IP поддоменов принадлежат тому же AWS-аккаунту (определено по схожести IP-диапазонов).

Shodan/Censys по IP (5 мин):

На 54.0.0.10: порты 80, 443 (Nginx 1.20.0, PHP 8.0).
На 54.0.0.22 (jenkins): порт 8080 (Jenkins 2.303, уязвимый).
На 54.0.0.33 (gitlab): порты 80, 443 (GitLab 14.5).

SSL-сертификаты (3 мин):

Все сертификаты выданы Let's Encrypt, истекают через 20 дней. Это указывает на единую политику управления.

Технологический стек (3 мин):

Wappalyzer: основной сайт на WordPress 5.9 с плагинами: WooCommerce, Yoast SEO, WP Rocket. Тема — OceanWP.

GitHub-поиск (5 мин):

omega.tech упоминается в 7 репозиториях. В одном из них есть файл .env с открытым ключом SMTP.

Wayback Machine (5 мин):

Найдена старая версия сайта 2017 года с контактами и старым списком сотрудников.

Сборка карты инфраструктуры (остальное время):

Визуализация в Maltego: домен → IP → ASN → поддомены → сервисы.

Итог за 1 час:

Принятое решение: Команда безопасности немедленно приступила к анализу обнаруженных уязвимостей, а стратегический отдел использовал информацию о технологиях и инфраструктуре для оценки конкурентных рисков.

ЭТИЧЕСКИЕ МОМЕНТЫ: ЧТО ДЕЛАТЬ С НАЙДЕННЫМ

Каждый из описанных кейсов поднимает этические вопросы. Вот несколько правил:

Если вы нашли секрет (пароль, ключ), НЕ ИСПОЛЬЗУЙТЕ ЕГО для доступа к системе. Сообщите владельцу через официальный канал (security@company.com, программа Bug Bounty). В некоторых случаях можно использовать отчетные платформы (HackerOne, Bugcrowd).
Не распространяйте найденные данные. Если вы обнаружили дамп базы данных с персональными данными, не копируйте их, не делитесь ими. Просто уведомите владельца.
Соблюдайте законы о персональных данных (GDPR, 152-ФЗ). В некоторых юрисдикциях даже хранение найденных данных может быть нарушением.
Если вы мониторите конкурента в коммерческих целях, используйте только публичные источники. Активное сканирование или взлом — это шпионаж и уголовное преступление.
В пентесте с разрешением — все найденное документируется и передается заказчику. Не используйте уязвимости для получения несанкционированного доступа, даже если они есть.

ЗАКЛЮЧЕНИЕ

Технический OSINT — это системный подход к сбору информации об инфраструктуре организаций из открытых источников. Шестнадцать статей этого цикла охватили полный спектр: от DNS-разведки и поиска поддоменов до анализа SSL-сертификатов, портов, заголовков, уязвимостей и репозиториев кода. Мы рассмотрели как базовые инструменты (dig, whois, curl, Wappalyzer), так и продвинутые (Amass, Shodan, Censys, TruffleHog, Grafana, Dash). Мы научились автоматизировать сбор данных, строить дашборды и применять полученные знания в реальных кейсах.

Главные выводы цикла:

Пассивная разведка безопасна и легальна (в отличие от активного сканирования), но даёт до 80% информации об инфраструктуре.
Комбинируйте источники: DNS, CT-логи, архивы, GitHub, Shodan — каждый добавляет свои уникальные данные.
Автоматизация — ключ к масштабу: ручной сбор годится для одного-двух доменов; для десятков и сотен нужны скрипты.
Интерпретация важнее сбора: найденные данные нужно анализировать, визуализировать и применять.
Этика — основа профессии: собранная информация должна использоваться для защиты, а не для атак.

Технический OSINT — это не просто навык, а образ мышления, при котором вы видите интернет как гигантскую базу данных, из которой можно извлекать ценную информацию, не нарушая законов и прав других людей.

Создание дашборда для мониторинга инфраструктуры цели

specialist_infosec — Tue, 07 Jul 2026 21:33:24 GMT

Создание дашборда для мониторинга инфраструктуры цели

После того как все этапы технического OSINT автоматизированы и данные собираются в базу данных, возникает следующая задача: как сделать эту информацию доступной, наглядной и удобной для анализа. Отчёты в виде JSON или CSV хороши для машинной обработки, но для человека визуализация в виде графиков, карт, таблиц и интерактивных панелей значительно эффективнее. Дашборд (dashboard) — это единая панель управления, которая отображает ключевые показатели, изменения в инфраструктуре, новые поддомены, открытые порты, уязвимости и другие данные в реальном времени (или близком к нему). Данная статья посвящена созданию веб-дашборда для мониторинга инфраструктуры цели с использованием открытых инструментов.

Зачем нужен дашборд в техническом OSINT?

Подходы к созданию дашборда

В этой статье мы рассмотрим два основных подхода:

Быстрый старт с Grafana — минимальная настройка, мощная визуализация.
Гибкий дашборд на Python (Dash) — полный контроль над данными и интерфейсом.

ВАРИАНТ 1: ДАШБОРД НА GRAFANA + SQLITE

Grafana — это популярная платформа для мониторинга и визуализации данных. Она поддерживает множество источников данных, включая SQLite, PostgreSQL, Prometheus, Elasticsearch. Для нашего случая SQLite подходит отлично — данные уже хранятся в ней.

Архитектура:

SQLite Database → Grafana (с плагином SQLite) → Дашборд с панелями

Установка Grafana:

# Ubuntu/Debian
sudo apt-get update
sudo apt-get install -y software-properties-common
sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main"
sudo apt-get update
sudo apt-get install grafana

# Запуск
sudo systemctl enable grafana-server
sudo systemctl start grafana-server

Grafana будет доступна по адресу http://localhost:3000 (логин/пароль по умолчанию: admin/admin).

Подключение SQLite к Grafana:

Стандартный Grafana не поддерживает SQLite напрямую. Нужно использовать плагин:

Установить плагин grafana-sqlite-datasource:bashsudo grafana-cli plugins install frser-sqlite-datasource sudo systemctl restart grafana-server
В веб-интерфейсе Grafana: Configuration → Data Sources → Add data source → SQLite.

Указать путь к файлу БД: /path/to/osint.db

Создание панелей в Grafana:

Панель 1: Количество поддоменов за последние 30 дней (гистограмма)

SELECT 
    DATE(discovered_at) as date,
    COUNT(*) as count
FROM subdomains
WHERE discovered_at > datetime('now', '-30 days')
GROUP BY DATE(discovered_at)
ORDER BY date ASC

Панель 2: Таблица последних поддоменов

SELECT subdomain, discovered_at
FROM subdomains
ORDER BY discovered_at DESC
LIMIT 20

Панель 3: Истекающие сертификаты (таблица)

SELECT name, valid_to, 
       julianday(valid_to) - julianday('now') as days_left
FROM certificates
WHERE days_left < 30 AND days_left > 0
ORDER BY days_left ASC

Панель 4: Распределение открытых портов (круговая диаграмма)

SELECT port, COUNT(*) as count
FROM shodan_ports
GROUP BY port
ORDER BY count DESC
LIMIT 10

Grafana преимущества:

Быстрая настройка, красивые графики "из коробки".
Автообновление данных.
Поддержка алертов (email, Telegram, Slack).

Grafana недостатки:

Ограниченная кастомизация (сложно добавить нестандартную логику).
Нужно устанавливать плагин для SQLite (или использовать PostgreSQL).

ВАРИАНТ 2: ГИБКИЙ ДАШБОРД НА PYTHON (DASH + PLOTLY)

Dash — это веб-фреймворк от Plotly для создания аналитических дашбордов на Python. Он позволяет полностью контролировать логику обработки данных и визуализацию, не требуя знаний JavaScript.

Архитектура:

SQLite Database → Python (Dash) → Веб-интерфейс (HTML/CSS/JS)

Установка зависимостей:

pip install dash plotly pandas

Структура проекта:

dashboard/
├── app.py              # Главный файл приложения
├── data/
│   └── osint.db        # База данных
├── assets/
│   └── style.css       # Стили (опционально)
└── requirements.txt

Создание дашборда (app.py):

import dash
from dash import dcc, html, Input, Output, State
import plotly.graph_objects as go
import plotly.express as px
import sqlite3
import pandas as pd
from datetime import datetime, timedelta

# Инициализация приложения
app = dash.Dash(__name__, title="OSINT Dashboard")
server = app.server

# Функция подключения к БД
def get_db_connection():
    conn = sqlite3.connect('data/osint.db')
    conn.row_factory = sqlite3.Row
    return conn

# ============ ВСПОМОГАТЕЛЬНЫЕ ФУНКЦИИ ============

def get_subdomain_history(domain=None, days=30):
    """Получение истории поддоменов за последние N дней"""
    conn = get_db_connection()
    query = """
        SELECT DATE(discovered_at) as date, COUNT(*) as count
        FROM subdomains s
        JOIN domains d ON s.domain_id = d.id
        WHERE d.domain = ? AND discovered_at > datetime('now', '-' || ? || ' days')
        GROUP BY DATE(discovered_at)
        ORDER BY date ASC
    """
    df = pd.read_sql_query(query, conn, params=(domain, days))
    conn.close()
    return df

def get_recent_subdomains(domain=None, limit=20):
    """Получение последних поддоменов"""
    conn = get_db_connection()
    query = """
        SELECT s.subdomain, s.discovered_at
        FROM subdomains s
        JOIN domains d ON s.domain_id = d.id
        WHERE d.domain = ?
        ORDER BY s.discovered_at DESC
        LIMIT ?
    """
    df = pd.read_sql_query(query, conn, params=(domain, limit))
    conn.close()
    return df

def get_expiring_certs(domain=None, days=30):
    """Получение истекающих сертификатов"""
    conn = get_db_connection()
    query = """
        SELECT name, issuer, valid_to,
               julianday(valid_to) - julianday('now') as days_left
        FROM certificates c
        JOIN domains d ON c.domain_id = d.id
        WHERE d.domain = ? AND days_left < ? AND days_left > 0
        ORDER BY days_left ASC
    """
    df = pd.read_sql_query(query, conn, params=(domain, days))
    conn.close()
    return df

def get_port_distribution(domain=None):
    """Распределение открытых портов"""
    conn = get_db_connection()
    query = """
        SELECT port, COUNT(*) as count
        FROM shodan_ports sp
        JOIN domains d ON sp.domain_id = d.id
        WHERE d.domain = ?
        GROUP BY port
        ORDER BY count DESC
        LIMIT 15
    """
    df = pd.read_sql_query(query, conn, params=(domain,))
    conn.close()
    return df

def get_tech_stack(domain=None):
    """Технологический стек"""
    conn = get_db_connection()
    # Предположим, есть таблица technologies
    query = """
        SELECT tech_name, COUNT(*) as count
        FROM technologies t
        JOIN domains d ON t.domain_id = d.id
        WHERE d.domain = ?
        GROUP BY tech_name
        ORDER BY count DESC
        LIMIT 15
    """
    # Если таблицы нет — заглушка
    df = pd.DataFrame({'tech_name': ['nginx', 'PHP', 'WordPress', 'jQuery', 'Bootstrap'],
                       'count': [1, 1, 1, 1, 1]})
    conn.close()
    return df

def get_all_domains():
    """Список всех отслеживаемых доменов"""
    conn = get_db_connection()
    df = pd.read_sql_query("SELECT domain FROM domains ORDER BY domain ASC", conn)
    conn.close()
    return df['domain'].tolist()

# ============ МАКЕТ ДАШБОРДА ============

app.layout = html.Div([
    # Заголовок
    html.H1("📊 OSINT Infrastructure Dashboard", style={'textAlign': 'center', 'marginBottom': 30}),
    
    # Выбор домена
    html.Div([
        html.Label("Выберите домен:"),
        dcc.Dropdown(
            id='domain-selector',
            options=[{'label': d, 'value': d} for d in get_all_domains()],
            value='example.com' if 'example.com' in get_all_domains() else get_all_domains()[0] if get_all_domains() else None,
            style={'width': '50%', 'margin': '10px 0'}
        )
    ], style={'padding': '0 20px'}),
    
    # Верхние карточки (метрики)
    html.Div([
        html.Div([
            html.H3("🌐 Всего поддоменов"),
            html.H2(id='total-subdomains', style={'color': '#2196F3'})
        ], className='metric-card'),
        html.Div([
            html.H3("🔄 Изменений за 7 дней"),
            html.H2(id='changes-7d', style={'color': '#FF9800'})
        ], className='metric-card'),
        html.Div([
            html.H3("⏳ Истекающих сертификатов (<30 дн)"),
            html.H2(id='expiring-certs', style={'color': '#F44336'})
        ], className='metric-card'),
        html.Div([
            html.H3("🔓 Открытых портов"),
            html.H2(id='total-ports', style={'color': '#4CAF50'})
        ], className='metric-card'),
    ], style={'display': 'flex', 'gap': '20px', 'padding': '0 20px', 'flexWrap': 'wrap'}),
    
    # Графики (сетка 2x2)
    html.Div([
        # График 1: История поддоменов
        html.Div([
            dcc.Graph(id='subdomain-history')
        ], className='graph-card'),
        
        # График 2: Распределение портов
        html.Div([
            dcc.Graph(id='port-distribution')
        ], className='graph-card'),
        
        # График 3: Истекающие сертификаты
        html.Div([
            dcc.Graph(id='cert-expiry')
        ], className='graph-card'),
        
        # График 4: Технологический стек
        html.Div([
            dcc.Graph(id='tech-stack')
        ], className='graph-card'),
    ], style={'display': 'grid', 'gridTemplateColumns': '1fr 1fr', 'gap': '20px', 'padding': '20px'}),
    
    # Таблица последних поддоменов
    html.Div([
        html.H3("🆕 Последние поддомены"),
        html.Div(id='recent-subdomains-table', style={'overflowX': 'auto'})
    ], style={'padding': '0 20px', 'marginTop': 20}),
    
    # Автообновление (раз в 60 секунд)
    dcc.Interval(
        id='interval-component',
        interval=60 * 1000,  # 60 секунд
        n_intervals=0
    )
], style={'maxWidth': '1400px', 'margin': '0 auto', 'fontFamily': 'Arial, sans-serif'})

# ============ КОЛБЭКИ ============

@app.callback(
    [
        Output('total-subdomains', 'children'),
        Output('changes-7d', 'children'),
        Output('expiring-certs', 'children'),
        Output('total-ports', 'children'),
        Output('subdomain-history', 'figure'),
        Output('port-distribution', 'figure'),
        Output('cert-expiry', 'figure'),
        Output('tech-stack', 'figure'),
        Output('recent-subdomains-table', 'children'),
    ],
    [Input('domain-selector', 'value'),
     Input('interval-component', 'n_intervals')]
)
def update_dashboard(domain, n_intervals):
    if not domain:
        return "—", "—", "—", "—", {}, {}, {}, {}, "Выберите домен"
    
    # 1. Количество поддоменов
    conn = get_db_connection()
    total_sub = pd.read_sql_query(
        "SELECT COUNT(*) as cnt FROM subdomains s JOIN domains d ON s.domain_id = d.id WHERE d.domain = ?",
        conn, params=(domain,)
    ).iloc[0]['cnt']
    conn.close()
    
    # 2. Изменения за 7 дней (новые поддомены)
    conn = get_db_connection()
    changes_7d = pd.read_sql_query(
        "SELECT COUNT(*) as cnt FROM subdomains s JOIN domains d ON s.domain_id = d.id WHERE d.domain = ? AND discovered_at > datetime('now', '-7 days')",
        conn, params=(domain,)
    ).iloc[0]['cnt']
    conn.close()
    
    # 3. Истекающие сертификаты
    expiring_df = get_expiring_certs(domain)
    expiring_count = len(expiring_df)
    
    # 4. Открытые порты
    ports_df = get_port_distribution(domain)
    total_ports = ports_df['count'].sum() if not ports_df.empty else 0
    
    # 5. График истории поддоменов
    history_df = get_subdomain_history(domain)
    fig_history = px.line(
        history_df, x='date', y='count',
        title='Поддомены по дням',
        labels={'date': 'Дата', 'count': 'Количество'}
    ) if not history_df.empty else go.Figure()
    
    # 6. Распределение портов
    fig_ports = px.pie(
        ports_df, values='count', names='port',
        title='Распределение портов'
    ) if not ports_df.empty else go.Figure()
    
    # 7. Истекающие сертификаты (бар-чарт)
    if not expiring_df.empty:
        fig_certs = px.bar(
            expiring_df, x='name', y='days_left',
            title='Дней до истечения сертификата',
            labels={'name': 'Домен', 'days_left': 'Дней'},
            color='days_left',
            color_continuous_scale='RdYlGn_r'
        )
    else:
        fig_certs = go.Figure()
        fig_certs.add_annotation(text="Нет истекающих сертификатов", showarrow=False)
    
    # 8. Технологический стек
    tech_df = get_tech_stack(domain)
    fig_tech = px.bar(
        tech_df, x='count', y='tech_name',
        orientation='h',
        title='Технологии',
        labels={'count': 'Количество', 'tech_name': 'Технология'}
    ) if not tech_df.empty else go.Figure()
    
    # 9. Таблица последних поддоменов
    recent_df = get_recent_subdomains(domain)
    if not recent_df.empty:
        table = html.Table([
            html.Thead(html.Tr([
                html.Th("Поддомен", style={'textAlign': 'left'}),
                html.Th("Обнаружен", style={'textAlign': 'left'})
            ])),
            html.Tbody([
                html.Tr([
                    html.Td(row['subdomain']),
                    html.Td(row['discovered_at'])
                ]) for _, row in recent_df.iterrows()
            ])
        ], style={'width': '100%', 'borderCollapse': 'collapse'})
    else:
        table = "Нет данных"
    
    return (
        total_sub,
        changes_7d,
        expiring_count,
        total_ports,
        fig_history,
        fig_ports,
        fig_certs,
        fig_tech,
        table
    )

# ============ ЗАПУСК ============

if __name__ == '__main__':
    app.run_server(debug=True, host='0.0.0.0', port=8050)

Добавление CSS-стилей (assets/style.css):

.metric-card {
    background: white;
    border-radius: 10px;
    box-shadow: 0 2px 10px rgba(0,0,0,0.1);
    padding: 20px;
    flex: 1;
    min-width: 150px;
    text-align: center;
}
.metric-card h3 {
    margin: 0 0 10px 0;
    font-size: 14px;
    color: #666;
}
.metric-card h2 {
    margin: 0;
    font-size: 32px;
}

.graph-card {
    background: white;
    border-radius: 10px;
    box-shadow: 0 2px 10px rgba(0,0,0,0.05);
    padding: 15px;
}

table {
    border: 1px solid #ddd;
}
table th {
    background: #f5f5f5;
    padding: 10px;
    border-bottom: 2px solid #ddd;
}
table td {
    padding: 8px 10px;
    border-bottom: 1px solid #eee;
}
table tr:hover {
    background: #f9f9f9;
}

Запуск дашборда:

python app.py

Дашборд будет доступен по адресу: http://localhost:8050

ВАРИАНТ 3: БЫСТРЫЙ СТАТИЧЕСКИЙ ОТЧЁТ (HTML)

Если веб-сервер не требуется, можно генерировать статический HTML-отчёт с графиками.

Использование библиотеки matplotlib + mpld3 для интерактивных графиков в HTML:

import matplotlib.pyplot as plt
import mpld3
import sqlite3
import pandas as pd

def generate_report(domain):
    # Получение данных
    history_df = get_subdomain_history(domain)
    ports_df = get_port_distribution(domain)
    
    # Генерация графиков
    fig1, ax1 = plt.subplots()
    ax1.plot(history_df['date'], history_df['count'])
    ax1.set_title('Поддомены по дням')
    fig1_html = mpld3.fig_to_html(fig1)
    
    fig2, ax2 = plt.subplots()
    ax2.pie(ports_df['count'], labels=ports_df['port'], autopct='%1.1f%%')
    ax2.set_title('Распределение портов')
    fig2_html = mpld3.fig_to_html(fig2)
    
    # Сборка HTML
    html = f"""
    
    Отчёт по {domain}
    
        OSINT Отчёт: {domain}
        {fig1_html}
        {fig2_html}
    
    
    """
    with open(f'report_{domain}.html', 'w') as f:
        f.write(html)

ВАРИАНТ 4: ИСПОЛЬЗОВАНИЕ SPIDERFOOT

SpiderFoot — это OSINT-фреймворк с собственным веб-интерфейсом. Он автоматически собирает данные из множества источников и визуализирует их в виде графа связей.

Установка SpiderFoot:

# Docker (рекомендуемый способ)
docker run -p 5000:5000 spiderfoot/spiderfoot

Особенности SpiderFoot:

Графовое представление связей (домены, IP, email, хэши).
Автоматический сбор из 200+ модулей.
Встроенный дашборд с картами и таймлайнами.

требует времени на настройку, может быть избыточным для простых задач.

ВАРИАНТ 5: MALTEGO ДЛЯ ВИЗУАЛИЗАЦИИ СВЯЗЕЙ

Maltego — это инструмент для визуализации связей между сущностями (доменами, IP, личностями). В сочетании с трансформами он превращает собранные данные в интерактивный граф.

Как использовать:

Экспортировать данные из SQLite в CSV.
Импортировать в Maltego как "сущности" (Entities).
Использовать трансформы для дальнейшего обогащения.

СРАВНЕНИЕ ИНСТРУМЕНТОВ ДЛЯ ДАШБОРДОВ

Практический пример: использование дашборда для мониторинга

Сценарий: аналитик мониторит 5 доменов конкурентов.

Ежедневный сбор → данные попадают в SQLite через автоматизированный конвейер.
Дашборд (Dash) → отображает для каждого домена:

Количество поддоменов (график роста).
Новые поддомены за неделю (таблица).
Открытые порты и сервисы.
Истекающие сертификаты (алерт).

Обнаружение: на дашборде появляется новый поддомен newapp.competitor.com. Аналитик видит, что это произошло сегодня. Через Shodan выясняется, что на нём открыт порт 443 с сертификатом от AWS. Вывод: конкурент запускает новый облачный сервис.
Реакция: информация передаётся в стратегический отдел.

РЕКОМЕНДАЦИИ ПО ВЫБОРУ

Дашборд — это завершающий элемент системы технического OSINT, превращающий сырые данные в понятную и удобную для анализа информацию. Выбор инструмента зависит от задач: Grafana подходит для быстрого старта и оперативного мониторинга, Dash/Plotly — для глубокой кастомизации, Maltego — для визуализации связей. Интеграция дашборда с автоматизированным конвейером (из предыдущей статьи) создаёт полноценную систему непрерывной разведки, где данные собираются, обрабатываются и отображаются в реальном времени.

Автоматизация технического OSINT: сбор данных в скриптах

specialist_infosec — Tue, 07 Jul 2026 21:25:14 GMT

Автоматизация технического OSINT: сбор данных в скриптах (Python, Bash)

Ручное выполнение всех этапов технического OSINT для одного домена может занять несколько часов. При необходимости мониторинга десятков или сотен целей ручной сбор становится невозможным. Автоматизация превращает разрозненные запросы к API, парсинг веб-страниц и анализ данных в единый воспроизводимый конвейер, который можно запускать по расписанию. Правильно построенная система автоматизации позволяет получать актуальную информацию о целях без участия человека, экономить время и избегать ошибок. Данная статья посвящена методам и практическим примерам автоматизации технического OSINT с использованием Python и Bash.

Зачем автоматизировать технический OSINT?

Подходы к автоматизации

Этап 1: Структура проекта

Рекомендуемая структура каталога для автоматизации:

osint-automation/
├── config/
│   ├── config.yaml            # API ключи, настройки
│   └── targets.txt            # Список доменов (по одному на строку)
├── modules/
│   ├── dns.py                 # Сбор DNS-записей
│   ├── whois.py               # WHOIS-информация
│   ├── subdomains.py          # Поиск поддоменов (crt.sh, SecurityTrails)
│   ├── certificates.py        # SSL/TLS сертификаты
│   ├── shodan.py              # Shodan-данные
│   ├── tech_stack.py          # Wappalyzer/BuiltWith технологии
│   ├── github.py              # Поиск секретов в GitHub
│   └── changes.py             # Сравнение с предыдущим состоянием
├── utils/
│   ├── logger.py              # Логирование
│   ├── notifier.py            # Отправка уведомлений (Telegram, Email)
│   └── db.py                  # Работа с SQLite
├── data/                      # Хранилище результатов (JSON, SQLite)
├── main.py                    # Главный скрипт
├── requirements.txt           # Зависимости Python
└── run.sh                     # Bash-обёртка для cron

Этап 2: Настройка конфигурации (config.yaml)

# config.yaml
api_keys:
  shodan: "SHODAN_API_KEY"
  securitytrails: "SECURITYTRAILS_API_KEY"
  github: "GITHUB_TOKEN"
  virustotal: "VIRUSTOTAL_API_KEY"  # опционально
  censys:
    api_id: "CENSYS_API_ID"
    api_secret: "CENSYS_API_SECRET"

notifications:
  telegram:
    token: "TELEGRAM_BOT_TOKEN"
    chat_id: "TELEGRAM_CHAT_ID"
  email:
    smtp_server: "smtp.gmail.com"
    smtp_port: 587
    username: "user@gmail.com"
    password: "app_password"
    to: "recipient@example.com"

database:
  path: "data/osint.db"

targets:
  file: "config/targets.txt"

logging:
  level: "INFO"
  file: "data/osint.log"

scan:
  # интервал повторных запросов для Shodan (если нужно ждать)
  shodan_delay: 1  # секунды между запросами
  timeout: 30  # таймаут для HTTP-запросов

Этап 3: Сбор DNS-записей (modules/dns.py)

import dns.resolver
import json
from utils.logger import get_logger

logger = get_logger(__name__)

def get_dns_records(domain):
    """
    Сбор основных DNS-записей: A, AAAA, MX, TXT, NS, CNAME, SOA
    """
    records = {}
    record_types = ['A', 'AAAA', 'MX', 'TXT', 'NS', 'CNAME', 'SOA']
    
    for rtype in record_types:
        try:
            answers = dns.resolver.resolve(domain, rtype)
            records[rtype] = [str(r) for r in answers]
        except dns.resolver.NoAnswer:
            records[rtype] = []
        except dns.resolver.NXDOMAIN:
            records[rtype] = []
        except Exception as e:
            logger.warning(f"DNS {rtype} для {domain}: {e}")
            records[rtype] = []
    
    return records

def get_reverse_dns(ip):
    """
    Обратный DNS (PTR) для IP-адреса
    """
    try:
        answers = dns.resolver.resolve_address(ip)
        return [str(r) for r in answers]
    except:
        return []

# Пример использования
if __name__ == "__main__":
    records = get_dns_records("example.com")
    print(json.dumps(records, indent=2))

Этап 4: WHOIS-информация (modules/whois.py)

import whois
import json
from datetime import datetime

def get_whois_info(domain):
    """
    Получение WHOIS-информации о домене
    """
    try:
        w = whois.whois(domain)
        return {
            'domain_name': w.domain_name,
            'registrar': w.registrar,
            'creation_date': str(w.creation_date),
            'expiration_date': str(w.expiration_date),
            'updated_date': str(w.updated_date),
            'name_servers': w.name_servers,
            'emails': w.emails,
            'org': w.org,
            'country': w.country,
        }
    except Exception as e:
        return {'error': str(e)}

Этап 5: Поиск поддоменов через crt.sh (modules/subdomains.py)

import requests
import json
from utils.logger import get_logger

logger = get_logger(__name__)

def get_subdomains_crtsh(domain):
    """
    Получение поддоменов из Certificate Transparency логов через crt.sh
    """
    url = f"https://crt.sh/?q=%25.{domain}&output=json"
    subdomains = set()
    try:
        resp = requests.get(url, timeout=30)
        if resp.status_code == 200:
            data = resp.json()
            for entry in data:
                name = entry.get('name_value', '')
                if name.endswith(f'.{domain}') or name == domain:
                    # убираем wildcard
                    if name.startswith('*.'):
                        name = name[2:]
                    subdomains.add(name.lower())
        else:
            logger.warning(f"crt.sh ошибка: {resp.status_code}")
    except Exception as e:
        logger.error(f"crt.sh исключение: {e}")
    
    return sorted(subdomains)

def get_subdomains_securitytrails(domain, api_key):
    """
    Получение поддоменов через SecurityTrails API (требуется ключ)
    """
    if not api_key:
        return []
    url = f"https://api.securitytrails.com/v1/domain/{domain}/subdomains"
    headers = {"APIKEY": api_key}
    try:
        resp = requests.get(url, headers=headers, timeout=30)
        if resp.status_code == 200:
            data = resp.json()
            subdomains = data.get('subdomains', [])
            return [f"{s}.{domain}" for s in subdomains]
    except Exception as e:
        logger.error(f"SecurityTrails ошибка: {e}")
    return []

def get_all_subdomains(domain, securitytrails_key=None):
    """
    Агрегация поддоменов из всех источников
    """
    all_subs = set()
    all_subs.update(get_subdomains_crtsh(domain))
    if securitytrails_key:
        all_subs.update(get_subdomains_securitytrails(domain, securitytrails_key))
    return sorted(all_subs)

Этап 6: Анализ SSL/TLS сертификатов (modules/certificates.py)

import requests
import json
from datetime import datetime

def get_certificates_crtsh(domain):
    """
    Получение информации о сертификатах для домена
    """
    url = f"https://crt.sh/?q=%25.{domain}&output=json"
    certs = []
    try:
        resp = requests.get(url, timeout=30)
        if resp.status_code == 200:
            data = resp.json()
            for entry in data:
                if len(entry) < 6:
                    continue
                certs.append({
                    'name': entry[1],
                    'issuer': entry[2],
                    'valid_from': entry[3],
                    'valid_to': entry[4],
                    'ca': entry[5]
                })
    except Exception as e:
        pass
    return certs

def get_certificate_expiry(certs):
    """
    Определение ближайшего истекающего сертификата
    """
    now = datetime.now()
    expiring = []
    for cert in certs:
        try:
            valid_to = datetime.strptime(cert['valid_to'], '%Y-%m-%dT%H:%M:%S')
            days_left = (valid_to - now).days
            if days_left < 30:
                expiring.append({
                    'name': cert['name'],
                    'expires': cert['valid_to'],
                    'days_left': days_left
                })
        except:
            pass
    return expiring

Этап 7: Сбор данных из Shodan (modules/shodan.py)

import shodan
from utils.logger import get_logger

logger = get_logger(__name__)

def get_shodan_host(ip, api_key):
    """
    Получение информации о хосте из Shodan
    """
    if not api_key:
        return {}
    try:
        api = shodan.Shodan(api_key)
        host = api.host(ip)
        return {
            'ip': host.get('ip_str'),
            'organization': host.get('org'),
            'isp': host.get('isp'),
            'country': host.get('country_name'),
            'ports': host.get('ports', []),
            'vulns': host.get('vulns', []),
            'data': host.get('data', [])  # баннеры
        }
    except shodan.APIError as e:
        logger.error(f"Shodan ошибка для {ip}: {e}")
        return {}
    except Exception as e:
        logger.error(f"Shodan исключение для {ip}: {e}")
        return {}

def get_shodan_host_by_domain(domain, api_key):
    """
    Поиск хостов, связанных с доменом, через Shodan
    """
    if not api_key:
        return []
    try:
        api = shodan.Shodan(api_key)
        results = api.search(f"hostname:{domain}")
        hosts = []
        for match in results.get('matches', []):
            hosts.append({
                'ip': match.get('ip_str'),
                'port': match.get('port'),
                'data': match.get('data', '')[:200]
            })
        return hosts
    except shodan.APIError as e:
        logger.error(f"Shodan search ошибка: {e}")
        return []

Этап 8: Поиск в GitHub (modules/github.py)

import requests
from utils.logger import get_logger

logger = get_logger(__name__)

def search_github_secrets(domain, token):
    """
    Поиск упоминаний домена и подозрительных паттернов в GitHub
    """
    if not token:
        return []
    
    # Комбинированный запрос: упоминания домена + файлы .env, пароли, ключи
    queries = [
        f'"{domain}" extension:env',
        f'"{domain}" password',
        f'"{domain}" api_key',
        f'"{domain}" secret',
        f'"{domain}" token',
    ]
    
    headers = {
        "Authorization": f"token {token}",
        "Accept": "application/vnd.github.v3+json"
    }
    
    all_results = []
    for query in queries:
        url = "https://api.github.com/search/code"
        params = {"q": query, "per_page": 20}
        try:
            resp = requests.get(url, headers=headers, params=params, timeout=20)
            if resp.status_code == 200:
                data = resp.json()
                for item in data.get('items', []):
                    all_results.append({
                        'repo': item['repository']['full_name'],
                        'path': item['path'],
                        'url': item['html_url'],
                        'query': query
                    })
            else:
                logger.warning(f"GitHub ошибка ({query}): {resp.status_code}")
        except Exception as e:
            logger.error(f"GitHub исключение: {e}")
    
    return all_results

Этап 9: Технологический стек (modules/tech_stack.py)

import subprocess
import json
from utils.logger import get_logger

logger = get_logger(__name__)

def get_tech_wappalyzer(url):
    """
    Определение технологий через Wappalyzer CLI
    Требуется установить: npm install -g wappalyzer
    """
    try:
        result = subprocess.run(
            ['wappalyzer', url],
            capture_output=True,
            text=True,
            timeout=60
        )
        if result.returncode == 0:
            return json.loads(result.stdout)
        else:
            logger.warning(f"Wappalyzer ошибка: {result.stderr}")
            return {}
    except Exception as e:
        logger.error(f"Wappalyzer исключение: {e}")
        return {}

def get_tech_builtwith(url, api_key=None):
    """
    Использование BuiltWith API (требуется ключ)
    """
    if not api_key:
        return {}
    endpoint = f"https://api.builtwith.com/free1/api.json?KEY={api_key}&LOOKUP={url}"
    try:
        import requests
        resp = requests.get(endpoint, timeout=30)
        if resp.status_code == 200:
            return resp.json()
    except Exception as e:
        logger.error(f"BuiltWith ошибка: {e}")
    return {}

Этап 10: Общая база данных (utils/db.py)

Используем SQLite для хранения истории изменений.

import sqlite3
import json
from datetime import datetime

class OSINTDatabase:
    def __init__(self, db_path):
        self.conn = sqlite3.connect(db_path)
        self.create_tables()
    
    def create_tables(self):
        cursor = self.conn.cursor()
        cursor.execute('''
            CREATE TABLE IF NOT EXISTS domains (
                id INTEGER PRIMARY KEY,
                domain TEXT UNIQUE,
                first_seen TEXT,
                last_updated TEXT
            )
        ''')
        cursor.execute('''
            CREATE TABLE IF NOT EXISTS subdomains (
                id INTEGER PRIMARY KEY,
                domain_id INTEGER,
                subdomain TEXT,
                discovered_at TEXT,
                FOREIGN KEY(domain_id) REFERENCES domains(id)
            )
        ''')
        cursor.execute('''
            CREATE TABLE IF NOT EXISTS dns_records (
                id INTEGER PRIMARY KEY,
                domain_id INTEGER,
                record_type TEXT,
                record_value TEXT,
                discovered_at TEXT,
                FOREIGN KEY(domain_id) REFERENCES domains(id)
            )
        ''')
        cursor.execute('''
            CREATE TABLE IF NOT EXISTS certificates (
                id INTEGER PRIMARY KEY,
                domain_id INTEGER,
                name TEXT,
                issuer TEXT,
                valid_from TEXT,
                valid_to TEXT,
                discovered_at TEXT,
                FOREIGN KEY(domain_id) REFERENCES domains(id)
            )
        ''')
        cursor.execute('''
            CREATE TABLE IF NOT EXISTS shodan_ports (
                id INTEGER PRIMARY KEY,
                domain_id INTEGER,
                ip TEXT,
                port INTEGER,
                data TEXT,
                discovered_at TEXT,
                FOREIGN KEY(domain_id) REFERENCES domains(id)
            )
        ''')
        cursor.execute('''
            CREATE TABLE IF NOT EXISTS changes (
                id INTEGER PRIMARY KEY,
                domain TEXT,
                change_type TEXT,
                old_value TEXT,
                new_value TEXT,
                detected_at TEXT
            )
        ''')
        self.conn.commit()
    
    def get_domain_id(self, domain):
        cursor = self.conn.cursor()
        cursor.execute("SELECT id FROM domains WHERE domain = ?", (domain,))
        row = cursor.fetchone()
        if row:
            return row[0]
        # Создаём новый
        cursor.execute("INSERT INTO domains (domain, first_seen, last_updated) VALUES (?, ?, ?)",
                       (domain, datetime.now().isoformat(), datetime.now().isoformat()))
        self.conn.commit()
        return cursor.lastrowid
    
    def save_subdomains(self, domain_id, subdomains):
        cursor = self.conn.cursor()
        for sub in subdomains:
            cursor.execute("INSERT OR IGNORE INTO subdomains (domain_id, subdomain, discovered_at) VALUES (?, ?, ?)",
                           (domain_id, sub, datetime.now().isoformat()))
        self.conn.commit()
    
    def save_dns_records(self, domain_id, records):
        cursor = self.conn.cursor()
        for rtype, values in records.items():
            for val in values:
                cursor.execute("INSERT INTO dns_records (domain_id, record_type, record_value, discovered_at) VALUES (?, ?, ?, ?)",
                               (domain_id, rtype, val, datetime.now().isoformat()))
        self.conn.commit()
    
    def save_certificates(self, domain_id, certs):
        cursor = self.conn.cursor()
        for cert in certs:
            cursor.execute("INSERT INTO certificates (domain_id, name, issuer, valid_from, valid_to, discovered_at) VALUES (?, ?, ?, ?, ?, ?)",
                           (domain_id, cert.get('name'), cert.get('issuer'), cert.get('valid_from'), cert.get('valid_to'), datetime.now().isoformat()))
        self.conn.commit()
    
    def log_change(self, domain, change_type, old_value, new_value):
        cursor = self.conn.cursor()
        cursor.execute("INSERT INTO changes (domain, change_type, old_value, new_value, detected_at) VALUES (?, ?, ?, ?, ?)",
                       (domain, change_type, old_value, new_value, datetime.now().isoformat()))
        self.conn.commit()
    
    def close(self):
        self.conn.close()

Этап 11: Главный конвейер (main.py)

#!/usr/bin/env python3
import os
import sys
import json
import yaml
from datetime import datetime
from utils.logger import setup_logger
from utils.db import OSINTDatabase
from utils.notifier import send_telegram
from modules.dns import get_dns_records
from modules.whois import get_whois_info
from modules.subdomains import get_all_subdomains
from modules.certificates import get_certificates_crtsh, get_certificate_expiry
from modules.shodan import get_shodan_host_by_domain
from modules.tech_stack import get_tech_wappalyzer
from modules.github import search_github_secrets
from modules.changes import compare_and_notify

# Загрузка конфига
with open('config/config.yaml', 'r') as f:
    config = yaml.safe_load(f)

logger = setup_logger(config['logging']['level'], config['logging']['file'])
db = OSINTDatabase(config['database']['path'])

def process_domain(domain):
    logger.info(f"Обработка {domain}")
    
    # Получаем ID домена в БД
    domain_id = db.get_domain_id(domain)
    
    # 1. WHOIS
    whois_data = get_whois_info(domain)
    logger.info(f"WHOIS для {domain}: {whois_data.get('registrar', 'unknown')}")
    
    # 2. DNS записи
    dns = get_dns_records(domain)
    db.save_dns_records(domain_id, dns)
    logger.info(f"DNS: A={len(dns.get('A', []))}, MX={len(dns.get('MX', []))}")
    
    # 3. Поддомены
    sec_key = config['api_keys'].get('securitytrails')
    subdomains = get_all_subdomains(domain, sec_key)
    db.save_subdomains(domain_id, subdomains)
    logger.info(f"Найдено {len(subdomains)} поддоменов")
    
    # 4. Сертификаты
    certs = get_certificates_crtsh(domain)
    db.save_certificates(domain_id, certs)
    expiring = get_certificate_expiry(certs)
    if expiring:
        logger.warning(f"Сертификаты истекают: {expiring}")
    
    # 5. Shodan (по поддоменам, ограничимся первыми 10 IP)
    shodan_key = config['api_keys'].get('shodan')
    if shodan_key and subdomains:
        for sub in subdomains[:10]:
            hosts = get_shodan_host_by_domain(sub, shodan_key)
            # сохраняем в БД
            for h in hosts:
                pass  # упрощённо
    
    # 6. Технологический стек
    if subdomains:
        main_url = f"https://{domain}"
        tech = get_tech_wappalyzer(main_url)
        logger.info(f"Технологии: {tech.get('technologies', [])}")
    
    # 7. GitHub секреты
    github_token = config['api_keys'].get('github')
    if github_token:
        secrets = search_github_secrets(domain, github_token)
        if secrets:
            logger.warning(f"Найдены потенциальные секреты в GitHub: {len(secrets)}")
            send_telegram(
                config['notifications']['telegram']['token'],
                config['notifications']['telegram']['chat_id'],
                f"Обнаружены секреты для {domain}: {len(secrets)} файлов"
            )
    
    # 8. Сравнение изменений
    compare_and_notify(domain, config, db)
    
    logger.info(f"Обработка {domain} завершена")

def main():
    targets_file = config['targets']['file']
    with open(targets_file, 'r') as f:
        domains = [line.strip() for line in f if line.strip()]
    
    for domain in domains:
        try:
            process_domain(domain)
        except Exception as e:
            logger.error(f"Ошибка для {domain}: {e}")
    
    db.close()
    logger.info("Все задачи выполнены")

if __name__ == "__main__":
    main()

Этап 12: Сравнение изменений и уведомления (modules/changes.py)

import json
import hashlib
import os
from utils.notifier import send_telegram

def load_previous_state(domain, data_dir='data/states'):
    """Загрузка предыдущего состояния из JSON"""
    os.makedirs(data_dir, exist_ok=True)
    state_file = os.path.join(data_dir, f"{domain}_state.json")
    if os.path.exists(state_file):
        with open(state_file, 'r') as f:
            return json.load(f)
    return {}

def save_current_state(domain, state, data_dir='data/states'):
    state_file = os.path.join(data_dir, f"{domain}_state.json")
    with open(state_file, 'w') as f:
        json.dump(state, f, indent=2)

def compare_and_notify(domain, config, db):
    """Сравнение текущего состояния с предыдущим и уведомление об изменениях"""
    # Собираем текущее состояние в словарь
    current = {
        'subdomains': sorted(db.get_subdomains(domain)),
        'dns': db.get_dns_records(domain),
        'certs': db.get_certificates(domain),
    }
    
    previous = load_previous_state(domain)
    
    changes = []
    
    # Сравнение поддоменов
    if previous:
        old_subs = set(previous.get('subdomains', []))
        new_subs = set(current.get('subdomains', []))
        added = new_subs - old_subs
        removed = old_subs - new_subs
        if added:
            changes.append(f"Новые поддомены: {', '.join(added)}")
        if removed:
            changes.append(f"Удалены: {', '.join(removed)}")
    
    # Если есть изменения — отправляем уведомление
    if changes:
        msg = f"Изменения для {domain}:\n" + "\n".join(changes)
        send_telegram(
            config['notifications']['telegram']['token'],
            config['notifications']['telegram']['chat_id'],
            msg
        )
        # Логируем в БД
        for change in changes:
            db.log_change(domain, 'change', '', change)
    
    # Сохраняем новое состояние
    save_current_state(domain, current)

Этап 13: Утилита уведомлений (utils/notifier.py)

import requests
import smtplib
from email.mime.text import MIMEText

def send_telegram(token, chat_id, message):
    """Отправка уведомления в Telegram"""
    if not token or not chat_id:
        return
    url = f"https://api.telegram.org/bot{token}/sendMessage"
    try:
        requests.post(url, json={'chat_id': chat_id, 'text': message}, timeout=10)
    except Exception as e:
        print(f"Telegram ошибка: {e}")

def send_email(smtp_server, port, username, password, to, subject, body):
    """Отправка email уведомления"""
    msg = MIMEText(body)
    msg['Subject'] = subject
    msg['From'] = username
    msg['To'] = to
    try:
        with smtplib.SMTP(smtp_server, port) as server:
            server.starttls()
            server.login(username, password)
            server.send_message(msg)
    except Exception as e:
        print(f"Email ошибка: {e}")

Этап 14: Bash-обёртка для cron (run.sh)

#!/bin/bash
# run.sh — обёртка для запуска конвейера с логированием

cd /path/to/osint-automation

# Активация виртуального окружения Python (если используется)
source venv/bin/activate

# Запуск основного скрипта
python main.py >> data/osint_cron.log 2>&1

# Проверка кода возврата
if [ $? -ne 0 ]; then
    echo "Ошибка выполнения $(date)" >> data/osint_errors.log
fi

# Удаление старых логов (старше 30 дней)
find data/ -name "*.log" -mtime +30 -delete

Настройка cron (ежедневно в 8 утра):

0 8 * * * /path/to/osint-automation/run.sh

Этап 15: Обработка ошибок и rate limits

Важные аспекты при автоматизации:

Ограничения API: Используйте задержки между запросами (time.sleep), храните время последнего запроса.
Повторные попытки: Реализуйте повтор при временных ошибках (например, 429 Too Many Requests).
Логирование: Все ошибки пишите в лог для последующего анализа.
Таймауты: Все HTTP-запросы должны иметь таймаут, чтобы скрипт не зависал.

Пример декоратора для повторных попыток:

import time
import functools

def retry(max_attempts=3, delay=5):
    def decorator(func):
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            for attempt in range(max_attempts):
                try:
                    return func(*args, **kwargs)
                except Exception as e:
                    if attempt == max_attempts - 1:
                        raise
                    time.sleep(delay * (attempt + 1))
            return None
        return wrapper
    return decorator

Этап 16: Тестирование и мониторинг работы

После настройки автоматизации важно проверять:

Работоспособность: Запустите скрипт вручную и проверьте вывод.
Корректность данных: Проверьте, что база данных заполняется.
Уведомления: Убедитесь, что при изменениях приходят сообщения.
Логи: Проверьте файл логов на наличие ошибок.

Используйте только публичные API и данные.
Соблюдайте условия использования сервисов (Shodan, SecurityTrails, GitHub) — не превышайте лимиты запросов.
Не пытайтесь обойти защиту (CAPTCHA, блокировки) нелегальными методами.
Полученные данные используйте только для законных целей.
При обнаружении уязвимостей или секретов сообщайте владельцам.

Автоматизация технического OSINT — это создание программного конвейера, который собирает, обрабатывает и сохраняет данные о цифровой инфраструктуре цели без участия человека. Модульная архитектура на Python с использованием готовых библиотек (dns.resolver, whois, requests, shodan) и внешних API (crt.sh, SecurityTrails, Shodan, GitHub) позволяет охватить все основные источники. Сравнение состояний и уведомления делают систему полезной для долгосрочного мониторинга. Регулярный запуск через cron превращает набор скриптов в постоянно работающую систему разведки.