<?xml version="1.0" encoding="utf-8" ?><rss version="2.0" xmlns:tt="http://teletype.in/" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:media="http://search.yahoo.com/mrss/"><channel><title>OSINT CLUB CHANNEL</title><generator>teletype.in</generator><description><![CDATA[Канал в Telegram: https://t.me/osint_club_channel
Наш чат: https://t.me/OSINT_Club]]></description><image><url>https://img4.teletype.in/files/b0/67/b067fab3-7344-4f45-90ec-61231403be0b.png</url><title>OSINT CLUB CHANNEL</title><link>https://teletype.in/@osint_club_channel</link></image><link>https://teletype.in/@osint_club_channel?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=osint_club_channel</link><atom:link rel="self" type="application/rss+xml" href="https://teletype.in/rss/osint_club_channel?offset=0"></atom:link><atom:link rel="next" type="application/rss+xml" href="https://teletype.in/rss/osint_club_channel?offset=10"></atom:link><atom:link rel="search" type="application/opensearchdescription+xml" title="Teletype" href="https://teletype.in/opensearch.xml"></atom:link><pubDate>Sun, 22 Nov 2026 15:31:18 GMT</pubDate><lastBuildDate>Sun, 22 Nov 2026 15:31:18 GMT</lastBuildDate><item><guid isPermaLink="true">https://teletype.in/@osint_club_channel/telegram-manual-22-12-23</guid><link>https://teletype.in/@osint_club_channel/telegram-manual-22-12-23?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=osint_club_channel</link><comments>https://teletype.in/@osint_club_channel/telegram-manual-22-12-23?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=osint_club_channel#comments</comments><dc:creator>osint_club_channel</dc:creator><title>Мануал по работе с Telegram — Telerecon, Telesint, Similar Channels и немного Google Sheets</title><pubDate>Fri, 22 Dec 2023 01:44:53 GMT</pubDate><media:content medium="image" url="https://img3.teletype.in/files/a3/41/a3414280-f030-467e-a6d9-e0cbef30d04a.png"></media:content><description><![CDATA[<img src="https://img2.teletype.in/files/97/03/97035bd1-15cd-4572-9570-3dc659b9989a.jpeg"></img>В этом мануале мы пройдемся как по базовым, так и по более продвинутым способам работы с Телеграмом.]]></description><content:encoded><![CDATA[
  <figure id="3QJd" class="m_original">
    <img src="https://img2.teletype.in/files/97/03/97035bd1-15cd-4572-9570-3dc659b9989a.jpeg" width="1100" />
  </figure>
  <p id="gU7E">В этом мануале я прошёлся по базовым и более продвинутым методам проведения OSINT расследования в Телеграм, будь то человек или сообщество (канал/-ы, группа). &quot;Продвинутая&quot; часть мануала сконцентрирована на интересной связке Telerecon&#x27;a, Telesint&#x27;a и Telegram Similar Channels; а так же пара мелочей по работе с таблицами (вспоминаем уроки информатики)</p>
  <p id="OhKN"></p>
  <h2 id="Vfzo">Оглавление</h2>
  <p id="1GB1"></p>
  <p id="f1ay"><strong><a href="#5DeE">Подготовка к работе</a></strong></p>
  <ul id="EEjG">
    <li id="2rnL"><a href="#Z6wQ">Установка Telerecon</a></li>
    <li id="flCq"><a href="#Laet">Установка Telegram Similar Channels</a></li>
  </ul>
  <p id="bypI"><strong><a href="#2FJ7">Как узнать дату регистрации пользователя</a></strong></p>
  <p id="0LJN"><strong><a href="#8zCP">В каких соц. сетях сидит человек</a></strong></p>
  <ul id="bL9X">
    <li id="aBbi"><a href="#Psn7">По никнейму</a></li>
    <li id="xptC"><a href="#Imfu">По аватарке</a></li>
  </ul>
  <p id="r31Z"><strong><a href="#crOU">Работа с Telesint</a></strong></p>
  <p id="dKj9"><strong><a href="#0i8E">Работа с Telegram Similar Channels</a></strong></p>
  <p id="gJj0"><strong><a href="#RxTM">Работа с Telerecon</a></strong></p>
  <ul id="mlGy">
    <li id="IMjd"><a href="#4jSh">Информация о пользователе</a></li>
    <li id="4kLP"><a href="#L2mz">Выгрузка сообщений из группы/канала</a></li>
    <li id="zOJJ"><a href="#rAyI">Что пишет пользователь в разных группах</a></li>
    <li id="DLjh"><a href="#8enL">Поиск &quot;энтити&quot; в сообщениях пользователя</a></li>
    <li id="vaOc"><a href="#IMFv">Анализ связей пользователя</a></li>
    <li id="MlWu"><a href="#5QNb">Визуализация ссылок на другие каналы</a></li>
  </ul>
  <p id="ZhCX"></p>
  <p id="Fxgk"> </p>
  <h2 id="5DeE">Подготовка к работе</h2>
  <p id="QUXN">Нам понадобится набор из нескольких инструментов, который не ограничивается ботами в Телеграм. Первым делом нам нужно установить Python. Если у вас всё ещё его нету, то скачать его можно с <a href="https://www.python.org/downloads/" target="_blank">официального сайта</a>.</p>
  <figure id="rdxh" class="m_original">
    <img src="https://img1.teletype.in/files/4c/f4/4cf409e2-0faa-491e-a99d-e483ec1c6690.png" width="1232" />
  </figure>
  <p id="Zs0n">После установки, откройте консоль (<code>Win+R &gt; &quot;cmd&quot;</code>)  и введите в неё python. Если вам не выдало ошибки — вы всё сделали правильно.</p>
  <p id="LWXJ"></p>
  <h3 id="Z6wQ">Установка Telerecon</h3>
  <p id="gsFF">Telerecon — инструмент для работы с Телеграмом который упрощает многие задачи, но подробнее об этом позже. Скачать его можно с Гитхаба. Необязательно там регестрироваться или качать их приложение, просто перейдите по ссылке, нажмите на зеленую кнопку &quot;Code&quot; &gt; &quot;Download ZIP&quot;. Скаченный архив выгрузите в удобное для вас место.</p>
  <figure id="Ykp3" class="m_original">
    <img src="https://img1.teletype.in/files/87/39/8739db5c-0f79-4ee3-97f2-654f5dcc9a85.png" width="965" />
  </figure>
  <p id="pKV8">Открываем консоль, переходим в папку куда вы выгрузили архив и вводим следующие команды:</p>
  <pre id="rFWj">pip install -r requirements.txt</pre>
  <p id="8z5P"><em>Таким образом мы устанавливаем все необходимые для работы Telerecon&#x27;a библиотеки.</em></p>
  <pre id="6Ky7">python -m spacy download en_core_web_sm</pre>
  <p id="PK7f"><em>Этот модуль требуется для работы некоторых функций.</em></p>
  <p id="U4cD">Далее запускаем python setup.py. Вас попросят ввести API ключ, API хэш, номер телефона и код, который пришёл вам в Телеграм. Настоятельно рекомендую использовать левый аккаунт! Получить API ключ и хэш можно на <a href="https://my.telegram.org/" target="_blank">my.telegram.org.</a></p>
  <figure id="cvGm" class="m_original">
    <img src="https://img4.teletype.in/files/f9/c5/f9c5ba99-1f0c-451b-8f58-5a8c371d8bac.png" width="640" />
  </figure>
  <p id="EsLe">В дальнейшем запустить Telerecon можно будет командой <code>python launcher.py</code></p>
  <h3 id="Laet">Установка Similar Channels от @soxoj</h3>
  <p id="Bfvz"><a href="https://github.com/SocialLinks-IO/telegram-similar-channels" target="_blank">Telegram Similar Channels</a> — инструмент от <a href="https://t.me/soxoj" target="_blank">soxoj</a>, который написал оболочку для эксплуатации новой функции Телеграма &quot;Похожие Каналы&quot;.</p>
  <figure id="mOtV" class="m_original">
    <img src="https://img3.teletype.in/files/e8/70/e870ad43-d0a9-4707-8982-7a39f8522bb7.png" width="969" />
  </figure>
  <p id="Z1zw">Установка такая же, как и с <a href="#Z6wQ">Telerecon</a>: скачиваем репозиторий как архив, выгружаем в любую папку, открываем консоль и устанавливаем requirements.txt командой <code>pip install -r requirements.txt</code> </p>
  <p id="7aG7">Вам так же может потребоваться новая версия telethon, так что запустите следующее:</p>
  <p id="Iw5h"><code>pip install --upgrade telethon</code></p>
  <p id="53Ep">Далее в файл transforms/credentials.py добавьте свои API ID и API Hash полученные с <a href="https://my.telegram.org/" target="_blank">https://my.telegram.org/</a></p>
  <p id="54Zk"></p>
  <h2 id="2FJ7">Узнать дату регистрации пользователя</h2>
  <p id="7nr8">Вопрос продолжает оставаться актуальным, хоть на него отвечалось уже несколько раз. Узнать 100% достоверную дату регистрации нельзя, но можно узнать примерную.</p>
  <p id="fsUo">Бот <a href="https://t.me/creationdatebot" target="_blank">@creationdatebot</a> покажет приблизительную дату регистрации. Это поможет проверить не является ли аккаунт фейком, к примеру.</p>
  <p id="JLZS">Для работы этого бота вам понадобится ID пользователя. Его можно получить используя никнейм в Telerecon или используя сторонние клиенты Телеграма. Или просто перешлите сообщение пользователя боту.</p>
  <blockquote id="TSMn">Рекомендую вам сохранить ID пользователя. Никнейм может поменяться, а вот ID — нет.</blockquote>
  <p id="H6qA"></p>
  <h2 id="8zCP">В каких других соц. сетях сидит человек</h2>
  <p id="NOl9">Если мы знаем о пользователе из Телеграма, то не помешало бы знать где он ещё сидит. Есть несколько способов это узнать, но мы остановимся на двух: по имени/никнейму и по аватарке.</p>
  <p id="s1sT"></p>
  <h3 id="Psn7">По имени/никнейму</h3>
  <p id="i5hp">Многие из нас используют один и тот же ник везде: кто по глупости/лени, а кто-то в интересах личного бренда.</p>
  <p id="fYxz">В целях проверки существования ника на разных сервисах был сначала создан <a href="https://github.com/sherlock-project/sherlock" target="_blank">sherlock</a>, а затем и его более мощный форк — <a href="https://github.com/soxoj/maigret" target="_blank">Maigret</a>. Последним можно пользоваться <a href="https://t.me/osint_maigret_bot" target="_blank">прямо из Телеграма</a>, причём совершенно бесплатно.</p>
  <figure id="DTWq" class="m_original">
    <img src="https://img4.teletype.in/files/7f/12/7f122a14-4106-4614-829d-72f78352aaa5.png" width="793" />
  </figure>
  <p id="TZx0">Просто откройте бота и введите имя или никнейм пользователя в Телеграм. Бот выдаст вам HTML отчёт со списком сервисов, форумов и соц. сетей где этот ник используется.</p>
  <figure id="0Ya5" class="m_original">
    <img src="https://img1.teletype.in/files/0d/af/0daff793-7bc6-4b4d-8c0d-36e7ad016405.png" width="1366" />
  </figure>
  <p id="QTc3">Иногда попадаются false positives, так что рекомендую вручную проверять то что вам вернул бот.</p>
  <p id="DPIL"></p>
  <h3 id="Imfu">По аватарке</h3>
  <p id="Ra0w">С аватарами такая же история как и с никнеймами — мы часто используем одну и ту же везде, будь то это хорошая фотография или аниме-вайфу. Есть несколько способов для reverse image search, но я опишу только 3 из них.</p>
  <p id="Mnkh"></p>
  <p id="82RV"><strong><a href="https://pimeyes.com/" target="_blank">PimEyes</a></strong></p>
  <p id="sT55">Один из самых лучших и самых дорогих сервисов. Показывает где конкретная фотография или лицо светилось в интернете. С недавних пор сервис не работает с фотографиями детей/подростков, хотя иногда пропускает и такое.</p>
  <p id="4ueb"></p>
  <p id="tHlQ"><strong><a href="https://tineye.com/" target="_blank">TinEye</a></strong></p>
  <p id="w9VW">Бесплатный для некомерческого использования. Сервис ищет только по конкретной картинке, а не по лицу. </p>
  <p id="K2XF"></p>
  <p id="H5jD"><strong>Поисковики</strong></p>
  <p id="PmdX">Поиск по изображениям в Google, Yandex или том же Bing могут быть хорошей альтернативой выше упомянутым сервисам. Говорят что Yandex лучше ищет людей по лицу.</p>
  <p id="ybCB"></p>
  <h2 id="crOU">Работа с Telesint</h2>
  <p id="Rjdx"><a href="https://t.me/telesint_bot" target="_blank">Telesint</a> — бот от <a href="https://t.me/JSDio" target="_blank">@JSDio</a> который позволяет просмотреть в каких группах состоит пользователь. Пожалуй один из самых лучших OSINT инструментов для работы с Телеграмом.</p>
  <figure id="GAgX" class="m_original">
    <img src="https://img1.teletype.in/files/84/1f/841f921d-d510-48f2-be31-1df2d863995a.png" width="376" />
  </figure>
  <p id="k9Ar">По умолчанию вам доступно 3 бесплатных запроса. Пополнить кол-во запросов можно добавив группу которой ещё нету в базе или заплатив денежку. Сервис будет крайне полезен для следующих этапов.</p>
  <figure id="2N0q" class="m_original">
    <img src="https://img3.teletype.in/files/e3/4e/e34e6b35-837e-4b95-9da8-d76780d527ac.png" width="492" />
  </figure>
  <p id="z3bj">Просто введите ник или ID пользователя и он вернёт вам список из открытых и закрытых групп где состоит пользователь, а так же является ли он где-то админом.</p>
  <p id="e4QU"></p>
  <h2 id="0i8E">Работа с Telegram Similar Channels</h2>
  <p id="JRWT">Запустите скрипт через консоль используя python search.py и введите имя канала. На выходе вы получите два файла в удобных для работы формата — json и csv.</p>
  <figure id="AQHS" class="m_original">
    <img src="https://img3.teletype.in/files/a2/fd/a2fdf36c-7055-4166-bc11-1e6c77e215d2.png" width="689" />
  </figure>
  <p id="dRZ5">Основным отличием и преимуществом этого метода перед встроенной функцией в самом приложении Телеграма это возможность работы с 10, 100 и 1000 каналов за раз. Это можно использовать как в построении сети каналов схожей тематики для дальнейшего изучения, так и для поиска групп привязанных к этим каналам.</p>
  <p id="2NaM"></p>
  <h2 id="RxTM">Работа с Telerecon</h2>
  <figure id="XOzF" class="m_original">
    <img src="https://img3.teletype.in/files/2e/b8/2eb89e06-edfe-4384-b9c8-3ad04372ad29.png" width="960" />
  </figure>
  <p id="Buau">Некоторые функции говорят сами за себя, а на некоторых я зострю особое внимание.</p>
  <h3 id="4jSh">Информация о пользователе</h3>
  <p id="kz4x">Выбрав первый пункт Telerecon вернёт информацию о пользователе включая его ID.</p>
  <p id="pnjE"></p>
  <h3 id="L2mz">Выгрузка сообщений из группы/канала</h3>
  <p id="HVpp">Для выгрузки абсолютно всех сообщений из группы или канала выбираем 5 пункт и вводим ссылку <strong>без</strong> &quot;https://&quot;, хоть тул и говорит обратное.</p>
  <p id="yf6U">Для выгрузки только ссылок начинающихся на t.me выбираем 6 пункт. </p>
  <blockquote id="AASn">Прежде чем это делать лучше проверьте, сколько всего сообщений находится на канале или в группе. Сделать это можно скопировав ссылку на последнее сообщение и просмотрев на номер после имени канала — t.me/&lt;name&gt;/12732, &quot;12732&quot; будет номером поста, а значит и их кол-вом. <strong>Telerecon будет качать все сообщения и это может занять <u>очень много времени.</u></strong></blockquote>
  <h3 id="F1iQ"></h3>
  <h3 id="rAyI">Что пишет пользователь в разных группах</h3>
  <p id="OYLI">Есть два варианта исхода событий:</p>
  <ol id="0kwK">
    <li id="XgNk">У вас есть свой список групп в которых учавствует пользователь</li>
    <li id="Xi9S">Вы взяли этот список из Telesint&#x27;a</li>
  </ol>
  <p id="Dx72">Если вас интересует только одна группа: выбираем пункт 3, вводим никнейм, а затем ссылку на группу.</p>
  <figure id="Tbtg" class="m_original">
    <img src="https://img1.teletype.in/files/41/38/41381ba0-bba7-45ff-a8a2-59a35ed200e3.png" width="866" />
  </figure>
  <p id="Lpo7">Если у вас есть список из нескольких групп, то создаём текстовый файл со списком ссылок и выбираем 4 пункт.</p>
  <figure id="PGSS" class="m_original">
    <img src="https://img1.teletype.in/files/cb/3a/cb3a2e42-ac78-46d3-b5f2-7ca2d8346134.png" width="960" />
  </figure>
  <p id="Sfuy">Telerecon спросит вас хотите ли вы скачать медиа, но в контексте этого мануала нам это не нужно.</p>
  <p id="RtzI">В конце на выход вы получите две таблицы: &lt;nickname&gt;_messages и &lt;nickname&gt;_network. Нас пока интересует первый со списком всех сообщений пользователя в группах где он состоит.</p>
  <figure id="dByb" class="m_original">
    <img src="https://img3.teletype.in/files/e9/5e/e95e153e-d444-4799-b5f8-c4bd8508d67e.png" width="1003" />
  </figure>
  <h3 id="8enL">Поиск &quot;энтити&quot; в сообщениях пользователя</h3>
  <p id="vami">В функциях Telerecon&#x27;a так же присутствует возможность получить список упоминания определенных обьектов в сообщениях пользователя; такие как имена, имейлы, номера телефонов и прочее.</p>
  <p id="uQ3M">Для этого выберем 10 пункт и введём никнейм пользователя.</p>
  <blockquote id="UAkB">Важно! Для того что бы эта функция работала вам нужно уже иметь файл с сообщениями &quot;на руках&quot;, иначе вам выдаст ошибку.</blockquote>
  <figure id="wJlA" class="m_original">
    <img src="https://img3.teletype.in/files/28/c2/28c25846-7469-4cd1-923a-a75499d5d7a3.png" width="818" />
  </figure>
  <figure id="TMmX" class="m_original">
    <img src="https://img4.teletype.in/files/30/d3/30d32015-74a6-4bb7-8ce5-70ef93103eb3.png" width="614" />
    <figcaption>Если где-то светились имейлы, номера телефонов или интересы -- они будут описаны в этом файле.</figcaption>
  </figure>
  <p id="kyhq">Есть так же очень похожая функция выгрузки NER (Named Entity Recognition), запустить её можно командой номер 13. На выходе вы получите следующий рапорт:</p>
  <figure id="D1FQ" class="m_original">
    <img src="https://img4.teletype.in/files/f6/2b/f62be291-6c53-43b0-b2b5-fc9342dedc5c.png" width="638" />
  </figure>
  <blockquote id="Skd3">В отличии от предыдущей функции PDF не включает ссылки на сообщения, по-этому придется искать их вручную в таблице.</blockquote>
  <p id="lgio"></p>
  <h3 id="IMFv">Анализ связей пользователя</h3>
  <p id="x24P">Можно построить &quot;список связей&quot; пользователя собрав все аккаунты на чьи сообщения он отвечал (подразумевается что у вас уже есть таблица с сообщениями); таким образом можно понять с кем связан человек. Однако что бы это сделать есть два пути: &quot;из коробки&quot; и хитро-выдуманный. Я опишу оба.</p>
  <p id="LsLd"></p>
  <p id="dYEL"><strong>Из коробки</strong></p>
  <p id="Q8Wb">После того как мы выгрузили сообщения пользователя из групп мы получили два файла: &lt;nickname&gt;_messages и &lt;nickname&gt;_network. Имея вторую таблицу на руках выбираем 9 пункт и получаем картину где мало что понятно и всё некрасиво:</p>
  <figure id="Jzso" class="m_original">
    <img src="https://img2.teletype.in/files/d9/ae/d9ae1edf-121d-4d58-be51-99618784fb5c.png" width="4420" />
  </figure>
  <p id="zfxl"></p>
  <p id="7yAm"><strong>Хитро-выдуманный путь</strong></p>
  <p id="O5if">Открываем файл &lt;nickname&gt;_network в Excel или Google Sheets:</p>
  <figure id="hDKW" class="m_original">
    <img src="https://img2.teletype.in/files/57/23/57232466-6804-439e-94b8-1df860ae00dd.png" width="1031" />
  </figure>
  <p id="EViT">Выбираем удобный для нас пустой столбец, скажем L, и вводим следущую функцию что бы получить уникальные значения из списка риплаев (без повторений):</p>
  <pre id="mwpj">=UNIQUE(A1:A135)</pre>
  <p id="TbpN">Где A1:A135 -- диапазон ячеек, которые нас интересуют. Получаем на выход вот это:</p>
  <figure id="qW3e" class="m_original">
    <img src="https://img2.teletype.in/files/96/5d/965d432a-2ed4-45ab-a0d1-2ee5adeb6521.png" width="317" />
  </figure>
  <p id="E36M">Далее выбираем следующий от выбранного столбец и вводим функцию, которая покажет кол-во повторений текста в столбце:</p>
  <p id="0l4x"><code>=COUNTIF(A1:A135, L2)</code></p>
  <p id="qfTh">&quot;A1:135&quot; — диапазон где ищем, а L2 — что ищем. Расширяем формулу на все ники в таблице и получаем удобный для работы список:</p>
  <figure id="m5IU" class="m_original">
    <img src="https://img2.teletype.in/files/5a/a5/5aa51bad-0ac4-4951-b618-9b73d6cd2977.png" width="255" />
    <figcaption>В столбце L у нас никнеймы, а M -- кол-во реплаев.</figcaption>
  </figure>
  <p id="58EO">В целях наглядности отображения можно использовать Gephi, Excel, Google Sheets или что вашей душе угодно.</p>
  <figure id="WwCa" class="m_original">
    <img src="https://img3.teletype.in/files/27/69/2769c0de-3d49-4d1f-af2e-863522ab7d84.png" width="685" />
  </figure>
  <p id="xvfN"></p>
  <p id="D93W"></p>
  <h3 id="5QNb">Визуализация ссылок на другие каналы</h3>
  <p id="isXx">Функционал чем-то похож на цитирование в TG Stat. Для этого выбираем 7 пункт и вводим название канала.</p>
  <figure id="U7KA" class="m_original">
    <img src="https://img1.teletype.in/files/88/8f/888f0c57-1b30-4412-9453-b5e0793957f5.png" width="860" />
  </figure>
  <p id="ttRB">На выходе получаем таблицу всех ссылок на другие каналы:</p>
  <figure id="0Utd" class="m_original">
    <img src="https://img1.teletype.in/files/41/05/4105ee08-102e-4754-bc73-e3fbcc272e7f.png" width="314" />
  </figure>
  <p id="b8Mh">А поигравшись с тем же Google Sheets, Excel или Gephi можно создать простенькую визуализацию на примере этой:</p>
  <figure id="5jW1" class="m_original">
    <img src="https://img2.teletype.in/files/dd/a4/dda42b1b-a240-4110-869c-fc94098ffec8.png" width="1079" />
  </figure>

]]></content:encoded></item><item><guid isPermaLink="true">https://teletype.in/@osint_club_channel/Sitemap-generator-how-to-OSINT</guid><link>https://teletype.in/@osint_club_channel/Sitemap-generator-how-to-OSINT?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=osint_club_channel</link><comments>https://teletype.in/@osint_club_channel/Sitemap-generator-how-to-OSINT?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=osint_club_channel#comments</comments><dc:creator>osint_club_channel</dc:creator><title>Как использовать Python Sitemap генератор в OSINT целях </title><pubDate>Fri, 15 Dec 2023 21:36:47 GMT</pubDate><media:content medium="image" url="https://img4.teletype.in/files/79/7f/797fd033-c4b2-468f-943e-86cce6ab439a.png"></media:content><description><![CDATA[<img src="https://img2.teletype.in/files/1e/74/1e74d31d-2aee-4243-9afd-5c5cdea3cc40.jpeg"></img>Как использовать Python Sitemap Generator в OSINT целях]]></description><content:encoded><![CDATA[
  <figure id="vonW" class="m_original">
    <img src="https://img2.teletype.in/files/1e/74/1e74d31d-2aee-4243-9afd-5c5cdea3cc40.jpeg" width="1100" />
  </figure>
  <p id="vXFH"><a href="https://publication.osintambition.org/how-to-use-python-sitemap-generator-for-osint-77bc69fa165d" target="_blank">Оригинал статьи</a></p>
  <p id="TpjN"></p>
  <p id="docs-internal-guid-07949d00-6f59-9681-80dd-eaa5b4bb897c">В расследованиях где присутствует работа с веб-сайтами может пригодится карта всего сайта, то-бишь ссылки на все существующие страницы; да ещё и в удобном для работы формате.</p>
  <p id="k4pD">Есть несколько методов для решения этой задачи, но в этой статье мы поговорим о Python Sitemap Generator и напишем работающий кроулер.</p>
  <p id="lkA8"></p>
  <h3 id="W8KO">Начало работы</h3>
  <p id="docs-internal-guid-0ef7c2f8-6f59-daaa-ada6-c9986e5d8be5">Все команды, используемые в этой статье, написаны для линукса. Если у вас Windows, используйте <a href="#docs-internal-guid-0ef7c2f8-6f59-daaa-ada6-c9986e5d8be5">Gitpod</a>.</p>
  <p id="kDJR">Прежде чем делать что-либо, давайте установим саму библиотеку:</p>
  <pre id="TGHF" data-lang="shell">pip install sitemap-generator</pre>
  <p id="zEuH">Затем, создающим test.py и запишем в него следующее:</p>
  <pre id="docs-internal-guid-a7037c53-6f5a-bdc4-bdcd-96daf13f672f" data-lang="python">import sys
import logging
from pysitemap import crawler
from pysitemap.parsers.lxml_parser import Parser
 
if __name__ == &#x27;__main__&#x27;:
    if &#x27;--iocp&#x27; in sys.argv:
        from asyncio import events, windows_events
        sys.argv.remove(&#x27;--iocp&#x27;)
        logging.info(&#x27;using iocp&#x27;)
        el = windows_events.ProactorEventLoop()
        events.set_event_loop(el)
 
root_url = &#x27;https://www.sector035.nl&#x27;
crawler(
  root_url, out_file=&#x27;sector-35_sitemap.xml&#x27;,
  http_request_options={&quot;ssl&quot;: False}, parser=Parser
)</pre>
  <figure id="pVKL" class="m_original">
    <img src="https://img2.teletype.in/files/98/42/984253aa-ea10-4266-83d7-b70a60fdd54f.jpeg" width="1400" />
  </figure>
  <p id="j3ES">Потом запускаем простым <code>python test.py</code></p>
  <p id="1h9G">Если вы хотите сканить другой веб-сайт, просто замените значение «root_url». Так же, не забудьте менять «out_file» перед каждым запуском что-бы избежать замены данных.</p>
  <p id="AEVE"></p>
  <h3 id="hbGu">Очистка текста</h3>
  <p id="v7wr">В файле, который мы получили, присутствуют XML теги. Они нам не нужны. Поэтому сделаем всё красиво и уберём их следующей командой в терминал:</p>
  <pre id="carJ" data-lang="shell">sed -e &#x27;s/&lt;[^&gt;]*&gt;//g&#x27; sector-35_sitemap.xml &gt;sector035_links.txt</pre>
  <figure id="2FBA" class="m_original">
    <img src="https://img1.teletype.in/files/0a/93/0a93c00f-3944-4ba5-b3ae-db6d67bcb8ee.jpeg" width="1400" />
  </figure>
  <p id="3hdV">Обратите внимание на команду <a href="https://www.gnu.org/software/sed/manual/sed.html" target="_blank">sed</a>. С помощью неё можно делать практически всё что угодно связанное с текстом.</p>
  <p id="5afT"></p>
  <h3 id="B8Mq">Фильтр линков</h3>
  <p id="dwbg">Если вам нужны только конкретные файлы, такие как PDF, картинки или RSS; то мы можем отфильтровать их следующей командой:</p>
  <pre id="XAer" data-lang="shell">sed -n &#x27;/rss$p&#x27; sector035_links.txt &gt;rss_links.txt</pre>
  <figure id="psjO" class="m_original">
    <img src="https://img2.teletype.in/files/15/7c/157c0be0-61cd-4ce8-9642-28d3e3dafa15.jpeg" width="1400" />
  </figure>
  <p id="WNcG">Если вас интересует другой тип файлов, просто замените RSS на то, что вам нужно.</p>
  <p id="yQXX"></p>
  <h3 id="ScME">Скачивание файлов</h3>
  <figure id="D64e" class="m_original">
    <img src="https://img3.teletype.in/files/66/8a/668aeb61-00ad-469a-932a-df105a7c2027.jpeg" width="1400" />
  </figure>
  <p id="docs-internal-guid-d984a2f9-6f64-790b-49a6-e6328062fcf8">Чтобы скачать файлы из списка ссылок (скажем для дальнейшего анализа), можно использовать команду <a href="https://ss64.com/bash/curl.html" target="_blank">curl</a>:</p>
  <pre id="vBMr" data-lang="shell">xargs -n 1 curl -O &lt; rss_links.txt</pre>

]]></content:encoded></item></channel></rss>