Takeshi Soft

Super Twitter Parser

2022-07-15T11:36:32.539Z

Всем привет! Вашему вниманию представляю супер быстрый парсер твитера!

В этот раз постараюсь быть кратким.

ДЛЯ ЧЕГО ЭТОТ СОФТ?

Основная задача программы - взять аккаунт(ы) пользователя твиттера и собрать твиты в базу. Главный минус - это ограничение на собираемое количество твитов. Максимум можно собрать 900-1000 (но это скорее всего ограничение гостевого доступа).

ОСОБЕННОСТИ

работа на запросах (скорость приличная: 23 твита в секунду)
возможность работы с неограниченным числом аккаунтов
все данные записываются во встроенную БД, после чего можно экспортировать в эксель и прочие таблицы
есть настройки фильтрации
абсолютно НЕТРЕБОВАТЕЛЕН к ресурсам машины
не требуется наличие аккаунта

РАБОТА ПРОГРАММЫ

Управлять парсером проще простого. Две вкладки. В первой вкладке можно задать или один конкретный аккаунт или выбрать список аккаунтов

В "настройках фильтра" есть:

возможность указать сколько постов с одного аккаунта собирать;
указать будем ли собирать ретвиты или только авторские посты;
возможность пропускать посты по разным критериям (убрать посты с любыми ссылками, убрать посты с определенными ссылками)

Возьмем твиттер Железного Арни (https://twitter.com/Schwarzenegger). На момент публикации у него в аккаунте 7 689 твитов. Давайте запустим парсер и посмотрим что получится на выходе.

Скрипт начал свою работу:

Через 37 секунд закончил:

На выходе мы получили две таблицы:

1) ТАБЛИЦА С ДАННЫМИ ОБ АККАУНТЕ

2) ТАБЛИЦА С ПОЛУЧЕННЫМИ ТВИТАМИ

Можно закинуть в софт любое количество аккаунтов, все отработаются.

350р/3 дня

Смена лицензии - нет

За покупкой: https://t.me/TakeshiSoft

Новостной канал по программе - здесь

Общий новостной канал по разработкам - здесь

Custom Base - незаменимый помощник в работе с базами!

2022-05-09T00:27:59.405Z

Когда клиенты заказывают написание любых чекеров, то одной из задач чаще всего становится форматирование базы под определенный(ые) сервисы(ы). И я подумал, что будет неплохо сделать почти универслаьный инструмент для работы с базами. Так и появился на свет CustomBase.

Главное окно программы

На первый взгляд может показаться, что софтина сложная в освоении. Но это не так. Один раз настроите и дальше уже будете профи :)

Давайте сначала пройдемся по всем настройкам, а потом я покажу на конкретном примере, как можно работать с софтом.

НАСТРОЙКИ И ПОЯСНЕНИЯ

Введите название базы (любое) - здесь указывается название базы с которой работаете. Это название пойдет в выходной файл.

Пример названий баз

Файл для работы - здесь понятно, это наша база. Поддерживается формат .txt Количество строк может быть любым, но лучше конечно делить на части.

Удалять повторы строк - софт почистит базу от дублей.

Папка для сохранения результатов - сюда сохраняются результаты

На этом основные настройки окончены. Переходим к КОНСТРУКТОРУ СТРОК.

Конструктор строк

Количество элементов в строке - указываем количество элементов, которые нам нужны или которые есть в строке. Доступно до пяти элементов.

Например в нашей базе есть такие строки:

В данном примере мы видим что в одной строке есть ДВА элемента с разделителем ":". А вот пример с тремя элементами:

Разделитель - это разделитель, который делит нашу строку из базы на элементы.

Доступные разделители

Вы можете выбрать любой из доступных, который соответсвует вашей базе. Если такого разделителя нет, используйте параметр "custom" и задайте свой разделитель:

Обрезать главную строку перед началом работы. Один из важнейших параметров, который сильно упростит работу с базами! Если выбрать значение параметра "Да", то вам будет предложено указать количество вырезаемых элементов и сами элементы. Давайте разберем на конкретном примере.

Представим, что у нас база имеет такой вид:

В этой базе у нас 3 элемента, которые делит ":". Обратите внимание, что после https так же есть двоеточие. Если мы оставим строку в таком виде, то конечный результат будет неверным, так как софт будет думать, что https - это первый элемент. Чтобы результат был правильным нам надо будет указать в настройках работу не с тремя элементами, а с четырьмя. И это сработает (далее поймете почему). Но правильнее будет обрезать ненужный элемент из общей строки. Для этого нам нужно будет указать такие настройки:

Таким образом программа подкорректирует строки к такому виду:

Это то что нам нужно! В одной строке можно сделать до трех разных вырезок. Зависит от конкретных задач. Ниже будет большой пример, там разберем подробнее.

Спец. настройки для элемента n - если поставить галочку в чек-боксе, то вам откроется дополнительное меню для каждого элемента:

Таким образом, грамотно настроенный конструктор строк - это 50% успеха!

Настройки для элемента n.

Окно настроек элементов

Теперь поговорим о конкретных настройках элементов.

Поиск подстроки - этот параметр позволяет искать определенную подстроку в элементе и если такая подстрока есть, то скрипт работает с элементом:

Давайте разберем пример. У нас есть такие строки:

Здесь три элемента в строке. Нас интересуют строки, где есть "google.ru". Эту информацию содержит в себе ПЕРВЫЙ элемент. Значит нам необходимо в настройках для элемента 1 указать поиск подстроки "Да" и написать google.ru:

Таким образом скрипт будет работать только с теми строками, в которых есть google.ru. Если же нам надо искать yandex.ru и google.ru, то просто выбираем тип данных "из файла" --> и загружаем документ в котором будут требуемые подстроки:

Если же в параметре "поиск подстроки" мы поставим "Нет", то у нас откроются новые настройки.

Маркер - это набор параметров по которым скрипт будет работать с элементом:

Есть 4 варианта:

Только заглавные (сработает, если в элементе только заглавные)
Только цифры (сработает если в элементе только цифры)
Только спец.символы (сработает, если в элементе только спец. символы)
Custom (если требуется настроить более точно работу с элементом)

Разберем подробнее параметр "Custom"

Если нам нужно, чтобы в элементе срабатывало какое-то определенное условие, то мы ставим галочку напротив этого условия.

Минимальная и максимальная длина - эти параметры задают длину элемента по количеству символов. Если длина подходит для заданных рамок, то скрипт работает с этим элементом.

Сохранять элемент - параметр, который отвечает за сохранение итогового документа. Допустим у вас в строках 5 элементов (site:login:pass:token:cokies). Вам для работы нужны только логины и пароли. При этом требуется проверить параметр токен. Для этого мы настраиваем нужные элементы, но галочку "сохранить" ставим только в элементе 2 и 3. На выходе, в случае успеха, мы получим login:pass без лишних записей.

ПРИМЕРЫ

Давайте закрепим полученную информацию. Возьмем для примера недваний слив сайта пикабу. Слитая база имеет такой вид:

Что здесь есть?

1) Три элемента (никнейм - телефон - почта)

2) Разделитель (обратите внимание, разделитель НЕ пробел, а " "!)

Задача 1: собрать все строки, где есть почта gmail.com.

Выставляем подходящие настройки:

Для данной задачи нам не нужно проверять первые два элемента, поэтому мы не трогаем спец.настройки для них.

В работе у нас 1661 строка. Жмем старт. Может показаться, что скрипт завис, но это не так! Через 10 секунд мы получаем готовый результат:

В название документа в скобках указано время, когда была сделана проверка и дата + название, которое мы задали на старте. Открываем документ и сравниваем:

Как видно, скрипт отработал корректно.

Задача 2: собрать все строки, где есть почта gmail.com, yandex.ru и сохранить ТОЛЬКО никнеймы!

Для выполнения этой задачи нам нужно проверить ТРЕТИЙ элемент, а осхранить только ПЕРВЫЙ (если заданные условия сработают)

Обратите внимание на настройки второго элемента. Так как нам его проверять не нужно, то мы ставим длину по максимуму и не сохраняем его!

Смотрим результат:

Как видно, сохранились только никнеймы по заданным параметрам. А теперь давайте усложним немного задачу.

Задача 3: собрать все строки, где в логине есть заглавная буква и цифра, а телефон содержит минимум три нуля в номере.

Проверяем результат:

Ну и давайте теперь закрепим все последней задачей.

Задача 4: собрать данные, в которых в логине только заглавные; в номере телефона обрезать "+7" и удалить нули; в почте забрать те, которые по длине не более 17 символов.

Результат:

Как видите, Custom Base это очень гибкий инструмент для работы с базами. Вы можете легко сохранять ваши предустановленные настройки под любой запрос. Если остались какие-то вопросы, пишите, подскажу/научу.

Так же могу дописать софт под ваши нужды.

СТОИМОСТЬ

99р/неделя

Купить

Парсер 2Gis

2022-03-05T02:48:55.775Z

ВНИМАНИЕ

ПАРСЕР ПРЕДНАЗНАЧЕН ТОЛЬКО ДЛЯ ЛИЧНОГО ИСПОЛЬЗОВАНИЯ В ОЗНАКОМИТЕЛЬНЫХ ЦЕЛЯХ!

КОМПАНИЯ 2ГИС ЗАПРЕЩАЕТ ИСПОЛЬЗОВАНИЯ ТЕХНИЧЕСКИХ СРЕДСТВ СБОРА ИНФОРМАЦИИ С ИХ КАРТ С ЦЕЛЬЮ ПОЛУЧЕНИЯ РАЗЛИЧНОЙ ВЫГОДЫ!

Парсер 2Гис - это многопоточный парсер, который собирает данные о компаниях по вашим запросам.

ОСОБЕННОСТИ ПРОДУКТА:

Быстрая работа (многопоточный режим почти без ущерба производительности пк)
Возможность работать сразу с несколькими поисковыми запросами одновременно (количество неограничено)
Поддерживаются ЛЮБЫЕ ГОРОДА и ЛЮБЫЕ СТРАНЫ! (Мск, Нск, Спб и тд, разницы нет)
Нет ограничений на количество собираемых объектов
Встроенный captcha модель с различными вариантами решения (авто или ручной режим)
Сохранение результатов парсинга в БД (можно экспортировать с различными параметрами)
Логирование работы

ИНСТРУКЦИЯ ПО РАБОТЕ С ПРОГРАММОЙ

Главное окно программы выглядит так.

Файл с рабочими ссылками для поиска - это тхт документ, в который вы загружаете свои ссылки для поиска. Пример:

https://2gis.ru/tomsk/search/кафе?m=84.948637%2C56.488128%2F11

https://2gis.ru/tomsk/search/автосервис?m=84.948637%2C56.488128%2F11

https://2gis.ru/search/больница/geo/1267655302447182/82.117293%2C58.550338?m=82.985198%2C58.435281%2F7.28

Обратите внимание, вы можете максимально точно составить поисковый запрос. В примере выше один из запросов - больницы в томской области. Для того, чтобы получить подобную ссылку, достаточно открыть 2Гис, выбрать нужные параметры и скопировать URL из браузера.

Количество потоков - чем больше потоков, тем быстрее собираются данные. Но при этом вероятность поймать капчу становится выше. Я бы придерживался поговорки: "тише едешь, дальше будешь" :)

Интервал между запрсоами - этот параметр отвечает за то, как часто будут отправляться запросы для забора подробнйо информации. Простыми словами - чем меньше цифры, тем быстрее работа, но, как и в случае с потоками, тем выше вероятность поймать капчу. Я рекомендую придерживаться стандартных значений или выше.

Модуль captcha

Как правило, капча возникает из-за некачественного ip. Скрипт хорошо обрабатывает это событие, поэтому можно не волноваться!

Есть два варианта: автоматическое решение и ручной метод. Начнем с автоматического.

Сейчас в программе доступен один сервис разгадывания капч. Это 2captcha. (Если кому-то нужен другой сервис, напишите, я добавлю индивидуально за отдельную плату).

Вставляем ключ, полученный на сайте. Указываем количество попыток решения капчи (параметр сделан для того, чтобы в случае множества колчиества неудач, можно было бы прекратить попытки решения). Указываем максимальное количество запросов. Обычно это 5-7. Но я ставлю 10-15.

Теперь отдельно поговорим о ручном методе решения капчи.

В этом методе есть особенность.

Когда скрипт наткнется на капчу, вы увидите новую вкладку в программе. Открыв ее вы увидите саму капчу. Решается она следующим образом. Выбираете номера нужных квадратов и вписываете их в выделенную строку ЧЕРЕЗ ПРОБЕЛ! После того, как вписали, нажимаете указанную стрелкой кнопку. Скрипт продолжит работу.

База данных

База данных выглядит как на скриншоте. Скачать демо этой базы можно по ссылке.

Экспорт базы из программы возможен в следующих вариантах:

СТОИМОСТЬ ПРОГРАММЫ

Софт работает под windows. Один ключ - одна машина. Смена ключа - бесплатно, но не чаще 2 раз в месяц.

Версия 3.0

2099р/мес

799р/неделя

За покупкой: https://t.me/TakeshiSoft

P.S.

Могу собрать для вас базу по любому запросу в любом количестве. Стоимость за 1000 строк - 490р.