sergeyhttps://teletype.in/atom/judixel2026-06-26T22:18:03.460Zjudixel:eNcIpVfaK2021-02-12T05:20:22.590Z2021-02-12T05:21:10.216Zпарсингscrapingcrawlingdata

<img src="https://teletype.in/files/d0/c4/d0c4f8bd-695d-43fb-ab0a-781680d2446e.jpeg">После многих лет работы с парсингом и работы с людьми, собирающих данные, индексирующих данные, агрегирование данных, сканированием или называйте это как хотите. Я хотел составить простой список идей о том, как каждый может извлечь выгоду из информации, которая уже есть.

<figure class="m_original"> <img src="https://teletype.in/files/d0/c4/d0c4f8bd-695d-43fb-ab0a-781680d2446e.jpeg" width="600" /> </figure> <p><em>После многих лет работы с парсингом и работы с людьми, собирающих данные, индексирующих данные, агрегирование данных, сканированием или называйте это как хотите. Я хотел составить простой список идей о том, как каждый может извлечь выгоду из информации, которая уже есть.</em></p> <p></p> <p><strong>1.</strong> <strong>Что парсить? </strong></p> <p>Мое базовое определение такое: парсинг - это автоматизированное извлечение контента откуда либо, обычно структурированный контент, с целью переиспользования или проверки на тренды или наличие ценной информации.</p> <p></p> <p><strong>2. Зачем парсить?</strong> </p> <p>Потому что данные стоят денег, а знание это сила. Вы всё это знаете.<br />Что вы можете не знать - парсинг часто бесплатный. И так, это краткое руководство ответит на два главных вопросах:<br /> - <u>где получать данные?</u><br /> - <u>что с ними делать? </u></p> <p></p> <hr /> <p></p> <p>Один популярный облачный продукт предлагает парсить эти категории:</p> <ul> <li>создание API метода (например, для сайта)</li> <li>машинное обучение (Google Images)</li> <li>мониторинг цен (Ebay)</li> <li>лидо-генерация (Yelp)</li> <li>исследование рынка (парсинг типов пива и их рейтинг, например)</li> <li>разработка приложений (дома для продажи, аренда)</li> <li>академические исследования (Techcrunch)</li> </ul> <p></p> <p>Хорошо, но я собираюсь рассказать о том, как на самом деле заработать на этом.</p> <p>Основные категории:</p> <ul> <li>дубликаты сайтов</li> <li>предложение парсинга данных как сервиса</li> <li>лидо-генерация</li> <li>парсинг данных для обхода API</li> </ul> <p></p> <p>Это очевидно. Независимо от того какой вы сайт хотите создать, вероятно он уже есть. Вот некоторые идеи, которые могут быть полезны для переиспользования спарсеных данных:</p> <ul> <li>форумы</li> <li>доски с работой</li> <li>блоги</li> <li>q&amp;a сайты</li> <li>сайты с купонами</li> <li>базы знаний/вики сайты</li> <li>социальные сети</li> </ul> <p>Любые сайты с данными, которые вы могли бы воспроизвести и создать лучший интерфейс, приложение и т.д.</p> <p></p> <hr /> <p><strong>Продажа спарсенных данных как сервис:</strong></p> <p>Если вы агрегируете информацию регулярно или быстро, то вы получаете некоторую ценность. Сборка целевой поисковой системы, например, получения данных от топ 10 - 20 поставщиков нишевого продукта и вы, вероятно получите то, чего нигде не существует.</p> <p>Stocks (часто сайты требуют затрат, чтобы спарсить что-либо после определенной даты - но вы можете опубликовать это один раз, а затем предлагать бесплатно)</p> <p>Niche News Aggregation (выберите нишу, например новостные сайты знаменитостей, спарсите 10 лучших)</p> <p>Любой вид нишевого контента для автоматической рассылки для подписчиков, пост в социальных сетях.<br />(Например, новостная рассылка или бот, который автоматически отправляет твиты, когда дом продается по определенному почтовому индексу)</p> <p></p> <p><strong>Места для парсинга:</strong></p> <p>Социальные сети, LinkedIn, Facebook, Twitter, публичные базы данных, страховые данные, сведения о судимости, налоговые отчеты, базы данных о гос расходах.<br />Сайты по продаже недвижимости, авто.</p> <p></p> <hr /> <p><strong>Парсинг как сервис:</strong></p> <p>Звучит как продажа данных как сервис, но отличается во времени. Многие SaaS компании просто парсят или агрегируют контент. Вы тоже могли бы:</p> <ul> <li>мониторинг сайтов на наличиние обновлений или изменений</li> <li>proxies</li> <li>данные о продажах (amazon, ebay) или любые типы списков товаров для мониторинга конкурентных цен или исследования рынка и отслеживания запасов</li> </ul> <p></p> <hr /> <p><strong>Парсинг данных для обхода API:</strong></p> <p>На многих сайтах есть API, потому что люди готовы платить за данные - если это так, то спросите себя почему?<br />API классные, но они стоят денег. Если вам нужно получить данные быстро и легко, при чем практически бесплатно, обойдите API и переходите непосредственно к парсингу.</p> <p></p> <h2>Заключение (когда начать?)</h2> <ol> <li>Начните с того, что знаете. Если вам нравятся старые автомобили, создайте поисковую систему/сайт с перечнем старых автомобилей на продажу. Посмотрите, сможете ли вы автоматизировать и монетизировать это.<br />Если у вас есть гос расходы или что-то, связанное с законодательством, попробуйте собрать это в одном месте.</li> <li>Прокачивайтесь. Одна из причин почему я люблю парсинг, это весело. Программная часть раздражает, но получать данные весело.</li> <li>Соберите некоторые данные и поместите их в облако слов.</li> <li>Не волнуйтесь.</li> </ol> <p></p> <p></p> <tt-tags data-align="right"> <tt-tag name="парсинг">#парсинг</tt-tag> <tt-tag name="scraping">#scraping</tt-tag> <tt-tag name="crawling">#crawling</tt-tag> <tt-tag name="data">#data</tt-tag> </tt-tags> <p data-align="right"><em>Источник: reddit</em></p>