Что такое антифрод и с чем его едят?
(первая часть: ТУТ)
1. Проксификация
Бывает нескольких видов:
Серверные - это IP-адреса, размещенные в инфраструктуре, принадлежащей операторам центрам обработки данных. Они бывают разных типов:
- Публичные — типичный бесплатный прокси. Это IP-адреса, которые вы можете найти в Интернете бесплатно, но они бесполезны для любого масштабного проекта по сбору данных, блокируют такие адреса достаточно быстро в силу того, что их использует множество пользователей.
- Общие — это IP-адреса, которые могут использоваться несколькими пользователями одновременно. Лучший вариант для несложных, не объемных задач парсинга данных из Интернета. Эти прокси могут быть подвержены блокировке из-за частых запросов в следствии того, что они могут использоваться несколькими людьми
- Частные — IP-адреса серверов, которым вы владеете единолично в течении всего времени аренды.
- Выделенные — адреса на которые у вы приобрели права на использование этого IP у поставщика центра обработки данных (например: AWS, Azure, Equinix, Digital Realty и т. д.), или, если вы фактически владеете инфраструктурой сами.
Главный минус всех серверных прокси это то, что антифрод видит тип IP адреса и определяет его как серверный и соответственно повышает очки фрода. Некоторые сервисы не дадут вам доступ при использовании серверного IP адреса. Такие прокси подходят для простых действий, вроде обхода блокировки определенного пула IP адресов или обхода блокировки доступа из вашей страны.
Резидентные прокси (еще их называют домашние) — это IP-адреса, заимствованные у реальных пользователей : их ноутбуков, телефонов и других устройств, подключенных к Wi-Fi.
Это значительно усложняет их обнаружение целевыми сайтами, тк для сайта парсер зашедший на страницу под таким прокси выглядит как реальный пользователь, а также такие прокси поддерживают более широкий выбор местоположений и более точные параметры таргетинга.
Резидентные прокси получают практически нулевое количество очков фрода и принимаются почти любыми сервисами. Главные их минусы это высокая цена и нестабильность подключения. Устройство может отключить вам доступ к нему.
Варианты проксификации также бывают различные. Мой топ:
- ShadowSocks - китайское опенсорс изобретение, которое по функционалу лидирует среди всех конкурентов. Идеал.
- Socks 5 - Практически идеальный вариант, то же что и Socks 4, но добавилась так нам нужная поддержка UDP протокола, и соответственно возможность подмены DNS и IPv6.
- VPN - Виртуальная Частная Сеть - технология позволяющая создать зашифрованное соединение в незашифрованных сетях. Пришла к нам из телефонных сетей и насчитывает более 10 разновидностей, на практике же, при всех своих достоинствах имеет серьезный недостаток в работе - слабую возможность маскировки использования технологии VPN.
- SSH туннели - вторая по популярности после Proxy технология. Удаленный сервер, который по нашему принуждению стал сервером посредником. Работает это так - при соединении SSH-клиента и SSH-сервера со стороны SSH-клиента поднимается SOCKS-прокси, например, на localhost, на который можно указывать приложениям с поддержкой SOCKS. Само проксирование будет через SSH-сервер, с которым вы соединяетесь. В сумме - Интернет вас будет видеть от имени SSH-сервера.
