Создаём свой собственный индексатор

Индексатор: Теория.

Большинство индексаторов создают сотни ссылок на урлы, которые мы собираемся индексировать. В основном, они пытаются заставить гуглобота скраулить и пройти через целевой урл, чтобы получить индексацию. Но как многие из вас уже знают, подобные услуги сильно упали в качестве, и вопрос в том, почему?

Чтобы ответить на этот вопрос, мы должны изучить и проанализировать, как работают эти индексаторы:

[1] Регистрируется домен.
[2] Он регистрируется в поисковой консоли.
[3] Создаются необходимые урлы.
[4] Они отправляются на индексатор.

Результаты показывают нам, что подобные сервисы индексации создают сотни автоматических поддоменов, которые ссылаются на отправленные урлы. Как я упоминал выше, проблема сейчас возникает в том что созданные ссылки имеют короткую жизнь. А если мы добавим, что бот Google понизил частоту обхода и это занимает теперь больше времени. И мы понимаем причину, почему большинство индексаторов больше не получают высокие показатели.

Что ж, учитывая полученные результаты, мы можем подготовить эксперимент, в котором создадим сценарий, аналогичный представленным на рынке индексаторам, но решающий проблему жизни ссылок. Мы НЕ будем удалять созданные поддомены, и будем создавать контекстные тексты.

Немного теории. Что такое "wildcard" поддомен и как его создать в cPanel.

Короч, погнали:

1. Логинимся в cPanel.
2. Идём в Domains section > Subdomains menu:

3. Create a subdomain * (указав его на необходимую папку (путь нужно будет указать в поле Document Root)

4. Идём в Zone Editor menu:

5. Убедитесь, что для *.yourdomain.com создана запись A, указывающая на IP-адрес сервера (он может совпадать с IP-адресом вашего основного домена или ftp.yourdomain.com):

6. Теперь вам нужно подождать, пока закончится процесс (он должен занять N секунд, где N - TTL для этой записи A; вы можете отредактировать его вручную и уменьшить число, чтобы ускорить процесс), после чего wildcard поддомен будет работать правильно.

Установка нашего индексатора

Скачайте файл скрипта "index.php" (Он будет приложен к записи в телеге)

И просто выполните следующие шаги:

[1] Купите дешевый домен и зарегистрируйте его в вашей cPanel хостинга.
[2] Создайте "wildcard" поддомен. (Если он уже создан переходим далее)
[3] Установите SSL-сертификаты на корневой и поддомен.
[4] Откройте файл "index.php" и отредактируйте следующие параметры:
- DB_HOST: localhost или хост вашего хостинга.
- DB_NAME: Имя базы данных.
- DB_USER: пользователь базы данных.
- DB_PASS: пароль базы данных.
- https://%%SUBDOMAIN%%.domain.com: Замените domain.com на ваш домен без слеша / в конце.
(Необязательно) Вы можете выбрать язык из $config['lang'], ES => Испания, EN => английский.
- ADMIN_PASSWORD: Введите пароль для доступа к панели.
(Необязательно) Вы можете добавить блокировку большего количества роботов, добавив их в $config['block']['robots'];
[5] Сохраните изменения.
[6] Загрузите файл "index.php" на "wildcard" поддомен.
[7] Запустите установку с url: https://www2.вашдомен.com/index.php?router=install (вам придется войти в систему).

Готово, если вы выполнили все шаги, вы будете автоматически перенаправлены на панель, если нет, вы сделали что-то не так.

Теперь пришло время это всё протестировать, для этого я повторно использовал генератор контента для автоматических кампаний, особенно на блогах, где нам нужно много статей. Давайте продолжим:

[1] Перейдите в раздел "Dictionary".
[2] Здесь вы должны вставить статью, связанную с вашей нишей.
[3] Нажмите на сохранить.
[4] Повторяйте шаги с 1 по 3, пока не достигнете минимум 15 тысяч слов в словаре, чем больше, тем лучше.

Теперь пришло время настроить автоматическое создание поддоменов / ссылок на наши урлы для индексации, для этого мы будем использовать cronjob, поэтому сделайте следующее:

[1] Перейдите в cPanel и добавьте новую задачу cronjob.
- Time: Every minute.
- Command: curl -s https://www2.вашсайт.com/index.php?router=cronjob
[2] Сохраните изменения.

Как только этот шаг будет выполнен, вы можете начать индексировать ваши ссылки:

[1] Войдите в панель управления Indexer BETA.
- URLS: Ваши ссылки для индексации.
- Days: Дни, на которые вы хотите распределить индексацию.
[2] Сохранить.

И готово, у вас есть свой собственный индексатор, работающий как платны. Теперь, для достижения наилучших результатов, я рекомендую вам использовать по крайней мере 5-10 доменов с разными IP. И помните, если будет много ссылок, вы должны расширить количество слов в словаре.

Контроль за обходом бота поисковика:
Чтобы постоянно контролировать бота Google, в папке "log" вы найдете все перемещения бота и страницы, которые он посещает.