Mr.N1x0n

Доступ к серверу по root через SSH

2022-09-07T00:56:19.905Z

Как подключиться к серверу при помощи SSH под логином Root, если такой возможности нет.

Первым делом надо задать пароль для root пользователя:

sudo passwd root

Запросит Ваш пароль, потом предложит задать новый пароль для root пользователя(дважды).

Далее необходимо разрешить вход по ssh.

sudo nano /etc/ssh/sshd_config

И привести выделенную строку

к следующему виду

Жмем Ctrl+O, Enter, Ctrl+X.

Далее перезагружаем сервис ssh следующей командой

sudo systemctl restart ssh || sudo systemctl restart sshd

Теперь можно подключиться к серверу через root пользователя при помощи пароля, который мы указали.

WebVirtCloud - виртуальные машины на вашем сервере

2022-09-06T18:27:18.320Z

Всем привет, дорогие нодеры!

Данный гайд не является чем-то сверхъестественным, скорее наоборот упрощенная инструкция рассчитанная на СНГ сегмент для поднятия виртуальных машин на Вашем железе. От мала до велика, от чайников до более менее "продвинутых" пользователей.

Официальный гайд на гитхаб: https://github.com/retspen/webvirtcloud

Данная инструкция является частью одного большого гайда, по поднятию нод-сканеров Forta. И да, гайд будет очень длинным.

UPD. 16.11.2022. Добавил в гайд инструкции для установки виртуальных машин на хостинге Hetzner или других хостерах.

Железо

В моем случае установка будет производиться на 2 локальные машины, которые находятся за роутером. Также возьмем одну машину у хостера, дабы разобраться со всеми тонкостями и нюансами.

Характеристики железа:

Asrock pro v4/AMD Ryzen 2600/48GB RAM/2TB SSD NVME(Kingston).
Huananzhi x99 F8/Intel Xeon 2666v3/48GB RAM/512GB SSD NVME(Samsung 970 EVO Pro).
[NL] HP G7 / Intel 2xL5630 / 32GB RAM DDR3 / 2x240GB SSD / HW RAID / 1x1GE Port / 100TB Traffic(Zomro)

Установка будет происходить на Ubuntu 20.04

По моим прикидкам, на 1-ую машину будет до 4-5 виртуальных машин, а на 2-ую до 5-6. Пока будем делать 5+5 с характеристиками 2-4CPU/8-16GB RAM/50GB. Для наших целей более чем достаточно, а почему такой разброс в CPU и RAM вы поймете позже.

Также у меня есть внешний роутер, через который происходит "открытие/закрытие" портов.

Кроме того, я отдельно рассмотрю установку на сервере у хостера.

p.s. В вашем случае сервер может быть другим, например Hetzner AX101 или другое.

Проверка железа на виртуализацию

Прежде чем начать, обновляемся:

sudo apt update

Проверим наше железо на возможность запуска виртуализации

grep -E -c "vmx|svm" /proc/cpuinfo

Если выдало больше 0, значит переходим к следующему шагу

apt-get install cpu-checker -y

Вводим команду

kvm-ok

Если выдает нечто подобное, то всё ок, можно переходить к установке.

INFO: /dev/kvm exists
KVM acceleration can be used

Установка WebVirtCloud

Загружаем необходимые пакеты:

sudo apt install git virtualenv python3-virtualenv python3-dev \
python3-lxml libvirt-dev zlib1g-dev libxslt1-dev nginx supervisor \
libsasl2-modules gcc pkg-config python3-guestfs libsasl2-dev libldap2-dev \
libssl-dev -y

Копируем git и создаем файл settings.py из шаблона

git clone https://github.com/retspen/webvirtcloud
cd webvirtcloud
cp webvirtcloud/settings.py.template webvirtcloud/settings.py

Далее необходимо сгенерировать ключ

openssl rand -base64 32

Копируем ключ и записываем его в файл settings.py

sudo nano $HOME/webvirtcloud/webvirtcloud/settings.py

Жмем Ctrl+O, Enter, Ctrl+X

Далее вводим команды

sudo cp conf/supervisor/webvirtcloud.conf /etc/supervisor/conf.d
sudo cp conf/nginx/webvirtcloud.conf /etc/nginx/conf.d
cd ..
sudo mv webvirtcloud /srv
sudo chown -R www-data:www-data /srv/webvirtcloud
cd /srv/webvirtcloud
virtualenv -p python3 venv
source venv/bin/activate
pip install -r conf/requirements.txt
python3 manage.py migrate
python3 manage.py collectstatic --noinput
sudo chown -R www-data:www-data /srv/webvirtcloud
sudo rm /etc/nginx/sites-enabled/default

Перезапускаем ngnix, supervisor

sudo service nginx restart
sudo service supervisor restart

Устанавливаем libvirt и KVM на сервер

wget -O - https://bit.ly/36baWUu | sudo sh

Прежде чем начать настраивать непосредственно сервер в WEB-панели, нужно добавить права доступа к файлам

echo "chmod 777 /var/run/libvirt/libvirt-sock" >> ~/.bash_profile
source ~/.bash_profile

Работа с панелью

Переходим в браузере по ссылке http://serverip

Появляется окно с авторизацией,
логин: admin
пароль: admin

Если данные манипуляции выполняются на арендованном сервере, то в первую очередь необходимо зайти в наш профиль и поменять пароль

Переходим в настройки(Settings)

Меняем Disk Cahe на None
Меняем Disk IO на Native

Переходим в Computes, жмем Local

Вводим имя, такое же как у нас имя сервера либо localhost

Т.к. у меня fortamain, я его и запишу

Далее переходим внутрь компьюта, нажав на глазок.

Прежде чем продолжить, выполняем на сервере команду для создания одной папки и двух подпапок iso и images

mkdir /home/kvm/
mkdir /home/kvm/{iso,images}

Сразу сохраним образ ubuntu 20.04 на машину, выполняем следующие команды:

cd /home/kvm/iso/
wget https://releases.ubuntu.com/20.04/ubuntu-20.04.5-live-server-amd64.iso

Пока на сервере будет скачиваться образ, продолжим настройки в веб-панели.

Переходим в Storages, жмем плюсик чтобы добавить хранилище

Создаем первое хранилище со следующими настройками

Аналогично следующее хранилище, только вкладка iso

В нем, как раз и будет находится наш образ Ubuntu.

Настройка сети(локально)

В случае если Вы запускаете на локальной машине, то нам необходимо установить бридж и настроить его.
Если же это делается на выделенном сервере у хостера, то делать это не надо, просто пропустите данный шаг.

Еще раз! Данные манипуляции подходят только для установки на локальной машине. Для Hetzner такое делать нельзя! Получите предупреждение от хостера, особенно если смените mac адрес!

Ниже мы рассмотрим оба варианта. Начнем с локальной машины.

Сейчас все делаем с предельной осторожностью, иначе вы потеряете доступ к серверу

Устанавливаем bridge

sudo apt install bridge-utils

Теперь надо поправить файл 00-installer-config.yaml в папке /etc/netplan/ под Ваше оборудование

/etc/netplan/

Перед тем как начать редактировать config файл, надо запомнить название устройства:

В моем случае enp9s0, который мы запоминаем, а mac-адрес мы подставим либо наш уже имеющийся, либо рандомный

Редактируем файл 00-installer-config.yaml

network:
  ethernets:
    enp9s0:
      dhcp4: false
      dhcp6: false
  version: 2

  bridges:
    br0:
      macaddress: 16:76:1a:3b:be:03
      interfaces:
        - enp9s0
      dhcp4: true
      dhcp6: false
      parameters:
        stp: true
        forward-delay: 4

enp9s0(дважды), macaddress меняем на свои!

Менять я буду вручную в файле через mobaxterm.

Теперь надо применить новые настройки.

sudo netplan apply

Если всё ок, то настройки примутся, если же нет, то мы или потеряем доступ к серверу или же выдаст ошибку.

Далее еще один важный момент. Чтобы наш kvm хост мог осуществлять транзит пакетов через себя, надо это явно разрешить в sysctl. Добавляем в /etc/sysctl.d/99-sysctl.conf новый параметр. Он там уже есть, надо только снять пометку комментария.

net.ipv4.ip_forward=1

Применяем новую настройку ядра.

sudo sysctl -p /etc/sysctl.d/99-sysctl.conf

Перезагружаем сервер

reboot

В конце манипуляций в разделе interfaces появится наш бридж

Если всё сделано правильно, то сервер перезагрузится и у вас будет доступ к нему. А если не будет доступа к серверу, то поздравляю - бегом переустанавливать систему!

Настройка сети (арендованный сервер)

В случае работы с hetzner, может не запуститься virbr0(virtual bridge), а он нам нужен, для этого выполняем следующие манипуляции

Переходим в наш сервер из раздела Computes

Заходим в раздел Networks и жмем на default

Появится примерно следующего вида страница. У меня virbr0 уже включен, в Вашем случае может быть наоборот. Для этого нажимаем кнопку Start, она будет примерно там, где я указал стрелочкой.

После этого можно переходить к настройке, в самом конце будет инструкция как подключиться к виртуальной машине при помощи "другого" порта

Продолжаем настройку

Машина настроена, пора создать intance

Жмем сверху intances и плюсик справа, потом выбираем нашу машину, жмем chose

Далее оставляем как есть, жмем next

Можно создать свой шаблон, но я буду использовать micro, потом делать для него resize

Жмем плюсик напротив micro(1-ая строка)

Заполняем Name, ну и при желании выбираем Storage, но я оставлю как есть.

Поздравляю, первая виртуальная машина сделана, необходимо ее настроить

Первым делом, заходим в Resize. Указываем настройки процессора и жмем Resize. У меня будут Current:2, Maximum:4.

Вы выбираете для себя необходимое количество.
Исходя из требований и кол-ва виртуальных машин.

Идем опять в Resize и выбираем вкладку Memory. Аналогично CPU я указываю 8gb ram/16gb ram и жму Resize.
Наблюдения: для форты хватит и 8gb/8gb, но не меньше, иначе будет ругаться сканер!

Таким же образом захожу в Resize, вкладка Disk. Указываю 50GB(хотя хватит и 20GB), подтверждаю настройки, нажатием кнопки Resize.

После всех манипуляций сверху мы увидим наши настройки виртуальной машины(ВМ).

Далее переходим в раздел настройки(Settings), подраздел Disk, жмем Mount напротив нашего образа

Далее, в случае если у Вас машина стоит дома или же Вы "поднимаете на локалке", то также необходимо зайти в Settings, подраздел Network и поменять Source на br0, т.е. на наш созданный бридж. Если Вы поднимаете у хостера, то у Вас будет Interface virbr0.

Клонирование виртуальных машин

Теперь чтобы упростить процесс, можно клонировать ВМ. Для этого заходите в раздел Settings. подраздел Clone.

Важное замечание! Делать это нужно до запуска и установки ВМ, во избежание косяков.

Таким образом мы сделали 5 ВМ

Запуск и установка Ubuntu 20.04

Для первого запуска, нам необходимо установить нашу ВМ.

Для тех кто "продвинут" в этом вопросе, могут просто пропустить данный шаг.

Переходим в нашу виртуальную машину(ВМ), жмем кнопку Power On

Далее раздел Access, жмем кнопку консоль. При нажатии на нее будет всплывающее окно с доступом к серверу

Выбираем необходимый нам язык, я же буду по старинке на English.

Язык клавиатуры English (US) в обоих вариантах, по стандарту.

Жмем Done. Идем дальше.

Настройки сети. Здесь должно определиться само. Если внутри локальной сети, смотрите чтобы ip соответствовал ей. Если не так, проверьте настройки Network(сети) в WebVirtCloud, возможно у вас не включен бридж.

В случае если данные манипуляции производятся на арендованном сервере, то должен отобразиться ip подсети, у меня это 192.168.122.XXX.

Необходимо запомнить или записать данный адрес, он нам пригодится чуть позже!

Если необходимо, задайте прокси по стандарту указанному под полем ввода. Я данный шаг пропущу, так как не планирую работу сервера через прокси.

Следующий шаг оставляем как есть

Далее надо задать настройки диска. На данном этапе оставляю как есть, а на следующем шаге, сделаем несколько манипуляций, дабы использовать весь диск.

Здесь необходимо сделать Unmount раздела / и добавить оставшееся свободное место, но это необязательно, т.к. для Forta хватит и этого пространства. Либо вы можете добавить раздел /home чтобы сохранять рабочие файлы там.
Я же объединяю всё под /, чтобы не заморачиваться, хотя правильнее будет хранить рабочие файлы в другой папке.

Указываем максимальное пространство, а также не забываем в графе выбора Mount указать раздел /

После того как с разметкой разделов закончили, выбираем Done и жмем Enter

Нас предупредят, что мы потеряем всю информацию на данных дисках, с чем я и соглашаюсь.

Далее необходимо указать:

Ваше Имя
Имя сервера
Выбрать логин(советую каждый раз выбирать новый)
Указать пароль дважды

После ввода данных, подтверждаем и появляется следующий экран с предложением установить OpenSSH сервер, жмем Enter(ставим крестик), потом Done. При желании вы можете импортировать SSH ключ, но в данном гайде я не буду рассматривать этот подпункт.

Из всего имеющегося ниже, я бы установил только Docker, но я буду его ставить отдельно для сканера Forta, поэтому кручу вниз и жму Done.

Пошел процесс установки. Ждем пока не появится кнопка reboot

Кнопка появилась, жмем ее

Теперь система ругается что у нас смонтирован образ системы.

Необходимо перейти в WebVirtCloud, Settings, Disk и нажать Unmount.

Возвращаемся к нашему окну и жмем Enter, чтобы запустилась система.

На этом установка закончилась, можно подключиться к серверу по своему ip и логин\паролю.

P.s. для удобства, можно нажать в веб-панели на глазок, чтобы зайти в vnc консоль сразу.

Вход на каждую ВМ под собственным портом

В случае если мы делаем на локальной машине и у нас есть dhcp(автоматическое определение машин и назначение им ip адреса в сети), то данный пункт будет нам неинтересен, ибо каждый раз будет новый ip на виртуалке.

Однако если делать ВМ на сервере, то при наличии нескольких машин с одним логином, возникнут проблемы.

Чтобы не возникало проблем, нужно сделать следующие манипуляции на нужной нам ВМ.

При установке я говорил запомнить данный адрес, в данном случае 192.168.122.136

Далее на основной машине, где у нас установлена KVM, необходимо выполнить следующие команды в iptables

sudo iptables -I FORWARD -o virbr0 -d 192.168.122.XXX -j ACCEPT
sudo iptables -t nat -I PREROUTING -p tcp --dport NNN -j DNAT \
--to 192.168.122.XXX:22

Где XXX - окончание ip адреса нашего сервера, в моем примере это будет 136,
а NNN - номер порта, по которому будет происходить подключение к серверу.

Пример:

sudo iptables -I FORWARD -o virbr0 -d 192.168.122.136 -j ACCEPT
sudo iptables -t nat -I PREROUTING -p tcp --dport 2201 -j DNAT --to 192.168.122.136:22

Пример копировать не надо! У Вас будут свои настройки!

Повторяем данные команды для нужного нам количества серверов!

Поздравляю. Настройка закончена!

Теперь мы можем подключиться к нашему серверу по порту, например, как на скриншоте выше.

Также при желании Вы можете сразу сделать настройки авторизации под root пользователем: https://teletype.in/@mrnixon/root-ssh#5bmr

Благодарности

Если хотите сказать спасибо или у Вас есть вопросы, то можете обратиться ко мне в телеграм https://t.me/N1xxxon :)

Erigon - ETH Full Node

2022-08-31T21:36:02.932Z

Официальный гайд Erigon на Github

Гайд подготовлен при помощи @Andrii1890(за что ему большое спасибо), собран и структурирован с пояснениями @N1xxxon.

Краткое описание

Erigon (в прошлом — Turbo-Geth) представляет собой ответвление Go Ethereum, ориентированное на скорость и эффективность использования дискового пространства. Erigon — это полностью переработанная архитектура реализации Ethereum, написанная на Go, но с планируемыми реализациями на других языках. Цель Erigon — обеспечение быстрой, более модульной и более оптимизированной реализации Ethereum. Он может выполнить полную синхронизацию архивного узла, используя менее 2ТВ дискового пространства менее чем за 4 дня.

Требования к серверу

Минимальные требования: Ubuntu 20.04, 4 CPU(8threads), 16gb RAM, 3TB+ SSD
С 06.09.2022 необходимо наличие Consensus Layer клиента.

Оптимальный выбор: Hetzner, AX101 или аналоги с 7TB+ SSD NVME.

Остановимся на оптимальном, т.к. нам необходимо поднять CL клиент в будущем.

Сразу уточним, чем больше оперативной памяти, чем лучше диски(nvme, а не ssd, hdd не подойдут), тем быстрее пройдет синхронизация.

На данный момент Full-нода занимает примерно 1.6TB данных.

Официальные требования Erigon

Установка Erigon

Обновление + установка необходимых компонентов

sudo apt update
sudo apt-get install build-essential wget git make htop -y

Установим Golang, версии 1.18.2.
Если нужна версия "по-новее", поправьте цифры в скрипте, в соответствии с вашими требованиями. Все версии Golang можно посмотреть на сайте

if ! [ -x "$(command -v go)" ]; then
  ver="1.18.2"
  cd $HOME
  sudo wget "https://golang.org/dl/go$ver.linux-amd64.tar.gz"
  sudo rm -rf /usr/local/go
  sudo tar -C /usr/local -xzf "go$ver.linux-amd64.tar.gz"
  sudo rm "go$ver.linux-amd64.tar.gz"
  sudo echo "export PATH=$PATH:/usr/local/go/bin:$HOME/go/bin" >> ~/.bash_profile
  source ~/.bash_profile
fi

Проверим, что установка прошла и у нас необходимая версия

go version

Скачаем Erigon
Вместо --branch v2022.08.03 ниже, нужно подставить актуальную версию

sudo git clone https://github.com/ledgerwatch/erigon.git --branch v2022.08.03
cd erigon
git checkout alpha
make erigon

Создаем папки logs и .ethereum в папке /home/

sudo mkdir -p /home/{logs,.ethereum}

Перемещаем бинарник

sudo mv /root/erigon/build/bin/erigon /usr/local/bin/erigon

Создадим сервисный файл

sudo tee <<EOF >/dev/null /etc/systemd/system/erigon.service
[Unit]
Description=Erigon Node
Wants=network-online.target
After=network-online.target

[Service]
Restart=on-failure
RestartSec=15
Type=simple
ExecStart=/usr/local/bin/./erigon --datadir /home/.ethereum --http.vhosts '*' --http.port 8545 --http.addr 0.0.0.0 --http.corsdomain '*' --http.api 'eth,erigon,net,web3,trace,txpool' --ws --private.api.addr=localhost:9090 --metrics --metrics.port 6060 --metrics.addr 0.0.0.0 --authrpc.jwtsecret /home/.ethereum/jwt.hex

StandardOutput=append:/home/logs/erigon.log
StandardError=append:/home/logs/erigon.log

[Install]
WantedBy=multi-user.target
EOF

Перезагрузим "демона", включим службу Erigon'а и запустим его

sudo systemctl daemon-reload
sudo systemctl enable erigon
sudo systemctl restart erigon

Добавляем возможность смотреть логи по команде erigon.log

sudo echo 'alias erigon.log="tail -f /home/logs/erigon.log"' >> $HOME/.bash_profile
source $HOME/.bash_profile

Теперь мы можем смотреть логи

erigon.log

Установка и настройка фаервола UFW

Данный пункт необходим тем, кто поднимает ноду у хостера.

Те кто будут поднимать дома или "на локалке", где стоит роутер, надо будет пробросить порт 8545 только для Вашего доверенного ip, например, для сканера Forta.
В противном случае к Вашей ноде подключатся все кому не лень.

Если Вы ставите UFW впервые, прошу отнестись внимательно к следующим командам, чтобы случайно не обрубить себе связь с сервером по порту 22.
Как это было у меня в самый первый раз.

Установим UFW если его еще нет

sudo apt-get install ufw

Далее проверим статус UFW, должно выдать

sudo ufw status

Должно выдать

Status: inactive

Включим UFW

sudo ufw enable

Еще раз вводим

sudo ufw status

Должно выдать

Status: active

Установим политику по-умолчанию, запретив все входящие подключения и разрешив все исходящие

sudo ufw default deny incoming
sudo ufw default allow outgoing

Откроем порт 22 для доступа по SSH к серверу

sudo ufw allow 22/tcp

Проверим наличие OpenSSH(или 22/tcp) в списке разрешенных подключений

sudo ufw status verbose

Если есть, то всё ок. Продолжаем дальше.

Откроем доступ для нашего сканера Forta к порту 8545.

sudo ufw allow from <YourFortaIP> to any port 8545

Вместо <YourFortaIP> необходимо указать ip вашей доверенной ноды\сканера Forta.

Еще раз проверим, что наше "правило" добавилось

sudo ufw status verbose

Если всё ок, то я Вас поздравляю. Настройка закончена.

Возможные проблемы

Если случится так, что во время загрузки архива у Вас перезагрузится сервер, то может начать выдавать ошибку. Для этого необходимо удалить базу и снепшоты.

sudo systemctl stop erigon
sudo rm -rf /home/.ethereum/{chaindata,snapshots}

Не выполнять без необходимости! В противном случае Вы просто так удалите Вашу синхронизацию.

Удаление ноды

Если по какой-либо причине, Вам необходимо удалить ноду и все её файлы, просто выполните следующие команды

sudo systemctl stop erigon
sudo systemctl disable erigon
sudo rm -rf /home/{logs,.ethereum}
sudo rm -rf /usr/local/bin/erigon
sudo rm -rf /root/erigon/
sudo rm -rf /etc/systemd/system/erigon.service
sudo systemctl daemon-reload

Обновление

Актуальную версию можно посмотреть здесь https://github.com/ledgerwatch/erigon/releases

Чтобы установить актуальную версию, в коде ниже нужно заменить
--branch v2.30.0
на
--branch с указанием актуальной версии(цифры поменяйте и все будет ок)

sudo systemctl stop erigon.service
sleep 10
cd $HOME
rm -rf erigon
git clone https://github.com/ledgerwatch/erigon.git --branch v2.30.0
cd erigon
git checkout alpha
make erigon
cd ./build/bin/
sudo cp erigon /usr/local/bin/
systemctl restart erigon.service
erigon -v #Проверим версию 2.30.0
eigon.log #Проверим логи

Благодарность

Выражаю огромную благодарность @Andrii1890 за помощь в создании данного гайда.