DSVM

Yandex Data Science Virtual Machine (DSVM) — это виртуальная машина с предустановленными популярными библиотеками для анализа данных и машинного обучения. DSVM можно использовать как среду для обучения моделей и экспериментов с данными. Используется крайне редко.

Набор софта:

Ubuntu       18.04
ipython      7.2.0
catboost     0.12.2
numpy        1.15.4
pandas       0.24.1
scikit-learn 0.20.0
tensorflow   1.12.0
torch        1.0.1
Менеджер пакетов conda с Python 2.7 и Python 3.6
Инструменты для интерактивных и воспроизводимых вычислений Jupyter Notebook и JupyterLab.
Система управления контейнерами Docker.
Консольные клиенты систем контроля версий: SVN, Git, Mercurial.

Установка:

export FOLDER_ID=$(yc config get folder-id)
export ZONE=ru-central1-a
export SA=$(yc iam service-account get cameda-service --format json | jq -r '.id')
export SG=$(yc vpc sg get cam-all --format json | jq -r '.id')
export SUBNET_ID=$(yc vpc subnet get subnet-a --format json | jq -r '.id')

yc compute instance create \
--folder-id $FOLDER_ID \
--name cameda-dsvm \
--hostname cameda-dsvm \
--description "DSVM" \
--platform standard-v2 \
--zone $ZONE \
--create-boot-disk image-family=dsvm,size=30,type=network-ssd,block-size=8K \
--image-folder-id standard-images \
--memory 2 \
--cores 2 \
--core-fraction 5 \
--preemptible \
--network-interface subnet-id=$SUBNET_ID,address=10.128.0.201,nat-ip-version=ipv4,security-group-ids=$SG \
--metadata serial-port-enable=1 \
--ssh-key ~/.ssh/id_rsa.pub \
--service-account-id $SA \
--async

Подключение к ВМ по ssh осуществляется от имени пользователя yc-user.

Welcome to Yandex Data Science Virtual Machine
Image Build: Thu Feb  7 11:20:40 UTC 2019

Please use one of the following commands to activate
the environment with the framework of your choice:
    for Python2 ______________________ source activate py27
    for Python3 ______________________ source activate py36

Packages installed in each environment:
    catboost, xgboost, lightgbm,
    tensorflow, pytorch,
    jupyter, matplotlib,
    numpy, scipy, scikit-learn

To run public JupyterLab execute:
    jupyter lab --no-browser

To run public Jupyter notebook execute:
    jupyter notebook --no-browser

docker version
Client:
 Version:           18.09.1
 API version:       1.39
 Go version:        go1.10.6
 Git commit:        4c52b90
 Built:             Wed Jan  9 19:35:31 2019
 OS/Arch:           linux/amd64
 Experimental:      false

git version 2.17.1

Весь набор софта стар как говно мамонта.

Полезные ссылки.

Настройка SG: https://teletype.in/@cameda/qpWd5IvF8EZ
Настройка SA: https://teletype.in/@cameda/w93lPMPQWS4
Про зону доступности тут: https://teletype.in/@cameda/S34zdiTcbUM
Сеть создавали тут: https://teletype.in/@cameda/ZbTkF70KWK9
Страничка продукта: https://cloud.yandex.ru/marketplace/products/yc/dsvm
Квоты в облаке: https://teletype.in/@cameda/yTu0k42dbw0