Где тренироваться с большими технологиями
Технологические продукты для работы с большими данными разворачиваются в кластерах из множества компьютеров. В то же время существуют инструменты, позволяющие поупражняться с ними на персональном компьютере. Читай дальше и я расскажу подробнее об этом.
Одним из таких полезных продуктов является Hortonworks Data Platform (HDP) - виртуальная машина, образ которой может быть скачан с официального сайта:
Конечно, для начала работы вам потребуется предварительно установить средство виртуализации, например, VirtualBox или VMWARE. Его и нужно указать перед скачиванием образа виртуальной машины (ближе к центру окна, справа). Затем нажимаем кнопку с надписью "LET'S GO" и всплывает форма, после заполнения которой вам станут доступны ссылки для скачивания:
По горькому опыту, не советую скачивать HDP версии 3, так как для настройки ее корректной работы требуются приложить изрядные усилия (у меня так и не получилось). В то же время HDP 2.5 запускается без каких-либо проблем. Все что нужно - это импортировать настройки в систему виртуализации (в VirtualBox - "Файл"->"Импорт Конфигураций"), указав скачанный файл в соответствующем поле и нажав далее:
Потребуется немного подождать и после можно запускать машину:
По окончании загрузки операционной системы появится окно следующего вида:
То есть всплывает подсказка для входа на панель управления сервисами. Перейдем по указанному адресу в браузере:
Нажав "Quick Links" под "ADVANCED HDP" открывается окно с перечислением сервисов и учетных данных для входа на них:
Например перейдем в AMBARI и нам откроется панель управления различными продуктами:
Теперь вернемся назад и подключим интерфейс командной строки к серверу, пройдя аутентификацию по указанным реквизитам:
Как можно заметить, первоначальные реквизиты - "login" - root, "password" - hadoop. После их ввода от вас потребуют смену пароля, который и будет использоваться в последующем для аутентификации пользователя root.
На этой стадии вы можете посылать команды в систему и всецело экспериментировать с ней. А какие продукты для тестирования больших технологий используете вы?