В этой статье я расскажу, как систематизировать ваш сценарий, сделать код и данные воспроизводимыми с dvc пайплайнами.

Заходим на сайт с использованием VPN, Затем нажимаем "sign up":

"Приобретение знаний - это как путешествие в неизведанные земли: чем больше вы исследуете, тем больше открытий вы делаете".

Для задания списков из нескольких уровней нужно создавать их с новой строки и предварять символами табуляции. При этом каждый очередной элемент не должен отступать от соседнего более чем на один символ табуляции:

Рассмотрим один из передовых методов кластеризации - DBSCAN. Для многих исследователей эффективность метода зачастую компенсируется сложностью его настройки, из-за чего предпочтение отдается другим алгоритмам. Давайте внесем ясность в вопрос и упростим задачу использования DBSCAN.

Ниже расскажу, как правильно использовать справочник Linux, чтобы получить полное и быстрое понимание возможностей командной строки. Этот навык очень важен для любого разработчика и аналитика, которые вынуждены писать код на серверах компаний и пользоваться терминалом Linux.

Интерактивная работа со Spark имеет свои особенности, главная из которых - всегда учитывать, что исполнение кода происходит на нескольких узлах. Одним из следствий этого является необходимость создания одинаковой виртуальной среды на нодах, так как иначе вы не можете гарантировать корректную работу. Это касается не только импортированных модулей, но и версии интерпретатора.

В этой задаче библиотека scikit-learn нам не поможет, поэтому обратимся к SciPy. Для начала следует воспользоваться функцией linkage из scipy.cluster.hierarchy, которая и проведет процесс кластеризации (ранее я разбирал ее работу). В третьей колонке она возвращает дистанцию между объединяемыми кластерами (из первого и второго столбцов). На ее основании можно и задать предельный порог, после которого дистанция считается существенной и кластера перестают объединяться:

Мостиком для взаимодействия Python и командной строки служит модуль subprocess. С его помощью можно выполнить команду и получить результат ее работы прямо из кода. Предпочтительным способом запуска является функция run.

DVC - это продукт эволюции машинного обучения и предназначен для упрощения работы дата аналитика. В частности, он помогает создавать версии данных и моделей (большие файлы) и тем самым упорядочит ваш проект так, что его станет проще запускать коллегам, извлекать нужные версии и сравнивать результаты разных подходов. Многие принципы DVC заимствовал у Git-а, который делает то же, но для кода и небольших файлов.