Дайджест №339
MLOps — внедряем практики DevOps в машинном обучении
В команде Антона Шишкина «Ассистент» уже давно есть традиция — раз в неделю ребята проводят встречу, на которой делятся друг с другом новой информацией, обсуждают интересные моменты или просто смотрят записи докладов.
Недавно Саша Андреянков провел для коллег цикл небольших лекций об одном из направлений машинного обучения MLOps — это применение практик DevOps в машинном обучении 🤖
Началось всё с того, что Саша прошел два курса: на русском «MLOps и production подход к ML исследованиям» (в последнем запуске он даже стал наставником и помогал новым ребятам) и курс по MLOps от DataTalks.Club, англоязычного комьюнити по Data Science. В итоге он решил не только внедрить новые знания на практике, но и поделиться ими с командой.
«Команда у нас настроена на улучшение и позитив 😊 После прохождения курса обычно кажется, что всё понял, а когда доходишь до практики, всплывает много нюансов, которых в процессе обучения не было. Мне приятно, что всегда можно узнать что-нибудь новое, а потом поделиться этим с ребятами. Когда рассказываешь что-то внутри команды, то сам начинаешь лучше разбираться в теме, даже если сначала не всё понял».
Саша выбрал из обоих курсов те темы и подходы, которые понравились ему больше всего, и попробовал применить к процессам Лаба. Он взял наши уже реализованные микросервисы с моделями машинного обучения и на них показал возможности использования инструментов MLOps.
Вот некоторые из тем, о которых он рассказал команде:
📍 Версионированние данных: как хранить и не терять данные, на которых уже был проведен эксперимент
📍 Как доставлять модели в продакшн
📍 Мониторинг моделей, которые уже вышли в продакшн
📍 Переобучение моделей и автоматизация этого процесса
Раньше модели машинного обучения одного из рекомендательных сервисов Делобанка весили 5 до 30 Мб. Сейчас же их вес может доходить до 1,5 Гб. Стало понятно, что с этим нужно что-то делать. Теперь у команды есть отдельный системник с видеокартой, на котором ребята могут обучать тяжелые модели. Саша поднял на нем многопользовательский сервер, чтобы сразу несколько пользователей под своей учеткой могли параллельно обучать модели.
👉 Также сейчас команда согласовывает со Службой безопасности банка доступ к сервису Yandex Object Storage — S3-совместимого хранилища. Он нужен для того, чтобы доставлять модели машинного обучения в микросервисы. То есть модели будут «лежать» уже не в репозитории GitLab, занимая место, а сам микросервис при запуске будет «ходить» в S3 и забирать модели 👉 Дальше команда планирует внедрить Data Version Control (DVC), с помощью которого можно будет версионировать и хранить данные.
👉 Еще в планах — версионирование экспериментов и добавление возможности отправлять модели релизами. Это позволит не делать релиз микросервиса каждый раз, когда нужно обновить модель машинного обучения, а, наоборот, развязать код и модель, упростив процесс релиза 👉 И последняя вещь, которую команда хочет внедрить, это оркестратор. Этот инструмент будет выполнять процессы машинного обучения на всех этапах: обеспечивать полный контроль над развертыванием моделей на сервере, управлять их работой, потоками данных и активацией процесса обучения или повторного обучения.
Заядлые путешественники
Помните опрос про путешествия в одном из прошлых выпусков? Мы выяснили, кто из нас посетил больше всего стран — это Лена Пономарёва и Антон Степанов 😏 Они оба успели побывать в 16 царствах-государствах! Россию в опросе мы не учитывали, всё-таки это путешествия внутри страны.
Мы задали ребятам одинаковые вопросы, и вот что они рассказали 👇
🗺 Лена
Армения, Греция, Индонезия, Испания, Италия, Канада, Кипр, Мальдивы, Монако, США, Таиланд, Турция, Финляндия, Франция, Хорватия, Чехия
1. В какой из стран ты пробыла дольше всего?
Если одномоментным промежутком времени, то в США — больше двух недель. Если промежутками, то больше в Испании — я ездила туда несколько раз, в разные части страны.
2. Какая страна показалась тебе самой необычной?
Сложно сказать, потому что Европа отдельно инаковая, Америка совершенно другая, а Азия совсем на них непохожая. Наверное, остров Бали мне совсем необычным показался. Я помню свои ощущения первые три дня, было желание просто молчать. Не хотелось нарушать гармонию вокруг, вклиниваться в эту усладу для глаз, ушей и тела.
3. Самая похожая на Россию страна и чем именно?
Я никогда не сравнивала страны в таком ключе, потому что, приезжая в страну, ты больше замечаешь отличия, а не сходства. Но в Америке было ощущение, что, несмотря на другие подходы ко многому, эта страна похожа на Россию территориями. Своей масштабностью, какой-то глобальностью, расстояниями между локациями.
4. Где бы ты согласилась жить еще, кроме России?
В домике на побережье Лазурного берега 😊 Моя душа почему-то поет во Франции, в Провансе. Там я себя чувствую как дома.
5. Расскажи про самую опасную ситуацию за время твоих путешествий?
Это внезапное посещение Канады. При возвращении из США с начала нашего полета прошло часа полтора, мы мирно смотрели мультимедию, нас кормили бортпроводники, и вдруг резко погас свет... Через несколько секунд, хотя казалось всё бесконечным, тут же свернулось обслуживание, и капитан корабля сказал, что по техническим причинам мы будем совершать экстренную посадку в городе Эдмонтоне в Канаде. Понятно, что в моменте нам никто ничего не объяснил, было тревожно и страшно. Мы наблюдали как четко и одновременно нервно работает экипаж салона, как они готовятся к экстренной посадке. На лицах у них самих было далеко не спокойствие... Это потом уже нам сказали, что экипаж почувствовал запах гари. Случилось что-то вроде короткого замыкания, и отказала вся электроника. И хорошо, что это произошло ДО Атлантики. Так мы и садились на ручном управлении в полной темноте, и потом ещё больше шести часов провели в самолёте, пока в Канаде не наступило утро 😃 И уже после, в течении суток, мы ждали новый борт, который для нас отправили из Москвы.
Второй неприятный момент — это когда в Испании ограбили нашу арендованную машину. Ее вскрыли, пока мы были на пляже, и украли мой рюкзак, в котором были паспорта. Это был отдельный квест по получению справки для вылета, посещению посольства, прохождению весьма неприятных процедур идентификации. С того момента я всегда беру заграницу российские паспорта, потому что, оказывается, при идентификации личности не помогает та самая биометрия, которую мы все сдавали. Один из вариантов подтверждения личности в посольстве — это наличие российского паспорта, причем его оригинала. Ни скан, ни копия, ни фотография не работают!
6. А был какой-нибудь абсурдный и или смешной случай?
В каждой поездке такое случается... Этот случай не смешной и не абсурдный, но забавный. Это был наш последний день в Венеции, и мы с мужем решили покататься на гандоле. Все гуляющие в Венеции тепло приветствуют катающихся: они им машут, улыбаются, фотографируют. Тем, кто катается, тоже приятно проплывать мимо и махать в ответ. Это сопровождает все прогулки по воде, потому что вокруг одни каналы и мостики.
Перед отъездом мы решили поужинать и пришли в один местный ресторанчик. У него была сильно плотная посадка, но мы решили подождать, потому что там вперые за несколько дней встретили русскую речь и рускоговорящего официанта. Да и количество посетителей говорило само за себя. Наш официант была родом из Беларуси, она прониклась к нам симпатией и была отзывчива. Мы дождались своей очереди и сели за дополнительный столик на улице, но буквально через 10 минут нам пришлось пересесть, потому что хозяин соседнего ресторана возмутился такому «расширению территории» соседей. Мы пересели, и почти сразу к нам поверулась женщина, которая активно жестикулировала и быстро говорила на английском. В итоге мы выяснили, что утром она наблюдала нас катающимися на гандоле и сфотографировала. Мы пообщались, и она прислала нам фото. Мы могли бы с ней и не встретиться в этом ресторане, но тот случай, когда нас пересадили, как будто специально был создан для этой встречи для того, чтобы мы получили фотографию. Это было неожиданно, мило и забавно.
7. Какое путешествие ты назвала бы незабываемым и почему?
Они все уникальные, я каждое свое путешествие так люблю! Очень люблю возвращаться в них через фотографии, а иногда и в реальности. То есть приезжать в эту страну снова, иногда во второй раз получается увидеть то, что не ты не заметилв предыдущий: какие-то нюансы, традиции, инаковости. А иногда я с теплом встречаю то, что уже знакомо, это тоже особый вид эмоций.
Наверное, потрясающей была моя последняя поездка, на грани мечты. Это был круиз с посещением разных стран и локаций. Мы с мужем предпочитаем активный отдых, не прямо релакс-релакс, нам обязательно нужен какой-то движ. Обычно мы выбираем точку для наших путешествий с такой возможностью. Даже в Таиланде на Пхукете мы на мотоцикле отъездили 1 000 километров. А последнее наше путешествие — это был круиз, и у него, соответственно, километраж множится. Уезжая из Венеции, ты попадаешь на другую часть Италии, потом плывешь в островную и материковую Грецию, в Хорватию... Эта смена локаций потрясающая! Это был совершенно новый опыт и впечатления, он для тех, кто ценит чуть ниже градус активности. Ты, по сути, живешь в комфортабельном шикарном отеле со множеством развлечений, с круглосуточным доступом к еде и напиткам. Ты находишься в отеле, и твой отель тебя перемещает в другие точки.
8. Самая необычная вещь, которую ты привозила из путешествий?
Ершик для унитаза. Достаточно необычно? 😅 Он оранжевый, необычной формы и совсем не похож на обычный ершик для унитаза. Он как вазочка, с вытянутым горлышком. Я привезла его 12 назад из Испании, и он до сих пор выглядит актуально. Люблю привозить из путешествий что-нибудь в подарок для себя и для дома. У нас есть такая традиция в семье, и появилась она после ершика.
9. Путешествовать — это классно? Если да, то почему?
Я не знаю, для кого как, но я энергетически наполняюсь в путешествиях. Я научилась переключаться и вдохновляюсь каждой своей поездкой. Если за последние полгода нигде не побывала, у меня случается зуд путешественника: становится некомфортно, хочется новых эмоций, впечатлений. Я просто кайфую от новых мест и от событий. Очень здорово себя ощущать не просто в отпуске, а именно в отпуске во время путешествия. Кажется, что за этот сублимированный промежуток времени происходит столько событий, что жизнь будто растягивается. Когда ты находишься в одних и тех же процессах, они схлапываются, а в путешествии они, наоборот, растягиваются.
10. Куда планируешь/мечтаешь еще съездить?
У меня столько мест еще не посещенных! Хочу снова вернуться в Америку, но уже в другую ее часть, туда, где Майами и Нью-Йорк. Очень хочу побывать с семьей на Бали, потому что я была там одна. Мечтаю попасть в Японию, хочу побывать в Китае, в Европе еще очень много неизведанных мест. Хочу в Амстердам, хочу посмотреть фьорды в Норвегии. В кругосветку еще бы! Наслаждаться сменой картинок, пейзажей, культуры людей...
🗺 Антон
Болгария, Вьетнам, Греция, Грузия, Египет, Испания, Камбоджа, Кипр, Китай, Малайзия, Марокко, ОАЭ, Таджикистан, Таиланд, Турция, Украина, Шри-Ланка
1. В какой из стран ты пробыл дольше всего?
На самом деле не помню, всегда поездка была в пределах двухнедельного отпуска. Исключениями тут являются только Камбоджа и Малайзия, в которые я ездил на 2-3 дня из Таиланда.
2. Какая страна показалась тебе самой необычной?
В каждой стране есть что-то необычное, непривычное, иногда даже дикое или ужасающее.
3. Самая похожая на Россию страна и чем именно?
На Кипре, например, есть город Лимасол, в котором есть три радиоволны на русском языке, в магазинах есть ценники на русском, и всегда есть русскоговорящий продавец. Чем не похоже?
4. Где бы ты согласился жить еще, кроме России?
5. Расскажи про самую опасную ситуацию за время твоих путешествий?
На Шри-Ланке за сутки до вылета выяснилось, что автобусы из нашей местности в сторону регионального аэропорта в этот сезон не ходят. Кто-то нам посоветовал поехать в другую сторону. В итоге мы проездили на автобусах часов 10 и не приехали в нужное место. В ночи на территории закрывшейся автобусной станции нашли таксиста-частника, который согласился нас отвезти за «последние деньги», хотя другие таксисты сказали, что это кидалово. Всё обошлось, прошло еще пару часов, и мы доехали.
6. А был какой-нибудь абсурдный и или смешной случай?
На той же Шри-Ланке поднимались на пик Адама (очень много ступеней), где находится храм. Встали в 3 часа утра, чтобы успеть подняться до рассвета. Но храм был закрыт...
7. Какое путешествие ты назвал бы незабываемым и почему?
Наверное, и тут будет Шри-Ланка — очень красивый остров с невероятными пейзажами, климатом и бескрайними чайными плантациями. Еще там был снорклинг, и рядом плавала большая рифовая акула.
8. Самая необычная вещь, которую ты привозил из путешествий?
9. Путешествовать — это классно? Если да, то почему?
Конечно, классно. Лет до 20 я думал, что ничего интересного там нет. Потом съездил в путешествие и понял, что сильно ошибался, даже если речь идет о какой-нибудь банальной Турции. Путешествия (если выйти за пределы квартиры или отеля) отвлекают от привычного быта и навсегда остаются в памяти. Есть же психологический трюк о замедлении времени, согласно которому нужно делать непривычные вещи в непривычных местах каждый день, а потом вспоминать весь прошедший день. В путешествии такие штуки работают лучше всего.
10. Куда планируешь/мечтаешь еще съездить?
Именинники в ноябре
Погода за окном с каждым днем всё суровее и суровее, но весь ноябрь нас будут согревать дни рождения любимых лаберов 😊 Больше теплых пожеланий и слов, больше обнимашек, больше улыбок, больше, больше, больше!
🍰 07 ноября — Люба Виноградова и Виталя Петров
🍰 25 ноября — Игорь Норов и Настя Яргина
🍰 28 ноября — Антон Лалов и Стёпа Ляшенко