<?xml version="1.0" encoding="utf-8" ?><rss version="2.0" xmlns:tt="http://teletype.in/" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:media="http://search.yahoo.com/mrss/"><channel><title>Roman</title><generator>teletype.in</generator><description><![CDATA[Roman]]></description><image><url>https://img3.teletype.in/files/ab/ed/abed2d4d-d48e-4674-8262-356fb8ebbfd7.png</url><title>Roman</title><link>https://teletype.in/@roma_cv</link></image><link>https://teletype.in/@roma_cv?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=roma_cv</link><atom:link rel="self" type="application/rss+xml" href="https://teletype.in/rss/roma_cv?offset=0"></atom:link><atom:link rel="next" type="application/rss+xml" href="https://teletype.in/rss/roma_cv?offset=10"></atom:link><atom:link rel="search" type="application/opensearchdescription+xml" title="Teletype" href="https://teletype.in/opensearch.xml"></atom:link><pubDate>Sun, 22 Nov 2026 20:21:52 GMT</pubDate><lastBuildDate>Sun, 22 Nov 2026 20:21:52 GMT</lastBuildDate><item><guid isPermaLink="true">https://teletype.in/@roma_cv/wklliReh_Gw</guid><link>https://teletype.in/@roma_cv/wklliReh_Gw?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=roma_cv</link><comments>https://teletype.in/@roma_cv/wklliReh_Gw?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=roma_cv#comments</comments><dc:creator>roma_cv</dc:creator><title>Мое худшее собеседование в Data Science</title><pubDate>Sat, 17 May 2025 12:42:41 GMT</pubDate><media:content medium="image" url="https://img4.teletype.in/files/3e/ef/3eef3a2e-18bb-43d2-abca-d2400a6f55c5.png"></media:content><description><![CDATA[<img src="https://img1.teletype.in/files/ce/b8/ceb8a13f-067e-4acc-bc7f-ddebc0e20aa9.png"></img>Дело было в начале 3-го курса учёбы в МФТИ, времена COVID. Более полугода я активно изучал ML: прошёл несколько курсов, выучил теорию, за месяц прошёл парочку собеседований — в Ozon, Сбер и Яндекс. Там всё было более чем цивильно: очень приятные интервьюеры, простые, добрые люди. Во время собеседований помогали, подсказывали молодому, зелёному ботеру. Остались исключительно приятные воспоминания.]]></description><content:encoded><![CDATA[
  <p id="TqCb">Дело было в начале третьего курса учёбы в МФТИ, во времена COVID. Более полугода я активно изучал ML: прошёл несколько курсов, выучил теорию, за месяц прошёл парочку собеседований — в Ozon, Сбер и Яндекс. Там всё было более чем цивильно: очень приятные интервьюеры, простые, добрые люди. Во время собеседований помогали, подсказывали молодому, зелёному ботеру. Остались исключительно приятные воспоминания.</p>
  <p id="o1dE">И вот в телеграм-канале с вакансиями я увидел злополучный пост про <strong>стажировку в МТС</strong>. Тогда я ещё не подозревал, что даже в таких крупных компаниях на собеседованиях может происходить настоящий трешачок.</p>
  <figure id="PD5a" class="m_column">
    <img src="https://img1.teletype.in/files/ce/b8/ceb8a13f-067e-4acc-bc7f-ddebc0e20aa9.png" width="553" />
  </figure>
  <p id="DA5h">Немного забегу в будущее. <strong>Сейчас я уже Senior ML Engineer,</strong> успел поработать в <em>Яндексе, Сбере, ВК</em> и в компаниях поменьше. За спиной — десятки успешно пройденных собеседований, и с высоты текущего опыта могу точно сказать: такой трэш, как в МТС, мне больше нигде не встречался.</p>
  <p id="bczA">К тому же считаю, что с моим послужным списком и обширным опытом я вполне могу высказывать публично оценочные суждения — и об уровне профессионализма интервьюеров, и об их отношении к начинающим разработчикам. Конечно, поиздеваться на собеседовании над маленьким студентиком — много ума не надо. Но стоит иметь в виду, что он скоро подрастёт и напишет вот такую статью.</p>
  <p id="kp25"><strong>Очень хочу этим текстом помочь</strong> таким же начинающим молодым специалистам, каким был когда-то сам. Если после её прочтения хотя бы паре человек станет чуть легче, и они обретут уверенность в себе — значит, цель достигнута.</p>
  <p id="MDGS"></p>
  <h2 id="pHCi">HR</h2>
  <p id="UAMU">Буду максимально объективен: HR МТС отработали быстро и чётко — не забывали назначать звонки, не игнорили, всё шло гладко<strong>.</strong><br />Правда, в последний момент прилично навалили кринжа — но к этому мы ещё вернёмся в конце.</p>
  <hr />
  <p id="Ismu"></p>
  <h2 id="zqSG">Техническое собеседование</h2>
  <p id="VFpu">Вот тут жара и начинается. Весь отбор состоял из одного техсобеса на час. Повторюсь: у меня уже был небольшой опыт прохождения собеседований, я знал, что там обычно спрашивают и как красиво выстраивать ответы. Базой по ML тоже владел, в своих силах был уверен — и не зря<strong>, ведь оффер мне ВЫДАЛИ.</strong></p>
  <section style="background-color:hsl(hsl(199, 50%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <p id="Q7MV"><em>И вот я жму кнопку «Подключиться» к Zoom-конференции. То, что дальше начало происходить, иначе как <u>смех и грех</u> не опишешь — до сих пор смеюсь</em></p>
  </section>
  <p id="zwec">Встретил меня... <strong>оголённый мужчина</strong> лет 25–30. Сказать, что я ошалел — это ничего не сказать.</p>
  <p id="mTik">Судя по фону, он сидел дома, с полуоткрытыми глазами — видимо, только проснулся (а было уже около обеда). Сидел за столом, верхней одежды на нём не было. Были ли на нём хоть трусы или штаны — остаётся загадкой. Мы с ним поздоровались, начали small talk. С лица у меня не сходила улыбка — я, честно, без злого умысла, просто не понимал: это так задумано или он не видит, что вебка включена? Беседа шла <em>очень</em> непринуждённо, как будто всё в порядке.</p>
  <p id="mBxY">Спустя две минуты он всё-таки заметил включённую веб-камеру, извинился — и мы продолжили.</p>
  <p id="EjeU"></p>
  <p id="YRE8"></p>
  <p id="FRtW">На всех собесах обычно разговор сразу заходит про внутреннее устройство моделей, деревьев, градиентного бустинга, метрики — <strong>но в этот раз всё было иначе</strong>. </p>
  <p id="HrG9">Он начал зачитывать содержание моего резюме (напомню, я - стажёр без опыта). Естественно, там было лишь перечисление библиотек и навыков в области ML, а также список пройденных курсов и реализованных пет-проектов.</p>
  <section style="background-color:hsl(hsl(323, 50%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <p id="hoe1">За весь собес мне не задали <strong>НИ ОДНОГО ВОПРОСА</strong> по теме вакансии. Ничего по ML, никакой конкретики по задачам, подходам, Python или SQL.</p>
  </section>
  <p id="15gn">Больше всего его внимание привлекла строчка <em><strong>&quot;mathematics&quot;</strong></em> в моих скиллах. Я, насмотревшись ютуба с видео «как правильно составить резюме дата-сайентиста» и начитавшись статей «что хотят видеть работодатели», смело решил похвастаться тем, что учусь в топ-1 техническом вузе страны и, дескать, шарю в математике. Но лучше бы я эту строчку туда не вписывал…</p>
  <p id="VUYU"><em><strong>Спойлер:</strong> с годами эмпирическим путём я выяснил, что все эти видео и статьи про составление резюме — полнейший бред. Никому не интересен ваш диплом, курсы, статьи и даже резюме в целом. Главное — это годы опыта, насмотренность и практический навык решения задач. Всё остальное — шелуха, которая массового работодателя вообще не волнует.<br />Да, для пары топовых исследовательских лабораторий ваша научная деятельность и дипломная работа могут иметь значение — но таких вакансий единицы. И, честно говоря, нет особого смысла на них ориентироваться.</em></p>
  <p id="U5XQ"></p>
  <p id="tCCJ"></p>
  <p id="Iu4y"></p>
  <p id="dvcc">Он говорит: «Ого, у тебя тут написано, что ты знаешь математику. А какой твой любимый предмет по математике?»<br />В этот момент <strong>меня пробрала дрожь</strong>. Почувствовалось знакомое дуновение подзабытого страха — экзаменов на кафедре вышмата. Те, кто учился в МФТИ/МГУ/ВШЭ, отлично понимают: этот страх вполне обоснован.</p>
  <p id="QwFz">Судорожно перебирая в голове названия предметов, которые ещё не успели выветриться из памяти, я выпаливаю:<br /><strong>«Давайте про ТФКП — Теория функций комплексного переменного».</strong></p>
  <p id="zcP6">И он действительно начал спрашивать меня про ТФКП!<br />Кто не знает, что это такое — ниже будут примеры.</p>
  <p id="tp3g">Началось с вопроса:<br /><strong>«Назови все теоремы Коши, которые знаешь». </strong></p>
  <p id="zZRi">Их немало — я начал перечислять всё, что знаю, и вроде отчасти справился. Ниже приведены примеры этих теорем, чтобы показать, <strong>насколько это всё далеко от индустриального ML</strong>.</p>
  <figure id="xY6Y" class="m_column">
    <img src="https://img4.teletype.in/files/b8/ce/b8ce53ea-8afb-4bf7-8cc4-87fdd0733933.png" width="1330" />
  </figure>
  <p id="cJGl"></p>
  <figure id="XuUC" class="m_column">
    <img src="https://img3.teletype.in/files/21/1a/211a1798-4658-4c82-8a12-79855e557a50.png" width="1354" />
  </figure>
  <p id="1Hqg"></p>
  <section style="background-color:hsl(hsl(236, 74%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <p id="Ag4U">Потом мы перешли к обсуждению <strong>РЕГУЛЯРНЫХ ВЕТВЕЙ</strong> — ситуация уже окончательно выходит за рамки понимания: почему это вообще спрашивается?<br />Я начинаю объяснять, что такое регулярные ветви:</p>
  </section>
  <figure id="UMvq" class="m_column">
    <img src="https://img2.teletype.in/files/53/b8/53b89e06-204d-4e8a-99a7-7ea00a4ed481.png" width="1322" />
  </figure>
  <p id="obQH">Мы с одногруппниками постоянно шутили: зачем нам учить эти огромные теоремы по матану? Кто вообще будет спрашивать это на собеседовании по Python? И каков же был мой шок, когда через пару недель меня действительно спросили об этом! (Больше такого не повторялось, и математику нигде не спрашивали.)</p>
  <p id="YPzY">Обсуждение ТФКП продолжилось, и со временем мы перекатились в другие области математики. Естественно, такого я точно не ожидал от технического собеса. Я сильно нервничал: какого чёрта — везде рассказывал про разницу между случайным лесом и градиентным бустингом, а здесь меня гоняют по самым сложным темам вышмата?</p>
  <p id="wBtd"></p>
  <h2 id="eQZb">Финал истории</h2>
  <p id="EuUy">Через пару дней мне звонит HR и уточняет мои зарплатные ожидания по офферу. Затем я <strong>получаю заветный PDF</strong> с презентацией предложения (на 60к грязными) и <strong>радостно соглашаюсь выйти на работу</strong>. Заполняю анкету для службы безопасности — и замечаю, что там почему-то нет возможности указать, что у меня белорусское гражданство.<br />Связываюсь с HR, сообщаю ей об этом. На всякий случай уточняю: <u>белорусский паспорт</u> <strong>никак не ограничивает </strong>трудоустройство в РФ, процедура полностью идентична российской.</p>
  <p id="FF7j">И тут — как гром среди ясного неба — через пару дней приходит сообщение от моей HR:</p>
  <p id="C81I"></p>
  <section style="background-color:hsl(hsl(34,  84%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <p id="aoBW"><strong>«Оффер отзываем, места для стажёров закончились. Всего хорошего».</strong></p>
  </section>
  <p id="WqIJ">Связано ли это с отсутствием российского паспорта — неизвестно. Но сам факт отзыва оффера — это, конечно, полная печаль. А если бы я уже где-то работал, уволился и готовился выходить? Вот тебе «МТС передумал» — и ты у разбитого корыта.</p>
  <p id="1sG6"> </p>
  <p id="XyCR"><strong>ВЫВОД:</strong><br />Будьте осторожны с этой компанией. Вас могут легко подставить, никакой ответственности за это никто не понесёт, а вы останетесь ни с чем. Процессы найма — в плачевном состоянии:</p>
  <ul id="FnGK">
    <li id="8j2L">бренда работодателя фактически нет,</li>
    <li id="Wqo1">интервьюеры творят что хотят,</li>
    <li id="ke9x">офферы могут отозвать без объяснений.</li>
  </ul>
  <p id="ldBf">Всё это создаёт реальные риски для кандидатов</p>
  <p id="Lulw"></p>
  <p id="mSVA">После собеса я поделился своим опытом со всеми друзьями и более опытными коллегами, которые уже работают в ML. Все в один голос сказали: <strong>&quot;это полный бред&quot;</strong>, как такое вообще могло произойти на техническом собеседовании?</p>
  <p id="LxBa">Тут сразу возникают вопросы к HR-департаменту МТС: <strong>почему такое вообще допускается?</strong> Буквально за один час они умудрились угробить свою репутацию в глазах как минимум 30 человек — моих друзей и знакомых, которые узнали о том, что на собеседованиях в МТС приходится буквально пересдавать экзамен по математике и рассказывать теоремы.</p>
  <p id="2FiQ">И это не какие-то 30 рандомов — это студенты лучшего технического вуза страны, с факультета, напрямую связанного с ML и разработкой — <strong>ФПМИ</strong>. Это самая целевая аудитория, которую МТС только мог бы себе пожелать. Через пару лет (т.е. уже сегодня) они в полном составе будут работать в топовых российских компаниях, кто-то уже сейчас руководит целами отделами.</p>
  <p id="br7x"><strong>Слава богу, НИ ОДИН из моих знакомых не работает в МТС.</strong> Очень рад, что крутые специалисты обошли это место стороной.</p>
  <p id="rbyN"></p>
  <h2 id="VDfB">ИТОГИ: </h2>
  <p id="lpR3">МТС рискует потерять талантливых специалистов из-за некачественного процесса найма и странных требований на собеседованиях. Это происходило несколько лет назад, как сейчас обстоит ситуация — я не знаю, но судя по отсутствию активного найма и малой публичной деятельности команд МТС, можно предположить, что далеко не ушли. Репутация компании страдает, а лучшие кадры предпочитают идти в другие, более прозрачные и профессиональные команды.</p>
  <p id="Pjxg"></p>
  <section style="background-color:hsl(hsl(55,  86%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <p id="VhEL"><strong>Пожелания для начинающих в ML:</strong></p>
    <p id="SfXB">Не бойтесь сложных интервью и неожиданных вопросов — это всего лишь этап на вашем пути. Главное — не сдавайтесь и верьте в свои силы. Каждый опыт, даже самый странный и сложный, делает вас только сильнее и мудрее. Помните, что настоящие возможности ждут тех, кто упорно идёт вперёд, не позволяя неудачам подорвать уверенность в себе. Вы справитесь!</p>
  </section>

]]></content:encoded></item><item><guid isPermaLink="true">https://teletype.in/@roma_cv/zagOtthBQSH</guid><link>https://teletype.in/@roma_cv/zagOtthBQSH?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=roma_cv</link><comments>https://teletype.in/@roma_cv/zagOtthBQSH?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=roma_cv#comments</comments><dc:creator>roma_cv</dc:creator><title>Методы дообучения. PEFT. База к собеседованиям</title><pubDate>Sat, 03 May 2025 20:07:13 GMT</pubDate><media:content medium="image" url="https://img1.teletype.in/files/8f/2b/8f2b604f-40c9-4a65-ad61-5507953b1c88.png"></media:content><description><![CDATA[<img src="https://img4.teletype.in/files/7c/12/7c12063a-fe0d-46f1-998c-9624b948421a.png"></img>Это обязан знать каждый]]></description><content:encoded><![CDATA[
  <p id="F6n9">Это обязан знать каждый</p>
  <p id="UBrg">Вы думаете, что дообучение моделей сводится к заморозке слоёв или изменению последнего слоя? Cейчас расскажу простым языком — про методы, которые экономят время и мощности, не теряя качества. В условиях нынешнего рынка это уже относится к теормину - ЗНАТЬ ОБЯЗАТЕЛЬНО</p>
  <figure id="lhKn" class="m_column">
    <img src="https://img4.teletype.in/files/7c/12/7c12063a-fe0d-46f1-998c-9624b948421a.png" width="1626" />
    <figcaption>Классический fine-tune уже даже стыдно обсуждать</figcaption>
  </figure>
  <h2 id="KjHa">Определение</h2>
  <p id="RBSR"><strong>PEFT</strong> (Parameter-Efficient Fine-Tuning) - это совокупность методов, позволяющих дообучать модели, минимизируя вычислительные траты, что особо актуально в контексте больших генеративных моделей(диффузионки и LLM)</p>
  <p id="1nTD"></p>
  <h2 id="maCB">ЧЕГО МОЖНО ДОБИТЬСЯ С ДООБУЧЕНИЕМ</h2>
  <p id="m5MG">Вы можете дообучить большую диффузионную сеть (FLUX), генерировать именно ВАС, пример: </p>
  <p id="ybK2">Научим нашу нейросеть генерировать Алексея Семихатова (в обучающей выборке она его не видела, поэтому сходу сама нарисовать не сможет)</p>
  <figure id="tnOE" class="m_column">
    <img src="https://img4.teletype.in/files/b7/39/b73934d7-ace4-437e-8749-c3d3bf2554a2.png" width="1260" />
    <figcaption>Популярный ютубер Алексей</figcaption>
  </figure>
  <p id="HQle">А вот после дообучения, мы вольны генерировать любой контент, какой пожелаем</p>
  <figure id="b6K7" class="m_column">
    <img src="https://img1.teletype.in/files/89/b2/89b27da3-aa7c-4cd6-8fc2-323fa1d3b791.png" width="1004" />
    <figcaption>Алексей Семихатов - физик ютубер, и джейдай</figcaption>
  </figure>
  <p id="6Snp"></p>
  <p id="glc3">Также можно дообучить LLM на ваших телеграмм чатах, чтобы она начала разговаривать как вы</p>
  <p id="Mt1J"></p>
  <p id="LRIk">Можно дообучить аудио модель, чтобы она озвучивала текст вашим голосом</p>
  <p id="YX0k"></p>
  <h2 id="SC6F">Мотивация</h2>
  <p id="LDTi">С появлением сверхмасштабных моделей, таких как <strong>FLUX</strong> для генерации изображений или <strong>LLama/Qwen</strong> для текста, полное дообучение стало практически недостижимой задачей для большинства пользователей. Эти модели требуют колоссальных вычислительных ресурсов — даже базовые варианты могут занимать десятки гигабайт видеопамяти (VRAM), а полноценное обучение требует доступа к флоту мощных GPU/TPU, которые доступны лишь крупным компаниям. Кроме того, оригинальные версии таких моделей создаются на основе проприетарных данных, собранных разработчиками за годы — массивов, которые невозможно воспроизвести самостоятельно. Это делает попытки «переучивать» модели с нуля не только технически сложными, но и бессмысленными: оригинальная версия уже содержит знания, недоступные для повторения. Вместо этого гораздо эффективнее использовать методы, которые позволяют адаптировать модель под конкретные задачи, не затрагивая её исходные параметры.</p>
  <p id="EaDq"></p>
  <p id="DMX0">Методы PEFT полезны не только для больших моделей, но и для повседневных задач — например, дообучение YOLO детекторов или ResNet классификаторов на задачи котик/собачка. Они позволяют адаптировать модель под новые данные эффективно, не теряя исходное качество и экономя ресурсы.</p>
  <p id="SKx7">Короче, плюсы:</p>
  <ul id="PQ5a">
    <li id="lPe2">Быстрее проходит обучение</li>
    <li id="qFOU">Мы будем обучаться на экстремально малом числе данных - 2-10 семплов</li>
    <li id="Faiw">Снижение затрат на потребление ГПУ</li>
    <li id="tuzo">Меньше риск переобучиться</li>
    <li id="VF7T">Не портим изначальные веса модели, нет катастрофического забывания</li>
    <li id="Stx6">Легче подменять версии модели, каждая версия - это небольшой файл весов, который в 10-ки раз! меньше изначальных полных весов</li>
  </ul>
  <figure id="PbwW" class="m_column">
    <img src="https://img2.teletype.in/files/56/42/56427ab8-3421-421b-b9f5-969949b24274.png" width="1140" />
    <figcaption>Все виды дообучения, НО нам столько знать не надо, не волнуйтесь</figcaption>
  </figure>
  <p id="C90C"></p>
  <h2 id="EFSe">Виды PEFT</h2>
  <p id="huB7">Идем от самых базированных -&gt; к более редким случаям. Если вы не знаете про самые первые, то уже считайте, что <strong><u>100% НЕ прошли собес.</u></strong></p>
  <p id="um5Z"></p>
  <h4 id="k3Ah"><strong>LoRA (Low-Rank Adaptation)</strong></h4>
  <p id="2DtQ">Статья - <a href="https://arxiv.org/pdf/2106.09685.pdf" target="_blank">https://arxiv.org/pdf/2106.09685.pdf</a></p>
  <p id="iBc6">При анализе финальных весов LLM было <a href="https://arxiv.org/abs/2012.13255" target="_blank">выявлено</a>, что в матрицах линейных слоев(а трансформеры и self-attention - это просто очень много линейных слоев) ранк этих матриц весов меньше их самих. Че это значит то? </p>
  <p id="21Fc">Проще говоря, большинство параметров являются избыточными. Из чего можно сделать вывод, что матрицы можно представить пространством меньшей размерности, сохраняя при этом большую часть важной информации.</p>
  <p id="cxic">Если изначально линейный слой был задан как 756x756(для примера взял числа - nn.Linear(756, 756)), то после обучения уже ясно, что его можно ужать, например, до 128x128 - без какой-либо потери качества. Просто потому, что наша модель очень хорошо обучилась и мы на старте взяли слишком много обучаемых параметров, можно было брать меньше. Вот отсюда, там слово Rank (в данном примере rank=128)</p>
  <figure id="BD6O" class="m_column">
    <img src="https://img2.teletype.in/files/96/db/96db87e6-445e-4186-8e68-b04c737aa3b4.png" width="2722" />
  </figure>
  <p id="i59E"></p>
  <p id="kPdf">Создатели LoRA предположили, что изменение весов при файнтюнинге модели имеет низкий &quot;внутренний ранг&quot; (intrinsic rank). Идея данного метода заключается в том, что для предварительно обученной матрицы весов мы представляем её обновление двумя меньшими матрицами, полученными путем низкоранговой аппроксимации. Эти матрицы мы тренируем при обучении, а исходную матрицу весов замораживаем. Затем для получения окончательного результата мы объединяем исходные и обученные веса.</p>
  <p id="cQNu"></p>
  <p id="oKDE"></p>
  <figure id="31Nb" class="m_original">
    <img src="https://img1.teletype.in/files/ce/c3/cec3bdd8-5ede-43bc-9325-32744e99c035.gif" width="600" />
    <figcaption>Иллюстрация работы LoRA Источник: https://huggingface.co/blog/trl-peft</figcaption>
  </figure>
  <p id="ExhW"><strong>Основная суть: </strong></p>
  <ul id="CRPp">
    <li id="u6LX">Мы морозим ВСЮ модель</li>
    <li id="Gg4A">К некоторой части линейных слоев(часть = от  0 до 100% всех линейных слоев). Мы прибавляем два линейных слоя(это и есть наша лора). <br />Linear(768, r) -&gt; Linear(r, 768)</li>
    <li id="dxVB">Обучаться будут только эти доп слои</li>
    <li id="uKuG">Есть только 2 гиперпараметра настройки - ранк (r) и alpha коэффициент умножения выхода линейных слоев лоры на alpha</li>
    <li id="tAH1">alpha нужна чтобы наша огромная модель, вообще ощутила на себе влияние этих добавленных слоев и стала вести себя под нашу задачу(часто alpha=rank=16)</li>
    <li id="oXBv">rank - чем он больше, тем выше способность модели запомнить полностью, то под что она файтюнится. Минимально ранг берут около 8-16. Максимально 256-512</li>
  </ul>
  <p id="lyhp"></p>
  <h2 id="0gI3">Prefix tuning</h2>
  <p id="f2uM">Идея до ужас простая - давайте не трогать вообще модель, а будем обучать входной токен, по аналогии с CLS токеном (<a href="https://aditya007.medium.com/understanding-the-cls-token-in-bert-a-comprehensive-guide-a62b3b94a941" target="_blank">подробности про CLS токен</a>)</p>
  <p id="wvqS"></p>
  <p id="4wQF"><strong>Суть</strong></p>
  <p id="N501">Мы создаем рандомный токен, который будет меняться (ведет себя как обычный слой обучаемых параметров, меняется от градиентного спуска). Он просто КОНКАТИТСЯ ко всем входным последовательностям при дообучении. И ВСЕ</p>
  <p id="kICI">Это работает как для текста, так и для картиночных моделей.</p>
  <figure id="oGrJ" class="m_column">
    <img src="https://img2.teletype.in/files/5d/2e/5d2e1423-a470-488b-950e-a7f9f5204811.png" width="1828" />
    <figcaption>Визуалиазция Prefix Tuning</figcaption>
  </figure>
  <p id="BOUI"></p>
  <p id="EpVS"></p>
  <figure id="iyIm" class="m_column">
    <img src="https://img1.teletype.in/files/ca/d5/cad5416d-7b5c-47df-9884-433f9054969f.png" width="2930" />
    <figcaption>Вот так выглядят конкатенцаии ко входу(картинка справа)</figcaption>
  </figure>
  <p id="eLLd">В оригинальной <a href="https://aclanthology.org/2021.acl-long.353.pdf" target="_blank">статье </a>создатели данного метода, исходя из результатов эксперимента на основе GPT-2, сделали вывод, что, обучая только 0,1% параметров, Prefix tuning показывает производительность, сравнимую с дообучением, при котором настраиваются все параметры модели, и превосходит его при файнтюнинге с малым объемом данных.</p>
  <p id="wfqm"><strong>Итоги:</strong></p>
  <ul id="AkVx">
    <li id="B5LN"> <strong>Не трогает оригинальную модель </strong>— все параметры заморожены, обучается только префикс.</li>
    <li id="h80j"> <strong>Очень мало обучаемых параметров </strong></li>
    <li id="C6zv"><strong>Менее точный, по сравнению с LoRA</strong>, поэтому реже используется</li>
  </ul>
  <p id="3cT8"></p>
  <h2 id="mjDe">Адаптеры</h2>
  <p id="defh">Это просто более общая формулировка того, как можно добавлять к зафриженной модели доп обучаемые слои. LoRa - это частный случай Adapters</p>
  <p id="Kue8">Доп линейный слои можно подставить вообще где угодно в модели. И сам блоков адаптеров может быть чем угодно: это может быть 1 линейный слой или несколько комбинированных более сложных трюков, как на фото ниже</p>
  <figure id="VLs5" class="m_column">
    <img src="https://img3.teletype.in/files/66/3d/663d6053-2a81-4cad-9c23-6fffe5231463.png" width="945" />
    <figcaption>Пример сложного адаптера</figcaption>
  </figure>
  <p id="wQxT"><strong>Итог:</strong></p>
  <ul id="gnTc">
    <li id="jZ5v">Адаптеры - это что угодно, любая комбинация обучаемых слоев просунутая внутрь зафриженной модели</li>
    <li id="twt7"><strong>LoRA - это частный случай адаптеров</strong></li>
  </ul>
  <p id="gu68"></p>
  <p id="80XZ"></p>
  <p id="Vbwt"></p>
  <h2 id="EC7a">СПАСИБО ЗА ВНИМАНИЕ </h2>
  <p id="Od4o">Подписывайтесь на телеграмм канал, там больше инфы к собесам - <a href="https://t.me/AI_bolno_ml" target="_blank">https://t.me/AI_bolno_ml</a></p>
  <p id="G7Hc"><a href="https://www.youtube.com/channel/UCFyakzEbX6S3ggcCweLa-iQ" target="_blank">Подписывайтесь на ютуб </a></p>
  <p id="5Lyx">Личные консультации и обучение - <a href="https://filonov.site" target="_blank">менторство</a></p>
  <p id="6dZa"></p>
  <figure id="DGhD" class="m_original">
    <img src="https://img1.teletype.in/files/81/26/8126f7cb-4bc3-42f4-97be-28d8e4542e44.png" width="640" />
  </figure>

]]></content:encoded></item><item><guid isPermaLink="true">https://teletype.in/@roma_cv/B8BPzCbPWCT</guid><link>https://teletype.in/@roma_cv/B8BPzCbPWCT?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=roma_cv</link><comments>https://teletype.in/@roma_cv/B8BPzCbPWCT?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=roma_cv#comments</comments><dc:creator>roma_cv</dc:creator><title>Яндекс vs Сбер: где быстрее поймешь смысл фразы «держись брат»? Глазами ML-разработчика</title><pubDate>Mon, 28 Apr 2025 19:55:34 GMT</pubDate><media:content medium="image" url="https://img2.teletype.in/files/13/f8/13f8de2b-45b0-47fc-b4a7-4c5b6c510fcb.png"></media:content><description><![CDATA[<img src="https://img4.teletype.in/files/fd/08/fd080960-5289-4257-9c45-ee7fa11cc32e.png"></img>К сожалению или счастью, был я и там, и там)) Поэтому ловите внутрянку, как на самом деле выглядит работа линейного ML-щика/Дата саентиста. Стоит ли оно того, что происходит внутри и почему я все-таки ушел из обеих компаний. (кормили прост невкусно)]]></description><content:encoded><![CDATA[
  <p id="J3w1">К сожалению или счастью, был я и там, и там)) Поэтому ловите внутрянку, как на самом деле выглядит работа линейного ML-щика/Дата саентиста. Стоит ли оно того, что происходит внутри и почему я все-таки ушел из обеих компаний. (кормили прост невкусно)</p>
  <p id="Qdzm">Еще студентом я стремился в бигтех: именно там самые сильные специалисты, лучшие условия труда и перспективы. Ну, по большей части так и было - ничего не умеющего доходягу там редко встретишь (хотя в одной из двух этих компаний раз на раз проскакивает - не будем показывать пальцем🤫)</p>
  <section style="background-color:hsl(hsl(199, 50%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <p id="vQpf">🤓 Обо мне и моем опыте читай в <a href="https://t.me/AI_bolno_ml" target="_blank">телеграмм канале </a></p>
  </section>
  <h2 id="Extp">Сбер</h2>
  <p id="DfNz"><br />Итак, Сбер. Ну это мягко говоря легенда. Там я работал CVшником в команде биометрии, делали оплату улыбкой (если лыбитесь в терминал, и он не срабатывает - вы знаете кого благодарить)</p>
  <p id="y66O"><strong>Что по внутренним приколам:</strong></p>
  <ul id="XlAZ">
    <li id="jkca"> Про выдачу доступов, которая растягивается на 3 месяца, уже и без меня много писали. Из страшного: лично мне пришлось столкнутся с корпоративными инструментами. СберЧат и СберДруг (который вам совсем не друг). Падающие стабильно раз в 3 дня сервера для обучения моделек заставляют тебя сидеть сложа лапки, заблокированы ресурсы с датасетами и статьями (заблокировано самим сбером), из-за чего приходилось ходить на работу с двумя ноутбуками, один - корпоративный, другой - мой, где нет блокировок.</li>
    <li id="rUyD">Еще тебя периодические атакует и проверяет на прочность отдел кибербезопасности. Они сами шлют фишинговые письма, и уловки с каждым разом становились все хитрее. </li>
    <li id="nHYp">Надо было посещать офис - и это только 1 из ограничений, их там много: нельзя рабать заграницей, ты автоматически &quot;уволен&quot;, если подключишься с корпоративного VPN из-за границы (твой аккаунт будет удален со всех ресурсов, jira, confluence, ...)</li>
    <li id="7z3R">И, наконец, финальный минус, из-за которого пришлось покинуть компанию - это невозможность апнуть себе зарплату, хоть ты тресни и уработайся, но выше заданного годового лимита повышения ты не прыгнешь.</li>
  </ul>
  <figure id="1Lh2" class="m_retina">
    <img src="https://img1.teletype.in/files/45/e3/45e39003-a9f8-4bc6-a250-dcf8a84c878e.png" width="600" />
    <figcaption>Попытка оплаты лицом с искусственной 3D маской</figcaption>
  </figure>
  <p id="Fcau"><strong>Короче, плюсы Сбера:</strong></p>
  <ul id="SETD">
    <li id="xsOn">Сильная и приятная команда, если повезет. Сбер огромный и там можно встретить все, что угодно, и попасть в не самый лучший коллектив</li>
    <li id="IXbq">Можно быстро технически прокачаться, что я и сделал</li>
    <li id="QAU3">Не насильственный темп работы, все спокойно в среднем по больнице</li>
    <li id="EY0S">Достаточно нехилая денежная компенсация для высоких грейдов и годовая премия одна из самых больших в российских бигтехах</li>
    <li id="87C0">Доступ к любым вычислительным мощностям. РАЙ для ML разработчиков больших языков/генеративных моделек</li>
  </ul>
  <figure id="6w9O" class="m_original">
    <img src="https://img3.teletype.in/files/ed/79/ed79c358-27ab-4de3-afa4-9d2425b1af4d.png" width="548" />
    <figcaption>СберКотик</figcaption>
  </figure>
  <p id="W4C5">Мне реально повезло с командой тогда, для мелкого ботейрика это был рай. Сильные спецы, крутые мощные видюхи в любом количестве, неограниченные ресурсы и интересный проект. Забрал свое и поИхал дальше</p>
  <h2 id="Zwg9">Янда</h2>
  <p id="rEM8">Ну тут МЕГА двояко. <br />Работа вся очень движовая, много молодых специалистов с горящими глазами, выкладывающихся на 146%. При таких условиях ты очень быстро развиваешься: буквально за месяц я ощутимо прокачался. По сравнению со Сбером, в Яндексе тебя сразу подхватывает лютая волна движа и разных событий: вся работа в компании в крайней степени открытая, все делятся со всеми обо всем. За счет этого можно много узнать о смежных областях разработки и прокачаться горизонтально как специалист. Такой возможности в Сбере я не ощущал. Каждую неделю проходят общие созвоны условного дивизиона, и примерно раз-два в месяц общие созвоны всего направления - Маркета, Поиска и т.д. - это называется Хурал (такой вот нейминг). Плюшки для работников по типу скидок на такси, 1000р на питание в день (этого мало на самом деле, мальчику это на 1 прием пищи + кофе еле хватит). </p>
  <p id="SUO4"></p>
  <figure id="oG5P" class="m_column">
    <img src="https://img2.teletype.in/files/1a/9a/1a9a54c7-1a4a-450c-b2c6-76de068d2d73.jpeg" width="960" />
    <figcaption>Награда лучшему сотруднику на ревью</figcaption>
  </figure>
  <p id="4Qsx"><br /><strong>Но минусы есть, и они ощутимы.</strong></p>
  <blockquote id="nk3E"><strong>Работа в Яндексе - это как попасть в безумный спринт на выживание и не иметь возможности из него выйти</strong></blockquote>
  <p id="4oGH">Адовый трудоголизм, неоплачиваемые дежурства (млщики на них редко попадают, более актуально для обычных разработчиков), работа в час ночи и на выходных как абсолютная норма. Думал, что плюхи Янды в виде ипотеки и проч это перекроют (спойлер: нет). 90% времени ты на созвонах - общие собрания, 1-to-1 встречи и дейлики, хуралы по 3 на неделе. Мемы в рилсах про созвоны на весь рабочий день - не мемы, ребят.</p>
  <p id="ph12"><br />В Яндексе много внутреннего софта, в котором ты обязан разбираться:</p>
  <ul id="u0tB">
    <li id="URnr">Там не git, а своя система контроля версий arc (от имени Аркадий) </li>
    <li id="90Jz">Не SQL, а YQL</li>
    <li id="dwy7">Для ведения ML экспериментов есть своя очень сложная вычислительная платформа - <strong>Nirvana</strong>. У нее есть и плюсы и минусы, но как факт многие мои друзья млщики много времени на работе уделяют перетаскиванию &quot;кубиков&quot; в этой Нирване, что не имеет ничего общего с реальной МЛ разработкой. Этот навык актуален лишь в стенах Яндекса, и тратя столько сил и времени на работу с этим инструментом и &quot;падающими графами&quot;, вы нисколько не прокачиваетесь в хард-скиллах для рынка</li>
    <li id="TC6Y"><strong>Система ревью</strong>. Пока я не увидел вживую, как это устроено, считал ревью большим благом и справедливым инструментом вознаграждения. Но, как и в Сбере, разочаровался: оказалось, что упорным трудом сильно повлиять на рост дохода невозможно.<br />Ревью — это система, удобная для Яндекса, потому что сотрудники выкладываются на все 100%, соревнуются между собой, а награждение зависит не только от твоих усилий, но и от того, как поработали остальные.<br />Если в команде есть пара оверперформеров — настоящих гениев, работающих за троих, — то ты в пролёте: забудь о хорошем бонусе.<br />Даже если ты начинаешь работать намного больше своих обычных результатов, ты всё равно можешь уступать тем самым сильным ребятам, и все награды уйдут им. Что, в принципе, справедливо.</li>
  </ul>
  <p id="7AUN"></p>
  <p id="bv8K"><strong>Если в двух словах о Яндексе:</strong> команда моя была суперская, очень много было тесного общения, многое успели сделать. Все очень мощные спецы своего дела, но от объема работы там у меня дергался глаз. Ни до, ни после такого экспириенса не было)) 🤓<br /></p>
  <hr />
  <p id="3FDO">В целом, думаю, общий вайб понятен. Как общий факт: средний возраст в сбере 30+, в янде - 23-24 (я хз кто и зачем будет вывозить такие темпы в бОльшем возрасте).</p>
  <section style="background-color:hsl(hsl(34,  84%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <p id="qTHk">Состояние всеобщего чилла в Сбере еще можете ощутить по истории моего друга: он <strong>не работал 4 месяца</strong> и этого никто не замечал. Без прикола - он не делал НИЧЕГО. Все ждал, пока его уволят, но команда вообще не заметила его бездействие. Самому уволиться, кстати, тоже так и не получилось - его просто перевели в другую команду:) 🤣🤣🤣</p>
  </section>
  <p id="ZCDR"></p>
  <p id="oBhl">ВОТ И ДУМАЙТЭ, как говорится!!!)))))</p>

]]></content:encoded></item><item><guid isPermaLink="true">https://teletype.in/@roma_cv/QnOjpLvPpjW</guid><link>https://teletype.in/@roma_cv/QnOjpLvPpjW?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=roma_cv</link><comments>https://teletype.in/@roma_cv/QnOjpLvPpjW?utm_source=teletype&amp;utm_medium=feed_rss&amp;utm_campaign=roma_cv#comments</comments><dc:creator>roma_cv</dc:creator><title>Менторство в ML | Рома Филонов</title><pubDate>Thu, 23 Jan 2025 23:52:58 GMT</pubDate><description><![CDATA[Буду рад поделиться с тобой своим опытом и поддержать тебя на твоем пути в изучении ML]]></description><content:encoded><![CDATA[
  <p id="7eL2"><strong>Привет! Я Рома, помогаю найти работу в Data Science и усовершенствовать свои навыки</strong></p>
  <nav>
    <ul>
      <li class="m_level_1"><a href="#bIO5">Обо мне</a></li>
      <li class="m_level_1"><a href="#eOCR">Для кого</a></li>
      <li class="m_level_1"><a href="#Ldi9">Услуги</a></li>
      <li class="m_level_1"><a href="#GGVF"></a></li>
      <li class="m_level_1"><a href="#Y0Re">Контакты</a></li>
      <li class="m_level_1"><a href="#rM6p"></a></li>
      <li class="m_level_1"><a href="#ABBA">Отзывы</a></li>
    </ul>
  </nav>
  <section style="background-color:hsl(hsl(24,  24%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <p id="8FOT">Буду рад поделиться с тобой своим опытом и поддержать тебя на твоем пути в изучении ML</p>
  </section>
  <hr />
  <h3 id="bIO5">Обо мне</h3>
  <section style="background-color:hsl(hsl(236, 74%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <ul id="ETex">
      <li id="r8XV"><strong>Senior</strong> Computer vision DS в <strong>VK, ~4 года коммерческого опыта</strong></li>
      <li id="27kh">Поработал в <strong>Яндексе</strong>, <strong>Сбере, VK, Synesis</strong>(один из крупнейших разработчиков решений по видеоаналитике в СНГ)</li>
      <li id="117K">Выпускник <strong>МФТИ</strong>(2-й в рейтинге лучших технических вузов РФ)</li>
      <li id="qdcs">Прохожу собеседования с офферами от<strong> 400-500к</strong> на руки</li>
      <li id="AnYY">Прошел более <strong>40 собеседований</strong>, знаю как легко пройти тех. секцию</li>
    </ul>
  </section>
  <p id="6Uwd"></p>
  <hr />
  <h3 id="eOCR">Для кого</h3>
  <blockquote id="D0EI"><em><strong>Новички<br /></strong>Если ты уже прошел начальные курсы по Python/Data Science, изучал материал самостоятельно и задаешься вопросами:<br />    - Достаточно ли у меня уже навыков<br />    - Что от меня ожидают на собеседовании<br />    - Как подготовиться к собеседованию<br />    - Что учить дальше<br />То тогда тебе ко мне, вместе мы решим эти вопросы</em></blockquote>
  <p id="XD4M"></p>
  <blockquote id="YTYW"><strong>Желающие увеличить доход<br /></strong>Ты уже работаешь на позиции ML специалиста и хочешь двигаться дальше | разработчиком желающим свичнуться. Я расскажу как позиционировать себя на собеседовании, презентовать себя и выбить лучший оффер</blockquote>
  <p id="Vb8j"></p>
  <hr />
  <p id="Qkz6"></p>
  <h3 id="Ldi9">Услуги</h3>
  <section style="background-color:hsl(hsl(24,  24%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <p id="Uycf"><em><u>Первая встреча 15 минут - бесплатно</u></em></p>
  </section>
  <section style="background-color:hsl(hsl(323, 50%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <ul id="RwiY">
      <li id="nhnx"><strong>Подготовка резюме</strong><br />предоставляю готовый шаблон резюме, вместе его заполняем, попутно разбирая все твои личные нюансы и делаем настоящую прикормку для рекрутера + разбор техник эффективного продвижения на HH.ru и как заполнить резюме для этой платформы<br />Если до сих пор твое резюме это просто pdf конвертация c HH.ru, ты только собираешься выходить на рынок или получаешь отказы на этапе скрининга резюме, то это для тебя<br /><strong>ЦЕНА: 8700₽<br /></strong></li>
      <li id="ZnZR"><strong>Mock-собеседование<br /></strong>Проведем с тобой 1-2х часовое собеседование, <u><em>все вопросы взяты исключительно с реальных собеседований</em></u>, которые я лично проходил и проводил как интервьюер. После этого ты будешь готов ко всему<br /><strong>ЦЕНА: 4000₽ / час</strong><br /></li>
    </ul>
    <ul id="pwc0">
      <li id="8hhA"><strong>Личная консультация<br /></strong>Если у тебя возникли трудности в решении рабочих задач и ты волнуешься за результат, то обращайся - решим<strong><br />ЦЕНА:  4000₽ / час<br /></strong></li>
    </ul>
    <ul id="Lz1O">
      <li id="qgdk"><strong>Сопровождение до оффера<br />ЦЕНА: 20к предоплата + 60% от первой зарплаты<br /><br /></strong></li>
    </ul>
  </section>
  <h3 id="GGVF"></h3>
  <h3 id="Y0Re">Контакты</h3>
  <p id="iRVp">Telegram: <a href="https://t.me/romaann5" target="_blank">https://t.me/romaann5</a><br />mail: filonov.rs@phystech.edu</p>
  <h3 id="rM6p"></h3>
  <hr />
  <h3 id="ABBA">Отзывы</h3>
  <section style="background-color:hsl(hsl(0, 0%, var(--autocolor-background-lightness, 95%)), 85%, 85%);">
    <ol id="Z54P">
      <li id="JUpU"> Обратился к Роману с вопросом о том, как оптимизируются и деплоятся нейронки, как можно их ускорить. Спрашивал для подтверждения собственных знаний и уточнения того, что нужно и не нужно сказать на собесе по этим темам. За час консультации разобрали все интересовавшие меня вопросы, дополнительно Роман скинул пару материалов по теме для подготовки. Благодарен ему за подробный разбор тем и за некоторые нюансы, которые было полезно упомянуть при рассказе о своем опыте на собесе. Рекомендую тем, кто хочет работать/работает с Computer Vision нейронками.<br />Автор: @Ilya_Rasskazov<br /></li>
      <li id="8Z6e">Хочу выразить благодарность Роману за помощь в сдаче зачета по Машинному обучению и анализу данных. В процессе работы быстро находил решение. Очень круто, что выделил время для сдачи в сжатые сроки. Кроме этого пообщались на жизненные темы, было приятно общаться. Еще раз спасибо, буду рекомендовать!<br />Автор: @veniameen<br /></li>
      <li id="gPdh">Взяла консультацию с Романом по резюме. Показал что нужно писать, как писать, а что вообще лучше выкинуть. Полностью перекроили прошлый вариант. В оставшееся время провели небольшой мок собес. Роман рассказал и показал, как правильно нужно строить свой рассказ при ответе на вопросы, поспрашивал по разным темам  и супер понятно объяснил те, на которые я не знала ответа. Все отлично)<br />Автор: @alinaaa_116<br /></li>
      <li id="nynv">Провели мок-собес.<br />Все понравилось, вопросы были про основы Computer Vision. Также были задачи а-ля исправить код трейна. <br />Рома хорошо и подробно объясняет, если что-то не понятно.<br />Автор: @honeymi<br /></li>
      <li id="sebM">Познакомился с Романом через чат, он предлагал свою помощь по рефке в компанию. С его стороны была оказана помощь в написании резюме, добавилось много деталей, так же предложил вообще пересобрать резюме не через стандартный редактор HH.<br />Помощь с редким вопросами, которые любят задавать на интервью в эту компанию и разговоры на все темы связанные с наймом. Всегда отвечал, и полностью поддерживал беседу.<br />Большое ему спасибо!<br />Автор: @Bucks301<br /></li>
    </ol>
  </section>

]]></content:encoded></item></channel></rss>