<?xml version="1.0" encoding="utf-8" ?><feed xmlns="http://www.w3.org/2005/Atom" xmlns:tt="http://teletype.in/" xmlns:opensearch="http://a9.com/-/spec/opensearch/1.1/"><title>Anton Klochkov</title><author><name>Anton Klochkov</name></author><id>https://teletype.in/atom/toshiksvg</id><link rel="self" type="application/atom+xml" href="https://teletype.in/atom/toshiksvg?offset=0"></link><link rel="alternate" type="text/html" href="https://teletype.in/@toshiksvg?utm_source=teletype&amp;utm_medium=feed_atom&amp;utm_campaign=toshiksvg"></link><link rel="next" type="application/rss+xml" href="https://teletype.in/atom/toshiksvg?offset=10"></link><link rel="search" type="application/opensearchdescription+xml" title="Teletype" href="https://teletype.in/opensearch.xml"></link><updated>2026-11-22T17:21:20.726Z</updated><entry><id>toshiksvg:Z3hO-x8CsOj</id><link rel="alternate" type="text/html" href="https://teletype.in/@toshiksvg/Z3hO-x8CsOj?utm_source=teletype&amp;utm_medium=feed_atom&amp;utm_campaign=toshiksvg"></link><title>Обзор Seed1.5-VL — Pretrain</title><published>2025-05-22T12:08:11.147Z</published><updated>2025-05-22T12:08:11.147Z</updated><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://img3.teletype.in/files/22/af/22afc5d4-c40c-44a6-8246-edf8558ed670.png"></media:thumbnail><summary type="html">&lt;img src=&quot;https://img2.teletype.in/files/da/45/da4541d2-fa6e-4050-8a27-d2d247a47bf9.jpeg&quot;&gt;Ребята из ByteDance написали технический репорт для своей недавно вышедшей сетки Seed1.5-VL: https://arxiv.org/pdf/2505.07062</summary><content type="html">
  &lt;p id=&quot;7LfT&quot;&gt;Ребята из ByteDance написали технический репорт для своей недавно вышедшей сетки Seed1.5-VL: &lt;a href=&quot;https://arxiv.org/pdf/2505.07062&quot; target=&quot;_blank&quot;&gt;https://arxiv.org/pdf/2505.07062&lt;/a&gt;&lt;/p&gt;
  &lt;p id=&quot;CZWI&quot;&gt;Циферки весьма неплохие, а потому обзору — быть!&lt;/p&gt;
  &lt;figure id=&quot;XNaR&quot; class=&quot;m_column&quot;&gt;
    &lt;img src=&quot;https://img1.teletype.in/files/47/8f/478f2d7c-d7d6-4107-a098-c543e032c789.png&quot; width=&quot;1378&quot; /&gt;
    &lt;figcaption&gt;Смотрим на графики и не осуждаем&lt;/figcaption&gt;
  &lt;/figure&gt;
  &lt;h2 id=&quot;9UwJ&quot;&gt;Общее устройство &lt;/h2&gt;
  &lt;ul id=&quot;9ZAJ&quot;&gt;
    &lt;li id=&quot;cY3Q&quot;&gt;&lt;strong&gt;VIT&lt;/strong&gt; - без хитростей, 532млн параметров, 2D Rope.&lt;/li&gt;
    &lt;li id=&quot;pcEG&quot;&gt;&lt;strong&gt;LLM&lt;/strong&gt; - MOE with 20b active parameters&lt;/li&gt;
    &lt;li id=&quot;6idh&quot;&gt;&lt;strong&gt;Адаптер&lt;/strong&gt; — MLP&lt;/li&gt;
  &lt;/ul&gt;
  &lt;h2 id=&quot;nQxl&quot;&gt;Свой ViT&lt;/h2&gt;
  &lt;p id=&quot;9tLn&quot;&gt;VIT может работать с native resolution, в качестве позиционных эмбедов имеет 2D RoPE. Авторы подчёркивают, что переходить с 1D в 2D эмбеды, &lt;strong&gt;интерполяция эмбедов — не самые оптимальные пути к высокому качеству модели&lt;/strong&gt;, а потому учат свой ViT, который уже может в динамическое разрешение картинок. Обучают в три стадии, данные берут прям из обучающей выборки VLM (приколдесно):&lt;/p&gt;
  &lt;ol id=&quot;Kmpi&quot;&gt;
    &lt;li id=&quot;kjeX&quot;&gt;Сначала пытаются свести косинусное расстояние между эмбедингами из ViT ученика (обучаемый ViT) и учителя (EVA02-CLIP-E). Авторы отмечают, что различие в позиционном кодировании (в учителе поз эмбеды другие) не мешает обучению, а сам шаг позволяет очень круто растить качество уже в VLM на Text-rich срезах: графики, документы, распознавание текста.&lt;/li&gt;
    &lt;li id=&quot;Q8YE&quot;&gt;Затем модель учат на image-text парах, текстовый энкодер берут из EVA02-CLIP-E, siglip loss;&lt;/li&gt;
    &lt;li id=&quot;SuvF&quot;&gt;Интересный шаг без особых деталей, в которых хотят алайнить звук и картинки из видео с капшенами для этих самых картинок и звука. Как я понял, делают капшены для аудио-фрейма и картиночного (или нескольких сразу), а потом по классике алайнят через siglip.&lt;/li&gt;
  &lt;/ol&gt;
  &lt;h2 id=&quot;AxI8&quot;&gt;Pretrain стадия&lt;/h2&gt;
  &lt;p id=&quot;Qnc3&quot;&gt;Очень много описывают про подготовку данных, совсем чуть-чуть про обучение.&lt;/p&gt;
  &lt;h3 id=&quot;zqZX&quot;&gt;Сбор данных&lt;/h3&gt;
  &lt;ul id=&quot;z4nm&quot;&gt;
    &lt;li id=&quot;GUFD&quot;&gt;&lt;strong&gt;Image-text пары&lt;/strong&gt;&lt;/li&gt;
    &lt;ul id=&quot;YttZ&quot;&gt;
      &lt;li id=&quot;mLkw&quot;&gt;Достаточно классические фильтрации, ака дедупликация, clip score и т.д.&lt;/li&gt;
    &lt;/ul&gt;
    &lt;ul id=&quot;ozZd&quot;&gt;
      &lt;li id=&quot;z674&quot;&gt;Исследовали важность разнообразия визуальных данных в обучающей выборке&lt;/li&gt;
      &lt;ul id=&quot;XVy4&quot;&gt;
        &lt;li id=&quot;HMuN&quot;&gt;Разделяют пары на визуальные классы, считают частоты  &lt;/li&gt;
        &lt;li id=&quot;CWqc&quot;&gt;Провели несколько экспериментов, из которой вывод: нужно оверсемплить данные низкочастотных классов, чтобы хорошо работать как на частых, так и на редких классах.&lt;/li&gt;
      &lt;/ul&gt;
    &lt;/ul&gt;
    &lt;li id=&quot;lPLs&quot;&gt;&lt;strong&gt;OCR-like данные&lt;/strong&gt;&lt;/li&gt;
    &lt;ul id=&quot;psXI&quot;&gt;
      &lt;li id=&quot;fHZp&quot;&gt;В общей сложности 1B примеров;&lt;/li&gt;
      &lt;li id=&quot;euNl&quot;&gt;Сохраняют разнообразие по шрифтам, языкам, написаниям;&lt;/li&gt;
      &lt;li id=&quot;vJCO&quot;&gt;Намайнили какой-то датасет из кучи документов, откуда поизвлекали текст и его расположение (координаты);&lt;/li&gt;
      &lt;li id=&quot;9QgA&quot;&gt;Собрали около 200млн синтетических семплов;&lt;/li&gt;
      &lt;li id=&quot;0Asw&quot;&gt;Применили классические аугментаци блюра, муары и т.д.;&lt;/li&gt;
      &lt;li id=&quot;PnDa&quot;&gt;Намайнили данных из кучи источников для таблиц, потом их отрендирили — получили около 50млн семплов;&lt;/li&gt;
      &lt;li id=&quot;bjnJ&quot;&gt;Собрали около 100млн синтетических семплов для графиков, где в качестве таргета: предсказать latex или Python-код, который сгенерировал этот графичек;&lt;/li&gt;
      &lt;li id=&quot;O1uY&quot;&gt;Использовали прошлую свою VLM чтобы нагенерить QA датасет к различным типам данных.&lt;/li&gt;
    &lt;/ul&gt;
    &lt;li id=&quot;UtiG&quot;&gt;&lt;strong&gt;Grounding &amp;amp; Counting&lt;/strong&gt;&lt;/li&gt;
    &lt;ul id=&quot;vwOf&quot;&gt;
      &lt;li id=&quot;Eqap&quot;&gt;Использовали относительные координаты, нормировали в диапазон [0, 999]&lt;/li&gt;
      &lt;li id=&quot;MrK1&quot;&gt;Bounding Box Data — предсказание координат&lt;/li&gt;
      &lt;ul id=&quot;PZXs&quot;&gt;
        &lt;li id=&quot;xg0e&quot;&gt;С помощью прошлой VLM пофильтровали датасеты;&lt;/li&gt;
        &lt;li id=&quot;PuT1&quot;&gt;Собирали данные для таргетов: предсказание координат; предсказание относительного положение; QA, где вопрос содержит координаты.&lt;/li&gt;
        &lt;li id=&quot;nMJ5&quot;&gt;В итоге собрали около 48млн семплов.&lt;/li&gt;
      &lt;/ul&gt;
      &lt;li id=&quot;qK9H&quot;&gt;Point Data — работа с центром объекта&lt;/li&gt;
      &lt;ul id=&quot;0vTp&quot;&gt;
        &lt;li id=&quot;OiIL&quot;&gt;С помощью Molmo и CountGD разметили большой датасет картинок из интернета и пофильтровали на качество;&lt;/li&gt;
        &lt;li id=&quot;d3dj&quot;&gt;Собрали около 170млн инструкций.&lt;/li&gt;
      &lt;/ul&gt;
      &lt;li id=&quot;owfv&quot;&gt;Counting Data &lt;/li&gt;
      &lt;ul id=&quot;P0UF&quot;&gt;
        &lt;li id=&quot;AeKe&quot;&gt;Посемплили из двух предыдущих, поменяли тип таргета. Получили около 8 млн примеров.&lt;/li&gt;
      &lt;/ul&gt;
    &lt;/ul&gt;
    &lt;li id=&quot;w5NX&quot;&gt;&lt;strong&gt;3D Spatial understanding&lt;/strong&gt;&lt;/li&gt;
    &lt;ul id=&quot;gUpk&quot;&gt;
      &lt;li id=&quot;HD4I&quot;&gt;&lt;em&gt;Не часто встретишь;&lt;/em&gt;&lt;/li&gt;
      &lt;li id=&quot;r9Jl&quot;&gt;Формируют датасеты на сортировку объектов по глубине, распознаванию координат в 3D;&lt;/li&gt;
      &lt;li id=&quot;xRuh&quot;&gt;В общей сложности около 21 млн семплов собрали.&lt;/li&gt;
    &lt;/ul&gt;
    &lt;li id=&quot;7KL3&quot;&gt;&lt;strong&gt;Видео&lt;/strong&gt;&lt;/li&gt;
    &lt;ul id=&quot;d9Pw&quot;&gt;
      &lt;li id=&quot;iM2r&quot;&gt;&lt;em&gt;Подробностей в целом мало;&lt;/em&gt;&lt;/li&gt;
      &lt;li id=&quot;DV6K&quot;&gt;Делают interleaved caption / QA — в хронологическом порядке описывают картинки, либо конструируют диалог;&lt;/li&gt;
      &lt;li id=&quot;qIE3&quot;&gt;Используют сихнронизированные капшены к фреймам.&lt;/li&gt;
    &lt;/ul&gt;
    &lt;li id=&quot;HqWZ&quot;&gt;&lt;strong&gt;Science, Technology, Engineering, and Mathematics (STEM)&lt;/strong&gt;&lt;/li&gt;
    &lt;ul id=&quot;CffQ&quot;&gt;
      &lt;li id=&quot;jvlf&quot;&gt;Собрали около 3млн grouding семплов для кучи научных дисциплин;&lt;/li&gt;
      &lt;li id=&quot;Ff5X&quot;&gt;Сгенерировали около 10млн структурированных разнообразных таблиц;&lt;/li&gt;
      &lt;li id=&quot;Vuq5&quot;&gt;Сгенерировали около 4.5млн картинок химических структурных диаграмм;&lt;/li&gt;
      &lt;li id=&quot;U74I&quot;&gt;Сгенерировали около 1.5млн картинок на координатной плоскости, в которых также были нарисованы графики;&lt;/li&gt;
      &lt;li id=&quot;VRFe&quot;&gt;Написали людьми 100,000 капшенов  для образовательных картинок;&lt;/li&gt;
      &lt;li id=&quot;I30X&quot;&gt;Нагенерили 1млн QA пар для областей наук;&lt;/li&gt;
      &lt;li id=&quot;gjGt&quot;&gt;Нагенерили 1млн капшенов картинок из различных областей наук;&lt;/li&gt;
      &lt;li id=&quot;ONws&quot;&gt;Нагенерили 100к+ капшенов для геометрических рисунков.&lt;/li&gt;
      &lt;li id=&quot;TRaG&quot;&gt;Не понятно сколько собрали, но обработали около 100млн задач за всю школьную программу, 10млн+ задач для вузов и профессионалов, и несколько миллионов картинок про вопросы по английскому языку. Я так понял, что задачи все были на китайском.&lt;/li&gt;
    &lt;/ul&gt;
    &lt;li id=&quot;Xr1S&quot;&gt;&lt;strong&gt;Graphical User Interface&lt;/strong&gt;&lt;/li&gt;
    &lt;ul id=&quot;4XkS&quot;&gt;
      &lt;li id=&quot;gfVD&quot;&gt;Собрали датасетик, который нацелен на следующие таргеты: &lt;/li&gt;
      &lt;ul id=&quot;mCuS&quot;&gt;
        &lt;li id=&quot;ONhY&quot;&gt;Описание элемента интерфейса;&lt;/li&gt;
        &lt;li id=&quot;AcrK&quot;&gt;Описание скриншота;&lt;/li&gt;
        &lt;li id=&quot;SVqJ&quot;&gt;Обнаружение малозаметных изменений при смене кадров.&lt;/li&gt;
        &lt;li id=&quot;iFWt&quot;&gt;Выдавать координаты элемента по его текстовому описанию;&lt;/li&gt;
        &lt;li id=&quot;9eWH&quot;&gt;Многошаговые траектории для построения цепочек навигации по интерфейсам.&lt;/li&gt;
      &lt;/ul&gt;
    &lt;/ul&gt;
  &lt;/ul&gt;
  &lt;h3 id=&quot;q33N&quot;&gt;Обучение&lt;/h3&gt;
  &lt;p id=&quot;FjqS&quot;&gt;В целом, ничего необычного и без супер каких-то подробностей. &lt;/p&gt;
  &lt;p id=&quot;aiZ5&quot;&gt;Обучают в 3 стадии: &lt;/p&gt;
  &lt;ol id=&quot;UnGV&quot;&gt;
    &lt;li id=&quot;PJmN&quot;&gt;Учат только адаптер. Чтобы обучение дальше лучше сходилось&lt;/li&gt;
    &lt;ol id=&quot;EByU&quot;&gt;
      &lt;li id=&quot;jJ75&quot;&gt;Говорят, если размораживать еше ViT — получается хуже;&lt;/li&gt;
    &lt;/ol&gt;
    &lt;li id=&quot;LJpm&quot;&gt;Учат всё. Основная стадия, используют почти все данные, которые могут поместиться в 32к токенов.&lt;/li&gt;
    &lt;li id=&quot;WvIL&quot;&gt;Учат всё. Учат работать с длинным контекстом, видео, 3D.&lt;/li&gt;
  &lt;/ol&gt;
  &lt;p id=&quot;8JuA&quot;&gt;&lt;strong&gt;Говорят, что претрейн им стоит 1.3млн GPU часов в терминах H800.&lt;/strong&gt;&lt;/p&gt;

</content></entry><entry><id>toshiksvg:g2IANTMvRDv</id><link rel="alternate" type="text/html" href="https://teletype.in/@toshiksvg/g2IANTMvRDv?utm_source=teletype&amp;utm_medium=feed_atom&amp;utm_campaign=toshiksvg"></link><title>Singleton is all you need (no)</title><published>2023-12-11T09:19:05.062Z</published><updated>2023-12-11T09:19:05.062Z</updated><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://img1.teletype.in/files/8b/8e/8b8ef51f-8474-4bc1-ad49-7797723bf07b.png"></media:thumbnail><summary type="html">&lt;img src=&quot;https://img3.teletype.in/files/20/a8/20a82dfe-0b7e-4a7f-b868-56c9dc35f0aa.png&quot;&gt;На днях перед мной встала одна, на первый взгляд, простая задача для intern/junior разработчика на Python: написать singleton.</summary><content type="html">
  &lt;p id=&quot;IGHx&quot;&gt;На днях перед мной встала одна, на первый взгляд, простая задача для intern/junior разработчика на Python: написать singleton. &lt;/p&gt;
  &lt;figure id=&quot;FUV4&quot; class=&quot;m_column&quot; data-caption-align=&quot;center&quot;&gt;
    &lt;img src=&quot;https://img2.teletype.in/files/99/07/990749bd-b222-43bf-9abe-fa627fb2d3ca.png&quot; /&gt;
    &lt;figcaption&gt;Сразу предотвращу горение тех, кто считает, что Singleton — это плохо. В общем случае да, и тебе нужно стараться их избегать. Но однако бывают случае, когда это уместно, даже несмотря на SOLID. &lt;/figcaption&gt;
  &lt;/figure&gt;
  &lt;p id=&quot;fUMb&quot;&gt;&lt;br /&gt;Итак, задача простая, давай писать. Заведем простой класс — пустышку:&lt;/p&gt;
  &lt;pre id=&quot;ubP0&quot; data-lang=&quot;python&quot;&gt;class StubClass:
	pass&lt;/pre&gt;
  &lt;h2 id=&quot;M9sn&quot;&gt;Наследование&lt;/h2&gt;
  &lt;p id=&quot;3awe&quot;&gt;Самая базовая идея, которая может придти в голову, реализовать singleton в Python через наследование. &lt;/p&gt;
  &lt;p id=&quot;A9pc&quot;&gt;Сделаем класс, который переопределяет магический метод &lt;code&gt;__new__&lt;/code&gt;:&lt;/p&gt;
  &lt;pre id=&quot;yOU4&quot; data-lang=&quot;python&quot;&gt;class Singleton:
    __instance = None

    def __new__(cls, *args, **kwargs):
        if cls.__instance is None:
            cls.__instance = super(Singleton, cls).__new__(cls, *args, **kwargs)
        return cls.__instance&lt;/pre&gt;
  &lt;p id=&quot;wkWp&quot;&gt;Тогда путем несложных программистких преобразований может получится следующий код:&lt;/p&gt;
  &lt;pre id=&quot;se4T&quot; data-lang=&quot;python&quot;&gt;class StubClass(Singleton):
	pass&lt;/pre&gt;
  &lt;p id=&quot;LL7w&quot;&gt;Этот код &lt;strong&gt;ужасен&lt;/strong&gt;. И не из-за каких-то свойств, которыми я наделил объект. Просто идейно. Ну т.е. давай здесь два класса с более человеческими названиями: &lt;/p&gt;
  &lt;pre id=&quot;3ceZ&quot; data-lang=&quot;python&quot;&gt;class Logger(Singleton): # какой-то общий логгер
	pass

class DBConnection(Singleton): # какое-то общее соединение
	pass&lt;/pre&gt;
  &lt;p id=&quot;cjIu&quot;&gt;Концептуально, получается, что по иерархии наследования, это один и тот же класс. Но это же классы из разных вселенных. Если бы я ревьювил этот код, моя реакция была бы такой: &lt;/p&gt;
  &lt;figure id=&quot;hAUy&quot; class=&quot;m_column&quot; data-caption-align=&quot;center&quot;&gt;
    &lt;img src=&quot;https://img4.teletype.in/files/f9/31/f931826c-3cd2-4bf2-91dd-922a3ca62cf7.png&quot; width=&quot;1000&quot; /&gt;
    &lt;figcaption&gt;Ну сколько можно?&lt;/figcaption&gt;
  &lt;/figure&gt;
  &lt;h2 id=&quot;DC6b&quot;&gt;Метаклассы — I&lt;/h2&gt;
  &lt;p id=&quot;3cq7&quot;&gt;Другим, более подходящим инструментом, для создания &lt;code&gt;Singleton&lt;/code&gt; может послужить механизм метаклассов. Т.е. я наделяю свойствами не объекты какого-то типа, а сам тип. &lt;/p&gt;
  &lt;p id=&quot;8A9D&quot;&gt;Давай напишем такой мета-singleton:&lt;/p&gt;
  &lt;pre id=&quot;jFIB&quot; data-lang=&quot;python&quot;&gt;class SingletonI(type):
    __instance = None

    def __call__(cls, *args, **kwargs):
        if cls.__instance is None:
            cls.__instance = super(SingletonI, cls).__call__(*args, **kwargs)
        return cls.__instance&lt;/pre&gt;
  &lt;p id=&quot;Dugs&quot;&gt;Применяя к &lt;code&gt;StubClass&lt;/code&gt; все свои 6 лет высшего образования получаю следующий код:&lt;/p&gt;
  &lt;pre id=&quot;8jX4&quot; data-lang=&quot;python&quot;&gt;class StubClass(metaclass=SingletonI):
	pass&lt;/pre&gt;
  &lt;p id=&quot;za8Z&quot;&gt;На этом можно было бы уже остановиться, но пока у меня есть несколько проблем. Дело в том, что метаклассы — такая сущность, которую лучше &lt;strong&gt;не менять лишний раз&lt;/strong&gt;. А развивая систему нам может потребоваться многопоточная среда. Мой метакласс пока к этому не готов.&lt;/p&gt;
  &lt;figure id=&quot;iaCI&quot; class=&quot;m_column&quot;&gt;
    &lt;img src=&quot;https://img2.teletype.in/files/14/c1/14c193b2-b233-4078-85b8-a04e66c03fd5.png&quot; width=&quot;988&quot; /&gt;
    &lt;figcaption&gt;Однажды ко мне подошла мама и сказала, что вот сын её подруги такой Singleton запилил, что мне и не снилось.  Пришлось исправляться.&lt;/figcaption&gt;
  &lt;/figure&gt;
  &lt;h2 id=&quot;s9tP&quot;&gt;Метаклассы — II&lt;/h2&gt;
  &lt;p id=&quot;kCFS&quot;&gt;Самая первая идея, которая приходит, чтобы сделать класс &lt;strong&gt;thread-safe&lt;/strong&gt; — наложить на него mutex. Тогда получится следующее: &lt;/p&gt;
  &lt;pre id=&quot;LUeH&quot; data-lang=&quot;python&quot;&gt;import threading 

class SingletonII(type):
    __shared_instance = None
    __shared_instance_lock = threading.Lock()

    def __call__(cls, *args, **kwargs):
        with cls.__shared_instance_lock:
            if cls.__shared_instance is None:
                cls.__shared_instance = super(SingletonII, cls).__call__(*args, **kwargs)
        return cls.__shared_instance&lt;/pre&gt;
  &lt;p id=&quot;UxHt&quot;&gt;И в целом это решение уже неплохое. &lt;/p&gt;
  &lt;figure id=&quot;s1Aq&quot; class=&quot;m_column&quot;&gt;
    &lt;img src=&quot;https://img2.teletype.in/files/59/e7/59e7abc8-6ff2-4f76-9aa4-2cbf1f80ce32.png&quot; width=&quot;816&quot; /&gt;
    &lt;figcaption&gt;Если бы мой стажер пилил какую-то MVP-шечку, то моя реакция уже была бы примерно такой.&lt;/figcaption&gt;
  &lt;/figure&gt;
  &lt;p id=&quot;kk9n&quot;&gt;Есть одна проблема. Зачастую &lt;code&gt;Singleton&lt;/code&gt; не хранят в каких-то объектах, а если нужно, то делают примерно так: &lt;/p&gt;
  &lt;pre id=&quot;UxHT&quot; data-lang=&quot;python&quot;&gt;StubClass().make_some_action()&lt;/pre&gt;
  &lt;p id=&quot;fZBI&quot;&gt;т.е. как бы создают новый объект, но т.к. это &lt;code&gt;Singleton&lt;/code&gt;, то возвращается тот самый объект. Так вот, в случае глобального lock-объекта это будет дичайшим образом тормозить (с другой стороны, обучение нейронки будет работать дольше, а значит больше времени сделать кофе — решать тебе). &lt;/p&gt;
  &lt;h2 id=&quot;KKOp&quot;&gt;Метаклассы — III&lt;/h2&gt;
  &lt;p id=&quot;qkGa&quot;&gt;Базовая идея ускорить прошлый &lt;code&gt;Singleton&lt;/code&gt; — давай будем проверять, что &lt;br /&gt;&lt;code&gt;instance&lt;/code&gt; не является &lt;code&gt;None&lt;/code&gt;, а если является, то там уже будем накладывать mutex, т.е. буквально поменяем строчки местами:&lt;/p&gt;
  &lt;pre id=&quot;VJFK&quot; data-lang=&quot;python&quot;&gt;class SingletonIII(type):
    __shared_instance = None
    __shared_instance_lock = threading.Lock()

    def __call__(cls, *args, **kwargs):
        if cls.__shared_instance is None:
            with cls.__shared_instance_lock:
                cls.__shared_instance = super(SingletonIII, cls).__call__(*args, **kwargs)
        return cls.__shared_instance&lt;/pre&gt;
  &lt;p id=&quot;yoF4&quot;&gt;Давай запустим примитивный бенчмарк (код для &lt;code&gt;TimeitResult&lt;/code&gt; взят любезно &lt;a href=&quot;https://github.com/ipython/ipython/blob/main/IPython/core/magics/execution.py&quot; target=&quot;_blank&quot;&gt;отсюда&lt;/a&gt;): &lt;/p&gt;
  &lt;pre id=&quot;JQGg&quot; data-lang=&quot;python&quot;&gt;import timeit
import sys
import math

setup = &amp;quot;&amp;quot;&amp;quot;import threading

class SingletonII(type):
    __shared_instance = None
    _shared_instance_lock = threading.Lock()

    def __call__(cls, *args, **kwargs):
        with cls._shared_instance_lock:
            if cls.__shared_instance is None:
                cls.__shared_instance = super(SingletonII, cls).__call__(*args, **kwargs)
        return cls.__shared_instance

class SingletonIII(type):
    __shared_instance = None
    __shared_instance_lock = threading.Lock()

    def __call__(cls, *args, **kwargs):
        if cls.__shared_instance is None:
            with cls.__shared_instance_lock:
                cls.__shared_instance = super(SingletonIII, cls).__call__(*args, **kwargs)
        return cls.__shared_instance

class StubII(metaclass=SingletonII):
    pass

class StubIII(metaclass=SingletonIII):
    pass

&amp;quot;&amp;quot;&amp;quot;

def _format_time(timespan, precision=3):
    &amp;quot;&amp;quot;&amp;quot;Formats the timespan in a human readable form&amp;quot;&amp;quot;&amp;quot;

    if timespan &amp;gt;= 60.0:
        # we have more than a minute, format that in a human readable form
        # Idea from http://snipplr.com/view/5713/
        parts = [(&amp;quot;d&amp;quot;, 60*60*24),(&amp;quot;h&amp;quot;, 60*60),(&amp;quot;min&amp;quot;, 60), (&amp;quot;s&amp;quot;, 1)]
        time = []
        leftover = timespan
        for suffix, length in parts:
            value = int(leftover / length)
            if value &amp;gt; 0:
                leftover = leftover % length
                time.append(u&amp;#x27;%s%s&amp;#x27; % (str(value), suffix))
            if leftover &amp;lt; 1:
                break
        return &amp;quot; &amp;quot;.join(time)


    # Unfortunately the unicode &amp;#x27;micro&amp;#x27; symbol can cause problems in
    # certain terminals.
    # See bug: https://bugs.launchpad.net/ipython/+bug/348466
    # Try to prevent crashes by being more secure than it needs to
    # E.g. eclipse is able to print a µ, but has no sys.stdout.encoding set.
    units = [u&amp;quot;s&amp;quot;, u&amp;quot;ms&amp;quot;,u&amp;#x27;us&amp;#x27;,&amp;quot;ns&amp;quot;] # the save value
    if hasattr(sys.stdout, &amp;#x27;encoding&amp;#x27;) and sys.stdout.encoding:
        try:
            u&amp;#x27;\xb5&amp;#x27;.encode(sys.stdout.encoding)
            units = [u&amp;quot;s&amp;quot;, u&amp;quot;ms&amp;quot;,u&amp;#x27;\xb5s&amp;#x27;,&amp;quot;ns&amp;quot;]
        except:
            pass
    scaling = [1, 1e3, 1e6, 1e9]

    if timespan &amp;gt; 0.0:
        order = min(-int(math.floor(math.log10(timespan)) // 3), 3)
    else:
        order = 3
    return &amp;quot;%.*g %s&amp;quot; % (precision, timespan * scaling[order], units[order])

class TimeitResult(object):
    &amp;quot;&amp;quot;&amp;quot;
    Object returned by the timeit magic with info about the run.

    Contains the following attributes :

    loops: (int) number of loops done per measurement
    repeat: (int) number of times the measurement has been repeated
    best: (float) best execution time / number
    all_runs: (list of float) execution time of each run (in s)
    compile_time: (float) time of statement compilation (s)

    &amp;quot;&amp;quot;&amp;quot;
    def __init__(self, loops, repeat, best, worst, all_runs, precision):
        self.loops = loops
        self.repeat = repeat
        self.best = best
        self.worst = worst
        self.all_runs = all_runs
        self._precision = precision
        self.timings = [ dt / self.loops for dt in all_runs]

    @property
    def average(self):
        return math.fsum(self.timings) / len(self.timings)

    @property
    def stdev(self):
        mean = self.average
        return (math.fsum([(x - mean) ** 2 for x in self.timings]) / len(self.timings)) ** 0.5

    def __str__(self):
        pm = &amp;#x27;+-&amp;#x27;
        if hasattr(sys.stdout, &amp;#x27;encoding&amp;#x27;) and sys.stdout.encoding:
            try:
                u&amp;#x27;\xb1&amp;#x27;.encode(sys.stdout.encoding)
                pm = u&amp;#x27;\xb1&amp;#x27;
            except:
                pass
        return &amp;quot;{mean} {pm} {std} per loop (mean {pm} std. dev. of {runs} run{run_plural}, {loops:,} loop{loop_plural} each)&amp;quot;.format(
            pm=pm,
            runs=self.repeat,
            loops=self.loops,
            loop_plural=&amp;quot;&amp;quot; if self.loops == 1 else &amp;quot;s&amp;quot;,
            run_plural=&amp;quot;&amp;quot; if self.repeat == 1 else &amp;quot;s&amp;quot;,
            mean=_format_time(self.average, self._precision),
            std=_format_time(self.stdev, self._precision),
        )

    def _repr_pretty_(self, p , cycle):
        unic = self.__str__()
        p.text(u&amp;#x27;&amp;lt;TimeitResult : &amp;#x27;+unic+u&amp;#x27;&amp;gt;&amp;#x27;)

def run_timeit(code, setup, repeat, number):
    res = timeit.repeat(code, setup=setup, repeat=repeat, number=number)
    print(TimeitResult(
        loops=number, repeat=repeat, best=max(res), worst=min(res), all_runs=res, precision=3
    ))

run_timeit(&amp;quot;StubII()&amp;quot;, setup=setup, repeat=10, number=1000000)
run_timeit(&amp;quot;StubIII()&amp;quot;, setup=setup, repeat=10, number=1000000)&lt;/pre&gt;
  &lt;p id=&quot;WeOr&quot;&gt;Ожидаемый выход ускорения почти в 2.5 раза: &lt;/p&gt;
  &lt;pre id=&quot;9ixm&quot; data-lang=&quot;bash&quot;&gt;# run_timeit(&amp;quot;StubII()&amp;quot;, setup=setup, repeat=10, number=1000000)
335 ns ± 6.17 ns per loop (mean ± std. dev. of 10 runs, 1,000,000 loops each)
# run_timeit(&amp;quot;StubIII()&amp;quot;, setup=setup, repeat=10, number=1000000)
135 ns ± 4.01 ns per loop (mean ± std. dev. of 10 runs, 1,000,000 loops each)&lt;/pre&gt;
  &lt;p id=&quot;dAVC&quot;&gt;Но есть проблемка. В моём коде образовался баг, который ведет к тому, что &lt;code&gt;Singleton&lt;/code&gt; теперь может быть не single.&lt;/p&gt;
  &lt;p id=&quot;hWEd&quot;&gt;Это известная проблема имеет широкое освещение в курсах по многопоточке — &lt;a href=&quot;https://en.wikipedia.org/wiki/Double-checked_locking&quot; target=&quot;_blank&quot;&gt;Double-checking locking&lt;/a&gt;. Суть в том, что все потоки, которые заблокируются мьютексом, рано или поздно создадут свой &lt;code&gt;instance&lt;/code&gt;. &lt;/p&gt;
  &lt;h2 id=&quot;ZL53&quot;&gt;Метаклассы — IV&lt;/h2&gt;
  &lt;p id=&quot;SFqx&quot;&gt;Давай пофиксим, добавив еще одно условие уже внутри mutex:&lt;/p&gt;
  &lt;pre id=&quot;e46i&quot; data-lang=&quot;python&quot;&gt;class SingletonIV(type):
    __shared_instance = None
    __shared_instance_lock = threading.Lock()

    def __call__(cls, *args, **kwargs):
        if cls.__shared_instance is None:
            with cls.__shared_instance_lock:
                if cls.__shared_instance is None:
                    cls.__shared_instance = super(SingletonIV, cls).__call__(*args, **kwargs)
        return cls.__shared_instance&lt;/pre&gt;
  &lt;p id=&quot;eNpu&quot;&gt;Чуть-чуть поменяв бенчмарк, делаем замеры: &lt;/p&gt;
  &lt;pre id=&quot;r9EN&quot; data-lang=&quot;bash&quot;&gt;# run_timeit(&amp;quot;StubII()&amp;quot;, setup=setup, repeat=10, number=1000000)
343 ns ± 5.34 ns per loop (mean ± std. dev. of 10 runs, 1,000,000 loops each)
# run_timeit(&amp;quot;StubIII()&amp;quot;, setup=setup, repeat=10, number=1000000)
146 ns ± 3.78 ns per loop (mean ± std. dev. of 10 runs, 1,000,000 loops each)
# run_timeit(&amp;quot;StubIV()&amp;quot;, setup=setup, repeat=10, number=1000000)
144 ns ± 4.14 ns per loop (mean ± std. dev. of 10 runs, 1,000,000 loops each)&lt;/pre&gt;
  &lt;p id=&quot;8UQC&quot;&gt;Скорость почти не изменилась (в ускорение в Python могу поверить, но в большинстве других языков должна была быть просадка).&lt;/p&gt;
  &lt;p id=&quot;uJs1&quot;&gt;Давай тогда напишем быстро бенч на то, что у нас действительно нет так называемых data races:&lt;/p&gt;
  &lt;pre id=&quot;RY5V&quot; data-lang=&quot;python&quot;&gt;import threading
from multiprocessing.pool import ThreadPool

class SingletonII(type):
    __shared_instance = None
    __shared_instance_lock = threading.Lock()

    def __call__(cls, *args, **kwargs):
        with cls.__shared_instance_lock:
            if cls.__shared_instance is None:
                cls.__shared_instance = super(SingletonII, cls).__call__(*args, **kwargs)
        return cls.__shared_instance

class SingletonIII(type):
    __shared_instance = None
    __shared_instance_lock = threading.Lock()

    def __call__(cls, *args, **kwargs):
        if cls.__shared_instance is None:
            with cls.__shared_instance_lock:
                cls.__shared_instance = super(SingletonIII, cls).__call__(*args, **kwargs)
        return cls.__shared_instance

class SingletonIV(type):
    __shared_instance = None
    __shared_instance_lock = threading.Lock()

    def __call__(cls, *args, **kwargs):
        if cls.__shared_instance is None:
            with cls.__shared_instance_lock:
                if cls.__shared_instance is None:
                    cls.__shared_instance = super(SingletonIV, cls).__call__(*args, **kwargs)
        return cls.__shared_instance


class ThreadObject(object):
    def __init__(self):
        super(ThreadObject, self).__init__()
        print(&amp;quot;Created in thread: {}&amp;quot;.format(threading.get_ident()))

class ThreadObjectSingletonII(ThreadObject, metaclass=SingletonII):
    pass

class ThreadObjectSingletonIII(ThreadObject, metaclass=SingletonIII):
    pass

class ThreadObjectSingletonIV(ThreadObject, metaclass=SingletonIV):
    pass


def run_test(thread_object_class):
    print(f&amp;quot;Run test for class: {thread_object_class.__name__}&amp;quot;)
    def worker(_object_set, _object_set_access_lock):
        db = thread_object_class()
        with _object_set_access_lock:
            _object_set.add(db)

    object_set = set()
    object_set_access_lock = threading.Lock()

    thread_pool = ThreadPool(100)
    for _ in range(1000):
        thread_pool.apply_async(worker, (object_set, object_set_access_lock))
    thread_pool.close()
    thread_pool.join()

    print(f&amp;quot;Object count: {len(object_set)}&amp;quot;)


if __name__ == &amp;quot;__main__&amp;quot;:
    run_test(ThreadObjectSingletonII)
    run_test(ThreadObjectSingletonIII)
    run_test(ThreadObjectSingletonIV)&lt;/pre&gt;
  &lt;p id=&quot;VZP0&quot;&gt;Если предыдущий скрипт запустить примерно 10 раз (просто рейзы не всегда выскакивают), видно, что IV и II реализации всегда имеют по одному объекту, тогда как реализация III может иметь несколько объектов. &lt;/p&gt;
  &lt;p id=&quot;pZWS&quot;&gt;Кстати, запустить можно быстро примерно так: &lt;/p&gt;
  &lt;pre id=&quot;3a2a&quot; data-lang=&quot;python&quot;&gt;import os

for x in range(10):
    os.system(&amp;quot;python3 path_to_data_race_check_script&amp;quot;)&lt;/pre&gt;
  &lt;h2 id=&quot;hbl5&quot;&gt;Итоги&lt;/h2&gt;
  &lt;p id=&quot;hynr&quot;&gt;Мораль? Да нет морали. Пишите код правильно. И да, вспомним классиков про метаклассы: &lt;/p&gt;
  &lt;blockquote id=&quot;Ok4b&quot;&gt;Metaclasses are deeper magic than 99% of users should ever worry about. If you wonder whether you need them, you don’t (the people who actually need them know with certainty that they need them, and don’t need an explanation about why).  — Tim Peters&lt;/blockquote&gt;
  &lt;p id=&quot;n7No&quot;&gt;P.S. Если я где-то неправ или набаговал — пиши, разберемся.&lt;/p&gt;
  &lt;figure id=&quot;PoXC&quot; class=&quot;m_column&quot;&gt;
    &lt;img src=&quot;https://img2.teletype.in/files/1e/b3/1eb377bf-ca52-479c-8e5a-2fee228171b7.png&quot; width=&quot;602&quot; /&gt;
  &lt;/figure&gt;

</content></entry></feed>