authorauthorhttps://teletype.in/atom/up2middle2026-05-01T02:25:33.515Zup2middle:ByYVgmrhHIs Spark really in-memory?2019-11-22T08:45:36.776Z2019-11-22T08:51:45.421Z#becomeDataEngineer
<p>#becomeDataEngineer</p>
<p>Когда врубаешься в тему инструментов для Big Data узнаешь, что сначала был Hadoop, который все мог, с помощью map reduce можно запилить любой пайплайн обработки данных. </p>
<p>Но эра Hadoop продолжалась недолго (см в Google Trands), и в какой-то момент Apache Spark вытеснил его как наиболее крутой инструмент. Основное достоинство - Spark умеет делать операции в in-memory и не нужно постоянно использовать hdfs в ходе выполнения какой-то джобы. </p>
<p>Однако когда читаешь доку Spark видишь что-то про запись каких-то файлов на диск, думаешь “было же in-memory”. Ну если все же нет, то куда эти файлы пишутся: на hdfs или disk space воркеров?</p>
<hr />
<hr />
<p>Дело в том, что важным процессом в работе Spark является <code>shuffle</code> - процесс когда данные перераспределяются с воркеров на воркеры. Это он пишет результаты на диск. Рекомендую посмотреть картинки про <code>shuffle</code> если вы не в курсе про него. Вкратце это перераспределение данных между воркерами, а значит жирная операция по IO. </p>
<ul>
<li>Как <code>shuffle</code> пишет файлы и можно ли этого не делать? </li>
<li>В чем преимущество перед Hadoop в таком случае?</li>
</ul>
<ul>
<li>Где тогда in-memory в Spark?</li>
</ul>
<hr />
<p>- Shuffle пишет файлы в памяти воркеров. Это кеширование делается чтобы переиспользовать эти данные, если дальше по процессу нужно снова этот RDD использовать. В памяти же их хранить не хочется, потому что память более ценный ресурс, и она активно используется для других текущих операций (не shuffle)</p>
<p>- Преимущество над Hadoop в том, что Spark умеет объединять стадии джобы в одну таску (которым не требуется shuffle), тогда как Hadoop не умеет и будет использовать hdfs между выполнениями этих стадий.</p>
<p>- Где тогда in-memory в Spark? В отличие от Hadoop, Spark при объединении стадий джобы не записывает их результаты на диск (тем более в hdfs). В этом смысле Spark быстрее и круче чем Hadoop</p>
<hr />
<p>used: <a href="https://stackoverflow.com/questions/35479876/why-does-spark-save-map-phase-output-to-local-disk/41088478#41088478" target="_blank">https://stackoverflow.com/questions/35479876/why-does-spark-save-map-phase-output-to-local-disk/41088478#41088478 </a></p>
<p>also look on related links in answers</p>