Про Python та інші освітні штуки.Python Zenhttps://teletype.in/atom/gn_python2026-05-01T15:27:20.316Zgn_python:_p6on034U2020-07-31T08:39:02.877Z2020-07-31T08:41:47.353Z

<img src="https://teletype.in/files/97/f1/97f19a31-5b27-4a26-b8d1-f6700e759969.png">Проксі-сервер — сервер, який виступає посередником при виконанні запитів до певного ресурсу, з англійської proxy перекладається як "представник" чи "уповноважений". Не будемо глибоко вникати в суть цієї технології, головне, що варто знати, ми хочемо приховувати справжню IP-адресу для отримання потрібної інформації.

<h2>Цілі</h2> <ol> <li><em><strong>Реалізувати скрипт, який буде змінювати IP адреси (proxy).</strong></em></li> <li><em>Оглянути доступні інструменти для цієї задачі.</em></li> <li>Організувати безперебійний перехід на сторінку з відео.</li> <li>Дослідити як зараховується перегляд для відео на YouTube.</li> <li>Зробити мінімум 350-400 переглядів на обраному відео.</li> </ol> <h2>Proxy та їх використання у запитах </h2> <p><a href="https://uk.wikipedia.org/wiki/%25D0%259F%25D1%2580%25D0%25BE%25D0%25BA%25D1%2581%25D1%2596-%25D1%2581%25D0%25B5%25D1%2580%25D0%25B2%25D0%25B5%25D1%2580" target="_blank">Проксі-сервер</a> — сервер, який виступає посередником при виконанні запитів до певного ресурсу, з англійської <em>proxy</em> перекладається як &quot;представник&quot; чи &quot;уповноважений&quot;. Не будемо глибоко вникати в суть цієї технології, головне, що варто знати, ми хочемо приховувати справжню IP-адресу для отримання потрібної інформації. </p> <figure class="m_column"> <img src="https://teletype.in/files/97/f1/97f19a31-5b27-4a26-b8d1-f6700e759969.png" width="768" /> <figcaption>Принцип роботи проксі на простій схемі</figcaption> </figure> <p>Є багато ресурсів, де можна отримати список безкоштовних проксі-серверів, аби посилати свої запити через них.<br /></p> <figure class="m_retina"> <img src="https://teletype.in/files/0a/f4/0af4f605-cab8-4fd2-b341-f22d80f8e100.png" width="845.5" /> <figcaption>Приклад списку проксі з <a href="http://free-proxy.cz/ru/proxylist/country/US/all/ping/all" target="_blank">http://free-proxy.cz/ru/proxylist/country/US/all/ping/all</a></figcaption> </figure> <p>Для роботи нам потрібно IP-адрес та порт, проте інші параметри можуть знадобитись для того, щоб фільтрувати отриманий список.<br /><br /><strong>Країна та місто</strong> — часто потрібно використовувати лише фільтрацію по країні, аби отримати доступ до локального ресурсу.</p> <p><strong>Ступінь анонімності</strong> — в залежності від цього параметру гарантується чи високий рівень анонімності, чи абсолютно низький, при якому кінцевий ресурс все одно бачить нашу справжню адресу.</p> <p><strong>Швидкість відгуку (timeout)</strong> — те, наскільки швидко обробляються запити цим проксі-сервером, від цього залежить кількість виконаних запитів.</p> <p><strong>Як попрактикуватись?</strong></p> <ol> <li>Скопіювати/завантажити <a href="https://github.com/clarketm/proxy-list/blob/master/proxy-list-raw.txt" target="_blank">файл зі списком проксі з GitHub</a>.</li> <li>Спробувати відправити 20 запитів з різними проксі до ресурсу <a href="https://api.myip.com/" target="_blank"><code>https://api.myip.com/</code></a> з використанням <code>requests-futures</code> або <code>aiohttp</code>якщо хочеться гострих вражень.</li> <li>Вивести результати в якості логу з використанням модуля <code>logging</code>.</li> </ol> <p>Зробивши це, одразу стане зрозуміло, що таке підводні камені безкоштовних проксі-серверів і як з цим справлятись. Або не стане зрозуміло взагалі нічого :)</p> <p>Приклад коду з <code>requests-futures</code>:</p> <pre>from concurrent.futures import ThreadPoolExecutor from requests_futures.sessions import FuturesSession # створення сесії з використанням мультипроцесингу session = FuturesSession(executor=ThreadPoolExecutor(max_workers=10))</pre> <p>Приклад коду з <code>aiohttp</code>:</p> <pre># створення асинхронної сесії async with aiohttp.ClientSession() as session: async with session.get(&quot;http://python.org&quot;, proxy=&quot;http://proxy.com&quot;) as resp: print(resp.status)</pre> <p>Доволі непогано це все описано в статті: <a href="https://webdevblog.ru/python-i-http-klienty/" target="_blank">Python та HTTP-клієнти</a></p> <p>Загальна інформація про скрапинг тут: <a href="https://blog.pythonzen.ml/tt8HJMkaf" target="_blank">Web Scraping в Python. Детальна інструкція </a></p> gn_python:yuEqYm0T32020-07-27T09:29:35.791Z2020-07-27T09:29:35.791Z

<img src="https://teletype.in/files/f0/71/f071dfcb-9cfe-41f3-893e-1990e9cadcd6.png">Полегшена мова розмітки для спрощення форматування повідомлень на різноманітних ресурсах, починаючи з чатів закінчуючи менеджерами задач. Ця річ використовується в Telegram, Slack, StackOverflow, GitHub, Trello та інших штуках, які спрощують життя в розробці і не тільки. Markdown де факто став стандартом в написанні документації, його легко конвертувати в HTML та зручно використовувати.

<figure class="m_column"> <img src="https://teletype.in/files/f0/71/f071dfcb-9cfe-41f3-893e-1990e9cadcd6.png" width="1200" /> <figcaption>Markdown logo</figcaption> </figure> <p>Полегшена мова розмітки для спрощення форматування повідомлень на різноманітних ресурсах, починаючи з чатів закінчуючи менеджерами задач.<br /><br />Ця річ використовується в Telegram, Slack, StackOverflow, GitHub, Trello та інших штуках, які спрощують життя в розробці і не тільки. Markdown де факто став стандартом в написанні документації, його легко конвертувати в HTML та зручно використовувати.</p> <figure class="m_original"> <img src="https://teletype.in/files/ac/1e/ac1ef321-52d6-40c0-9029-f0e336f39be3.png" width="800" /> <figcaption>Markdown Cheatsheet</figcaption> </figure> <p>Можна переглянути кілька додаткових матеріалів:</p> <figure class="m_column"> <iframe src="https://www.youtube.com/embed/ifydjGoDMU4?autoplay=0&loop=0&mute=0"></iframe> </figure> <p><a href="https://habr.com/ru/company/yandex/blog/342192/" target="_blank">Sir Markdown. Лекція Яндексу</a></p> <p><a href="https://paulradzkov.com/2014/markdown_cheatsheet/" target="_blank">Короткий посібник з Markdown</a></p> <p><a href="https://github.com/sandino/Markdown-Cheatsheet" target="_blank">Шпаргалка по Markdown, яка як не дивно зроблена з його допомогою</a> </p> <p><a href="https://www.markdowntutorial.com/" target="_blank">Інтерактивний тренажер по Markdown</a></p> gn_python:0-LuexsIF2020-07-17T12:43:22.058Z2020-07-31T08:05:50.420Z

<img src="https://teletype.in/files/fc/a0/fca0b248-76b0-4484-afa2-5314dd5af93b.png">Для прикладу продемонструю кілька прикладів того, яки чином це все працює. Із звичайних фотографій можна зробити шість секунд паралаксу.

<p>Для прикладу продемонструю кілька прикладів того, яки чином це все працює. Із звичайних фотографій можна зробити шість секунд паралаксу.</p> <figure class="m_column"> <iframe src="https://www.youtube.com/embed/KtuN4hsT8o0?autoplay=0&loop=0&mute=0"></iframe> <figcaption>Львівський приклад відео</figcaption> </figure> <figure class="m_column"> <iframe src="https://www.youtube.com/embed/Hi_C1QfLP9Y?autoplay=0&loop=0&mute=0"></iframe> <figcaption>Кам&#x27;янецько-вокзальний приклад відео</figcaption> </figure> <p>Більше прикладів можна переглянути на ресурсі: <br /><a href="https://shihmengli.github.io/3D-Photo-Inpainting" target="_blank">https://shihmengli.github.io/3D-Photo-Inpainting</a></p> <p>Перш за все варто переглянути <a href="https://github.com/vt-vl-lab/3d-photo-inpainting" target="_blank">GitHub репозиторій</a> з реалізацію наукової статті та скопіювати посилання для клонування репозиторію:</p> <pre>git clone https://github.com/vt-vl-lab/3d-photo-inpainting.git</pre> <p>Повинен бути встановлений Git Bash, якщо використовується Windows, на Linux все працює з коробки. </p> <p>До того ж, для завантаження вже готових контрольних точок для моделей нейронних мереж використовується утиліта wget, що не є стандартною для Windows. На допомогу як завжди прийде Chocolatey в запущеному від імені адміністратора PowerShell, якщо говорити про Windows 10: <code>choco install wget</code></p> <figure class="m_column"> <img src="https://teletype.in/files/fc/a0/fca0b248-76b0-4484-afa2-5314dd5af93b.png" width="1442" /> <figcaption>Вікно PowerShell з виконаною командою</figcaption> </figure> <p>Після того, як закінчено з підготовкою потрібно виконати bash скрипт за допомогою команди <code>sh download.sh</code> при умові, що ви знаходитесь в директорії зі склонованим репозиторієм.</p> <figure class="m_column"> <img src="https://teletype.in/files/05/a6/05a6d21f-2243-442a-a20e-f2d85a9cc01d.png" width="1581" /> <figcaption>Вивід записів при виконанні download.sh</figcaption> </figure> <p>Також варто звернути увагу на завантаження необхідного пакету PyTorch. Є кілька варіантів використання цієї бібліотеки з CPU та GPU, встановити потрібно відповідну.</p> <p>Для використання з GPU:</p> <pre>pip3 install torch==1.4.0+cu100 torchvision==0.5.0+cu100 -f https://download.pytorch.org/whl/torch_stable.html</pre> <p>Для використання з CPU:</p> <pre>pip3 install torch==1.4.0+cpu torchvision==0.5.0+cpu -f https://download.pytorch.org/whl/torch_stable.html</pre> <p>В принципі я запустив цю штуку під Windows, підредагував кілька файлів, аби завантажувалось cаме для CPU. Приблизно 10 хвилин на обробку одного файлу та створення 4 відео з різною анімацією. </p> <p>На третьому зображенні відвалилась система і перший раз за весь час завис ноутбук, прийшлось відмовитись від цієї затії та перейти на Google Colab.</p> <figure class="m_column"> <img src="https://teletype.in/files/f2/9e/f29e538c-5d8a-4633-aaca-78a7ed547928.png" width="502" /> <figcaption>Приклад того, як виглядає директорія проекту</figcaption> </figure> <p>Щоб запустити це все, потрібно додати зображення для обробки в директорію image, результат буде у video після запуску скрипта:</p> <pre>python main.py --config argument.yml</pre> <p>В Google Colab все доступно одразу, варто лише завантажити цей ноутбук та виконати всі кроки, завантажити необхідне зображення і зачекати кілька хвилин.</p> <figure class="m_column"> <img src="https://teletype.in/files/6e/28/6e287a24-c9fe-4683-81fe-5198704bf158.png" width="1931" /> </figure> <p>Ось посилання:</p> <p><a href="https://colab.research.google.com/drive/14k-j3fY_gjN7PJCfJkPEhgvg_CIGFs1y?usp=sharing" target="_blank">https://colab.research.google.com/drive/14k-j3fY_gjN7PJCfJkPEhgvg_CIGFs1y?usp=sharing</a></p> gn_python:xk3vJRnX02020-07-14T15:01:29.410Z2020-08-17T20:13:25.527Z

<img src="https://teletype.in/files/0b/11/0b110223-9a9a-49ae-85dc-ed4ae3330d3c.png">За час існування мови програмування Python, навколо неї сформувалась велика спільнота, певні традиції та підходи до розробки. Це все переросло в певну філософію. Справжній Pythonista повинен знати і розуміти основи, щоб робити свою роботу ліпше.

<figure class="m_column"> <img src="https://teletype.in/files/0b/11/0b110223-9a9a-49ae-85dc-ed4ae3330d3c.png" width="1920" /> </figure> <p>За час існування мови програмування Python, навколо неї сформувалась велика спільнота, певні традиції та підходи до розробки. Це все переросло в певну філософію. Справжній <a href="https://github.com/tdamdouni/Pythonista" target="_blank">Pythonista</a> повинен знати і розуміти основи, щоб робити свою роботу ліпше. </p> <blockquote><em>Існує два типи мов програмування — ті, які усі постійно лають, і ті, якими ніхто не користується</em>.</blockquote> <p>Справжній фанат вже напевно дослідив більшість джерел, які розповідають про Python. Особливу увагу можна звернути на пародію Вікіпедії під назвою Lurkmore, де <a href="http://lurkmore.to/%25D0%259A%25D0%25BE%25D0%25BF%25D0%25B8%25D0%25BF%25D0%25B0%25D1%2581%25D1%2582%25D0%25B0:Python" target="_blank">весь шлях до підкорення вершини</a> описаний ну дуже лаконічно, з відповідною експресією і всіма похідними, дуже раджу переглянути.</p> <p>Якщо ж говорити саме про філософію, то варто згадати про визначну фігуру в розробці першої версії CPython — <strong>Тім Пітерс. </strong></p> <p>Перша річ, якою він відомий, це гібридний алгоритм сортування під назвою <a href="https://ru.wikipedia.org/wiki/Timsort" target="_blank">Timsort</a>, що якраз і використовується як стандартний метод в Python. </p> <p>Друга річ, це The Zen of Python, прямо описана філософія в десятку влучних фраз. Ця штука доступна з інтерпретатора в якості пасхального яйця, можна переглянути з допомогою команди <code>import this</code>.</p> <figure class="m_column"> <img src="https://teletype.in/files/c1/32/c1327765-39f9-4cee-ad1f-8796b3971929.png" width="1434" /> <figcaption>The Zen of Python - вигляд з командного рядка</figcaption> </figure> <p>Українською мовою Дзен Пітону виглядає так:</p> <ul> <li>Гарне краще за потворне.</li> <li>Очевидне краще за неочевидне.</li> <li>Просте краще за складне.</li> <li>Складне краще за заплутане.</li> <li>Плоске краще за вкладене.</li> <li>Розділене є кращим за щільне.</li> <li>Легкість читання має значення.</li> <li>Особливі випадки не є настільки особливими, щоб порушувати правила.</li> <li>Хоча практичність є важливішою за бездоганність.</li> <li>Помилки ніколи не повинні бути замовчуваними.</li> <li>Хіба що замовчуваними відверто.</li> <li>Зустрівши двозначність, відкиньмо спокусу вгадати.</li> <li>Має бути один — і, бажано, тільки один — очевидний спосіб зробити це.</li> <li>Хоча спочатку він може бути й не очевидним, якщо ви не голландець.</li> <li>Зараз — краще, ніж ніколи.</li> <li>Хоча ніколи, найчастіше, — краще, ніж просто зараз.</li> <li>Якщо реалізацію важко пояснити — задум поганий.</li> <li>Якщо реалізацію легко пояснити — можливо, задум добрий.</li> <li>Простори імен — чудова річ, тож робімо їх більше!</li> </ul> <p>Якщо цікаво поринути в світ програмування на Python, можна переглянути статтю <a href="https://blog.pythonzen.ml/d7VnM2H-L" target="_blank">Як хоча б спробувати в Python за місяць</a></p> gn_python:GKAzYNKqB2020-07-12T16:16:30.122Z2020-07-12T16:16:30.122Z

<img src="https://teletype.in/files/f2/1b/f21b7ac1-a6a6-40c0-9f9b-37d058621a31.png">Стало цікаво, яким же чином можна проаналізувати вміст відео на YouTube. Раніше доводилось працювати з сервісами Google, все захищено і важко добитись хороших результатів без прямого використання їх API. Проте з будь-якої ситуації можна знайти вихід, якщо сильно захотіти.

<p>Стало цікаво, яким же чином можна проаналізувати вміст відео на YouTube. Раніше доводилось працювати з сервісами Google, все захищено і важко добитись хороших результатів без прямого використання їх API. Проте з будь-якої ситуації можна знайти вихід, якщо сильно захотіти.</p> <h2>Що ж саме зробити?</h2> <p>Зацікавили мене рекомендаційні системи та їх реалізація, не дуже круто використовувати вже готові дані по фільмах і подібних речах. Хочеться чогось живого і трендового, слова з інтерв&#x27;ю підійдуть для цієї благої місії. </p> <p>В мене є кілька основних каналів, які я періодично переглядаю, перше, що я б хотів зробити, це дістати ключові слова з текстів, провести мінімальне тематичне моделювання, спробувати прокластеризувати відео в рамках одного каналу. В подальшому перейти на рівень кількох каналів зі всім вмістом.</p> <h2>Дістаємо всі відео з каналу</h2> <p>Почну з <a href="https://www.youtube.com/c/BigMoneylive/videos" target="_blank">каналу BigMoney</a>, де Євген Черняк розпитує всіх про їхні бізнеси та підходи, з обов&#x27;язковим запитанням про їхню маржу :)<br /></p> <figure class="m_column"> <img src="https://teletype.in/files/f2/1b/f21b7ac1-a6a6-40c0-9f9b-37d058621a31.png" width="2517" /> <figcaption>Вигляд каналу Big Money.</figcaption> </figure> <p>Перше, що приходить на думку, це використання Selenium для збору даних з каналів, прості запити тут не допоможуть, а розбиратись з YouTube API взагалі не хочеться, якщо в результаті буду використовувати лише кілька запитів. Отримувати ключі, ковиряти <a href="https://developers.google.com/youtube/v3/docs/?apix=true" target="_blank">документацію</a>, займатись довгою обробкою даних, які приходять, напевно ви зрозуміли. Мені ж тільки ID відео з каналу потрібні.</p> <figure class="m_column"> <img src="https://teletype.in/files/f9/a6/f9a652ca-9ca7-4e73-8ad8-0eff008f0b39.png" width="1567" /> <figcaption>Ви тільки погляньте на розмір цього чортового JSON для YouTube Video Resource. Масштаб лінії для скролу змушує задуматись.</figcaption> </figure> <p>Нещодавно відкрив для себе пакетний менеджер під Windows, це як <code>apt-get install</code> в Linux, дуже прикольна штука під назвою <strong>Chocolatey</strong>, однозначний плюс шоколадному. Тепер можна не переживати про пошук частини пакетів, вносити їх у змінну PATH, щоб можна було з командного рядка користуватись командами. Виглядає дуже прикольно, я використав це для встановлення драйверів браузерів, що використовуються у Selenium, відповідний пакет <a href="https://chocolatey.org/packages?q=selenium" target="_blank">можна знайти за посиланням</a>.</p> <figure class="m_column"> <img src="https://teletype.in/files/c3/64/c364d4ef-731e-4b00-ae29-b696ef6f0ffe.png" width="1444" /> <figcaption>Хоп хей ла-ла-лей. Встановлює все, що потрібно і економить час, однозначно рекомендую.</figcaption> </figure> <p>Після встановлення абсолютно всіх драйверів до браузерів, можна перейти до використання Selenium. Ще трішки пошукавши рішень, я наткнувся на бібліотеку під назвою <a href="https://pypi.org/project/yt-videos-list/" target="_blank">yt-videos-list</a>, це було приємно, як я думав, там під капотом Selenium, можна вибрати необхідний драйвер і отримати всі відео з каналу.<br /><br /><code>pip install yt-videos-list</code> і я вже на крок ближче до отримання всіх необхідних даних.</p> <figure class="m_column"> <img src="https://teletype.in/files/81/3d/813dee81-a75a-4649-b6c3-39c8516c0046.png" width="1446" /> <figcaption>В кілька рядків коду отримуємо результат, його можна скопіювати з посилання вище.</figcaption> </figure> <p>Результатом виконання є кілька файлів зі списком назв та посилань на відео в форматі CSV. З цим чудово справляється Pandas, тому його ми і використаємо для роботи з цими даними. Варто зазначити, що додатково в об&#x27;єкті <code>ListCreator</code> використовуються параметри:</p> <ol> <li><code>txt</code>, <code>md</code>, <code>csv</code> — булеві, можна зберігати у файлах всіх цих форматів;</li> <li><code>headless</code> — якщо не потрібно, щоб відображався браузер в процесі отримання даних, то варто передати цей параметр зі значенням <code>True</code> .</li> </ol> <figure class="m_column"> <img src="https://teletype.in/files/37/ea/37ead232-ccdf-4680-b949-80f237abbe7b.png" width="1538" /> <figcaption>Так виглядають дані, отримані з допомогою цієї бібліотеки в форматі CSV.</figcaption> </figure> <p>Бачимо що тут є зайві поля, нам необхідно залишити лише два. Видаляємо непотрібні поля, де немає цікавих нам значень з використанням <code>pandas.DataFrame</code> , тут параметр <code>inplace=True</code> означає, що ми виконуємо кожну операцію і одразу застосовуємо результат до нашого фрейму. Немає необхідності записувати результат кожної з операцій до змінної:</p> <pre>df.drop(columns=[&quot;Watched?&quot;, &quot;Watch again later?&quot;, &quot;Notes&quot;, &quot;Video Number&quot;], inplace=True) df.rename(columns={ &quot;Video Title&quot;: &quot;title&quot;, &quot;Video URL&quot;: &quot;video_url&quot;, }, inplace=True)</pre> <p>Створимо додаткове поле, що відповідає за ідентифікатор відео:</p> <pre>df[&quot;video_id&quot;] = df.video_url.map(lambda url: urlsplit(url).query.strip(&quot;v=&quot;))</pre> <p>Цих маніпуляцій нам достатньо аби перейти до слідуючого етапу, де ми будемо витягувати тексти з отриманих відео. Там є декілька нюансів, які розглянемо в слідуючій частині.</p> gn_python:dSEDmBC0T2020-07-01T15:43:26.318Z2020-07-09T13:12:36.072Z

<img src="https://teletype.in/files/5b/d3/5bd3fe9f-63d0-4b00-a552-dd6f3c784cc3.png">Віртуалізація — це один з найкорисніших інструментів, що допомагають використовувати доступні ресурси на максимум. Використовуючи один з методів, під назвою контейнеризація та інструменту Docker робить процес підготовки до розробки швидким та простим.

<figure class="m_column"> <img src="https://teletype.in/files/5b/d3/5bd3fe9f-63d0-4b00-a552-dd6f3c784cc3.png" width="800" /> <figcaption>Docker. Кити. Контейнери.</figcaption> </figure> <p>Віртуалізація — це один з найкорисніших інструментів, що допомагають використовувати доступні ресурси на максимум. Використовуючи один з методів, під назвою контейнеризація та інструменту Docker робить процес підготовки до розробки швидким та простим.</p> <h2>Цілі</h2> <ol> <li>Навчитись скорочувати час, що потрібен для підготовки та розгортання контейнерів.</li> <li>Закінчити першу частину курсу Управління обчисленнями.</li> <li>Ознайомитись з інструментом платформою Play with Docker та базовими лабораторними роботами для розробників: створення та розгортання.</li> </ol> <h2>Завдання</h2> <ol> <li>Перечитати <a href="https://blog.pythonzen.ml/H6FyBYSPr" target="_blank">Checkpoint 02</a>, аби поновити розуміння основних концепцій, що мають відношення до Docker.</li> <li>Для закріплення матеріалу варто пройти <strong>першу частину курсу після вступу</strong>:<br /><a href="https://stepik.org/course/1612" target="_blank">Контейнеризация и Docker</a> <br /><br />Ця частина найбільш корисна у цьому курсі, всі послідуючі варто проходити лише для розширення свого світогляду, з погляду прикладного досвіду ці модулі набагато слабші.<br /><br />Виконувати завдання можна з використанням інтерактивної платформи <a href="https://labs.play-with-docker.com/" target="_blank">Play with Docker</a>.</li> <li>Після закінчення попереднього етапу є сенс перейти до інтерактивних лабораторних робіт в розділі <a href="https://training.play-with-docker.com/#dev" target="_blank">Початок роботи для розробників (Getting Started Walk-through for Developers)</a>:<br /><br />- <a href="https://training.play-with-docker.com/beginner-linux" target="_blank">Docker for Beginners - Linux<br /></a>- <a href="https://training.play-with-docker.com/microservice-orchestration" target="_blank">Application Containerization and Microservice Orchestration<br /></a>- <a href="https://training.play-with-docker.com/swarm-stack-intro" target="_blank">Deploying a Multi-Service App in Docker Swarm Mode<br /></a> <br />Тут дуже зручно вчитись працювати з терміналом Linux, <a href="https://blog.pythonzen.ml/FqBPovXjr" target="_blank">про це йшла мова в іншій статті</a>, всі поради з якої тут можна спробувати в першому ж завданні, де доступний термінал. <br />Кожен рядок в тексті, який виділений чорним кольором, можна виконати в терміналі справа одразу побачивши очікуваний результат.</li> <li>Результатом для оцінки завдання буде посилання на образ, що розміщено на Docker Hub.</li> </ol> <h2>Ресурси для використання</h2> <p>Всі потрібні матеріали зібрані за посиланням, там доступні статті, відео, корисні поради, розсилки та книги, все в одному місці і ще й на українській мові:<br /><br /><a href="https://internetdevels.ua/blog/docker-useful-links" target="_blank">Корисні посилання для розуміння призначення і роботи з Docker</a></p> <p>І дуже хороше відео по темі на YouTube зі швидкістю 1.25-1.5х саме те:<br /><br /><a href="https://youtu.be/QF4ZF857m44" target="_blank">Основы Docker. Большой практический выпуск</a></p> gn_python:tt8HJMkaf2020-06-28T17:52:38.188Z2020-07-01T09:31:31.194Z

<img src="https://teletype.in/files/19/0e/190edc9a-214d-4fc3-bed8-85a7bf4d1d6b.png">Збір даних на даний момент у 2020 році — це один з основних напрямків задач, які можна зустріти на Freelance біржах, до прикладу Upwork. Також це єдиний спосіб отримати бажані дані, якщо власники веб-сайтів не надають доступ через API для своїх користувачів. Багато веб-сайтів, таких Twitter, YouTube або Facebook, надають простий спосіб отримати доступ до своїх даних через публічний API. Отримана таким чином інформація належним чином структурована та нормалізована. Наприклад, це можуть бути формати JSON, CSV або XML.

<figure class="m_column"> <img src="https://teletype.in/files/19/0e/190edc9a-214d-4fc3-bed8-85a7bf4d1d6b.png" width="680" /> </figure> <p>Збір даних на даний момент у 2020 році — це один з основних напрямків задач, які можна зустріти на Freelance біржах, до прикладу Upwork. Також це єдиний спосіб отримати бажані дані, якщо власники веб-сайтів не надають доступ через API для своїх користувачів. Багато веб-сайтів, таких Twitter, YouTube або Facebook, надають простий спосіб отримати доступ до своїх даних через публічний API. Отримана таким чином інформація належним чином структурована та нормалізована. Наприклад, це можуть бути формати JSON, CSV або XML. <br /></p> <h2>4 способи отримати дані з будь-якого веб-сайту</h2> <h3><strong>№0 RSS</strong></h3> <p>Стояла задача отримувати дані з Upwork, там майже неможливо займатись скрапінгом та збирати дані. Можна використовувати API, проте для цього потрібно відправляти свої документи на верифікацію. </p> <p>При цьому всьому після дослідження <strong>robots.txt</strong> побачив, що є доступна можливість отримувати дані чере з <strong>RSS</strong> (<strong>Really Simple Syndication).</strong> <br /><br />З допомогою цього можна дуже просто отримувати оновлення ресурсів, збирати новини чи нові повідомлення на форумах. В Python використовувати це, можна з допомогою бібліотеки <strong>feedparser.</strong></p> <h3>№1 Офіційне API</h3> <p>В інших випадках, перш за все, ви завжди повинні перевірити, чи є офіційний API, який ви можете використовувати для отримання потрібних даних. <br /><br />Іноді офіційний API не оновлюється у відповідності до змін на ресурсі, або деякі при його використанні відсутні, до прикладу, Amazon Seller API.</p> <h3>№2 &quot;Прихований API&quot;</h3> <p>Серверна частина може генерувати дані в форматі JSON або XML, далі ці дані відправляються браузеру для відображення користувачам. Для нас, розробників, це хороша можливість скористатись інспектором в браузері, де можна дослідити вкладку XMLHttpRequest (XHR) і, можливо, знайти потрібні нам запити до API цього ресурсу.<br /></p> <blockquote><strong>Цей спосіб надасть нам можливсіть отримати дані так само, як це б зробив офіційний API, правда без детальної документації доступних методів.</strong></blockquote> <p><em>Як отримати ці дані? Давайте самостійно &quot;вполюємо&quot; кінцеву точку API!</em></p> <p>Наприклад, візьмемо <a href="https://covid-19.dataflowkit.com/" target="_blank">ресурс, де відображається статистичні дані по COVID19</a>.</p> <ol> <li>Відкрийте Chrome DevTools натиснувши Ctrl+Shift+I або F12</li> <li>Як тільки відкриється консоль, перейдіть до вкладки &quot;Network&quot;.</li> <li>Давайте використаємо фільтр XHR, щоб визначити кінцеву точку API як запит &quot;XHR&quot;, якщо він доступний.</li> <li>Варто переконатись, що кнопка &quot;recording&quot; включена, аби відображались всі запити належним чином.</li> <li>Перезавантажте сторінку.</li> <li>Натисніть зупинити &quot;recording&quot;, коли бачите, що вміст запитів, пов’язаний з даними, вже з’явився на веб-сторінці.</li> </ol> <figure class="m_column"> <img src="https://teletype.in/files/39/9c/399cd3c3-6036-4f4a-a72b-99549a7893b2.png" width="2000" /> </figure> <p>Зараз перед вами список із запитів зліва. Досліджуйте їх. Вкладка попереднього перегляду відображає масив значень для запиту під назвою &quot; <code>v1</code>&quot;.</p> <p>Натисніть на вкладку &quot;Headers&quot;, аби переглянути деталі потрібного запиту. Найбільш важливою штукою для нас є метод запиту та URL. В даному випадку для позиції &quot; <code>v1</code>&quot; URL є <a href="https://covid-19.dataflowkit.com/v1?ref=hackernoon.com" target="_blank"><code>https://covid-19.dataflowkit.com/v1</code></a>.</p> <p>Тепер, давайте просто відкриємо цей URL як іншу вкладку браузеру, щоб побачити що ж відбудеться. </p> <p><em>Круто! Це те, що ми шукали.</em></p> <p>Отже, отримання даних безпосередньо через API або використання вищеописаної техніки, це найпростіший шлях до завантаження потрібних наборів даних з веб-ресурсів. Звичайно, ці методи можуть бути не надто ефективними для деяких веб-сайтів, тому бібліотеки з web scraping функціоналом все ще необхідні.</p> <blockquote><em>Web scraping або вилучення даних з веб-сайтів - це єдиний шлях для отримання бажаних даних, якщо власники ресурсу не надають доступ до їх API</em>. Scraping є <strong>технікою вилучення даних</strong>, що може автоматизувати повторний ввід даних або копіювання з послідуючою вставкою. </blockquote> <h3>№3 Website scraping. Знай правила!</h3> <p><em>Що слід перевірити перед тим, як отримувати дані з веб-сайту?</em></p> <figure class="m_column"> <img src="https://teletype.in/files/89/f0/89f0766b-c4d9-48da-87dd-95264d7e149b.jpeg" width="2000" /> <figcaption>Photo by <a href="https://unsplash.com/@mr_sherez?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit&ref=hackernoon.com" target="_blank">Adam Sherez</a> / <a href="https://unsplash.com/?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit&ref=hackernoon.com" target="_blank">Unsplash</a></figcaption> </figure> <p><strong>☑️Robots.txt </strong>— це перше, що потрібно перевірити, перед тим як діставати будь-які дані з веб-сайту. Файл Robots.txt перераховує правила того, як ви або бот повинні взаємодіяти з цим ресурсом. Ви завжди повинні поважати та дотримуватися всіх правил, перелічених у robots.txt.</p> <p>☑️Не забудьте також переглянути <strong>Terms of use</strong> сайту. Якщо умови використання не говорять про те, що це обмежує доступ до ботів чи павуків і не забороняє швидкі запити сервера, то можна без будь-яких сумнівів вилучати дані.</p> <p>☑️ Варто також подумати про те, аби відповідати <strong>Загальному регламенту ЄС про захист даних або GDPR, </strong>потрібно спершу оцінити проект по збору даних. Якщо ж проект не збирає персональні дані, то в такому випадку GDPR не застосовується. В цьому випадку можна пропустити цей крок та переходити </p> <p>☑️Будьте уважні стосовно того чи вилучені дані не порушують <strong>авторські права</strong>, таке іноді трапляється. Якщо умови використання не накладають обмеження стосовно цього моменту, то ваш збір даних може використовуватись так довго, наскільки вам вистачить ресурсів.</p> <p>Детальніше про це можна прочитати в статті: <a href="https://medium.com/dataflow-kit/is-web-scraping-legal-or-not-f6c26074584" target="_blank">Веб-сканування законно чи ні?</a></p> <h2>Sitemaps</h2> <p>На типових веб-сайтах є файли мапи сайту, що містять список посилань, що належать до цього веб-сайту. Вони допомагають пошуковим системам простіше сканувати веб-сайти та індексувати їх. Отримати URL-адреси з веб-сайтів для сканування завжди набагато швидше, ніж послідовно збирати їх з допомогою опрацювання сторінок.</p> <h2>Відображення ресурсів, керованих з допомогою JavaScript</h2> <p>Фреймворки JavaScript, такі як Angular, React, Vue.js широко використовуються для створення сучасних веб-додатків. Коротше кажучи, типовий інтерфейс веб-додатків складається з HTML + JS-коду + CSS-стилів. Зазвичай вихідний HTML спочатку не містить усього фактичного вмісту. Під час завантаження веб-сторінки елементи HTML DOM динамічно завантажуються разом з виконанням коду JavaScript. В результаті ми отримуємо статичний HTML.</p> <p>☑️Ви можете використовувати <em>Selenium</em> для збору даних з веб-сайтів, але це не дуже гарна ідея, хоча багато навчальних посібників говорять про використання саме з цією ціллю. На домашній сторінці чітко зазначено, що Selenium &quot;для автоматизації тестування веб-додатків&quot;.</p> <p>☑️ <em>PhantomJS</em> раніше використовувався для подібних задач, це схоже на браузер без візуальної обгортки, що забирає багато ресурсів. Проте, з 2018 року розробка цього інструменту заморожена.</p> <p>☑️ Як альтернатива, <em>Scrapinghub&#x27;s Splash</em> раніше був варіантом для Python розробників перед Headless Chrome.</p> <blockquote><strong>Ваш браузер — це скрапер веб-сайтів по своїй природі. Найкращим способом на сьогодні є використання <em>Headless Chrome </em>для відображення сторінок.</strong></blockquote> <h2>Будьте розумними. Не дозволяйте їм блокувати вас.</h2> <figure class="m_column"> <img src="https://teletype.in/files/15/02/15023b2d-13b9-473d-81e5-fff6945a4821.jpeg" width="2000" /> <figcaption>Photo by <a href="https://unsplash.com/@randyfath?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit&ref=hackernoon.com" target="_blank">Randy Fath</a> / <a href="https://unsplash.com/?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit&ref=hackernoon.com" target="_blank">Unsplash</a></figcaption> </figure> <p>Деякі веб-сайти використовують техніки для протидії автоматизованим інструментам збору даних. Web scraping — це завжди гра в &quot;кота й мишки&quot;. Тому проектуючи та розробляючи ваш скрапер, візьміть до уваги наступні поради по уникненню блокувань. Або ви ризикуєте не отримати очікуваного результату.</p> <h3>Порада №1: Робіть випадкові затримки між запитами</h3> <p>Коли людина відвідує веб-сайт, швидкість доступу до різних сторінок у рази менша порівняно зі швидкістю веб-сканера. Скрапер, навпаки, може витягнути кілька сторінок одночасно за короткий час. Величезний трафік, який надходить на сайт за короткий проміжок часу, виглядає підозрілим. </p> <blockquote><strong>Ви повинні дізнатися ідеальну швидкість сканування, індивідуальну для кожного веб-сайту. Щоб імітувати поведінку користувачів людини, ви можете додавати випадкові затримки між запитами.</strong></blockquote> <p>Не створюйте надмірне навантаження на сайт. Будьте ввічливі до веб-сайту, з якого витягуєте дані, щоб ви могли продовжувати використовувати цей ресурс, не турбуючись про те, що будете заблоковані.</p> <h3>Порада №2: Заміна User-Agent</h3> <p>Коли браузер підключається до веб-сайту, він передає рядок User-Agent (UA) у заголовку HTTP. Це поле визначає браузер, номер його версії та операційну систему, яку використовує користувач.</p> <p>Типовий рядок User-Agent виглядає подібним чином: </p> <pre>Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36</pre> <ul> <li>Якщо кілька запитів на один і той же домен виконуються з використанням одного і того ж агента користувача, веб-сайт може дуже швидко вас заблокувати .</li> <li>Деякі веб-сайти блокують конкретні запити, якщо вони містять User-Agent рядок, що сильно відрізняється від загальнодоступних браузерів.</li> <li>Якщо значення &quot;user-agent&quot; пропущено, багато веб-сайтів не дозволять отримати доступ до їх вмісту.</li> </ul> <blockquote><strong>Створіть список з доступних значень для User-Agent заголовків та використовуйте їх випадковим чином. Також допоможе Python бібліотека — <a href="https://pypi.org/project/fake-useragent/" target="_blank">fake-useragent</a>.</strong></blockquote> <h3>Порада №3: ​​Заміняйте IP-адреси. Використовуйте проксі-сервери</h3> <p>Якщо ви часто надсилаєте по кілька запитів з однієї і тієї ж IP-адреси в процесі збору інформації, веб-сайт може розпізнати підозрілу поведінку і заблокувати вас.</p> <p>У найпростіших випадках достатньо використання дешевих <em>Datacenter proxies</em>. Але деякі веб-сайти мають складні алгоритми для розпізнавання ботів, тому в таких випадках приходиться використовувати дорожчі <em>residential</em> або <em>mobile</em> пороксі для збору даних.</p> <p>Наприклад, хтось у Європі хоче отримати дані з веб-сайту з обмеженим доступом лише для американських користувачів. Очевидно, що запити проводяться через проксі-сервер, розташований у США, оскільки їхній трафік, як здається для ресурсу, надходить з американської IP-адреси.</p> <h3>Порада №4: Уникайте паттернів для web scraping. Імітуйте поведінку людини</h3> <p>Люди непередбачувані під час навігації по веб-сайту. Вони роблять різні випадкові дії, як натискання на різні області сторінки та рухи миші.</p> <p>З іншого боку, скрапери використовують наперед визначені правила для збору інформації з ресурсу.</p> <p>Навчіть свій скрепер наслідувати поведінку людини. Таким чином, алгоритми виявлення ботів на веб-сайті не мають жодних причин заважати вам виконувати автоматизовані завдання по збору даних.</p> <h3>Порада №5: Слідкуйте за засобами проти web scraping</h3> <p>Одним з найбільш часто використовуваних інструментів для виявлення спроб злому або веб-сканування є <em>&quot;honey pot&quot;</em> (горщик з медом). Такі речі не видимі для людського ока, але доступні для ботів та скраперів. Одразу після того, як скрапер натисне на невидиме посилання, сайт блокує його доволі просто.</p> <p>Дізнайтеся, чи встановлено властивість CSS &quot;<code>display: none</code>&quot; або &quot;<code>visibility: hidden</code>&quot; та просто обходьте такі посилання. В іншому випадку, ресурс легко зрозуміє, що має справу не з людиною.</p> <h3>Порада № 6: Розв’яжіть CAPTCHA</h3> <p>Під час сканування веб-сайту у великих об&#x27;ємах є ймовірність бути заблокованими веб-сайтом. В такі моменти вам починає відображатись <em>CAPTCHA </em>замість веб-сторінок. </p> <p><strong>CAPTCHA </strong>- це тест, який використовується веб-сайтами для боротьби з ботами та сканерами, просячи відвідувачів веб-сайту довести, що вони люди, перш ніж продовжувати роботу з ресурсом.</p> <p>Багато веб-сайтів використовують reCAPTCHA від Google. Остання версія v3 reCAPTCHA аналізує поведінку людини і вимагає від них поставити галочку &quot;<code>I&#x27;m not a robot</code>&quot;.</p> <p>Сервіси для вирішення CAPTCHA використовують два способи:</p> <p>☑️ <strong>Human-based CAPTCHA Solving Services</strong></p> <p>Коли ви відправляєте свою CAPTCHA для вирішення до такого сервісу, її обробляють люди та повертають назад до вас.</p> <p>☑️ <strong>OCR (Optical Character Recognition) Solutions</strong></p> <p>В цому випадку використовуються методи машинного навчання для розпізнавання символів на зображенні, такі сервіси виконують обробку автоматично.</p> <h2>Використання візуальних селекторів</h2> <figure class="m_column"> <img src="https://teletype.in/files/eb/0f/eb0f5f26-b9bb-49e7-9d29-8d603a0e0763.png" width="1581" /> </figure> <p>Before starting of data extraction, let&#x27;s specify patterns of data. Look at the sample screenshot taken from web store selling smartphones. We want to scrape the Image, Title of an item, and its Price.<em>Google chrome inspect tool</em> does a great job of investigating the DOM structure of HTML web pages.</p> <p>Перш ніж розпочати вилучення даних, давайте визначимо структуру даних чи шаблон того результату, який ми отримуємо. Подивіться на зразок, зроблений із веб-магазину, що продає смартфони. Ми хочемо отримати зображення, назву предмета та його ціну. </p> <p><em>Google chrome inspect tool</em> дозволяє зручно проводити вивчення структури DOM для веб-сторінок.</p> <figure class="m_original"> <img src="https://teletype.in/files/32/cc/32ccbcd9-1567-4e73-b6b9-214cbacbf9d5.png" width="26" /> <figcaption><em><strong>Inspect icon</strong></em></figcaption> </figure> <p><em>Клікніть на піктограму <strong>Inspect </strong></em>в лівому верхньому кутку інструменту<em> DevTools.</em></p> <figure class="m_column"> <img src="https://teletype.in/files/7e/13/7e1341b4-ca7a-4ec0-93c6-f9477932a4be.png" width="2000" /> <figcaption><em>Chrome Inspector tool</em></figcaption> </figure> <p>За допомогою інструмента Chrome Inspect ви можете легко знайти та скопіювати <a href="https://medium.com/dataflow-kit/css-selectors-vs-xpath-f368b431c9dc?source=friends_link&sk=ac6efc5d55cd648fa3c9488f8e09d4db&ref=hackernoon.com" target="_blank">CSS Selector or XPath</a> для обраного DOM на цій сторінці.</p> <p>Usually, when scraping a web page, you have more than one similar block of data to extract. Often you crawl several pages during one scraping session.</p> <p>Зазвичай під час збору даних з веб-сторінки ви маєте більше ніж один аналогічний блок даних. Сучасні онлайн-скрапери в більшості випадків пропонують зручніший спосіб задати шаблони (CSS Selectors або XPath) для збору даних, встановити правила розбиття сторінок і правила для обробки деталей тої чи іншої сторінки на своєму шляху.</p> <p>Можете переглянути <a href="https://youtu.be/SKBkclf1FxA" target="_blank">дане відео</a> для того, щоб з&#x27;ясувати як це працює.</p> <h2>Оберіть стратегію для збереження даних</h2> <p>Найбільш відомі прості формати даних для зберігання структурованих даних на сьогоднішній день включають CSV, Excel, JSON (Lines). Зібрані дані можуть бути відформатовані відразу після розбору веб-сторінки. Ці формати підходять для зберігання даних як малогабаритних сховищ.</p> <p>Сканувати кілька сторінок може бути простою задачею, але мільйони сторінок вимагають інших підходів.</p> <p><em>Як просканувати кілька мільйонів сторінок і витягти десятки мільйонів записів?</em></p> <p><em>Що робити, якщо розмір вихідних даних коливається від середніх до великих?</em></p> <h3>Визначіть правильний формат для вихідних даних</h3> <figure class="m_column"> <img src="https://teletype.in/files/29/a6/29a66c30-300a-4e3b-a10d-a4cd4ad288b7.jpeg" width="2000" /> <figcaption>Photo by <a href="https://unsplash.com/@ripato?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit&ref=hackernoon.com" target="_blank">Ricardo Gomez Angel</a> / <a href="https://unsplash.com/?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit&ref=hackernoon.com" target="_blank">Unsplash</a></figcaption> </figure> <h3>Формат №1. Формат значень, розділених комами (CSV)</h3> <p>CSV — це найпростіший формат обміну даними, що є дуже простим для розуміння людиною. Кожен рядок файлу це один запис. Кожен запис складається з даних по відповідних однакових полях, розділених комами. Поля зазвичай визначені у першому рядку.</p> <p>Тут список сімей відображених у вигляді CSV:</p> <figure class="m_column"> <img src="https://teletype.in/files/42/ec/42ecbc97-3dc5-464e-8c77-d16a248749f9.png" width="1784" /> </figure> <p>CSV обмежений для зберігання двовимірних нетипізованих даних. В цьому форматі складно реалізовувати вкладені структури даних.</p> <h3>Формат №2. JSON</h3> <figure class="m_column"> <img src="https://teletype.in/files/ed/83/ed838328-df65-4624-b662-d31c7d0fc1f0.png" width="1800" /> </figure> <p>Створення складних вкладених структур у файлах JSON є доволі простою задачею.<br /><br />В даний час <strong>JavaScript Object Notation (JSON) </strong>стала фактичним стандартом формату обміну даними, замінюючи XML у більшості випадків.</p> <blockquote><em>Один з наших проектів складається з 3 мільйонів розібраних сторінок. В результаті розмір кінцевого JSON становить понад 700 Мб.</em></blockquote> <p>Проблема виникає, коли вам доведеться мати справу з такими розмірами JSON. Щоб вставити або прочитати запис з масиву JSON, потрібно щоразу аналізувати весь файл, що далеко не ідеально.</p> <h3>Формат №3. JSON Lines</h3> <p>Давайте розглянемо, що таке формат <strong>JSON Lines</strong> та як він порівнюється з традиційним JSON. В індустрії доволі часто використовується саме цей формат, <em>Logstash</em> та <em>Docker</em> зберігають логи в форматі <strong>JSON Lines.</strong></p> <p>Той самий список сімей виражений у форматі <strong>JSON Lines </strong>виглядає так:</p> <pre>{&quot;id&quot;:1,&quot;father&quot;:&quot;Mark&quot;,&quot;mother&quot;:&quot;Charlotte&quot;,&quot;children&quot;:[&quot;Tom&quot;]} {&quot;id&quot;:2,&quot;father&quot;:&quot;John&quot;,&quot;mother&quot;:&quot;Ann&quot;,&quot;children&quot;:[&quot;Jessika&quot;,&quot;Antony&quot;,&quot;Jack&quot;]} {&quot;id&quot;:3,&quot;father&quot;:&quot;Bob&quot;,&quot;mother&quot;:&quot;Monika&quot;,&quot;children&quot;:[&quot;Jerry&quot;,&quot;Karol&quot;]}</pre> <p><strong>JSON Lines</strong> складається з декількох рядків розділених символом нового рядка <code>\n</code>, у яких кожен рядок є типовим об&#x27;єктом JSON. Наприклад, це дозволяє розділити файл, що займає 10GB, на менші файли і використовувати їх по мірі необхідності.</p> <p>Переклад статті: <a href="https://hackernoon.com/the-a-z-of-web-scraping-in-2020-a-how-to-guide-sg263y8d" target="_blank">The A-Z of Web Scraping in 2020 [A How-To Guide]</a></p> gn_python:d7VnM2H-L2020-06-26T15:56:17.383Z2020-06-26T16:57:39.848Z

<img src="https://teletype.in/files/39/69/39694e42-1cf8-4584-b106-1d87d298da89.png">Зі всіх усюд майорять статті про те, як почати займатись Data Science, ви вже втомились обирати з цього різноманіття? Освоїти Python за короткий термін і, можливо, змінити свою кар'єру на щось інше?

<h2>Вступ</h2> <p>Зі всіх усюд майорять статті про те, як почати займатись Data Science, ви вже втомились обирати з цього різноманіття?<br /><br />Освоїти Python за короткий термін і, можливо, змінити свою кар&#x27;єру на щось інше?</p> <p>В цій статті один з шляхів, яким можна піти, аби познайомитись з наукою про дані та спробувати себе в Python за місяць, все залежить від кількості сил вкладених в це. Тут будуть доступні щотижневі розклади та теми, які слід розглянути, щоб на базовому рівні опанувати Python.<br /><br />Перш ніж перейти безпосередньо до Python, давайте зрозуміємо про використання Python в науці про дані чи Data Science.</p> <h2>Data Science Pipeline</h2> <p>Наука про дані — це багатопрофільна суміш гіпотез і висновків на основі даних, розробки алгоритмів та технологій для вирішення аналітично складних проблем. Цей напрямок пропонує рішення проблем у реальному світі за допомогою наявних даних. Проте аналіз даних — це покроковий процес. Це група з декількох методик, які використовуються для досягнення відповідного рішення проблеми. Крім того, досліднику, можливо, знадобиться пройти певну кількість етапів, щоб дійти до бачення проблеми, яке може відрізнятись від початкового через збільшення кількості доступної інформації.<br /><br />Давайте розглянемо як це виглядає на різних етапах.</p> <figure class="m_original"> <img src="https://teletype.in/files/39/69/39694e42-1cf8-4584-b106-1d87d298da89.png" width="396" /> <figcaption>Узагальнений вигляд для Data Science Pipeline</figcaption> </figure> <p><strong>1. Problem Definition | Визначення проблеми</strong></p> <p>Всупереч поширеній думці, найважча частина наукових даних — це не побудова точної моделі чи отримання хороших, чистих даних. Набагато складніше визначити можливі проблеми та придумати правильні способи для оцінки їх вирішення. Визначення проблеми спрямоване на глибоке розуміння предметної області. Кілька мозкових штурмів дуже допоможуть в тому, щоб правильно визначити проблему через вашу кінцеву мету, залежно від того, яку проблему ви намагаєтесь вирішити. Отже, якщо ви помилитесь під час саме цієї фази, ви отримаєте рішення проблеми, яка спочатку навіть не існувала.<br /><br /><strong>2. Hypothesis Testing | Перевірка гіпотез</strong></p> <p>Цей етап покладається повністю на статистику, під час якого аналітик перевіряє припущення щодо <strong><a href="https://uk.wikipedia.org/wiki/%25D0%25A1%25D1%2582%25D0%25B0%25D1%2582%25D0%25B8%25D1%2581%25D1%2582%25D0%25B8%25D1%2587%25D0%25BD%25D0%25B8%25D0%25B9_%25D0%25BF%25D0%25B0%25D1%2580%25D0%25B0%25D0%25BC%25D0%25B5%25D1%2582%25D1%2580" target="_blank">параметру генеральної сукупності</a></strong>. Простими словами, ми формуємо деякі припущення на етапі визначення проблеми, а потім затверджуємо ці припущення статистично, використовуючи дані. Цей етап дає можливість знайти параметри, що дають можливість побудувати на подальших кроках вірну модель для нашої вибірки.</p> <p><strong>3. Data collection and processing | Збір</strong> <strong>та обробка даних</strong></p> <p>Збір даних — це процес збору та оцінки інформації про цікаві параметри у встановленому систематизованому порялдку, який дає змогу відповідати на визначені дослідницькі запитання, перевіряти гіпотези та оцінювати результати. Більше того, цей етап у дослідженнях є загальним для всіх галузей, включаючи фізичні та соціальні науки, гуманітарні науки, бізнес тощо. Хоча методи відрізняються від дисципліни до дисципліни, акцент на забезпеченні точного та чесного збору даних залишається однаковим. Крім того, обробка даних — це більше про низку дій чи етапів, що виконуються над даними для перевірки, організації, перетворення, інтеграції та вилучення даних у відповідній вихідній формі для подальшого використання. Методи обробки повинні бути суворо задокументовані, щоб забезпечити корисність та цілісність даних.</p> <p><strong>4. EDA and feature Engineering |</strong> <strong>Дослідницький аналіз даних та побудова ознак</strong></p> <p>Після отримання чистих та трансформованих даних наступним кроком для проектів машинного навчання є ознайомлення з даними, використовуючи дослідницький аналіз даних (EDA). EDA стосується числових підсумків, графіків, агрегацій, розподілів, щільності, огляду всіх рівнів факторних змінних та застосування загальних статистичних методів. Чітке розуміння даних дає основу для вибору моделі, тобто вибору правильного алгоритму машинного навчання для вирішення вашої проблеми. Також побудова ознак - це процес визначення тих змінних прогнози яких сприятимуть найбільшою мірою передбачувальній здатності алгоритму машинного навчання. Здебільшого це мистецтво, аніж наука. Дуже добре в процесі цього етапу мати спеціаліста у предметній області, проте підключити свою уяву теж не завадить.</p> <p><strong>5. Modelling and Prediction | Моделювання та передбачення</strong></p> <p>Машинне навчання можна використовувати для прогнозування майбутнього. Ви забезпечуєте для моделі колекцію навчальних даних, навчаєте модель на них, а потім застосовуєте модель до нових даних, аби створювати прогнози. Моделювання прогнозів корисно для стартапів, оскільки ви можете виготовляти продукти, які адаптуються на основі очікуваної поведінки користувача. Наприклад, якщо глядач послідовно дивиться одне і те саме джерело контенту на потоковому сервісі, візьмемо канал на YouTube, то програма може завантажувати цей канал при запуску і давати вам його в рекомендаціях.</p> <p><strong>6. Data Visualisation | Візуалізація даних</strong></p> <p>Цей етап має в основі процес відображення даних/інформації у графіках чи фігурах. ВІн використовується для надання візуальної звітності користувачам щодо продуктивності, операцій або загальної статистики даних та успішності прогнозування моделі.</p> <p><strong>7.</strong> <strong>Insight generation and implementation | Генерація та впровадження інсайтів</strong></p> <p>Інтерпретація даних більше схожа на донесення ваших висновків зацікавленим сторонам. Якщо ви не можете пояснити свої висновки комусь, повірте мені, все, що ви зробили, не приносить користі. Отже, цей крок стає дуже важливим. Крім того, метою цього кроку є визначення інсайтів для бізнесу, після чого їх потрібно співвіднести з отриманими даними. Також, вам може знадобитись залучення експертів у предметній області, які допоможуть вам сформувати цілісне бачення того, що буде корисно для бізнесу. Ще з іншого боку, це допоможе у доведенні фактів до аудиторії, що не має відношення до технологій.</p> <h2>Використання Python на різних етапах </h2> <p>Ознайомившись з різними етапами в алгоритмі рішень Data Science задач, ми можемо перейти до визначення методів, які пропонує Python на кожному з цих етапів. На цьому кроці ми маємо можливість краще зрозуміти про зв&#x27;язок цієї мови програмування та науки про дані.</p> <p>Для початку, перший та останній етапи не потребують використання жодної мови програмування як такої. Обидва етапи більше базуються на дослідженнях та <a href="https://4brain.ru/decision/" target="_blank">прийнятті рішень</a>, а не на реалізації з допомогою коду.</p> <p><strong>1. Python при</strong> <strong>зборі даних</strong></p> <p>У процесі розробки багатьох проектів, які мають відношення до науки про дані, потрібно зібрати (scraping) інформацію з веб-ресурсів для отримання даних з якими ви будете працювати. Мова програмування Python знайшла широке застосування у цій області, а тому має велику екосистему модулів та інструментів, які можна використовувати в рамках цього процесу.</p> <p><strong>2. Python при</strong> <strong>перевірці гіпотез</strong></p> <p>Перевірка гіпотез вимагає багато статистичних знань та вмінь їх використовувати. У Python є бібліотеки, які можуть допомогти користувачам легко виконувати статистичні тести та обчислення. Використання таких бібліотек, як <a href="https://www.scipy.org/" target="_blank">SciPy</a>, може полегшити процес автоматизації завдань для перевірки гіпотез.</p> <p> <strong>3. Python при EDA</strong></p> <p>Для виконання базового аналізу доступно кілька бібліотек. Для EDA можна використовувати <a href="https://pandas.pydata.org/" target="_blank">pandas</a> та <a href="https://matplotlib.org/" target="_blank">matplotlib</a>, для обробки даних та побудови графіків відповідно. <a href="https://jupyter.org/" target="_blank">Jupyter Lab</a> для написання коду та інших корисних штук. <a href="https://jupyter.org/" target="_blank">Jupyter Lab</a> — це свого роду щоденник для аналізу даних та науковців, веб-платформа, де ви можете змішати Python, HTML та Markdown, щоб пояснити свої кроки при дослідженні даних.</p> <p><strong>4. Python при</strong> <strong>візуалізації</strong></p> <p>Однією з ключових навичок науковця є вміння розповідати переконливу історію своїх досліджень. Він повинен візуалізувати дані та знахідки у доступний та стимулюючий спосіб. Також вивчення бібліотеки для візуалізації даних дасть змогу отримувати додаткову інформацію, розуміти дані та приймати ефективні рішення. Крім того, існують такі бібліотеки, як <a href="https://matplotlib.org/" target="_blank">matplotlib</a>, <a href="https://seaborn.pydata.org/" target="_blank">seaborn</a>, що дозволяють створювати досить непогані візуалізації, при цьому вивчення методів роботи з цими інструментами не займає багато часу.</p> <p><strong>5. Python при</strong> <strong>моделюванні та передбаченні</strong></p> <p>Python може похвалитись бібліотеками на зразок <a href="https://scikit-learn.org/" target="_blank">scikit-learn</a>, бібліотекою з відкритим вихідним кодом в якій реалізовано алгоритми машинного навчання, попередньої обробки, перехресної перевірки та візуалізації за допомогою уніфікованого інтерфейсу. Такі бібліотеки абстрагуються від математичної реалізації моделі. Отже, розробники можуть зосередетись на побудові надійних моделей, а не на розумінні складної математичної реалізації. Якщо ви новачок у машинному навчанні, тоді ви можете перейти <a href="https://habr.com/ru/company/ods/blog/344044/" target="_blank">за цим посиланням</a> аби дізнатись більше.</p> <h2>Хронологія вивчення</h2> <p>У цьому розділі ми розглянемо тижневий розподіл тем для знайомства з Python. Це допоможе вам організувати ваш графік роботи та дозволить мати спеціальну дорожню карту на місяць.</p> <blockquote><strong>Одразу варто зазначити, що ви не станете хорошим спеціалістом чи тим більше експертом в цій області, за цей час. Але ви можете дати поштовх в розвитку в цьому напрямку.</strong></blockquote> <figure class="m_column"> <img src="https://teletype.in/files/28/6d/286dba07-e880-403a-9e84-9435e776bba3.png" width="638" /> </figure> <h3>Тиждень 1</h3> <ol> <li><strong>Основи Python<br /></strong>Варто почати з вивчення того, що таке змінні, які є конструкції управління потоком виконання. Опанувати базові операції та функції. Дізнатись з якими базовими типами даних поставляється стандартна бібліотека Python.</li> <li><strong>Поглиблений Python<br /></strong>Одразу після того, як будуть освоєні базові концепції, ви можете сконцентруватись на таких речах як: багатопотоковість, класи, об&#x27;єкти, регулярні вирази, робота з мережею тощо. Багато з цього може не знадобитись кожного дня, проте з цим варто бути знайомим.</li> </ol> <p>Курси та матеріали, що допоможуть з вивченням, вони покривають обидва кроки з цього тижню, обирати лише вам, які з них використовувати:</p> <p><br /><a href="https://www.coursera.org/learn/diving-in-python" target="_blank">Coursera: Занурення в Python</a></p> <p><a href="https://stepik.org/course/67" target="_blank">Stepik: Програмування на Python</a> та <a href="https://stepik.org/course/512" target="_blank">Stepik: Python. основи та застосування</a></p> <p><a href="https://www.tutorialspoint.com/python/" target="_blank">TutorialsPoint: Python Tutorial</a></p> <p></p> <h3>Тиждень 2</h3> <ol> <li><strong>Web scraping в Python<br /></strong>Мається на увазі збір даних з веб-сайтів за допомогою коду, це є найбільш логічним та легкодоступним джерелом даних для подальшої обробки. Автоматизація цього процесу за допомогою Python дозволяє уникнути ручного збору даних, економить час, а також дозволяє мати всі дані в потрібній структурі. Ви можете почати знайомство з таких бібліотек, як <a href="https://www.crummy.com/software/BeautifulSoup/bs4/doc/" target="_blank">BeatifulSoup </a>та <a href="https://scrapy.org/" target="_blank">Scrapy</a>.</li> <li><strong>Pandas, numPy та SciPy в Python<br /></strong>В Python є прекрасний набір бібліотек, який покриває більшість задач по управлінню даними. Pandas дозволяє отримати доступ до даних у вигляді Data Frame, своєрідна таблична форма, яка дозволяє дуже просто проводити будь-які потрібні маніпуляції. Це у великій мірі спрощує роботу зі складними структурами та виконанням чисельних операцій над ними, будь то очищення даних, узагальнення даних тощо. NumPy в свою чергу забезпечує повним спектром чисельних методів та складних математичних структур. Багато методів з цієї бібліотеки є де-факто стандартом інтерфейсу по взаємодії з числовими даними в різних бібліотеках. Відповідно для виконання складних наукових та важких математичних обчислень існує бібліотека SciPy. Ці бібліотеки знайдуть застосування не лише при роботі в області науки про дані.</li> </ol> <p></p> <h3>Тиждень 3</h3> <p>Третій тиждень — це про розуміння можливостей машинного навчання при використанні Python.</p> <ol> <li><strong>Бібліотека Scikit-learn<br /></strong>Ця бібліотека найбільш поширений вибір для вирішення задач класичного машинного навчання, її інтерфейс послугував для багатьох інших бібліотек. Обов&#x27;язково вкладіть свій час у вивчення методів цієї бібліотеки, вона забезпечує єдиний спосіб використання різних моделей.</li> <li><strong>Бібліотека Keras<br /></strong>Ця бібліотека призначена для спрощення процесу створення моделей глибокого навчання (deep learning). Вона підтримує широкий спектр шарів нейронних мереж, таких як згорткові шари, рекурентні або щільні. Вам потрібно думати лише над використанням тої чи іншої архітектури, замість складної математичної реалізації. Також можна подивитись в сторону PyTorch, що на даний час є доволі популярним.<br /></li> </ol> <h3>Тиждень 4</h3> <p>Четвертий тиждень — це більше про можливості візуалізації та узагальнення всіх попередніх знань у формі проекту.<br /></p> <ol> <li><strong>Matplotlib в Python<br /></strong>Ця бібліотека для побудови 2D графіків, що легко можна поширювати від однієї платформи до іншої, її можна використовувати як в скриптах, в Python та IPython консолях, ноутбуках Jupyter, серверних додатках та в різноманітних графічних інтерфейсах, як приклад tkinter. Matplotlib дає можливість трішки спростити багато речей, які приходилось би писати вручну.</li> <li><strong>Проект<br /></strong>Освоївши всі вищезгадані інструменти, настав час застосувати ці всі знання разом у вигляді проекту. Проект допоможе вам отримати бачення того, яким чином застосовуються ті чи інші бібліотеки, знайти нові запитання, на які прийдеться шукати відповіді, а також отримати загальну картину побудови Data Science Pipeline.</li> </ol> <h3>Зразок проекту, яким слід закріпити знання</h3> <p>Ви можете обрати будь-який проект, який вам подобається. Якщо ж ви заплутались і не знаєте, що за проект реалізувати, ви можете взяти <a href="https://www.kaggle.com/c/titanic" target="_blank">проблему &quot;Titanic&quot;</a>, що є своєрідним Hello, World! у сфері Data Science.<br /><br />Я не розкажу вам, як це вирішити, але я можу дати вам кілька порад для початку проекту:</p> <ol> <li>Не будьте в погоні за рахунком вашої моделі на Kaggle. Мета полягає в тому, аби завершити проект, а не намагатись розробити хорошу модель;</li> <li>Робіть більше обробки даних та EDA замість того, щоб проектувати складну модель;</li> <li>Зосередьтеся на обробці даних з допомогою вивчених бібліотек (Pandas, NumPy, Matplotlib).</li> </ol> <h2><strong>Висновок</strong></h2> <p>Python - надзвичайно універсальна мова програмування. Окрім Data Science, ви можете використовувати її для створення веб-додатків, різноманітних інструментів автоматизації і навіть автономних безпілотників. Величезний відсоток програмістів у світі використовує Python, і це не дарма. Крім того, я думаю, що кожен може досягти високого рівня володіння ним, якщо знайде правильну мотивацію. Натхнення у навчанні!<br /><br />Переклад статті <a href="https://www.datasciencecentral.com/m/profile?screenName=0e4bp3tl2rvxx" target="_blank">Divya Singh</a>: <a href="https://www.datasciencecentral.com/m/blogpost?id=6448529:BlogPost:792505" target="_blank">How to Learn Python in 30 days</a></p> gn_python:FqBPovXjr2020-06-25T14:24:17.637Z2020-06-25T14:24:17.637Z

<img src="https://teletype.in/files/d0/b9/d0b92fed-8981-4b10-a9d3-6ce5d03f265e.jpeg">Ви коли-небудь зустрічали людину, яка володіла якимись невідомими здібностями і виконував команди в UNIX терміналі зі швидкістю світла?

<figure class="m_column"> <img src="https://teletype.in/files/d0/b9/d0b92fed-8981-4b10-a9d3-6ce5d03f265e.jpeg" width="1152" /> <figcaption>Bash tricks by Julia Evans</figcaption> </figure> <p>Ви коли-небудь зустрічали людину, яка володіла якимись невідомими здібностями і виконував команди в UNIX терміналі зі швидкістю світла?</p> <blockquote></blockquote> <blockquote>Так, я декілька разів зустрічався з такими людьми і це надихнуло мене на те, щоб вчитись у них.</blockquote> <p>В цій статті або туторіалі, або називайте як забажаєте, я поділюсь з вами деякими командами для швидкої та продуктивної роботи в UNIX чи Linux терміналі.</p> <p>Я працюю в сфері фінансових послуг і моя робота заключається в розробці та підтримці додатків для торгівлі акціями та фьючерсами на ринку електронних торгів, деривативів, валютних, товарних та інших класів активів.</p> <p>Всі наші сервіси розташовані на серверах під управлінням Linux, саме тому для нас дуже важдиво, щоб людина могла швидко та ефективно працювати з терміналом Linux. За роки роботи в моїй голові сформувались поради для підвищення продуктивності в Linux. І зараз я збираюсь поділитись цим з вами.</p> <h1>9 порад для підвищення продуктивності в Linux</h1> <p>Якщо ваш сервер під управлінням Linux системи, а ваша щоденна робота включає в себе постійний пошук підходящої команди — дані поради допоможуть заощадити немало часу.</p> <h2>1) Використовуйте ! для швидкого виконання довгої команди</h2> <p>В среднем, эта команда сэкономила мне 30% рабочего времени, так как постоянно приходится выполнять одну и ту же UNIX команду по несколько раз.</p> <p>В середньому, ця команда заощадила мені 30% робочого часу, так як постійно приходиться виконувати одну і ту ж UNIX команду декілька разів.</p> <p>Перш ніж я дізнався про цю команду, я використовував стрілки вверх і вниз для роботи з історією команд. Натискаючи стрілку вверх я шукав потрібну мені команду із запропонованого списку, а потім її виконував. Погодьтесь, не дуже зручно. Але з ! достатньо відкрити історію з допомогою команди <code><em>history</em></code> , вибрати номер рядка з потрібною командою та виконати її. Скажемо, під номером 100 знаходиться команда <code><em>sudo apt-get update</em></code> . Для того, щоб не вводити цілу команду, достатньо написати <code><em>!100</em></code> .</p> <blockquote>Не забувайте про цю пораду, так як вона, заощадити массу часу. Крім того, ця команда виявиться дуже корисною для командної обгортки, яка відрізняється від bash (схоже на <code>csh</code>або<code>ksh</code> ), де стрілки вверх та вниз не дозволяють працювати з історією команд.</blockquote> <figure class="m_column"> <img src="https://teletype.in/files/db/31/db312317-dbf6-4914-a389-77b88a6b7284.png" width="1280" /> </figure> <h2>2) Використовуйте !! для виконання останньої команди</h2> <p>Це розширена версія попередньої команди, що дозволяє виконати найостаннішу команду з тих, які ви вже виконували. Оскільки дана команда заключається в подвійному натисканні одної і тої ж клавіші — з роботи ви точно почнете йди раніше за інших.</p> <blockquote>Також вона буде працювати на обгортках, в яких не працює стрілка вверх чи вниз, таких як <code><em>csh</em></code> и <em><code>ksh</code>.</em></blockquote> <figure class="m_column"> <img src="https://teletype.in/files/fd/41/fd41f401-72a2-4642-ac75-6121b36ec83d.jpeg" width="750" /> </figure> <h2>3) Використовуйте “CTRL+R” для пошуку та виконання підходящої команди</h2> <p>Якщо ви пам&#x27;ятаєте половину або чверть назви команди, яку хочете знайти — введіть <code>“CRTL+R”</code> і вона відобразить останню виконану команду, назва якої співпадає із заданою. Якщо ви продовжите натискати <code>“CRTL+R”</code>, вам будуть видаватись старіші команди, що підходять до шуканого рядка, якщо вони є в наявності.</p> <p>Вищезгадана трійка порад заощадити вам купу часу та нервів, якщо діло стосується виконання команд, які постійно повторюються.<br /><br />Особисто я зекономив майже 50-60% робочого часу, просто слідуючи цим порадам.</p> <h2>4) Используйте историю команд</h2> <p>Це найперша порада, яку я сформував для себе, коли почав працювати з UNIX.</p> <blockquote>Кожен день я виконую сотні команд і, цілком природно, що я не можу запам&#x27;ятати кожну. Для пошуку підходящої потрібно виконати команду <code><em>history | grep ключові слова</em></code> і ви отримаєте всі команди, що містять ключові слова.</blockquote> <blockquote>Використовуйте змінну HISTSIZE, щоб встановити кількість команд, які необхідно зберігати в списку історії (стандартне значення — 500).</blockquote> <h2>5) Використовуйте grep та find</h2> <p>Команда grep використовується для пошуку тексту в файлах і директоріях, на основі шаблонів. Команда find використовується для пошуку файлів по імені та іншим властивостям.</p> <blockquote>Наприклад, з допомогою <em>find</em> можна знайти всі файли починаючи з поточної директорії, назва яких починається, наприклад, на<strong> coolarticle</strong>: <em><code>find . -name ’coolarticle*&#x27;</code>. А </em>з допомогою <em>grep</em> можна знайти <strong>coolarticle</strong> в файлі file.txt, з виводом рядка який повністю співпадає: <em><code>grep coolarticle file.txt</code>.</em></blockquote> <figure class="m_column"> <img src="https://teletype.in/files/bc/06/bc0674bd-7e14-400a-a686-7011dd7e6703.png" width="1225" /> </figure> <h2>6) Використовуйте alias</h2> <p>Команда alias запускає будь-яку команду або групу команд, в тому числі з опціями, параметрами і файлами, за допомогою введення одного слова або символу. Тобто ви створюєте простіші, короткі версії звичайних команд, привласнюючи їм нові назви.</p> <blockquote>Наприклад, для того щоб не вводити цілком команду <code>clear</code>напишемо <code>alias c=&quot;clear&quot;</code> і добавимо в кінці ~/.bashrc, щоб даний alias був завжи доступний. Тепер, при вводі всього лише одної букви <em><code>c</code>, буде очищатись весь термінал.</em></blockquote> <h2>7) Використовуйте pushd, popd, cd -, ~ для переміщення по каталогу</h2> <p>Основуючись на власному досвіді, можу сказати, що преміщення по оболонці UNIX займає 50% робочого часу, а якщо ви збираєтесь прописувати шлях до каталогу — можете зовсім забути про швидку роботу.</p> <blockquote>Загалом, замість того, щоб вводити повне ім&#x27;я команди, використовуйте вищенаведені поради і ефективно використовуйте команди <em>pushd, popd, cd- і cd ~</em> для швидкого переходу між каталогами.</blockquote> <h2>8) Мінімізуйте кількість натискань клавіш та збільште швидкість друку</h2> <p>Чим менше ви друкуєте, тим швидше ви працюєте. </p> <p>Якщо ви введете перші кілька букв імені файлу, команди або шляху, а потім натиснете клавішу Tab — відбудеться автозаповнення командного рядка.</p> <h2>9) Продовжуйте вивчати нові команди</h2> <p>Намагайтеся дізнатися якомога більше команд - це допоможе скоротити час для виконання самих різних завдань. І не забувайте використовувати ctrl + z, fg і bg, щоб призупинити процес.</p> <blockquote><code>Ctrl+Z</code> призупиняє процес, для відновлення виконання процесу на передньому плані можна використовувати команду <code><em>fg</em></code>, команда <code><em>bg</em></code>запускает процес у фоновому режим.</blockquote> <p>Надіюсь, що ці поради допоможуть вам зробити більше за меншу кількість часу, збільшать вашу продуктивність та збагатять ваш досвід роботи з UNIX.</p> <figure class="m_column"> <img src="https://teletype.in/files/0b/0c/0b0cf4ba-6fbd-4def-9ff7-660b38aed9c2.jpeg" width="640" /> </figure> <h1>Висновок</h1> <p>Може здатися, що немає сенсу вивчати ці команди, але ви будете приємно здивовані, побачивши скільки часу можна заощадити, просто застосувавши мої поради на практиці. </p> <p>Перевод статьи <a href="https://hackernoon.com/@javinpaul?source=post_header_lockup" target="_blank">javinpaul</a>: <a href="https://hackernoon.com/10-basic-tips-on-working-fast-in-unix-or-linux-terminal-5746ae42d277" target="_blank">10 Basic Tips on Working Fast in UNIX or Linux Terminal</a></p> gn_python:H6FyBYSPr2020-06-23T16:05:32.769Z2020-06-24T14:28:53.307Z

<img src="https://teletype.in/files/9b/54/9b549c77-6c26-4ed6-8845-3201a57c4257.png">Зараз багато речей йдуть пліч-о-пліч з інструментами, які допомагають розвернути функціонал того чи іншого репозиторія на будь-якій платформі.

<figure class="m_column"> <img src="https://teletype.in/files/9b/54/9b549c77-6c26-4ed6-8845-3201a57c4257.png" width="1024" /> </figure> <h2>Цілі</h2> <ol> <li>Зрозуміти концепції віртуальних машин та контейнерів.</li> <li>Ознайомитись з інструментом Docker.</li> </ol> <h2>Основні терміни</h2> <p>Зараз багато речей йдуть пліч-о-пліч з інструментами, які допомагають розвернути функціонал того чи іншого репозиторія на будь-якій платформі.</p> <p>Раніше величезною популярністю користувались <strong>віртуальні машини</strong>, я використовував VirtualBox для того, щоб запускати різноманітні генератори ключів чи інші вірусні програми. Я робив це для того, щоб в ізольованому просторі завантажувати потенційно шкідливий код в систему, аби це не шкодило основній.<br /><br />Якщо говорити про тестування моделей машинного навчання, то більшість цих репозиторіїв постачаються одразу з Dockerfile, що дозволить відтворити по образу <strong>контейнер</strong> із робочим кодом та потрібними налаштуваннями. </p> <p>Отже, розглянемо дві основні концепції: </p> <figure class="m_column"> <img src="https://teletype.in/files/b4/10/b41017ea-1eca-453e-b7dc-56422d756980.jpeg" width="1280" /> <figcaption>Архітектура віртуальних машин та контейнерів</figcaption> </figure> <p>Конетейнери займають менше місця за рахунок перевикористання ресурсів на рівні операційної системи, тоді як VM робить це на апаратному рівні. Основні відмінності між контейнерами та VM заключаються саме в архітектурі, в той час як їхній функціонал дуже подібний, а саме ізоляція додатку, а також його залежностей в окремий модуль.<br /></p> <p><strong>Важливо знати: </strong>ці інструменти усувають необхідність у використанні додаткового фізичного обладнання, що дозволяє більш ефективно використовувати обчислювальні ресурси.</p> <p>Зважаючи на все це, ми будемо використовувати <strong>Docker</strong>, як зручний спосіб оганізувати середовище для розробки.</p> <h2>Must have Docker!</h2> <p>Це програмне забезпечення для автоматизації розгортання та управління додатками в середовищах з підтримкою контейнеризації. Дозволяє &quot;упакувати&quot; додатки зі всім оточенням та залежностями в контейнер, який можна перенести на будь-яку Linux-cистему.</p> <p>До основних переваг можна віднести:</p> <ol> <li><strong>Простота у використанні:</strong> Docker значно полегшує використання розробникам, системним адміністраторам, архітекторам для швидкого створення та тестування додатків. Те, що створено локально на ноутбуці з легкістю можна перемістити у хмару для загального використання. Мантра звучить як: &quot;Побудуй один раз, запускай де завгодно&quot;.</li> <li><strong>Швидкість:</strong> контейнери Docker легкі та швидкі. Оскільки контейнери - це просто ізольовані середовища, що працюють на ядрі Linux, вони споживають невелику кількість ресурсів. Можна створити та завантажити контейнер за лічені секунди, на відміну від інших віртуальних машин, яким доводиться кожен раз створювати повноцінну операційну систему.</li> <li><strong>Docker Hub:</strong> користувачі Docker також отримують вигоду від багатої та постійно зростаючої екосистеми Docker Hub, яку можна розглянути як &quot;магазин застосунків для Docker&quot;. Спільнота Docker Hub має десятки тисяч образів, у вільному доступі, які ви можете вільно використовувати. З легкістю можна знайти готові та працюючі образи, які будуть відповідати всім вимогам, без потреби модифікації (хіба, що чуть-чуть).</li> <li><strong>Модульність та масштабованість:</strong> Docker дозволяє легко розбити функціональність вашого додатку на різні контейнери, які можна оновлювати як незалежні компоненти. Тобто в одному контейнері може бути база даних Postgres, коли в іншому сервер Redis, в той час як сервер на Python знаходиться у третьому.</li> </ol> <figure class="m_column"> <img src="https://teletype.in/files/61/9e/619e93d0-efd4-4742-bfba-7d937c188ab4.png" width="1585" /> <figcaption>Приклад того, як виглядає Docker Toolbox з-під Windows.</figcaption> </figure> <p>Рекомендую переглянути першу частину курсу на Stepik по Docker:<br /><a href="https://stepik.org/course/1612" target="_blank">Stepik: Управління обчисленнями</a></p> <p>Стосовно того, яким чином застосовувати Linux термінал, в першій частині:<br /><a href="https://stepik.org/course/73" target="_blank">Stepik: Вступ до Linux</a></p>