Python: подключение к MS SQL с использованием библиотеки SQLAlchemy и аутентификации NTLM
Для подключения к MS SQL с использованием библиотеки SQLAlchemy и аутентификации NTLM, вы можете воспользоваться библиотекой pyodbc вместе с sqlalchemy и pyodbc:
Как при помощи Python читать таблицу из MS SQL с помощью chunksize
Как при помощи Python читать таблицу из MS SQL состоящую из 20 миллионов строк данных не полностью за один запрос, а с помощью chunksize и писать output в один файл parquet.
Преобразование типов данных при загрузке данных из MS SQL в Pandas DataFrame и сохранение в Parquet
Pandas - мощная библиотека для анализа данных в языке программирования Python. Одной из её ключевых особенностей является работа с DataFrame, табличной структурой данных, которая предоставляет удобный интерфейс для манипуляций с данными. В этой статье мы рассмотрим, как произвести преобразование типов данных при загрузке данных из Microsoft SQL Server в Pandas DataFrame и как сохранить данные в формате Parquet с учетом корректных типов данных.
10 трендов визуализации данных, которые будут актуальны в 2021 году
Источник: https://www.e-xecutive.ru/management/marketing/1993476-10-trendov-vizualizatsii-dannyh-kotorye-budut-aktualny-v-2021-godu
Без проектирования сложно масштабировать систему
Рассуждения про проектирование системы.
