@savichm

25 cайтов, на которых можно порешать задачи по программированию

savichm — Sun, 09 Apr 2023 12:32:43 GMT

Не секрет, что лучший способ повысить свои навыки в программировании — это практиковаться и только практиковаться. Мы подготовили для вас огромную подборку сайтов с задачами по программированию на самые разные темы.

Также можете попытаться решить самые заковыристые логические задачи с собеседований.

Codeforces — несомненно самая популярная и известная платформа во всем мире для проведения соревнований на алгоритмику. Кроме крупных контестов сайт зачастую проводит свои «раунды» — участникам даются 5 задач на два часа. Есть система рейтинга, на основе которой участники делятся на два дивизиона. Таким образом, профи не соревнуются с новичками напрямую. Все задачи можно сдать и проверить даже после соревнований. Кроме «раундов» доступны и «тренировки» — задачи с прошедших соревнований публикуются в режиме дорешивания.

TopCoder — ненамного отстающая по популярности от Codeforces американская платформа. Примечательна тем, что кроме алгоритмических контестов, которые описывались ранее, на ней проводятся и соревнования по промышленному программированию и марафоны — соревнования с задачами на исследование, для которых нет единого верного алгоритма, а есть лишь ответ, подходящий больше или меньше. На решение таких задач участникам обычно дается одна или две недели.

Timus Online Judge — русскоязычная (хотя английский язык также поддерживается) платформа, на которой более тысячи задач удачно отсортированы по темам и по сложности. Также тут регулярно проводятся контесты уральского региона, которые, впрочем, не представляют для вас ничего интересного, если только вы не студент УрФУ или другого близлежащего вуза 🙂

SPOJ — крупный англоязычный сайт с более чем 20000 задачами на абсолютно разные темы: динамическое программирование, графы, структуры данных и т.д. Изредка проводит контесты, которые не представляют интереса, если вы не живете в странах их проведения.

informatics.mccme.ru — платформа с множеством теоретических материалов и задач по соответствующим темам. Все очень удобно собрано по категориям и темам. Также содержит большую базу задач с прошедших олимпиад школьников.

CodeChef — менее крупный аналог Codeforces и TopCoder, тоже с огромным архивом задач и регулярными контестами.

acmp.ru — сайт, который будет полезен всем благодаря своему архиву задач, удобно (и по большей части правильно) отсортированному по сложности и темам. Соревнования проводятся, но участвовать в них имеет смысл только школьникам Красноярского края, для которых эта платформа изначально и предназначалась.

Project Euler — сборник 500 задач, которые невозможно решить без знаний математических и геометрических алгоритмов. Иногда используется на собеседованиях для приема на работу, чтобы лучше выяснить алгоритмическую подготовку претендента.

Kaggle — данная платформа отличается от описанных ранее тем, что тут не проводится алгоритмических соревнований — только задачи на исследование (как в марафонах на вышеприведенном TopCoder). Например, одна из задач, на которой сейчас там проверяют свои умения участники, состоит в распознании написанных вручную цифр. Вот несколько символов, для которых это не так просто, как кажется (прим. авт. — некоторые из них я не смог распознать даже не программно):

CodinGame — сайт, на котором программирование и видеоигры сливаются в единое целое. Здесь вы найдете большую коллекцию задач на программирование, оформленных в виде видеоигр. Также тут изредка (раз в два месяца) проводятся контесты, содержащие в себе задачи на оптимизацию и ИИ, победители которых получают ценные призы. А если вы решите много задач, то на вас могут обратить внимание компании, которые набирают на этом сайте работников!

CodeCombat будет больше полезен для новичков. Эта платформа наглядно демонстрирует, что обучение программированию — это не так сложно и скучно, как может показаться. Сайт представлен в виде игры, которая разделена на несколько частей, возрастающих по сложности. В каждой части содержится множество задач на те или иные темы, призванные научить программированию с нуля любого человека. Если вы давно мечтали заняться программированием, но никак не находили в себе, обязательно обратите внимание на этот сайт.

HackerRank наоборот будет больше интересен профессионалам, которые уже многое умеют. На этом сайте собрано множество задач на самые разные разделы Computer Science: традиционная алгоритмика, ИИ, машинное обучение и т.д. Если вы решите много задач, то вами могут заинтересоваться работодатели, регуляторно мониторящие эту платформу.

C Puzzles — подборка головоломок, специфичный для языка С, со всеми его причудами. Например, дан код, который, по логике, не должен работать, но, тем не менее, он компилируется и даже правильно выполняет свою задачу. Надо понять, почему так? На этой сайте вы сможете приобрести навык отладки программ и чтения кода других.

Codewars — cборник задач на разные темы, от алгоритмов до шаблонов проектирования.

LeetCode — сайт с задачами для подготовки к собеседованиям.

Programming Praxis — блог, включающий в себя много интересных задач.

PythonChallange — сайт с загадками, возрастающими по сложности. Для их решения необходимо написать программу на Python.

Al Zimmermann’s Programming Contests — платформа, на которой раз в полгода проводятся контесты с задачами на исследование и оптимизацию. Интересен тем, что писать программу необязательно — даются только тестовые данные. Ответы можно расчитывать вручную, или просто гадать их на кофейной гуще.

Ruby Quiz — подборка задач для программистов на Ruby, но решения можно писать и на других языках.

Prolog Problems — аналогично с Ruby Quiz. Подборка задач для программистов, использующих Prolog.

MindCipher — сборник занимательных математических и логических задач (в том числе и по программированию).

Сборник задач для практики от СppStudio. Рекомендуется решать на С++, но можно и на других языках.

CheckIO — сайт с задачами для программистов всех уровней, оформленный в виде игры.

E-olimp — украинская тестирующая система с большим архивом задач.

Empire of Code — сайт для программистов, где необходимо писать код, реализующий стратегию и тактику виртуальных бойцов.

Источник: https://tproger.ru/digest/competitive-programming-practice/

Тестирование десктопа: что важно учитывать перед введением автотестов

savichm — Sun, 09 Apr 2023 12:08:11 GMT

Если крайне важная ядерная система, от которой зависит большинство смежных, создана очень давно, то варианта, как с этим справиться, два. Можно заменить её на другую, более современную. Но переписывать всё не только дорого, но и незачем. Поэтому можно улучшить процессы внутри неё.

Мы решили пойти по второму пути: добавить автодеплой и автоматизировать часть регрессионных тестов, чтобы команда не тратила время и силы на рутинные процессы, а могла заняться бизнесовыми задачами. Вот как это было.

Как мы пришли к нынешнему устройству системы

Большинство сотрудников проходит три стадии принятия при такой ситуации.

Отрицание — не может быть, что кто-то в 2023 ещё работает на системе, написанной на Delphi?
Гнев — почему то, что мне нужно, работает, только если обладаешь тайными знаниями?
Принятие — система работает стабильно, большинство доработок можно сделать достаточно просто — и уже понятно, как их проверять.

Можно пойти дальше и начать улучшать всё вокруг себя: упрощать процессы, автоматизировать «невозможное» и применять лучшие практики.

Сначала мы привели филиалы к единому виду, создав единую клиентскую и серверную часть. Наша команда разработки проанализировала все существующие процедуры и отчёты и объединила их в эталонный код. Мы выровняли ландшафт, мигрировали данные. Раньше было 14 баз, доработки по которым ставились независимо друг от друга.

После этого наладили CI/CD процесс. Все внутренние доработки по системе теперь обязательно ставятся через Git. До этого разработчики на все филиалы ставили доработки руками, что отнимало много времени и увеличивало количество ошибок и расхождений в разных базах.

В дополнение к существующим сложностям у системы есть особенность: доработки идут как от вендора, так и от внутренней команды разработки. Таким образом, внутренние обновления ставятся через Git On Demand по готовности, а доработки вендора также через Git, но в рамках релизов.

Это связано с тем, что система — монолит, и вендор поставляет ряд доработок как чёрный ящик. Поэтому возникает необходимость проводить полноценное регрессионное тестирование всей системы из-за возможного влияния доработок на смежные модули.

Как мы выстроили процесс автоматизации

Учитывая необходимость постоянного проведения регресса, мы решили сократить количество регулярных рутинных операций и автоматизировать большинство из них.

Начали с однообразных кейсов с небольшими изменениями в шагах, отнимающих больше всего времени на проверку. Так мы:

Ускорили проведение проверок.
Упростили автоматизацию, так как изменения от кейса к кейсу незначительные.
Повысили мотивацию команды, так как они стали тратить меньше времени на рутину.

Далее для облегчения процесса автоматизации подробно описали тест-кейсы с шагами, без ветвлений. Хорошо описанная тестовая модель полезна не только для автоматизации, но и в целом для качественной оценки количества работы, выполняемой командой.

Например, мы спросили, какие тесты рутинные? Нам скинули один из кейсов. Проанализировав его, мы обнаружили, что он содержит несколько ветвлений. Мы декомпозировали кейс, и вместо одного получили более ста независимых. Именно поэтому он и оказался в списке на автоматизацию.

Автоматизация может быть бесконечной, потому что всегда появляются дополнительные продукты, которые также нужно покрывать кейсами, или новые ошибки на проме. За счёт этого регрессионная модель постоянно растёт.

Сейчас мы автоматизировали уже больше половины регрессионных сценариев. Это позволило существенно сэкономить время, затрачиваемое командой на эти задачи, и использовать его для проверки новой функциональности.

Также, начиная автоматизировать систему, важно учитывать, что даже в случае с UI-тестами не всё обязательно делать через UI. Например, предварительные данные или ряд итоговых проверок можно сделать, используя хранимые процедуры.

Второе направление, которое важно автоматизировать, — это проверка интеграционных процедур. Отсутствие стабильной работы интеграций при работе с ядерной системой несёт в себе риски возникновения ошибок у конечных пользователей, а это может предполагать как финансовые, так и репутационные риски для компании.

Мы идём к такому идеалу: когда появляются новые продукты, к ним стоит сразу писать автотесты. Мы хотим перейти к модели, при которой в момент разработки нового сервиса тут же будет ставиться задача на автоматизацию. И когда сервис готов — запускаться автотест, также написанный по документации. Если он отработает — сервис выкатится. Если нет, то его доработают.

Какие инструменты мы используем

В основном инструменты разработаны под автоматизацию веб-систем, так как веб-разработка становится всё более популярным направлением. Но обычно они не подходят для автоматизации десктопных приложений. Покопавшись в теме, мы нашли подходящие нам инструменты.

Вот что мы выбрали для себя.

Micro Focus Unified Functional Testing

Позволяет определить объекты на форме десктопного приложения: окно, radio-button, выпадающий список, поле для ввода. На основе этого к добавленному в библиотеку объекту можно применить то или иное действие: нажать на кнопку или закрыть окно.

Помимо этих инструментов на рынке есть и другие, например:

Zeenyx,
Winium,
Katalon Studio,
Test Complet Desktop.

Можно выбрать тот, который подходит именно вам.

Pywinauto

Это open source библиотека для автоматизации десктопных GUI приложений на Microsoft Windows. Он нужен для ряда проверок, например, для операций с длительным ожиданием.

Тестирование на PyTest

Если это доработка вендора и тестирование чёрного ящика, где нужно убедиться, что у реальных пользователей не будет ошибок, мы пишем интерфейсные тесты, используя приведённые выше инструменты. А если нужно проверить интеграционный сервис — API-тест, написанный на Python.

Проверяя интеграционные кейсы, мы смотрим в том числе минимальную интеграционную обвязку: создаём очереди, вызываем адаптер, который вызывает внутренние процедуры. Также отдельно проверяем функциональность дорабатываемых процедур.

Python + PyTest позволяют достаточно легко это сделать. А также дают возможность встроить в пайплайн запуск в момент изменения сервиса или связанной процедуры.

Git и TeamCity

Для поддержания версионности и развёртывания кода. Как единый стандарт в банке. Автотесты мы ведём там же, что упрощает выстраивание общего процесса.

Использование ранее написанных процедур при подготовке данных

Руководствуясь лучшими практиками, мы определили, что тест должен сам себе готовить данные, чтобы работать стабильно. При участии разработчиков мы разработали ряд процедур, которые позволяют сгенерировать синтетические данные. Это помогает существенно сократить время на подготовку тестовых данных, стабилизировать и ускорить время выполнения тестов.

Основная идея в том, чтобы не заводить данные, нужные для начала выполнения теста, через интерфейс, а напрямую вызывать процедуры, которые сделают это. И с одной стороны сохранять ряд проверок, необходимых для консистентности данных, а с другой — ускорять процесс их генерации в десятки раз, исключая ручные действия.

Лучшие практики, чтобы выстраивать CI/CD на десктопе

Тестирование — важная часть CI/CD-процесса, который постоянно совершенствуется. Всегда можно найти более эффективные практики, которые помогут избежать проблем в будущем. Вот ещё несколько принципов, которые помогают улучшить этот процесс.

Должно быть версионирование кода. Если сейчас у вас этого нет, нужно начинать делать шаги к этому.
Версионирование кода касается в том числе автотестов.
Подробно описывайте тест-кейсы, это помогает как с погружением новых сотрудников, так и с написанием автотестов.
Учитывайте техокна на интеграционных стендах. Если доставлять обновления, не обращая на это внимание, можно помешать другим командам работать. Если в моменте кто-то незапланировано что-то поставит, всё зависнет или вообще сломается.
Используйте Feature toggle. Он помогает безболезненно поставить доработки на пром, даже если они не работают с включенным toggle.
Пишите тесты, а лучше автотесты, до того, как доработку передали в тестирование. Писать тест-кейсы, когда доработки уже готовы, — это плохая практика, можно нахватать проблем, например, не хватит сотрудников, чтобы провести тестирование.
Чем раньше привлекается тестирование, тем лучше. Ведь уже на этапе прочтения ТЗ можно увидеть слабые места, задать вопросы, исправить их и сделать сразу правильно

Источник: https://tproger.ru/articles/testirovanie-desktopa-chto-uchityvat-pered-vvedeniem-avtotestov/

Тестирование десктопа: что учитывать перед введением автотестов

savichm — Sun, 09 Apr 2023 12:04:01 GMT

Как мы пришли к нынешнему устройству системы

Большинство сотрудников проходит три стадии принятия при такой ситуации.

Отрицание — не может быть, что кто-то в 2023 ещё работает на системе, написанной на Delphi?
Гнев — почему то, что мне нужно, работает, только если обладаешь тайными знаниями?
Принятие — система работает стабильно, большинство доработок можно сделать достаточно просто — и уже понятно, как их проверять.

Как мы выстроили процесс автоматизации

Ускорили проведение проверок.
Упростили автоматизацию, так как изменения от кейса к кейсу незначительные.
Повысили мотивацию команды, так как они стали тратить меньше времени на рутину.

Какие инструменты мы используем

Вот что мы выбрали для себя.

Micro Focus Unified Functional Testing

Помимо этих инструментов на рынке есть и другие, например:

Zeenyx,
Winium,
Katalon Studio,
Test Complet Desktop.

Можно выбрать тот, который подходит именно вам.

Pywinauto

Тестирование на PyTest

Git и TeamCity

Использование ранее написанных процедур при подготовке данных

Лучшие практики, чтобы выстраивать CI/CD на десктопе

Должно быть версионирование кода. Если сейчас у вас этого нет, нужно начинать делать шаги к этому.
Версионирование кода касается в том числе автотестов.
Подробно описывайте тест-кейсы, это помогает как с погружением новых сотрудников, так и с написанием автотестов.
Учитывайте техокна на интеграционных стендах. Если доставлять обновления, не обращая на это внимание, можно помешать другим командам работать. Если в моменте кто-то незапланировано что-то поставит, всё зависнет или вообще сломается.
Используйте Feature toggle. Он помогает безболезненно поставить доработки на пром, даже если они не работают с включенным toggle.
Пишите тесты, а лучше автотесты, до того, как доработку передали в тестирование. Писать тест-кейсы, когда доработки уже готовы, — это плохая практика, можно нахватать проблем, например, не хватит сотрудников, чтобы провести тестирование.
Чем раньше привлекается тестирование, тем лучше. Ведь уже на этапе прочтения ТЗ можно увидеть слабые места, задать вопросы, исправить их и сделать сразу правильно

Источник: https://tproger.ru/articles/testirovanie-desktopa-chto-uchityvat-pered-vvedeniem-avtotestov/

Как создать систему распознавание объектов на Python

savichm — Sun, 09 Apr 2023 11:56:21 GMT

Python является одним из самых перспективных языков, позволяющий воплощать искусственный интеллект в жизнь. В уроке мы создадим систему распознавание объектов при помощи Python и ImageAI.

Одна из самых перспективных наук о компьютерах и программах – компьютерное зрение. Его смысл заключается в способности ПК к распознанию и определению сути картинки. Это важнейшая область в искусственном интеллекте, включающая сразу несколько действий: распознание содержимого фотографии, определение предмета и его классификация или генерация. Поиск объектов на картинке, скорее всего, является важнейшей областью компьютерного зрения.

Определение вещей или живых существ на фотографии активно используется в следующих сферах:

Поиск автомобилей;
Система распознания людей;
Поиск и подсчёт количества пешеходов;
Усиление системы безопасности;
Создание беспилотных автомобилей и т. д.

Сегодня удалось разработать много методов для поиска объектов, которые применяются в зависимости от целевой области. В этой сфере, как и в других направлениях использования ИТ-технологий, многое напрямую зависит от программиста. Это отличный инструмент для творчества, с которым «творение» может получить собственный ум. Как использовать интеллект программы уже зависит от творческого мышления разработчика.

Технология действительно перевернула представление об искусственном интеллекте. В дальнейшем она стала основой для следующих методов R-CNN, Fast-RCNN, Faster-RCNN, RetinaNet. Среди них и высокоточные, быстрые методы - SSD и YOLO. Для применения перечисленных алгоритмов, в основе которых глубокое обучение, требуется наличие глубоких познаний в математике и доскональное понимание фреймворков.

Начнем

Рассмотрение советов следует начинать с функциональной библиотеки ImageAI, написанной на Python. Данный фреймворков позволяет с лёгкостью интегрировать инновационные достижения в сфере компьютерного зрения в уже разработанные или новые программы.

Установка Python

Без инсталляции Python 3 здесь не обойтись. Нужно всего лишь загрузить файл с оф. сайта и запустить процесс установки.

Создание зависимостей

Сейчас самое время для того, чтобы посредством pip установить зависимости. Принцип создания команды прост: pip install и название библиотеки (основные фреймворки описаны в списке ниже). Как это выглядит:

pip install tensorflow # устанавливает программную среду Tensorflow.

Какие фреймворки нужно добавить:

Numpy;
SciPy;
OpenCV (opencv-python);
Pillow;
Matplotlib;
H5py;
Keras;
ImageAI (ссылка).

Просмотреть все фреймворки и команды для их установки вы можете на официальном сайте с документацией по ImageAI.

Retina Net

Теперь стоит скачать файл для модели Retina Net. Он участвует в процессе идентификации объектов на изображениях.

Как только зависимости установлены, уже есть возможность написать первые строки кода для вычисления предметов на картинках. Следует создать файл FirstDetection с расширением .py. В созданный файл следует вставить код из следующего раздела. Ещё нужно скопировать файл из модели Retina и добавить картинку для обработки в папку с файлом Python.

Тестирование

Создайте файл и разместите в нем следующий код:

from imageai.Detection import ObjectDetection
import os

exec_path = os.getcwd()

detector = ObjectDetection()
detector.setModelTypeAsRetinaNet()
detector.setModelPath(os.path.join(
	exec_path, "resnet50_coco_best_v2.0.1.h5")
)
detector.loadModel()

list = detector.detectObjectsFromImage(
	input_image=os.path.join(exec_path, "objects.jpg"),
	output_image_path=os.path.join(exec_path, "new_objects.jpg"),
	minimum_percentage_probability=90,
	display_percentage_probability=True,
	display_object_name=False
)

Осталось запустить код и ожидать появление результатов работы в консоли. Дальше следует пройти в каталог, где установлен файл FirstDetection.py. Здесь же должна появиться новая фотография или несколько. Чтобы лучше понимать, что произошло, следует открыть изначальную и новую картинку.

Время рассмотреть принцип работы кода:

from imageai.Detection import ObjectDetection
import os

exec_path = os.getcwd()

Описание строк:

1 строка: перенос ImageAI и класса для поиска предмета;
2 строка: импорт Python os;
4 строка: создание переменной, в которой указывается путь к директории с файлом Python, RetinaNet, моделью и образом.

detector = ObjectDetection()
detector.setModelTypeAsRetinaNet()
detector.setModelPath(os.path.join(
	exec_path, "resnet50_coco_best_v2.0.1.h5")
)
detector.loadModel()

list = detector.detectObjectsFromImage(
	input_image=os.path.join(exec_path, "objects.jpg"),
	output_image_path=os.path.join(exec_path, "new_objects.jpg"),
	minimum_percentage_probability=90,
	display_percentage_probability=True,
	display_object_name=False
)

Описание строк:

1 строка: объявление нового класса для поиска объектов;
2 строка: установка типа модели RetinaNet;
3 строка: указание пути к модели RetinaNet;
6 строка: загрузка модели внутрь класса для поиска;
8 строка: вызов функции обнаружения (распознавания объектов) и запуск парсинга пути начального и конечного изображений.

ImageAI имеет поддержку массы различных настроек для поиска объектов. Например, можно настроить извлечение всех найденных объектов во время обработки картинки. Класс поиска способен создать отдельную папку с названием image, а затем извлечь, сохранить и вернуть массив с путём ко всем объектам.

list, extracted_images = detector.detectObjectsFromImage
	(input_image=os.path.join(execution_path , "objects.jpg"), 
	output_image_path=os.path.join(execution_path , "new_objects.jpg"), 
	extract_detected_objects=True)

Видео обзор

Для более детального рассмотрения библиотеки советуем просмотреть видео обзор этой библиотеки. В ходе видео будет показано не только распознавание объектов на фото, но также вы узнаете про рассмотрение объектов на видео.

Ссылки из видео:

Установка Python;
Установка Pip;
Редактор PyCharm;
Большой курс по языку Python;
ImageAI GitHub;
ImageAI документация.

В ходе урока было создано распознавание объектов на видео. Код приведен ниже:

from imageai.Detection import VideoObjectDetection
import os

execution_path = os.getcwd()

detector = VideoObjectDetection()
detector.setModelTypeAsYOLOv3()
detector.setModelPath( os.path.join(execution_path , "yolo.h5"))
detector.loadModel()

video_path = detector.detectObjectsFromVideo(
	input_file_path=os.path.join(execution_path, "traffic.mp4"),
	output_file_path=os.path.join(execution_path, "traffic_detected"),
	frames_per_second=20,
	log_progress=True
)

print(video_path)

Заключение

В конце советов по глубокому изучению следует добавить небольшую выборку из самых полезных функций ImageAI, ведь её возможности выходят далеко за пределы обычного обнаружения объектов:

Установка порога минимальной вероятности: стандартные настройки исключают из выборки все объекты с вероятностью до 50%. Они даже не записываются в лог. При желании можно изменить в большую или меньшую сторону вероятности для определённых случаев;
Особые настройки обнаружения:с помощью класса CustomObject, есть возможность попросить приложение передавать информацию об определении некоторых уникальных объектов;
Скорость поиска: существует возможность вручную снизить время, которое затрачивает приложение для сканирования фотографии. Есть 3 режима работы: fast, faster, fastest;
Входящие типы: поддерживает указание в качесиве пути картинке – Numpy-массива, а также файлового потока;
Выходные типы: можно установить, чтобы функция detectObjectsFromImageвозвращала картинки файлом или массивом Numpy.

Конечно, охватить всё компьютерное зрение нереально даже за целую книгу, но основные понятия, надеемся, мы смогли донести

Источник: https://itproger.com/news/raspoznavanie-obaektov-na-python-glubokoe-mashinnoe-obuchenie

Почему Python такой популярный

savichm — Sun, 09 Apr 2023 11:25:36 GMT

В 2022 году Python возглавил список самых популярных языков программирования по данным индекса TIOBE, опередив таких гигантов, как Java и C++.

Именно с изучения «питона» начинают свой путь в программировании начинающие пользователи, а профессионалы используют его для решения широкого спектра задач — от научных исследований до веб-разработки и искусственного интеллекта.

Что сделало Python таким популярным, и какие факторы повлияли на его успех? В этой статье мы исследуем историю развития этого языка программирования, а также оцениваем перспективы в различных областях IT.

История языка Python

Язык программирования Python создал Гвидо ван Россум, нидерландский программист. Он начал работу над языком в конце 1989 года. Первая официальная версия Python 0.9.0 была опубликована в феврале 1991 года.

Вот краткая история развития языка за прошедшие десятилетия:

1990-е годы: Разработка и выпуск Python 0.9.0 (февраль 1991) и Python 1.0 (январь 1994).

Простой и понятный синтаксис привлекает программистов, ищущих альтернативу языкам, таким как Perl и C.
Формируется и растет сообщества разработчиков, которые активно участвуют в разработке и совершенствовании языка.
Появляются первые сторонние библиотеки и инструменты, такие как Numeric, для научных вычислений.

2000-е годы: Выпуск Python 2.0 (октябрь 2000) с новыми функциями, такими как поддержка Unicode и сборка мусора.

Улучшены производительность и стабильность языка.
Разработаны и выпущены важные сторонние библиотеки и фреймворки, таких как Django (июль 2005), для разработки веб-приложений.
Python начинают активно использовать в научных исследованиях и обработке данных, благодаря библиотекам NumPy (2006), SciPy и Matplotlib.
Выпускается версия Python 3.0 (декабрь 2008) с обратно несовместимыми изменениями и улучшениями в синтаксисе и поддержке Unicode.

2010-е годы: Сообщество программистов переходит на Python 3. Активно разрабатываются и обновляются библиотеки и инструменты для совместимости с новой версией языка.

Развивается область машинного обучения и искусственного интеллекта с использованием Python, благодаря таким библиотекам и фреймворкам, как TensorFlow (2015), Keras и PyTorch.
Возрастает популярность в образовательных учреждениях и среди начинающих программистов благодаря простому синтаксису и большому количеству доступных обучающих материалов.
Расширяется применение Python в различных областях, таких как веб-разработка, научные исследования, анализ данных, машинное обучение, автоматизация.
Разрабатываются новые версии языка, таких как Python 3.5 (сентябрь 2015) с операторами async/await для асинхронного кода, Python 3.6 (декабрь 2016) с f-строками и улучшениями производительности, и других версий с дополнительными улучшениями и новыми возможностями.
Появляется Jupyter Notebook (2014) — популярный инструмент для интерактивного программирования, особенно в области научных исследований и анализа данных.
Растет популярность языка среди разработчиков и компаний, что делает Python одним из самых востребованных языков программирования на рынке труда.

Краткий обзор версий:

Примечание: таблица отражает только основные версии Python и их ключевые изменения. В реальности существует больше версий с минорными изменениями и улучшениями.

В результате активного развития и применения Python в самых разных областях, а также благодаря его простому синтаксису, огромному количеству библиотек и открытому сообществу разработчиков, Python стал одним из самых популярных и востребованных языков программирования в мире.

Отличительные черты Python

Python — это высокоуровневый язык программирования, который обладает рядом особенностей и преимуществ по сравнению с другими языками программирования. Перечислим несколько преимуществ, которые отличают Python от других языков:

Читабельность и простота. Python известен своей чистой и лаконичной синтаксической структурой, что делает его легко читаемым и понятным даже для новичков. Этим он выгодно отличается от C++ или Java с более сложным и запутанным синтаксисом.
Большая стандартная библиотека. Python имеет обширную стандартную библиотеку, которая включает множество модулей и пакетов для различных задач, таких как веб-разработка, обработка данных, машинное обучение, сетевое программирование и многое другое. Это сокращает время, необходимое для разработки программ, и уменьшает зависимость от сторонних библиотек.
Кросс-платформенность. Python является кросс-платформенным языком. Программы на «питоне» можно запускать в различных операционных системах (Windows, macOS и Linux) без изменения исходного кода.
Динамическая типизация. В отличие от статически типизированных языков (Java или C++), Python использует динамическую типизацию. Прием позволяет программистам не объявлять тип переменной заранее. В итоге мы получаем более гибкий код и сокращенное количество строк.
Интерпретируемость. Python — интерпретируемый язык. Его код выполняется построчно, без необходимости компиляции. Это упрощает процесс разработки и облегчает отладку программ.
Большое сообщество. Python обладает одним из самых больших и активных сообществ разработчиков, что способствует созданию множества ресурсов, таких как учебники, курсы, библиотеки и фреймворки, которые помогают ускорить процесс разработки и обучения.
Применимость в различных областях. Python широко используется в различных сферах, таких как веб-разработка, научные исследования, анализ данных, машинное обучение, сетевое программирование, автоматизация и многих других. Это делает Python универсальным и гибким языком программирования, подходящим для широкого круга задач и проектов.
Поддержка множественных парадигм программирования. Python поддерживает несколько парадигм программирования: объектно-ориентированное, процедурное и функциональное. Это позволяет разработчикам выбирать наиболее подходящий метод для решения конкретной задачи и создания гибких, масштабируемых приложений.
Широкое использование в индустрии. Python используется множеством крупных компаний (Google, Facebook, Instagram, Spotify), что говорит о высоком уровне доверия к языку и его применимости для решения сложных задач.
Открытый исходный код Python доступен для просмотра и модификации. Это позволяет разработчикам вносить свой вклад в развитие языка и использовать его в коммерческих проектах без оплаты лицензионных сборов.

Вывод: Python отличается от других языков программирования своей простотой, читабельностью, гибкостью, широкой поддержкой со стороны сообщества и применимостью в различных областях.

Плюсы и минусы Python по сравнению с Java

Python и Java — два наиболее популярных языка программирования, которые широко используются в различных областях. Несмотря на то, что эти языки имеют много общего, у каждого из них есть свои преимущества и недостатки. Рассмотрим их подробнее.

Плюсы Python по сравнению с Java:

Простота и читаемость кода. Python обладает более кратким и понятным синтаксисом, что упрощает чтение и написание кода. Java требует больше строк кода для реализации аналогичных задач, и его синтаксис может быть более громоздким.
Большое количество библиотек для машинного обучения и анализа данных. Python имеет множество библиотек, таких как TensorFlow, Keras, PyTorch, Scikit-learn, Pandas. Этот язык более предпочтителен для работы с данными и машинным обучением. Java также имеет некоторые библиотеки для машинного обучения, такие как Deeplearning4j и Weka, но они менее разнообразны и популярны, чем аналогичные библиотеки для Python.
Быстрое прототипирование. Python позволяет быстро создавать прототипы и экспериментировать благодаря своей динамической типизации и интерпретируемости. Java, будучи статически типизированным и компилируемым языком, требует больше времени для компиляции и исправления ошибок.

Минусы Python по сравнению с Java:

Производительность. Python является интерпретируемым языком, что снижает его производительность по сравнению с компилируемыми языками, такими как Java. В некоторых случаях, когда требуется высокая производительность, использование Java может быть предпочтительнее.
Поддержка многопоточности. Python имеет GIL (Global Interpreter Lock), ограничивающий выполнение нативных потоков, что затрудняет эффективное использование многопоточности. Java, с другой стороны, имеет встроенную поддержку многопоточности и синхронизации, что позволяет создавать более эффективные многопоточные приложения.
Мобильная разработка. Java является основным языком для разработки Android-приложений и имеет более широкую поддержку мобильных платформ. Python имеет ограниченную поддержку мобильных платформ и не является предпочтительным выбором для мобильной разработки.

Резюме: Python хорошо подходит для быстрого прототипирования, работы с данными, машинного обучения и веб-разработки, благодаря своему простому синтаксису и обширному набору библиотек.

Java же имеет преимущества в производительности, поддержке многопоточности и мобильной разработке. Выбор между Python и Java в конкретных ситуациях зависит от требований проекта, предпочтений разработчика и доступности ресурсов.

Оба языка являются популярными и широко используемыми, что обеспечивает поддержку сообщества и обширные возможности для роста и развития.

Плюсы и минусы Python по сравнению с С-языками

Python и C-языки — это две разные категории языков программирования. C-языки, включая C, C++, и Objective-C, относятся к низкоуровневым языкам.

Они используются для разработки операционных систем, драйверов устройств и других системных приложений. Python является высокоуровневым языком, который широко используется в области научных исследований, машинного обучения, веб-разработки и других областях.

Рассмотрим плюсы и минусы Python по сравнению с С-языками.

Плюсы Python по сравнению с C-языками:

Простота. Python — это простой и легкий в освоении язык программирования, который не требует изучения сложных концепций и синтаксиса, в отличие от C-языков.
Высокая скорость разработки. Python обладает большим набором библиотек и инструментов, которые упрощают и ускоряют разработку приложений.
Читаемость кода. Код Python легко читается, что делает его более подходящим для командной разработки и поддержки приложений.
Динамическая типизация. Python позволяет использовать динамическую типизацию. Тип переменной определяется автоматически во время выполнения кода.

Минусы Python по сравнению с C-языками:

Медленная скорость выполнения. Код Python код выполняется медленнее, чем код на C-языках, из-за динамической типизации и управления памятью.
Низкая производительность. Python может быть неэффективным для разработки системных приложений с повышенной производительностью из-за высокого уровня абстракции.
Ограниченный доступ к низкоуровневым ресурсам. Python имеет ограниченный доступ к низкоуровневым ресурсам, таким как память, процессор и другие аппаратные ресурсы.
Неудобство в разработке приложений с большим объемом данных. Python может столкнуться с проблемами производительности при работе с большим объемом данных, так как не имеет таких мощных возможностей для работы с памятью и процессором, как C-языки.

Выбор языка зависит от конкретной задачи, которую вы пытаетесь решить. Если вы разрабатываете системные приложения или приложения с высокой производительностью, то C-языки могут быть более предпочтительными. Если же вам нужно быстро и просто разработать приложение, стоит выбрать Python.

Перспективы Python в дальнейшем

Python активно используется во многих областях технологий и программирования, в том числе в AI/ML, веб-разработке, разработке приложений и в областях Big Data/Data Science:

AI/ML. Python остается одним из наиболее популярных языков программирования для разработки решений и моделей искусственного интеллекта и машинного обучения. Причина: большое количество библиотек и инструментов, таких как TensorFlow, Keras, PyTorch и Scikit-learn. Python продолжит играть ключевую роль в разработке решений AI/ML в ближайшем будущем.
В веб-разработке Python также имеет свои преимущества. Язык используется для создания веб-серверов и приложений, в том числе с использованием фреймворков, таких как Django и Flask. Python позволяет быстро и легко разрабатывать функциональные веб-приложения и сайты, особенно те, которые не требуют больших объемов вычислительных ресурсов.
В разработке приложений. Python также остается популярным языком для разработки приложений для настольных компьютеров, мобильных устройств, встраиваемых систем. Благодаря большому количеству библиотек и инструментов, таких как PyInstaller и Py2exe, Python может быть легко превращен в приложение, доступное для запуска на большинстве платформ.
В областях Big Data/Data Science. Python также широко используется в области обработки больших данных и Data Science. Благодаря библиотекам, таким как Pandas, Numpy и Matplotlib, Python может быть использован для обработки, анализа и визуализации больших объемов данных. Python также может использоваться для разработки алгоритмов машинного обучения и статистического анализа данных.

Благодаря своей простоте, гибкости и большому количеству библиотек и инструментов, Python останется одним из наиболее популярных языков программирования в ближайшем будущем.

Заключение

Python стал самым популярным языком программирования благодаря своей простоте, мощным библиотекам и широкому применению в различных областях.

Однако у него есть свои недостатки, такие как меньшая производительность и неподходящий для некоторых видов разработки

Источник: https://tproger.ru/articles/pochemu-python-takoj-populyarnyj-napisano-chelovekom/

Выбираем кресло для программиста: топ-5 кресел

savichm — Sat, 01 Apr 2023 11:33:10 GMT

В этой статье мы рассмотрим характеристики, которыми должно обладать хорошее кресло для программиста, и расскажем, на какие модели стоит обратить внимание.

Виды кресел

Офисное кресло

Обычное офисное кресло, которое можно встретить повсеместно. Позволяет настроить высоту кресла и жёсткость спинки. Опора для поясницы отсутствует, а откидывающаяся спинка не позволяет облокотиться на неё во время работы (некоторые модели позволяют зафиксировать спинку).

Геймерское кресло

Геймерские кресла имеют множество настроек и поясничный упор с подголовником. У таких кресел обычно есть механизм качания (его можно зафиксировать), который позволяет откинуться в кресле целиком, а не на одну спинку.

Ортопедическое кресло

Ортопедические кресла внешне могут сильно отличаться друг от друга, их объединяет то, что спинка или сиденье у них состоят из нескольких частей, положение которых можно настроить.

Ортопедический стул

Это коленный стул. Сидящий на нём упирается в нижнюю подушку коленями. Есть отзывы, что он улучшает осанку, однако это не подтверждено научными исследованиями. Кроме того, в данном случае увеличивается нагрузка на колени. Переход на такой стул требует привыкания.

Стул седло

Такими стульями пользуются стоматологи. Сидящий на нём находится в промежуточном положении — полустоя. Есть отзывы, что от него не устаёт спина, однако к стулу нужно привыкнуть.

Как правильно сидеть

Согласно исследованиям у правильно сидящего человека:

руки и ноги согнуты на 90-120 градусов;
локти находятся в районе туловища;
поясница немного изогнута;
монитор расположен на уровне глаз или ниже;
ступни полностью касаются пола;

Какой бы правильной ни была поза сидящего, рекомендуется делать перерывы, вставать, потягиваться и совершать прогулки.

Что важно при выборе кресла для программиста

Механизмы

Механизм, который позволяет регулировать высоту кресла называется газлифт.

Есть несколько классов газлифтов, отличающихся максимальным весом, который они могут выдержать:

1 класс — вес до 80кг;
2 класс — вес до 100кг;
3 класс — вес до 150кг;
4 класс — вес до 200кг.

Лучше выбирать класс с запасом, потому что есть риск сломать стул, если слишком резко сесть.

Материалы

Обивка чаще всего бывает чётырех видов:

текстиль — долговечен и дешев;
сетка — различается по качеству, стоит дороже текстиля, принимает форму тела;
экокожа — стоит дороже, быстро изнашивается (зависит от качества);
натуральная кожа — самое дорогое покрытие, держится дольше чем экокожа.

Топ-5 кресел для программистов

Подобрали для вас несколько моделей, в том числе по рекомендациям сотрудников Tproger :).

Metta BK-8 Ch

~10 000 ₽

Офисное кресло с небольшим подголовником и упором для поясницы. Расположение упора не регулируется. Есть механизм качания, который можно зафиксировать. Спинка сделана из сетки, а сиденье из ткани. Подлокотники покрыты кожзамом. Максимальная нагрузка — 120 кг.

Бюрократ VIKING LOFT

~18 000 ₽

Геймерское кресло с тканевой обивкой. Есть подголовник и регулируемый упор для поясницы. Настраивается наклон спинки. Механизм качания также настраивается. Высота подлокотников регулируется. Максимальная нагрузка — 150 кг.

AeroCool Earl

~20 000 ₽

Геймерское кресло с обивкой из ткани и искусственной кожи. Также есть регулируемый упор для поясницы и подголовник. Подлокотники не регулируются. Механизм качания не регулируется. Максимальный угол отклонения спинки — 180 градусов. Максимальная нагрузка — 150 кг.

ThunderX3 EC3

~18 500 ₽

Ещё одно геймерское кресло, эта модель полностью обита искусственной кожей. По размеру немного меньше предыдущего кресла. Имеет регулируемый синхромеханизм качания. Максимальная нагрузка — 120 кг.

HARAсhair NIETZSCHE

~41 000 ₽

Ортопедическое кресло, спинка и сиденье которого состоят из нескольких частей. Их положение можно настраивать. Сиденье изменяет свою форму в случае неравномерной нагрузки. Кресло обито сеткой. Есть синхромеханизм качания, который изменяет положение сиденья относительно спинки. Подголовник регулируется по высоте. Съёмный поясничный упор. Подлокотники не регулируются. Максимальная нагрузка — 90 кг.

Никакое идеальное кресло для программиста не избавит вас от необходимости делать перерывы. Это полезно и для спины, и для глаз.

Почему стоит использовать Babel в разработке. Инструкция по написанию Babel плагина

savichm — Sat, 01 Apr 2023 11:23:08 GMT

Какую проблему решает Babel

В языке JavaScript изменения происходят ежегодно, а некоторые ECMAScript конвенции вносят даже слишком много дополнительного синтаксического сахара, настолько, что браузерные движки исполняющие JS код не успевают обновляться под изменения. В связи с этим у разработчиков стоит выбор:

1. Писать в legacy стиле, не пользуясь новыми фишками;

2. Писать в новом стиле, и код будет работать только на новых версиях движков;

3. Самый оптимальный вариант — писать код в современном стиле и транспилировать его с помощью Babel в более старые версии ECMAScript, чтобы его могли исполнять даже старые браузерные движки. В общем, Babel — это единый инструмент для того, чтобы ваш код поддерживался даже старыми браузерами.

Пример, как выглядит код, преобразованный с помощью Babel

Как работает Babel под капотом

Чтобы разобраться в том, что написал разработчик, и перевести это в более старую версию JS, Babel требуется максимально декомпозировать код. Делает он это с помощью составления AST дерева и его последующего анализа. Babel разбивает наш код на самые мелкие частицы, даже «‎;»‎ или «‎пробел»‎ — отдельная часть AST дерева. После того как Babel создал такое дерево, он может пройтись по каждому узлу и преобразовать его нужным образом.

Пример AST

Особая сила Babel

Особая сила Babel заключается в огромном количестве разнообразных плагинов, а самое главное — плагин можно написать самому. Плагины имеют доступ к абстрактному синтаксическому дереву AST и могут изменять его на этапе транспиляции кода перед выходом в итоговый бандл. Babel плагины работают по паттерну Visitor. Суть паттерна в том, что если у нас есть некая абстракция (в нашем случае это AST), мы не взаимодействуем с ней напрямую, а работаем с ней через посетителя, то есть Visitor. Наша абстракция будет иметь метод, задача которого простая – просто передать себя посетителю, а он уже будет работать с ним.

Пишем свой Babel плагин

Я напишу простой плагин в учебных целях, который будет менять все операторы «+»‎ на «-»‎. Он бесполезный, но на его примере можно понять, как пишутся плагины в целом.

Суть простая.

1. Вы смотрите в AST Explorer, как выглядят определённые ноды в абстрактном синтаксическом дереве;

2. Обрабатываете эти ноды в коде так, как вы хотите.

Я написал код в AST Explorer, после установки курсора на значок «+» увидел, что мне нужен BinaryExpression, и написал вот такой вот плагин, опираясь на паттерн Visitor:

Вот так подключил его:

В итоге мой код скомпилировался и на выходе в сближенном файле я получил вот такой консоль лог, где видно, что наш плагин работает и меняет «+»‎ на «-».

Исходный код можно найти: https://github.com/dacorm/test-babel-plugin

На примере этого простого плагина вы ознакомились с ещё одним нетривиальным способом решения некоторых проблем в коде. Иногда на работе случаются такие баги, что решать их приходится с помощью Babel плагина. Это буквально суперсила, которой владеют немногие

SQL для начинающих: 10 правил построения «точных» запросов

savichm — Sat, 01 Apr 2023 11:17:15 GMT

«Точный» SQL-запрос возвращает «чистые» данные в необходимом и достаточном количестве, при этом потребляет как можно меньше памяти и справляется за минимальное время. Скорость работы с базой влияет на производительность. Потребление памяти может негативно сказаться даже на безопасности. Всё это прямо и косвенно влияет на прибыль компании. В статье разберёмся, как не допускать ошибок.

Для наших целей понадобятся тестовые данные. Будем работать с базой данных Oracle Database. Примеры в статье будут приводиться на языке SQL, PL/SQL. Нам важен подход, который можно адаптировать под другую реляционную систему управления базами данных — РСУБД.

Тестовые данные

⚒ Создадим тестовую таблицу 1:

CREATE SEQUENCE TEST_DATA_1_SEQ
  NOMAXVALUE
  NOMINVALUE
  NOCYCLE
/

CREATE TABLE TEST_DATA_1
(
  TEST_DATA_1_ID NUMBER DEFAULT TEST_DATA_1_SEQ.NEXTVAL NOT NULL
  ,TYPE          VARCHAR2(64) NOT NULL
  ,VALUE         VARCHAR2(128) NOT NULL
  ,PC_USR        VARCHAR2(30) DEFAULT USER NOT NULL
  ,PC_DT         TIMESTAMP(6) DEFAULT SYSTIMESTAMP NOT NULL
)
/

ALTER TABLE TEST_DATA_1
  ADD CONSTRAINT TEST_DATA_1_PK PRIMARY KEY (TEST_DATA_1_ID)
  USING INDEX
/

ALTER TABLE TEST_DATA_1
  ADD CONSTRAINT TEST_DATA_1_TYPE_CHK CHECK (TYPE in ('CITY', 'DATE', 'EMPLOYEE', 'STOCK MARKET'))
/

CREATE UNIQUE INDEX TEST_DATA_1_UIDX1 ON TEST_DATA_1 (VALUE)
/

COMMENT ON TABLE TEST_DATA_1 IS 'Тестовые данные 1'
/

⚒ Заполним тестовую таблицу 1 данными:

/* Добавление данных */
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('CITY', 'МОСКВА');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('CITY', 'САНКТ-ПЕТЕРБУРГ');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('EMPLOYEE', 'СОТРУДНИК 1. ПОЛ М. ВОЗРАСТ 18');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('EMPLOYEE', 'СОТРУДНИК 2. ПОЛ Ж. ВОЗРАСТ 19');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('EMPLOYEE', 'СОТРУДНИК 3. ПОЛ Ж. ВОЗРАСТ 20');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('DATE', '01 января 2000');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('DATE', '02 января 2000');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('DATE', '01.01.2001');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('DATE', '02.01.2001');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('DATE', '03.01.2001');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('DATE', '04.01.2001');

/* Извлечение всех  данных */
SELECT t1.*
  FROM TEST_DATA_1 t1;

/* Удаление всех данных без проверок */
TRUNCATE TABLE TEST_DATA_1;

⚒ Создадим тестовую таблицу 2:

CREATE SEQUENCE TEST_DATA_2_SEQ
  NOMAXVALUE
  NOMINVALUE
  NOCYCLE
/

CREATE TABLE TEST_DATA_2
(
  TEST_DATA_2_ID NUMBER DEFAULT TEST_DATA_2_SEQ.NEXTVAL NOT NULL
  ,TEST_DATA_1_ID NUMBER NOT NULL
  ,TYPE           VARCHAR2(64) NOT NULL
  ,VALUE          VARCHAR2(128) NOT NULL
  ,PC_USR         VARCHAR2(30) DEFAULT USER NOT NULL
  ,PC_DT          TIMESTAMP(6) DEFAULT SYSTIMESTAMP NOT NULL
)
/

ALTER TABLE TEST_DATA_2
  ADD CONSTRAINT TEST_DATA_2_PK PRIMARY KEY (TEST_DATA_2_ID)
  USING INDEX
/

ALTER TABLE TEST_DATA_2
  ADD CONSTRAINT TEST_DATA_2_TYPE_CHK CHECK (TYPE in ('STREET', 'DATE', 'EMPLOYEE', 'STOCK MARKET'))
/

CREATE UNIQUE INDEX TEST_DATA_2_UIDX1 ON TEST_DATA_2 (TEST_DATA_1_ID, VALUE)
/

COMMENT ON TABLE TEST_DATA_2 IS 'Тестовые данные 2'
/

⚒ Заполним тестовую таблицу 2 данными:

/* Добавление данных */
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (1 /*ID МОСКВА*/, 'STREET', 'УЛИЦА КАРЛА МАРКСА');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (1 /*ID МОСКВА*/, 'STREET', 'УЛИЦА КРУПСКОЙ');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (1 /*ID МОСКВА*/, 'STREET', 'МАЛЫЙ ПОЛУЯРОСЛАВСКИЙ ПЕРЕУЛОК');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (2 /*ID САНКТ-ПЕТЕРБУРГ*/, 'STREET', 'УЛИЦА КАРЛА МАРКСА');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (2 /*ID САНКТ-ПЕТЕРБУРГ*/, 'STREET', 'УЛИЦА КРУПСКОЙ');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (3 /*ID СОТРУДНИК 1*/, 'EMPLOYEE', 'ПРОЖИВАЕТ В ГОРОДЕ МОСКВА');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (4 /*ID СОТРУДНИК 2*/,'EMPLOYEE', 'ПРОЖИВАЕТ В ГОРОДЕ МОСКВА');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (5 /*ID СОТРУДНИК 3*/,'EMPLOYEE', 'ПРОЖИВАЕТ В  ГОРОДЕ САНКТ-ПЕТЕРБУРГ');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (6 /*ID 01 января 2000*/, 'DATE', 'Формат день числом, месяц словом, год числом');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (7 /*ID 02 января 2000*/, 'DATE', 'Формат день числом, месяц словом, год числом');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (8 /*ID 01.01.2001*/, 'DATE', 'Формат день числом, месяц числом, год числом');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (9 /*ID 02.01.2001*/, 'DATE', 'Формат день числом, месяц числом, год числом');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (10 /*ID 03.01.2001*/, 'DATE', 'Формат день числом, месяц числом, год числом');
INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (11 /*ID 04.01.2001*/, 'DATE', 'Формат день числом, месяц числом, год числом');

/* Извлечение всех данных */
SELECT t2.*
  FROM TEST_DATA_2 t2;

/* Удаление всех данных без проверок */
TRUNCATE TABLE TEST_DATA_2;

1. Объявляя имена таблиц, обращайся к записям через псевдонимы таблиц

Допустим, есть таблица с некоторым количество колонок. К ней можно обратиться двумя разными способами:

⚠️ Опасный подход:

SELECT TYPE
      ,VALUE
  FROM TEST_DATA_1;

✅ Безопасный подход заключается в обращении через псевдоним:

SELECT t1.TYPE AS TYPE
      ,t1.VALUE AS VALUE
  FROM TEST_DATA_1 t1;

Псевдоним (анг. Alias) — это имя, назначенное источнику данных в SQL-запросе при использовании выражения в качестве источника данных или для упрощения ввода и прочтения инструкции SQL. Это полезно, если имя источника слишком длинное или его трудно вводить.

Псевдонимы можно использовать для переименования таблиц и колонок. В отличие от настоящих имён, они могут не соответствовать ограничениям базы данных и содержать до 255 знаков (включая пробелы, цифры и специальные символы).

В случае извлечения данных из одной таблицы без псевдонимов можно обойтись. Рисков нет. Синтаксический анализатор базы данных однозначно знает, данные из какой колонки таблицы запрашиваются. Но рекомендуется всё же использовать их — чтобы выработать привычку.

В случае извлечения данных из нескольких таблиц отказ от использования псевдонимов увеличивает риск получения некорректного результата. Допустим, что у таблиц есть колонки с одинаковым именем. Когда данные извлекаются и SQL-запрос звучит как: «Получаю записи из таблиц колонку А», то о какой колонке «А» идёт речь: из первой или второй таблицы? Если для таблицы назначен псевдоним, то SQL-запрос может звучать уже так: «Получаю записи из таблицы Т1 колонку А».

К SQL-запросу, возможно, придётся вернуться через какое-то время, чтобы внести в него изменения. В таких случаях подсказки в виде псевдонима (alias) помогут определить нужную колонку. Практически со стопроцентной уверенностью будет понятно, из какой таблицы что извлекали.

⚠️ Опасный подход:

SELECT TEST_DATA_1.TYPE
      ,TEST_DATA_1.VALUE
      ,TEST_DATA_2.TYPE
      ,TEST_DATA_2.VALUE
  FROM TEST_DATA_1
      ,TEST_DATA_2
WHERE TEST_DATA_1.TEST_DATA_1_ID = TEST_DATA_2.TEST_DATA_1_ID;

✅ Безопасный подход заключается в обращении через псевдоним:

SELECT t1.TYPE AS TYPE_1 /* Колонка TYPE из таблицы TEST_DATA_1 */
      ,t1.VALUE AS VALUE_1 /* Колонка VALUE из таблицы TEST_DATA_1 */
      ,t2.TYPE AS TYPE_2 /* Колонка TYPE из таблицы TEST_DATA_2 */
      ,t2.VALUE AS VALUE_2 /* Колонка VALUE из таблицы TEST_DATA_2 */
 FROM TEST_DATA_1 t1
     ,TEST_DATA_2 t2
WHERE t1.TEST_DATA_1_ID = t2.TEST_DATA_1_ID;

2. Извлекай только те данные, которые планируешь использовать

База данных зачастую является неотъемлемой частью приложения. По мере усложнения функционала в отдельной взятой таблице может увеличиваться количество колонок.

Рассмотрим пример «Карточка сотрудника». У нас есть таблица «Сотрудник» с колонками ФИО, пол, возраст. Данные из них извлекаются и выводятся на форму «Карточка сотрудника». SQL-запрос можно написать следующим образом: «Извлекаю все колонки из таблицы по указанному сотруднику». В таком случае извлекаются все колонки.

⚠️ Опасный подход заключается в извлечении всех данных:

SELECT t1.*
  FROM TEST_DATA_1 t1
 WHERE t1.TEST_DATA_1_ID = 3 /* ID EMPLOYEE = СОТРУДНИК 1 */;

В будущем могут появиться дополнительные колонки в базе данных — например, описание должностных обязанностей или адрес проживания — в рамках нового информационного потока использования базы данных. То есть вне «Карточки сотрудника».

/* Добавление новой колонки в таблицу */
ALTER TABLE TEST_DATA_1
  ADD DESCRIPTION VARCHAR2(4000)
/

/* Обновление данных в таблице */
UPDATE TEST_DATA_1 t1
   SET T1.DESCRIPTION = 'ДОПОЛНИТЕЛЬНЫЕ ДАННЫЕ ПО СОТРУДНИКУ 1'
 WHERE t1.TEST_DATA_1_ID = 3 /* ID EMPLOYEE = СОТРУДНИК 1 */;

/* Извлечение данных из таблицы */
SELECT t1.*
  FROM TEST_DATA_1 t1
 WHERE t1.TEST_DATA_1_ID = 3 /* ID EMPLOYEE = СОТРУДНИК 1 */;

В результате данные по новым полям заполняются уже не только формой «Карточки сотрудника». И SQL-запрос получения информации для формы начинает работать медленнее. Причина в том, что приходится извлекать данные из большего количества колонок.

Деградация скорости получения данных может происходить постепенно или резко — но в самый неподходящий момент. Зачастую это связано с тем, что поля свободного ввода данных могут быть большими. То есть база данных должна больше информации подгрузить в память и потом отдать клиенту, приложение которого не готово к такому потоку данных.

Рассмотрим пример «Телефон». На телефоне пользователя установлено приложение. Сам телефон старый. Пользователь не выполнял обновления программного обеспечения (ПО), но замечает, что с какого-то момента времени приложение начало работать медленнее. У другого пользователя на новом телефоне то же приложение работает быстро. Ошибка «плавающая», но для разработчика неприятная.

Как правило, дело в том, как написано приложение. Данных извлекается больше, чем надо, и более современный телефон, у которого памяти больше, этого не заметит. Но старый не может себе этого позволить.

Чтобы таких неожиданностей не возникало, нужно извлекать строго те данные, которые требуется использовать и показывать на форме. В данном случае нужно было написать: «Извлекаю колонки ФИО, возраст, пол из таблички сотрудника, с фильтрацией по сотруднику».

✅ Безопасный подход заключается в получении нужных данных:

SELECT t1.TYPE AS TYPE_1 /* Колонка TYPE из таблицы TEST_DATA_1 */
      ,t1.VALUE AS VALUE_1 /* Колонка VALUE из таблицы TEST_DATA_1 */
  FROM TEST_DATA_1 t1
WHERE t1.TEST_DATA_1_ID = 3 /* ID EMPLOYEE = СОТРУДНИК 1 */;

3. По максимуму используй данные, которые извлёк из таблицы

Каждый SQL-запрос к базе данных чего-то стоит. В тот момент, когда данные извлечены и находятся в памяти, надо по максимуму использовать то, что получено, чтобы оптимизировать время и ресурсы.

После обращения к таблице Table1, нужно постараться написать SQL-запрос так, чтобы не пришлось извлекать данные из неё несколько раз. Это не всегда возможно, но попытаться стоит.

⚠️ Опасный подход:

SELECT t1.TYPE AS TYPE_1
      ,t1.VALUE AS VALUE_1
      ,t2.VALUE AS VALUE_2
  FROM TEST_DATA_1 t1
      ,TEST_DATA_2 T2
WHERE T1.TEST_DATA_1_ID = T2.TEST_DATA_1_ID
  AND t2.VALUE = 'ПРОЖИВАЕТ В ГОРОДЕ МОСКВА'
UNION ALL
SELECT t1.TYPE AS TYPE_1
      ,t1.VALUE AS VALUE_1
      ,t2.VALUE AS VALUE_2
  FROM TEST_DATA_1 t1
      ,TEST_DATA_2 T2
WHERE T1.TEST_DATA_1_ID = T2.TEST_DATA_1_ID
  AND t2.VALUE = 'ПРОЖИВАЕТ В ГОРОДЕ САНКТ-ПЕТЕРБУРГ'
ORDER BY VALUE_1;

/* План запроса */

✅ Безопасный подход заключается в использовании полученных данных максимально продуктивно:

SELECT t1.TYPE AS TYPE_1
      ,t1.VALUE AS VALUE_1
      ,t2.VALUE AS VALUE_2
  FROM TEST_DATA_1 t1
      ,TEST_DATA_2 T2
WHERE T1.TEST_DATA_1_ID = T2.TEST_DATA_1_ID
  AND t2.VALUE IN ('ПРОЖИВАЕТ В ГОРОДЕ МОСКВА', 'ПРОЖИВАЕТ В ГОРОДЕ САНКТ-ПЕТЕРБУРГ')
ORDER BY VALUE_1;

/* План запроса */

Неоптимальный SQL-запрос может выполняться дольше, уронить инфраструктуру и даже повлиять на безопасность системы.

⚒ Рассмотрим тестовый пример:

/*
 * Тестовый пример
 * Каждый случай запроса выполняется 1 000 000 раз в “холостую”
 */

declare
  start_time pls_integer;
  end_time   pls_integer;
begin
  /* 1 Случай */
  start_time := dbms_utility.get_time;

  for indx in 1 .. 1000000 loop
     for cur in (select t1.TYPE as TYPE_1
                    ,t1.VALUE as VALUE_1
                    ,t2.VALUE as VALUE_2
                from TEST_DATA_1 t1
                    ,TEST_DATA_2 T2
               where T1.TEST_DATA_1_ID = T2.TEST_DATA_1_ID
                 and t2.VALUE = 'ПРОЖИВАЕТ В ГОРОДЕ МОСКВА'
               union all
               select t1.TYPE as TYPE_1
                    ,t1.VALUE as VALUE_1
                    ,t2.VALUE as VALUE_2
                from TEST_DATA_1 t1
                    ,TEST_DATA_2 T2
               where T1.TEST_DATA_1_ID = T2.TEST_DATA_1_ID
                 and t2.VALUE = 'ПРОЖИВАЕТ В ГОРОДЕ САНКТ-ПЕТЕРБУРГ'
                order by VALUE_1) loop
      null;
    end loop;
  end loop;

  end_time := dbms_utility.get_time;
  dbms_output.put_line('execution time 1 --> ' || (end_time - start_time) / 100 || ' sec');

  /* 2 Случай */
  start_time := dbms_utility.get_time;

  for indx in 1 .. 1000000 loop
    for cur in (select t1.TYPE as TYPE_1
                   ,t1.VALUE as VALUE_1
                   ,t2.VALUE as VALUE_2
               from TEST_DATA_1 t1
                   ,TEST_DATA_2 T2
              where T1.TEST_DATA_1_ID = T2.TEST_DATA_1_ID
                and t2.VALUE in ('ПРОЖИВАЕТ В ГОРОДЕ МОСКВА', 'ПРОЖИВАЕТ В ГОРОДЕ САНКТ-ПЕТЕРБУРГ')
               order by VALUE_1) loop
      null;
    end loop;
  end loop;

  end_time := dbms_utility.get_time;
  dbms_output.put_line('execution time 2 --> ' || (end_time - start_time) / 100 || ' sec');
end;
/

/*
 * Результат выполнения
 * Важно не время, которое зависит от ресурсов на ПК, а разница выполнения
 */
/*
Done in 64,516 seconds
 */
execution time 1 --> 46.83 sec
execution time 2 --> 17.67 sec

Рассмотрим пример «Работа ЦОД».Есть Центр Обработки Данных (ЦОД). В нём, на одном из ресурсов внутри приложения, выполняется некий SQL-запрос, который постепенно использует всю доступную память без ограничений. И приложениям, которые стоят на том же ресурсе, со временем перестаёт хватать памяти на стабильную работу. Это может привести к их падению.

Конечно, многое будет зависеть от качества приложений. Например, если во время падения они закрываются нетипично, подвисают или не отвечают на запросы пользователя — и выходят за рамки границ безопасности — хакеры могут этим пользоваться для входа в систему. И тем самым её скомпрометировать.

4. Проверяй запросы SQL на индексы

SQL-запросы бывают простые и сложные. Иногда извлекается мало данных, иногда — много. Если таблица большая, и в ней очень разнообразные данные, то в зависимости от того, как обращаться к этим данным, использовать индекс или нет, можно потерять время.

Рассмотрим пример «Брокерская биржа». В рамках отдельного процесса извлекаются данные для покупки-продажи акций. Используя оптимизированный SQL-запрос, можно быстро получать информацию, по какой цене торгуется каждая акция. И делать прогноз — покупать или продавать.

Если SQL-запрос не оптимизирован, извлечение данных занимает больше времени. И пользователь вынужден ждать, хотя мог за это время сделать что-то, что принесло бы ему деньги.

Индексы — это инструмент оптимизации извлечения данных. Конечно, это не панацея, и если таблица маленькая, по ней проще пройти прямым перебором и получить данные.

Добавим в тестовую таблицу 1 новые данные:

/* Добавление новых данных */
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('STOCK MARKET', 'АКЦИЯ 1. СТОИМОСТЬ 101 РУБ');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('STOCK MARKET', 'АКЦИЯ 2. СТОИМОСТЬ 102 РУБ');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('STOCK MARKET', 'АКЦИЯ 3. СТОИМОСТЬ 103 РУБ');
INSERT INTO TEST_DATA_1 (TYPE, VALUE) VALUES ('STOCK MARKET', 'АКЦИЯ 4. СТОИМОСТЬ 104 РУБ');

⚠️ Опасный подход заключается в игнорировании использования индексов:

/* Извлечение всех данных TYPE = STOCK MARKET */
SELECT t1.TYPE AS TYPE_1
      ,t1.VALUE AS VALUE_1
  FROM TEST_DATA_1 t1
WHERE t1.TYPE = 'STOCK MARKET';

/* План запроса */

Добавим в тестовую таблицу 1 новый индекс

/* Добавление нового индекса */
CREATE INDEX TEST_DATA_1_IDX1 ON TEST_DATA_1 (TYPE)
/

✅ Безопасный подход заключается в использовании индексов:

/* Извлечение всех данных TYPE = STOCK MARKET */
SELECT t1.TYPE AS TYPE_1
      ,t1.VALUE AS VALUE_1
  FROM TEST_DATA_1 t1
WHERE t1.TYPE = 'STOCK MARKET';

/* План запроса */

Рассмотрим пример «Доставка почты». Показательный пример работы индексов — доставка почты из точки А в одном городе, в точку Б в другом. Зная, куда конкретно нужно доставить посылку, мы можем идти по индексам и определить, где и когда повернуть, чтобы довезти посылку за максимально короткое время. Если везти посылку на машине, то это сокращает расход топлива — а значит, и материальные издержки на доставку.

В противном случае можно сворачивать не там, спрашивать дорогу у прохожих, которые знают её плохо. И, вместо того чтобы доставить посылку за Время Т1, опоздать на Время Т2. В итоге покупатель ждёт, а продавец теряет деньги.

Индексы помогают ускорить извлечение данных.

5. Начинай запрос SQL с таблицы с меньшим набором записей

Допустим, нам нужно соединить две таблицы: с маленьким количеством записей и с большим. Стоит сделать следующее:

начинать извлечение данных из таблицы с меньшим набором данных;
продолжать извлечение данных из таблицы с большим набором данных.

⚒ Добавим в тестовую таблицу 2 новые данные:

/* Добавление новых данных */
declare
  l_type       test_data_2.type%type := 'STOCK MARKET';
  l_value_2 test_data_2.value%type := '';
  l_sql          varchar2(128) := '';
begin
  /* Извлечение данных из тестовой таблицы 1 */
  for cur_t1 in (select t1.test_data_1_id as test_data_1_id
                       ,t1.type as type_1
                       ,t1.value as value_1
                   from TEST_DATA_1 t1
                  where type = l_type) loop
    /* Цикл до 1 000 000  на каждую полученную запись из тестовой таблицы 1 */
    for indx in 1 .. 1000000 loop
      l_value_2 := cur_t1.value_1 || '. ' || 'ЗАПИСЬ ' || indx;
      l_sql     := 'INSERT INTO TEST_DATA_2 (TEST_DATA_1_ID, TYPE, VALUE) VALUES (' || --
                cur_t1.TEST_DATA_1_ID || ', ' || --
                '''' || l_type || ''', ' || --
                '''' || l_value_2 || ''')';
      /* Выполнение динамического запроса */
      execute immediate l_sql;
    end loop;
  end loop;
end;
/

/* Общее число записей в таблице TEST_DATA_1 */
SELECT COUNT(1) AS CNT
  FROM  TEST_DATA_1
/

/* Общее число записей в таблице TEST_DATA_2 */
SELECT COUNT(1) AS CNT
  FROM TEST_DATA_2
/

/* Добавление нового индекса для таблицы TEST_DATA_1 */
CREATE INDEX TEST_DATA_1_IDX2 ON TEST_DATA_1 (TEST_DATA_1_ID, TYPE)
/

/* Добавление нового индекса для таблицы TEST_DATA_2 */
CREATE INDEX TEST_DATA_2_IDX1 ON TEST_DATA_2 (TEST_DATA_1_ID, TYPE)
/
CREATE INDEX TEST_DATA_2_IDX2 ON TEST_DATA_2 (TEST_DATA_1_ID)
/
CREATE INDEX TEST_DATA_2_IDX3 ON TEST_DATA_2 (TYPE)
/

/* Сбор статистики после добавления данных */
declare
  l_user varchar2(30 char) := user;
begin
  /* Для таблицы TEST_DATA_1 */
  DBMS_STATS.GATHER_TABLE_STATS(ownname => l_user --
                               ,tabname => 'TEST_DATA_1'
                               ,cascade => true);

  /* Для таблицы TEST_DATA_2 */
  DBMS_STATS.GATHER_TABLE_STATS(ownname => l_user --
                               ,tabname => 'TEST_DATA_2'
                               ,cascade => true);
end;
/

Если поступить наоборот, то мы потеряем время, потому что перебирать данные из большей таблицы дольше.

⚒ Рассмотрим тестовый пример:

/*
 * Тестовый пример
 * Каждый случай запроса выполняется 100 раз в “холостую”
 * Запросы усложнены и их можно упростить, добиваясь большей производительности и схожего результата
 * Попробуйте поэкспериментировать
 */

declare
  start_time pls_integer;
  end_time   pls_integer;
begin
  /* 1 Случай. От большего к меньшему */
  start_time := dbms_utility.get_time;

  for indx in 1 .. 100 loop
    for cur in (select t1.type as type_1
                      ,t1.value as value_1
                      ,t2_.type_2 as type_2
                      ,t2_.value_2_min as value_2_min
                      ,t2_.value_2_max as value_2_max
                      ,t2_.value_2_cnt as value_2_cnt
               from (select t2.TEST_DATA_1_ID as TEST_DATA_1_ID
                           ,t2.TYPE as TYPE_2
                           ,min(t2.VALUE) as VALUE_2_MIN
                           ,max(t2.VALUE) as VALUE_2_MAX
                           ,count(t2.VALUE) as VALUE_2_CNT
                      from TEST_DATA_2 t2
                     where t2.type = 'STOCK MARKET'
                     group by t2.TEST_DATA_1_ID
                             ,t2.TYPE
                     order by t2.TEST_DATA_1_ID) t2_
                join TEST_DATA_1 t1
                  on t1.TEST_DATA_1_ID = t2_.TEST_DATA_1_ID
                 and t1.type = 'STOCK MARKET'
               order by t1.value) loop
      null;
    end loop;
  end loop;end_time := dbms_utility.get_time;
  dbms_output.put_line('execution time 1 --> ' || (end_time - start_time) / 100 || ' sec');

  /* 2 Случай. От меньшего к большему */
  start_time := dbms_utility.get_time;

  for indx in 1 .. 100 loop
    for cur in (select t1_.type_1 as type_1
                     ,t1_.value_1 as value_1
                     ,t2.type as type_2
                     ,min(t2.value) as value_2_min
                     ,max(t2.value) as value_2_max
                     ,count(t2.value) as value_2_cnt
                from (select t1.TEST_DATA_1_ID as TEST_DATA_1_ID
                            ,t1.TYPE as TYPE_1
                            ,t1.VALUE as VALUE_1
                        from TEST_DATA_1 t1
                       where t1.TYPE = 'STOCK MARKET'
                       order by t1.value) t1_
                 join TEST_DATA_2 t2
                   on t2.TEST_DATA_1_ID = t1_.TEST_DATA_1_ID
                  and t2.TYPE = 'STOCK MARKET'
                group by t1_.type_1
                        ,t1_.value_1
                        ,t2.type) loop
      null;
    end loop;
  end loop;

  end_time := dbms_utility.get_time;
  dbms_output.put_line('execution time 2 --> ' || (end_time - start_time) / 100 || ' sec');
end;
/

/*
 * Результат выполнения
 * Важно не время, которое зависит от ресурсов на ПК, а разница выполнения
 * Каждый вариант возвращает одинаковые данные
 */

/* Executed in 269,203 seconds */

execution time 1 --> 149.49 sec
execution time 2 --> 119.68 sec

Рассмотрим пример «Очередь клиентов». Есть поток клиентов, каждого из которых нужно обслужить. Операторы, заполняя форму «Анкета» задают серию вопросов. Один из них, влияет на дальнейший ход общения: «Вам исполнилось 18 лет?». Если клиент отвечает нет, то оператор прекращает общение, иначе продолжает задавать вопросы.

Если оператор задаст вопрос про возраст в конце общения, то любой потенциальный клиент должен будет заполнить всю анкету, даже если в этом нет смысла. Рациональный подход в общении с клиентами помогает операторам за одно и то же время обслужить большее число клиентов. С базами данных всё так же.

6. Не допускай декартового произведения между таблицами

Результатом декартового — или перекрёстного — произведения множеств будет такое множество, элементами которого являются все возможные упорядоченные пары элементов исходных множеств. Рассмотрим пример «Адрес». Возьмём две таблицы «Город», «Улица». В первой таблице «Город» есть две записи: Москва и Санкт-Петербург. Во второй таблице «Улица» сохранены следующие записи:

улица Карла Маркса, которая одновременно есть и в Москве, и в Санкт-Петербурге;
улица Крупской аналогично и в Москве, и в Санкт-Петербурге;
Малый Полуярославский переулок только в Москве.

Пишем запрос: «Получаю из таблицы «Улица», которые принадлежат городу Москва».

⚠️ Опасный подход:

SELECT t1.TYPE AS TYPE_1 /* Колонка TYPE из таблицы TEST_DATA_1 */
       ,t1.VALUE AS VALUE_1 /* Колонка VALUE из таблицы TEST_DATA_1 */
       ,t2.TYPE AS TYPE_2 /* Колонка TYPE из таблицы TEST_DATA_2 */
       ,t2.VALUE AS VALUE_2 /* Колонка VALUE из таблицы TEST_DATA_2 */
  FROM TEST_DATA_1 t1
       ,TEST_DATA_2 t2
WHERE t1.TYPE = 'CITY'
  AND t2.TYPE = 'STREET';

SQL-запрос написан без условия, то есть: «Извлекаю улицы, относящиеся к городам, без соединения таблиц». База данных, не понимая, по какому городу делается SQL-запрос, соединит со всеми улицами и Москву, и Санкт-Петербург. Всего вернётся 2* 5 = 10 записей.

✅ Безопасный подход заключается в наличии связей:

SELECT t1.TYPE AS TYPE_1 /* Колонка TYPE из таблицы TEST_DATA_1 */
       ,t1.VALUE AS VALUE_1 /* Колонка VALUE из таблицы TEST_DATA_1 */
       ,t2.TYPE AS TYPE_2 /* Колонка TYPE из таблицы TEST_DATA_2 */
       ,t2.VALUE AS VALUE_2 /* Колонка VALUE из таблицы TEST_DATA_2 */
  FROM TEST_DATA_1 t1
       ,TEST_DATA_2 t2
WHERE t1.TEST_DATA_1_ID = t2.TEST_DATA_1_ID
  AND t1.TYPE = 'CITY'
  AND t2.TYPE = 'STREET';

Этот SQL-запрос написан с условием, то есть: «Извлекаю улицы, относящиеся к городу Москве, соединяя две таблицы условием». В нём указывается, по какому городу нужно выполнить фильтрацию. Поэтому возвращено 3 записи.
Когда данные извлекаются больше чем из одной таблицы, важно, как они соединяются между собой. Неправильное соединение будет возвращать неверные данные и не в ожидаемом количестве.

7. Проверяй, что имена параметров процедур не совпадают с именами колонок

Процедуры, функции могут использоваться для разных целей. Одно из возможных предназначений — обновление записей в таблице.

Допустим, есть строковый параметр А, который передаётся на вход процедуры с целью фильтрации. Можно сказать, что написано так: «Обновляю таблицу, задав новое значение для колонки, где выполняется фильтрация по колонке А равной параметру А». В этом случае наблюдается полное совпадение А = А. База данных обновит все записи в этой таблице.

Чтобы этого не было, параметру добавляют префикс или постфикс. Например, параметр будет называться не А, а РА. В изменённом виде можно сказать, что написано так: «Обновляю таблицу, задав новое значение для колонки, где выполняется фильтрация по колонке А равной параметру PА».

⚠️ Опасный подход:

/* 1 вариант процедуры с ошибкой */
create or replace procedure e_test_data_1_upd_description(test_data_1_id in TEST_DATA_1.TEST_DATA_1_ID%type
                                                                                                            ,description        in TEST_DATA_1.DESCRIPTION%type) as
begin
  update TEST_DATA_1 t1 –
     set t1.DESCRIPTION = description /* Обновление записи */
   where t1.TEST_DATA_1_ID = test_data_1_id;
exception
  when others then
    /* Блок перехвата ошибок */
    null;
end e_test_data_1_upd_description;
/

/* Пример вызова 1 варианта процедуры с ошибкой */
declare
begin
  e_test_data_1_upd_description(test_data_1_id => 4 /* ID EMPLOYEE = СОТРУДНИК 2 */
                              ,description        => 'ДОПОЛНИТЕЛЬНЫЕ ДАННЫЕ ПО СОТРУДНИКУ 2');
end;
/

/*
 * Результат изменений
 * Визуально изменений нет
 */
SELECT T1.TEST_DATA_1_ID AS TEST_DATA_1_ID
       ,T1.TYPE AS TYPE_1
       ,T1.VALUE AS VALUE_1
       ,T1.DESCRIPTION AS DESCRIPTION
  FROM TEST_DATA_1 T1;

⚠️ Опасный подход:

/* 2 вариант процедуры с ошибкой */
create or replace procedure e_test_data_1_upd_description(test_data_1_id    in TEST_DATA_1.TEST_DATA_1_ID%type
                                                        ,description_new in TEST_DATA_1.DESCRIPTION%type) as
begin
  update TEST_DATA_1 t1 –
     set t1.DESCRIPTION = description_new /* Обновление записи */
   where t1.TEST_DATA_1_ID = test_data_1_id;
exception
  when others then
    /* Блок перехвата ошибок */
    null;
end e_test_data_1_upd_description;
/

/* Пример вызова 2 варианта процедуры с ошибкой */
declare
begin
  e_test_data_1_upd_description(test_data_1_id    => 4 /* ID EMPLOYEE = СОТРУДНИК 2 */
                               ,description_new  => 'ДОПОЛНИТЕЛЬНЫЕ ДАННЫЕ ПО СОТРУДНИКУ 2');
end;
/

/*
 * Результат изменений
 * Изменены все записи
 */
SELECT T1.TEST_DATA_1_ID AS TEST_DATA_1_ID
      ,T1.TYPE AS TYPE_1
      ,T1.VALUE AS VALUE_1
      ,T1.DESCRIPTION AS DESCRIPTION
  FROM TEST_DATA_1 T1;

✅ Безопасный подход заключается в передаче параметра, имя которого не совпадает с именем колонки в таблице:

/* Вариант процедуры без ошибки */
create or replace procedure e_test_data_1_upd_description(p_test_data_1_id in TEST_DATA_1.TEST_DATA_1_ID%type
                                                                                                            ,p_description        in TEST_DATA_1.DESCRIPTION%type) as
begin
  update TEST_DATA_1 t1 –
     set t1.DESCRIPTION = p_description /* Обновление записи */
   where t1.TEST_DATA_1_ID = p_test_data_1_id;
exception
  when others then
    /* Блок перехвата ошибок */
    null;
end e_test_data_1_upd_description;
/

/* Пример вызова варианта процедуры без ошибки */
declare
begin
  e_test_data_1_upd_description(p_test_data_1_id => 4 /* ID EMPLOYEE = СОТРУДНИК 2 */
                               ,p_description        => 'ДОПОЛНИТЕЛЬНЫЕ ДАННЫЕ ПО СОТРУДНИКУ 2');
end;
/

/*
 * Результат изменений
 * Изменена 1 требуемая запись
 */
SELECT T1.TEST_DATA_1_ID AS TEST_DATA_1_ID
      ,T1.TYPE AS TYPE_1
      ,T1.VALUE AS VALUE_1
      ,T1.DESCRIPTION AS DESCRIPTION
  FROM TEST_DATA_1 T1;

8. Следи за временем выполнения SQL-запроса

Время, пожалуй, один из самых бесценных ресурсов. Пренебрежение за контролем времени выполнения SQL-запроса приведёт к трате усилий и денег.

Рассмотрим пример «Мониторинг времени выполнения». Допустим, на уровне базы данных продуктовой среды настроен специальный триггер. Его предназначение сводится к следующему:

прерывать сессию, которая выполняется дольше N-минут;
сохранить информацию об SQL-запросе в журнал для последующего анализа или постановки на мониторинг.

Вариант триггера на таблицу с искусственно генерируемой ошибкой в момент обновления данных:

/* Вариант триггера */
create or replace trigger TEST_DATA_1_AIUDR_PTCL
  after insert or update or delete on TEST_DATA_1
  for each row
begin
  if UPDATING then
    if (:old.test_data_1_id = 5 and :new.description is not null) then
     DBMS_OUTPUT.PUT_LINE('Log entry.');
     raise_application_error(-20001, 'No Update with id 5 and new description.');
     rollback;
    end if;
  end if;
end;
/

Специалисту рассказывали про этот триггер. Он проигнорировал это или забыл — и реализовал, поставленную задачу на непродуктовой среде таким образом, что одно из действий выполняется больше N-минут. Передал всё на установку в продуктовую среду. Получилось, что реализованный функционал не работает полностью или частично.

Вариант процедуры с искусственно завышенным временем выполнения

/* Вариант процедуры */
create or replace procedure e_test_data_1_upd_description(p_test_data_1_id in TEST_DATA_1.TEST_DATA_1_ID%type
                                                      ,p_description    in TEST_DATA_1.DESCRIPTION%type) as
begin
   /* Цикл добавлен для увеличения времени выполнения блока программной логики */
  for indx in 1 .. 1000000 loop
    for cur in (select t1.TYPE  as TYPE_1
                      ,t1.VALUE as VALUE_1
                      ,t2.VALUE as VALUE_2
                 from TEST_DATA_1 t1
                     ,TEST_DATA_2 T2
                where t1.TEST_DATA_1_ID = t2.TEST_DATA_1_ID
                  and t1.TEST_DATA_1_ID = p_test_data_1_id) loop
      null;
    end loop;
  end loop;
/* Блок программной логики */
  update TEST_DATA_1 t1 –
     set t1.DESCRIPTION = p_description /* Обновление записи */
   where t1.TEST_DATA_1_ID = p_test_data_1_id;
end e_test_data_1_upd_description;
/

/* Пример вызова процедуры */
declare
begin
  e_test_data_1_upd_description(p_test_data_1_id => 5 /* ID EMPLOYEE = СОТРУДНИК 3 */
                               ,p_description        => 'ДОПОЛНИТЕЛЬНЫЕ ДАННЫЕ ПО СОТРУДНИКУ 3');
end;
/

Задача специалиста смотреть на поставленную задачу шире, учитывая разные аспекты, применяя разные подходы. Можно попробовать оптимизировать SQL-запрос, например, добавляя индексы. Можно менять алгоритмы выполнения действий, добиваясь требуемого результата.

9. Используй копию данных для построения отчётности

Отчётность — это извлечение массива данных из базы для последующей обработки, аналитики, построения прогноза, прочее. Для неё может извлекаться значительный объём данных.

Рассмотрим пример «Отчёт о расходах за период». У нас есть промышленная среда, на которой развёрнуто приложение с подключением к базе данных. С приложением работают сотрудники. Задачей одних является внесение информации о приходе и расходе денежных средств. Задачей других — подготовка отчёта о расходе денежных средств за период. Информация вносится периодически и в небольшом объёме. Извлекается реже, но вся, что была внесена за конкретный период.

При ограниченных ресурсах базы данных извлечение может приводить к замедлению работы приложения. Потому что на стороне БД подключаются сотрудники из обеих групп, ресурсы делятся между ними, и отклик происходит медленнее. Избежать подобного эффекта можно при помощи копии базы данных с применением механизма репликации. Так, клон клон с определённой периодичностью синхронизируется с основной базой данных (их может быть несколько).

Создание копии базы данных — задача администраторов базы данных (Database administrator, DBA). Для большего погружения в механизм репликации можно обратиться к официальной справочной информации соответствующей базы данных. Например:

Взаимодействие с базой данных можно трансформировать следующим образом. Сотрудники, которые вводят информацию, так и продолжают работать с основной базой данных. Сотрудники, которые заняты отчётностью, работают с её копией. Информационные потоки разведены. Влияние устранено.

Подход использовать не основную базу данных для отчётности, а её клон (копию) — это рекомендация. И не для любой отчётности требуется создавать копию. Например, если с базой данных работает один сотрудник, который практически не загружает её. Или если у неё много свободных ресурсов.

10. Проверяй формат данных

Бывает, что отчёт, который обычно работает хорошо, возвращает ошибку, если ввести другие входные данные. Это связано с тем, что у новых входных данных другой формат.

Рассмотрим пример «Отчёт». У нас есть отчёт, строящийся на данных, которые заполняются внешним приложением. Одна из его колонок — дата. Поле ввода на форме, в которой происходит её заполнение — строковое. В подавляющем большинстве случаев формат: день числом, месяц числом, год числом, например, 01.01.2001. Изредка — день числом, месяц словом, год числом, например, «1 января 2001».

Приложение позволяет вводить в любом виде. Конечные пользователи ошибку не видят, но для отчёта это — потенциальная проблема. Она может заключаться в неверном предположении, что дата всегда заносится в базу данных в одном виде.

⚠️ Опасный подход заключается в игнорировании формата используемых данных:

SELECT t1.TYPE AS TYPE_1 /* Колонка TYPE из таблицы TEST_DATA_1 */
      ,to_date(t1.VALUE, 'DD.MM.RRRR') AS VALUE_1 /* Колонка VALUE из таблицы TEST_DATA_1 */
      ,t2.TYPE AS TYPE_2 /* Колонка TYPE из таблицы TEST_DATA_2 */
      ,t2.VALUE AS VALUE_2 /* Колонка VALUE из таблицы TEST_DATA_2 */
  FROM TEST_DATA_1 t1
      ,TEST_DATA_2 t2
WHERE t1.TEST_DATA_1_ID = t2.TEST_DATA_1_ID
  AND t1.TYPE = 'DATE'
  AND t2.TYPE = 'DATE';

✅ Безопасный подход заключается в понимании формата используемых данных:

SELECT t1.TYPE AS TYPE_1 /* Колонка TYPE из таблицы TEST_DATA_1 */
      ,to_date(t1.VALUE, 'DD.MM.RRRR') AS VALUE_1 /* Колонка VALUE из таблицы TEST_DATA_1 */
      ,t2.TYPE AS TYPE_2 /* Колонка TYPE из таблицы TEST_DATA_2 */
      ,t2.VALUE AS VALUE_2 /* Колонка VALUE из таблицы TEST_DATA_2 */
  FROM TEST_DATA_1 t1
      ,TEST_DATA_2 t2
WHERE t1.TEST_DATA_1_ID = t2.TEST_DATA_1_ID
  AND t1.TYPE = 'DATE'
  AND t2.TYPE = 'DATE'
  AND t2.VALUE = 'Формат день числом, месяц числом, год числом';

Наличие разных данных можно узнать заранее. Для этого, когда делается отчёт, можно выполнить проверку на всех данных, а не только на части. Это — залог стабильной работать и уверенность, что созданный отчёт будет работать.

Вспомним, что написано выше, и закрепим правила:

Объявляя имена таблиц, обращайся к записям через имена таблиц.
Извлекай только те данные, которые планируешь использовать.
По максимуму используй данные, которые извлёк из таблицы.
Проверяй запросы SQL на индексы.
Начинай запрос SQL с таблицы с меньшим набором записей.
Не допускай декартового произведения между таблицами.
Проверяй, что имена параметров процедур не совпадают с именами колонок.
Следи за временем выполнения SQL-запроса.
Используй копию данных для построения отчётности.
Проверяй формат данных.

Весенний бум: 6 востребованных IT-специальностей

savichm — Sat, 01 Apr 2023 11:12:50 GMT

На волне развития искусственного интеллекта топ востребованных IT специальностей претерпел изменения. Собрали для вас список из шести IT-профессий, где остро требуются толковые специалисты.

Computer Vision Engineer

Computer Vision Engineer обучает ИИ распознавать объекты и реагировать на них без необходимости в «глазах». Эта отрасль инженерии привлекает не только технарей, но и гуманитариев, ведь чтобы ИИ научился распознавать, большое количество видео и фото обрабатывается вручную, описывая изображенные на них объекты.

Источник

Разумеется, опыт работы с кодом, способность быстро адаптироваться к новым технологиям и задействовать алгоритмы помогают в достижении успеха в этой отрасли.

Инженер робототехники

Инженер-робототехник — это специалист, который разрабатывает архитектуру и вводит в эксплуатацию роботов, приборы и сложные робототехнические системы.

Они используются для:

производственных целей;
научно-исследовательских целей;
боевых действий;
развлечений;
бытового применения.

Роботы позволяют выполнять рутинную работу и сложные задачи практически без участия человека.

Инженеры-робототехники могут работать в автоконцернах, авиационных и космических предприятиях, инженерных компаниях и стартапах, занимающихся созданием роботов.

Работа с данными

Компаниям, желающим обойти конкурентов и оптимизировать бизнес-процессы, чтобы получать большую прибыль, потребуются исследования данных. В связи с этим активно растёт спрос на профессионалов таких как аналитик BI, Data Scientist, аналитик данных, специалист Machine Learning, etc.

Data Analyst

Data аналитик собирает данные, на основе которых принимается решение. Он оценивает широкий спектр данных, после чего выбирает и обрабатывает те, которые важны для принятия решений. Далее аналитик визуализирует полученные данные, разрабатывает рекомендации и предлагает концепции ведения бизнеса.

Чтобы стать аналитиком данных, необходимо:

Обладать знаниями и навыками в области анализа данных.
Иметь опыт работы с основными инструментами анализа данных.
Уметь работать с большим объемом разнородной информации.

Data Engineer

Data engineer — это специалист, отвечающий за сбор, хранение и преобразование данных. Данные используются для создания и обучения моделей искусственного интеллекта (ИИ). При построении пирамиды потребностей ИИ в первую очередь на повестку дня выходят три основных этапа, делающиеся дата-инженером: извлечение, перенос/хранение и анализ/предварительная обработка данных.

Источник

Machine Learning Engineer

ML-инженер — это специалист, который работает в сфере Data Science. Задачи специалиста сводятся к практическому обучению компьютера поиску взаимосвязей в данных и принятию на их основе тех или иных решений.

Вот лишь некоторые примеры результатов ML-инженерии:

«умные ленты» в социальных сетях;
алгоритмы рекомендаций на музыкальных стримингах;
сервисы перевода типа Google Translate;
боты-помощники типа Олега банка «Тинькофф» и Алисы «Яндекса».

AI Ethicists (Этик ИИ)

Для того, чтобы ИИ мог действительно принимать правильные решения, необходимо наличие эксперта по этике ИИ. Он должен понимать и учитывать человеческие чувства, политические взгляды и привязанности, чтобы программировать ИИ так, чтобы тот был нейтральным и при этом понимал, что является правильным или неправильным.

Этика ИИ даёт нейросети понимание таких сложных этических понятий, как любовь, война, те или иные слова вежливости, etc.

Да, ИИ всё ещё лишён чувств, поэтому для принятия правильных решений и нужен эксперт по этике ИИ, который понимает и учитывает нюансы, недоступные искусственному интеллекту.