Neko-ryder Hirasawa 𓆏 | +_+

SQLAlchemy + PostgreSQL

ryder_69 — Sat, 09 Jul 2022 10:58:38 GMT

Как устроена эта статья:

1. Введение

2. Установка PostgreSQL

3. ORM и Core

4. Примеры использований

подключение в базу данных
создания таблиц
Основные операции SQL

5. Заключение

Введение

SQLAlchemy — это библиотека на языке Python для работы с реляционными базами данных с применением технологии ORM (Object Relational Mapper). Оно позволяет описывать структуры баз данных и способы взаимодействия с ними без использования чистого SQL. SQLAlchemy также позволяет работать не только с postgres, но и с MySQL, SQLite, Oracle. Используется в такие компаниях как reddit, Yelp!, DropBox.

Установка PostgreSQL

Что бы начать работать с sqlalchemy используя postgres, надо скачать сам PostgreSQL.

Для установки переходим на сам сайт, выбираем нужную операционную систему и скачиваем postgress удобным способом.

При установке выбираем место где будет храниться postgres, компоненты которые будут скачиваться (лучше выбрать все), пароль для бд, порт (можно оставить тот что стоит по умолчанию что бы потом проблем не было), опцию в конце (builder) можно не поставить.

Теперь сервер для бд установлен, если надо к нему подключится например с другого пк надо поменять конфиг в файлах postgres и открыть порт, который указали при установке подробнее тут. Если надо взаимодействовать локально, то уже можно начать, сделать это можно в pgAdmin 4 (который установился вместо postgresql) а так же можно использовать другие более удобные приложения Dbeaver, DataGrip. По дефолту создается первая бд "postgres" для ознакомления с sqlalchemy можно использовать её, потом если понадобится можно создавать другие базы данных для разных задач.

ORM и Core

В SQLAlchemy существуют два реализаций работы, Core и ORM. Core - абстракция над SQL-базой данных а ORM (Object Relational Mapper) mapping между реляционной БД и объектным представлением.

ORM разработан поверх SQLAlchemy-Core. Как мы можем видеть, базовая архитектура SQLAlchemy приведена ниже.

Зная SQL можно использовать Core для выполнения необработанных SQL-запросов. Остальным, лучше смотреть в сторону ORM.

В следующих примерах будет использоваться ORM реализацию SQLAlchemy

Примеры использований

pip install sqlalchemy

Подключение к базу данных

from sqlalchemy import create_engine 

# ://@/ 
engine = create_engine('postgresql://postgres:pass@localhost/postgres') 
engine.connect() 
print(engine)

Создания таблиц

from sqlalchemy import create_engine, Column, Integer, String
from sqlalchemy.orm import declarative_base

engine = create_engine('postgresql://postgres:pass@localhost/postgres') 
engine.connect()  # подключение к бд
# функция, которая создает базовый класс для декларативных классов
Base = declarative_base()


class User(Base):
    __tablename__ = "user"
    id = Column(Integer, primary_key=True)    
    name = Column(String)

    
Base.metadata.create_all(engine)  # создание всех таблиц

Основные операции SQL

from sqlalchemy import (    
    create_engine, Column, Integer, String, select, update
)
from sqlalchemy.orm import declarative_base, Session

engine = create_engine('postgresql://postgres:pass@localhost/postgres')
engine.connect()
Base = declarative_base()
session = Session(engine)

class User(Base):
    __tablename__ = "user"    
    id = Column(Integer, primary_key=True)    
    name = Column(String)
    
    
# SELECT
def selectUser():   
    result = session.execute(select(User))  # поиск всех данных с таблицы        
    for data in result.scalars():      
        print(f"id: {data.id} | name: {data.name}")
            
# INSERT
def addUser(id: int, name: str):
    session.add(User(id=id, name=name))  # добавление новых данных
    session.commit()
        
# DELETE by id
def deleteUser(id: int):          
    session.query(User).filter(User.id == id).delete()  # поиск и удаление ряда        
    session.commit()
        
# UPDATE name by id
def updateUser(id: int, new_name: str):
    session.execute(update(User).where(User.id == id).values(
            name=new_name))  # поиск и обновление значений
    session.commit()


if __name__ == '__main__':
    # Base.metadata.drop_all(engine)  # удаление таблиц     
    Base.metadata.create_all(engine)  # создание таблиц    
    addUser(id=1, name="name")    
    selectUser()    
    updateUser(id=1, new_name="new_name")    
    selectUser()    
    deleteUser(1)    
    selectUser()

Заключение

SQLAlchemy это удобная библиотека которая позволяет взаимодействовать с разными структуры баз данных без знания их самих. Кроме postgres можно использовать SQLite которая устанавливается проще, но хранит данные в файле, и для этого надо поменять строчку при подключение к бд. За исключением некоторых типов колонок, например, ARRAY, который есть только в постгресе, все типы можно импортировать из sqlalchemy.dialects что является преимуществом алхимии. Она сама заботится о составлении SQL запросов в зависимости от выбранной технологии.

Дополнительная информация:

https://pythonru.com/biblioteki/vvedenie-v-sqlalchemy

https://www.sqlalchemy.org/

HTTP запросы для новичка [py]

ryder_69 — Tue, 21 Jun 2022 17:22:35 GMT

Как устроена эта статья:

> Введение

> Что можно юзать?

Requests
Grequests
Httpx
Aiohttp

> Бенчмарки

Введение

HTTP — это протокол, позволяющий получать различные ресурсы, например HTML-документы. Протокол HTTP лежит в основе обмена данными в Интернете, другими словами каждое ваше действия которую вы делаете в браузере (просмотр видео на youtube, регистрация на сайте) все это HTTP запросы.

Ниже будут рассматриваться несколько библиотек, которые помогут выполнять HTTP запросы через код.

Что можно юзать?

Requests

pip install requests

requests одна из самых простых библиотек которая позволит отправлять HTTP-запросы с помощью Python.

Простои пример

import requests
r = requests.get("https://example.com")
print(r)

Обычно все новички начинают с этой библиотекой, потом переходят на другие более оптимальные.

Плюсы:
> просто и понятно (освоить можно за несколько часов)
> много гайдов на ютубе/инете
> подходит для любых задач

минусы:
> маленькая скорость

Grequests

pip install grequests

grequests позволяет использовать запросы с Gevent для легкого выполнения асинхронных HTTP-запросов. Грубо говоря, обычные реквесты с асинком под капоты.

Либа ещё сырая и не видел много где оно применяется, подходит если вам надо сделать много простых запросов на один сайт.

Простои пример

import grequests
rs = (grequests.get("https://example.com") for _ in range(100))
print(grequests.map(rs))

Сравнение с обычными реквестами

import grequests
import requests
from time import perf_counter

def greq(count: int):
    start = perf_counter()    
    rs = (grequests.get("https://example.com") for _ in range(count))    
    grequests.map(rs)    
    print(f"grequests executed in {perf_counter() - start} seconds...")
    
def req(count: int):
    start = perf_counter()    
    for _ in range(count):        
        requests.get('https://example.com')    
    print(f"requests executed in {perf_counter() - start} seconds...")
    
greq(100)
req(100)

С это задачи requests справился за 49.19 секунд, в то время как grequests за 2.32 секунд.

плюсы:
> быстрая скорость (по сравнению с обычными реквестами)

минусы:
> либа ещё сырая
> гайдов поменьше
> менее удобное чем те же реквесты

Httpx

pip install httpx

httpx - это полнофункциональный HTTP-клиент для Python 3, который предоставляет API-интерфейсы синхронного кода так и асинхронного.

синхронная часть httpx очень схожа с теми же реквестами, отличается только использования сессии, в httpx она работает немного иначе.

Простои пример

import httpx

with httpx.Client() as client:
    r = client.get("https://example.com")
    print(r)

Если в реквестах сессию можно инициировать и потом использовать, то в httpx можно передавать клиент в другие функций при это все куки, и хедеры будут сохранены.

import httpx


def test_func(client: httpx.Client):
    client.get("https://youtube.com")
    

def main():
    with httpx.Client() as client:
        client.get("https://example.com")        
        print(client.cookies.jar)        
        test_func(client)        
        print(client.cookies.jar)


main()

Плюсы:
> поддержка синк кода так и асинк
> быстрее чем реквесты и grequests
> дока удобная, все в одном месте

минусы:
> медленнее чем aiohttp

Aiohttp

pip install aiohttp

aiohttp - HTTP-клиент/сервер. По сути, это позволяет вам писать асинхронные клиенты и серверы. Пакет aio http также поддерживает серверные Server WebSockets и Client WebSockets

простой пример

import aiohttp
import asyncio


async def main():
    async with aiohttp.ClientSession() as client:
        r = await client.get("https://example.com")        
        print(r.status)
        
        
asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
asyncio.run(main())

плюсы:
> самая быстрая либа на данный момент
> либа не новая, гайдов много

минусы:
> неудобно работать с куками
> поддержка только асинк кода

Бенчмарки

+--------------------------------------+
|  100 requests on https://example.com |
+----------------------+---------------+
| requests             | 48.88 seconds |
+----------------------+---------------+
| requests (session)   | 12.34 seconds |
+----------------------+---------------+
| sync httpx (client)  | 12.39 seconds |
+----------------------+---------------+
| async httpx (client) | 2.20 seconds  |
+----------------------+---------------+
| aiohttp              | 0.81 seconds  |
+----------------------+---------------+
| grequests            | 2.11 seconds  |
+----------------------+---------------+

код который был использован для теста: github

Как юзать неко-бота???

ryder_69 — Tue, 24 May 2022 19:11:06 GMT

Краткая инструкция по использованию бота

список команд:

/price - показывает цену на все коллекций которые добавлены в боте.

/add_os - добавляет opensea коллекцию в боте.

/add_me - как и /add_os только для magiceden.

/del - удаляет коллекцию из бота.

/show - показывает список коллекций которые добавлены в боте.

/last_updates - показывает когда в последний раз обновились цены для opensea, magiceden и когда обновился список всех коллекций magiceden (цены обновляются раз в 5 минут, а список коллекций раз в час).

/gwei - показывает текущий gwei для сети эфира и цена транзакций за перевод эфира (21000 газ лимит), можно посмотреть сколько будет стоить определённая транзакция если после gwei написать другой газ лимит например /gwei 100000.

slug: то что после ссылки у me и opensea. например, что бы добавить коллекцию с opensea "Karafuru" надо написать /add_os karafuru (на mе аналогично).

пример

список комманд возможно будет обновляеться, могут быть баги.