Hide

전체 글 검색 결과

해당 글 845건

Block IO/Non-Block IO 개념 정리

I/O Input/Output의 약자로써 데이터의 입출력을 의미한다. 네트워크(소켓), File, Pipe, Device와 관련된 IO가 존재한다. Socket 네트워크 통신은 소켓을 통해 데이터가 입출력된다. 컴퓨터의 각 프로세스에서 서로 데이터를 주고 받을때는 반드시 소켓을 열고 데이터를 주고 받을 수 있다. 예를 들어 백엔드 서버의 경우 여러 클라이언트들과 각각 소켓을 열고 통신하며 요청을 처리한다고 볼 수 있다. Block I/O IO작업을 요청한 프로세스/스레드는 요청이 완료될 때까지 블락된다. 아래 그림을 통해 대략적으로 설명해보자면, - 스레드가 실행되다가 read라는 시스템 콜을 호출한다. - 만약 호출한 시스템 콜이 Blocking 시스템 콜이라면 호출한 스레드는 블락 상태가 된다. 그리..

Coding 2022. 12. 13. 18:01

ASGI에서 HTTP Request 다루는 방법

ASGI with HTTP Reqeust 이전 글(https://www.hides.kr/1111)에서 ASGI 인터페이스의 기초에 대해 설명했다. 이제 HTTP Request의 메시지 구조에 대해 좀 더 자세히 살펴보고 ASGI에서 HTTP Request를 다루기 위해 Starlette 라이브러리에서 제공하는 data structure를 어떻게 사용할 수 있는지에 대해 알아본다. ASGI 어플리케이션에서 발생하는 첫 번째 일은 Request가 들어올 때 초기 정보들을 담은 Scope 딕셔너리가 인스턴스화 된다는 것이다. 아래 예제는 간단한 HTTP Request에 대해 Scope가 어떠한 형태로 구성되는지를 나타낸다. >>> scope = { "type": "http", "http_version": "1..

Coding/Python 2022. 11. 24. 21:11

ASGI와 HTTP

ASGI Callable interface ASGI는 callable interface들로 구성되어있다. 첫 번째 API요청은 새로운 상태를 가진 컨텍스트를 설정하기 위해 수행되는 동기 함수 호출이다. 두 번째는 비동기 함수 호출인데, 이는 서버와 클라이언트간 통신을 위해 사용된다. 대략적인 기본 구조는 아래와 같다. def asgi_app(scope): async def asgi_instance(receive, send): ... return asgi_instance Scope Scope는 어플리케이션의 상태를 세팅하는 인자로 딕셔너리 형태로 구성되어있다. ASGI는 HTTP뿐만 아니라 다양한 인터페이스에서 사용할 수 있는데, 이 때문에 type이라는 중요한 키가 scope 딕셔너리 내부에 포함되어있다..

Coding/Python 2022. 11. 24. 20:25

SQLAlchemy와 AsyncIO를 사용할 때 발생한 문제점

개요 SQLAlchemy 1.4 비동기 세션을 통해 작업을 진행하던 중 아래와 같은 에러가 발생하였다. if self.session.twophase and self._parent is None: AttributeError: 'NoneType' object has no attribute 'twophase' 이에 대해 조사한 내용을 간단하게 정리한다. 환경 PostgreSQL SQLAlchemy 1.4.42 FastAPI 0.87.0 asyncpg 0.26.0 사전 지식 본 코드에서는 아래와 같은 형태로 비동기 세션을 사용하기 위한 환경을 구성하였다. SQLAlchemyMiddleware import uuid4 class SQLAlchemyMiddleware(BaseHTTPMiddleware): def __..

Coding/설계 | 경험 2022. 11. 17. 20:03

동시성을 고려한 쿠폰 재고 시스템 설계

개요 커머스 도메인을 다루는 서비스를 보면 쿠폰을 제공하는 기능이 꼭 하나씩은 존재한다. 선착순으로 진행하는 경우도 있고 그렇지 않은 경우도 있는데, 대다수의 쿠폰은 재고를 가지기 마련이다. 단순하게 생각한다면 DB에 쿠폰의 재고를 저장해두고 유저가 쿠폰을 획득할 때 마다 재고를 하나씩 차감하면 된다고 생각할 수 있는데 여기에는 큰 문제점이 하나 존재한다. 예를 들어 100개의 쿠폰을 발급할 수 있다고 가정해보자. 99개의 쿠폰이 소진되었고 재고가 1개 남은 상태이다. 이때 A라는 유저가 재고를 조회하고 데이터베이스에서는 1개의 재고가 남았다고 알려준다. 그리고 동시에 B유저가 재고 조회를 진행하고 마찬가지로 데이터베이스에서는 1개의 재고가 남았다고 알려준다. 다음으로 A가 쿠폰을 획득함과 동시에 재고를..

Coding/설계 | 경험 2022. 7. 28. 22:17

FastAPI BaseHTTPMiddleware 관련 이슈

개요 FastAPI에서 Custom Middleware를 생성할 때 일반적으로 BaseHTTPMiddleware를 상속받아서 구현하는 형태로 사용한다. https://www.starlette.io/middleware/#basehttpmiddleware Starlette의 Middleware 관련 문서에 들어가보면 자세한 내용이 나와있다. 하지만 해당 미들웨어의 경우 몇가지 이슈가 존재하는데 그에 관해 간단하게 살펴보고 해결책을 제시하고자 한다. 문제점 첫 번째로 중간에 Request가 끊기면 정상적으로 동작하지 못한다. No response에러가 발생하며 예외가 터지게 된다. 두 번째로 BackgroundTasks와 이슈가 발생한다. 첫 번째 이슈의 연장선으로, Request가 들어오고 Backgroun..

Coding/Python 2022. 7. 23. 15:50

FastAPI add_middleware() 관련 이슈

개요 FastAPI에서 일반적으로 미들웨어를 설정하는 경우 add_middleware() 메소드를 활용한다. 하지만 https://github.com/tiangolo/fastapi/issues/5071 깃헙 이슈에 따르면 해당 메소드의 경우 호출할 때 마다 미들웨어를 re-initialize하는 이슈가 있다고 한다. 따라서 Middleware클래스를 활용하여 넣어주는 방식으로 변경하는게 좋다고 나와있고 본 포스팅에서는 관련된 내용을 간단하게 담아본다. Middleware 클래스 일반적인 미들웨어 세팅 방식은 다음과 같다. app = FastAPI() app.add_middleware( CORSMiddleware, allow_origins=["*"], allow_credentials=True, allow_..

Coding/Python 2022. 7. 23. 12:15

Python Generic Type

개요 스프링에서는 Spring Data JPA라는 것이 존재한다. 해당 라이브러리는 인터페이스를 생성 후 특정 인터페이스를 상속받으면 자동으로 메소드가 생성되는 역할을 한다. 예를 들어 findById(), findByEmail(), save(), delete() 등 여러가지 CRUD관련 메소드가 자동으로 생성된다. 실무에서 파이썬을 통해 서버를 개발하며 Layered architecture를 도입해서 사용하고 있는데, 특정 레포지토리를 생성할 때 마다 동일한 역할을 하는 메소드를 만드는게 귀찮았다. 그래서 스프링의 Data JPA와 같은 것을 만들어볼 순 없을까 생각했고 우연찮게 FastAPI 를 만든 개발자의 깃헙에서 비슷한 코드를 발견하였다. (https://github.com/tiangolo/fu..

Coding/Python 2022. 7. 7. 19:00

Python Metaclass 사용해보기

개요 파이썬에는 메타 클래스(Metaclass)라는 것이 존재한다. 메타 프로그래밍(Meta prgramming)이라고도 불리는데 이를 이용하면 특이한 행위를 수행하는 클래스를 만들 수 있다. 기본적으로 파이썬에서 메타 클래스란 클래스를 만드는 클래스를 의미하고 이를 구현하는 방법은 아래와 같이 두 가지가 존재한다. - type을 사용하여 동적으로 클래스를 생성하는 방식 - type을 상속받은 후 메타 클래스를 구현하는 방식 대부분의 경우에서 메타 클래스가 필요한 경우는 없다고 볼 수 있다. 인터넷을 찾아보면 Django ORM 등을 구현할 때 사용하는 방법이라는 예제도 나와있는데 실제로 나도 실무에서 메타 클래스를 사용한 경험은 거의 없었다. 구글 등 파이썬 메타 클래스에 대해 검색하면 수많은 자료들이..

Coding/Python 2022. 7. 6. 19:10

Redlock 알고리즘

개요 이전에도 동시성 관련된 글을 몇개 포스팅한적이 있다. 실무에서도 redlock알고리즘의 구현체인 aioredlock을 활용하여 동시성 제어를 진행하고 있는데, redlock 알고리즘에 대해 조금 더 자세히 살펴봐야할 것 같아서 Redis 공식 문서를 찾아봤고 나에게 필요한 부분만 추려서 번역을 진행했다. 본문은 https://redis.io/docs/reference/patterns/distributed-locks/ 에서 확인할 수 있다. Safety and Liveness Guarantees Safety property: 상호배제. 어떤 순간에도 하나의 클라이언트만 락을 획득할 수 있어야 한다. Liveness property A: 데드락이 발생하지 않는 것. 락을 획득한 클라이언트에 문제가 생겨..

Coding 2022. 7. 2. 00:14

FastAPI에서 SQLAlchemy Session 다루는 방법

개요 FastAPI는 비동기 프레임워크이다. 내부적으로는 Starlette를 Wrapping한 프레임워크인데 일반적인 동기 프레임워크인 Flask, Django등과는 다른 패러다임을 가지고 있다. 그에 따라 프로덕션 레벨에서 서비스를 운영하며 많은 트러블슈팅이 있었고 그 중 데이터베이스와 통신을 위해 사용하는 SQLAlchemy 라이브러리 또한 큰 이슈가 발생했었다. 기존에는 SQLAlchemy 1.3버전을 사용하고 있었기 때문에 비동기를 지원하지 않았지만 1.4버전부터 AsyncSession을 통한 비동기를 지원하기 시작했고 현재 사내 코드를 마이그레이션 하기위해 개인적인 테스트를 진행하고 있다. 본 포스팅에서는 비동기 프레임워크에 SQLAlchemy를 올바르게 사용하기 위한 트러블 슈팅을 포함하여 최..

Coding/설계 | 경험 2022. 3. 23. 19:57

SQLAlchemy AsyncSession으로 비동기 적용하며 생긴 문제점

개요 이전 포스팅(https://hides.tistory.com/1101)에서 SQLAlchemy 1.4부터 지원하는 AsyncSession을 사용하여 비동기 세션을 적용하는 방법에 대해 다뤄봤었다. 관련하여 테스트를 진행하던 도중 문제점을 하나 발견했고 나름 크리티컬하다고 볼 수있다고 생각하여 문제점에 대해 다뤄보고 해결방법에 대해 기술한다. asyncio.current_task와 문제점 SQLAlchemy 공식문서에서 async_scoped_session() 메소드 관련 문서를 찾아보면 위와 같은 글을 찾을 수 있다. 주목할점은 scopefunc인자에 asyncio의 current_task를 넣어준다는 점이다. scoped_session()의 scopefunc인자에 값을 대입하는 경우 registr..

카테고리 없음 2022. 3. 21. 18:32

SQLAlchemy AsyncSession으로 비동기 적용하기

개요 현재 서버 프레임워크로 FastAPI를 사용하고 있었고 SQLAlchemy는 1.3대 버전을 사용중이었다. 따라서 DB쪽은 여전히 동기형태로 작업이 진행되기 때문에 비동기 프레임워크의 장점을 제대로 살리지 못했다. 물론 database, peewee등 비동기 ORM이 존재하지만 팀 내 구성원간의 러닝커브등을 고려하여 기존에 사용하던 SQLAlchemy를 그대로 사용중이었다. 하지만 SQLAlchemy 1.4버전부터 비동기 처리를 지원하기 시작했고 그에 따라 마이그레이션을 준비하며 테스트하는 과정을 간단하게 담아본다. create_async_engine from sqlalchemy.ext.asyncio import create_async_engine engine = create_async_engine..

Coding/Python 2022. 3. 18. 19:03

바이낸스 회원가입하는 방법 총정리

개요 예전에 바이낸스(Binance)라는 해외 코인거래소 사이트의 회원가입 방법에 대해 포스팅한 적이 있습니다. 그 이후 한국에도 공식적으로 바이낸스 코리아라는 사이트가 생겼지만 2021년 한국에서 철수했다는 기사를 접할 수 있었는데요. 크게 달라진 점은 없지만 이전과는 사이트의 UI나 회원가입할 때 필요로 하는 정보들이 조금씩은 달라졌기에 최신의 정보를 제공하기 위해 다시 한번 바이낸스 사이트에 가입하는 방법에 대해 자세하게 포스팅합니다. 가입 방법 먼저 아래 링크를 클릭하여 바이낸스 회원가입 페이지로 접속합니다. https://accounts.binance.me/en/register 접속하면 위와 같이 국가를 선택하는 팝업창이 하나 뜨게 됩니다. 기본적으로 대한민국이 선택되어 있을텐데요. 아래에 있는..

정보/가상화폐코인 2022. 2. 9. 20:14

Java List Stream Optional로 null 방지하기

개요 현재 Spring Data Redis를 통해 레디스를 다루고 있다. 먼저 아래의 코드부터 살펴보자. @Getter @RedisHash(value = "article") public class RedisArticle { @Id @Indexed private Long id; private String title; private String description; private String nickname; private Long commentCount; private List comments = new ArrayList(); private LocalDateTime createTime; private LocalDateTime updateTime; @Builder public RedisArticle(Lon..

Coding/Java Spring 2022. 1. 27. 19:15

Localstack으로 AWS SNS + SQS 로컬에서 도커로 테스트하는 방법

개요 기본적으로 개발 환경에서 테스트를 진행할 때 dockerize하여 진행하는 방법을 선호한다. 케이스마다 다르겠지만 실제로 존재하는 서비스에 붙어서 진행하는게 아닌 모든걸 도커화하여 진행하면 아무런 영향을 끼치지 않고 실행 및 종료를 할 수 있기 때문이다. AWS SNS+SQS를 활용하던 중 AWS관련 서비스들은 도커로 테스트할 수 없을까 찾아보다가 localstack이라는걸 발견하여 관련 테스트 진행법에 대해 포스팅한다. docker-compose.yml localstack: image: localstack/localstack:latest environment: - AWS_DEFAULT_REGION=ap-northeast-2 - EDGE_PORT=4566 - SERVICES=sqs,sns ports..

Coding 2022. 1. 21. 19:50

Spring Hibernate EventListener로 엔티티 변경 감지하는 방법

개요 현재 토이 프로젝트에 간단하게 CQRS 아키텍처를 도입해보고 있다. 따라서 쓰기DB, 읽기DB 총 2개의 데이터베이스가 존재하고 쓰기 요청이 오는 경우 쓰기DB에 데이터를 기록함과 동시에 SQS에 이벤트를 발송하고 있다. 그리고 읽기DB에서는 해당 SQS를 컨슈밍하고 있다가 변경 이벤트가 들어오면 내부적으로 동기화를 진행하는 형태이다. 위 요구사항에 따라 엔티티에 변경사항이 생긴다면 감지한 후 이벤트를 발생해줘야하기 때문에 관련 이벤트 리스너를 찾아봤는데, Hibernate의 EventListener를 활용하면 손쉽게 가능하다는것을 알게 되었다. JPA에서 이벤트 리스너를 제공해주지만 Hibernate의 기능을 사용해야 좀 더 세분화하여 활용할 수 있다고 하여 사용하게 됐다. (참고: https:/..

Coding/Java Spring 2022. 1. 21. 19:29

Spring AWS SNS + SQS로 이벤트 처리하는 방법

개요 요즘 MSA, CQRS 등 아키텍처에 관한 흥미로운 주제들이 많다. 이러한 아키텍처적인 관점에서 항상 등장하는 부분이 바로 Event driven을 통한 loose coupling이다. CQRS를 예를 들어서 설명해보자. 데이터를 저장하는 명령 요청이 들어오면 쓰기DB에 데이터를 적재하고 읽기DB와의 데이터 동기화를 위해 메시지를 발행한다. 그리고 읽기DB에서는 메시지를 수신하여 데이터를 동기화시킨다. 만약 쓰기DB쪽 서버에서 직접 읽기DB 서버에 데이터 저장을 요청하는 형태라고 생각해보자. 이러한 경우 읽기DB 서버에 문제가 생긴다면 해당 문제는 쓰기DB 서버까지 전파된다. 따라서 쓰기DB는 단순히 이벤트를 발행하고 필요한 곳에서 해당 이벤트를 가져와서 사용하는 형태로 구성하여 각 서버간 의존성을..

Coding/Java Spring 2022. 1. 18. 23:09

Spring Flyway로 DB 마이그레이션 관리하는 방법

개요 실무에서는 데이터베이스 테이블을 생성하거나 수정하는 행위를 할 때 수동으로 관리하지않고 마이그레이션 라이브러리등을 사용한다. 파이썬은 Django의 경우 기본적으로 마이그레이션 기능이 제공되며 SQLAlchemy는 alembic이라는 대표적인 라이브러리가 존재한다. 스프링 또한 마찬가지인데 일반적으로 Flyway를 사용한다고 한다. 이런류의 라이브러리를 사용하면 히스토리를 버전별로 관리할 수 있고 디비 스키마를 코드로 관리할 수 있기 때문에 장점이 많다. 설치 implementation 'org.flywaydb:flyway-core:6.4.2' build.gradle에 위 의존성을 추가한다. How to 먼저 resources폴더 내부에 db폴더를 만들고 db내부에 migration이라는 폴더를 만..

Coding/Java Spring 2022. 1. 6. 22:31

Spring Interceptor를 활용하여 JWT인증 구현하기

개요 모든 서버가 마찬가지이겠지만 개발을 하다보면 인증 관련된 로직을 단일화해서 사용해야할때가 오기 마련이다. 파이썬에서도 각 프레임워크에 맞게 작업을 해줬었는데 스프링에서는 크게 보면 Spring security와 Interceptor를 활용하여 작업할 수 있는 것으로 보인다. 이전 글(https://hides.tistory.com/1079)에서는 스프링 시큐리티 필터를 활용하여 인증 처리를 구현했는데 이번에는 인터셉터를 활용하여 인증 처리를 구현해봤다. 인터넷에서 그림을 찾아보다가 가장 이해하기 쉬운 그림인 것 같아서 가져왔다. 그림에서 나와있듯이 인터셉터의 경우 스프링 프레임워크단에서 제공해주는 기술이고 필터는 그렇지 않다. 따라서 인터셉터는 Servlet Container를 거친 이후에 실행되며 ..

Coding/Java Spring 2022. 1. 3. 19:58