글에 들어가기에 앞서…
저의 글은 사전 지식이 굉장히 적은 분들을 대상으로 합니다. 앞으로 한동안 쓰려고 하는 글들은 ‘머신러닝, 딥러닝 모델을 만져봤는데 이걸 어떻게 서빙하는거지?’ 에 대한 답변 입니다. 즉 나에게 어떤 ‘모델’은 있는데, 이걸 다른 사람이 어떻게 사용하게 할지 또는 어떻게 서비스로 만들지에 대한 정리입니다. 로컬에서 GPU 없이 돌아가는 아주 작은 모델부터 시작해서, 웹프레임워크, 데이터베이스 등에 대한 개념을 익혀가고, 서버들을 클라우드에 올려보고, 쿠버네티스 사용해보고, MLOPS 프레임워크 사용해보고 등을 목표로 하고 있습니다.
물론 저도 아주 기초적인 수준의 지식만 가지고 있습니다. 따라서 저도 여러 좋은 자료들을 보며 공부해가면서, 나름의 경험과 함께 잘 조합해서 포스팅 해보도록 하겠습니다.
모델 서빙은 무엇이고, 웹 프레임워크는 무엇일까요.
서버, 클라이언트
서빙, 웹 등에 대해서 알기 위해서는 서버와 클라이언트의 개념을 먼저 익히면 좋습니다.
‘클라이언트’는 ‘서버’에게 요청을 해서 응답을 받습니다. 이때 ‘서버’가 어떤 요청을 처리하느냐에 따라 이름이 정해집니다. ‘머신러닝 모델로 추론을 해줘’라는 요청을 받으면 모델 서버, 모델링 서버가 되는것이고, ‘DB에서 데이터 가져와줘’를 처리하면 DB서버가 되는 것 입니다. 머신러닝 모델 서빙의 의미는, 위의 예시의 ‘모델링 서버’를 만든다는 의미 입니다.
우리가 pre-training 모델이 있고, test.py 라는 코드를 실행시켜서 새로운 데이터를 inference 할 수 있다고 해봅시다. 보통 test.py --input new_data.txt 등 우리는 스크립트를 직접 실행시켜서 inference를 진행합니다. 모델링 서버를 만든 다는 의미는, 클라이언트가 위의 inference를 요청(request)의 형태로 전달 하고, 그에 걸맞는 응답(response)을 해주는 것입니다.
위와 같은 모델링 서버를 만들기 위해서는 몇가지 요소가 필요합니다. 서버와 클라이언트를 이어주는 연결 통로가 필요하고, 어떤 식으로 요청하고 응답 할지에 대한 합의가 필요합니다. 깊게 들어가면 네트워크에 대한 저의 얕은 지식이 드러나기 때문에 간단하게 필요한 정보만 집고 넘어가보겠습니다.
(다른 개념들은 다른 문서에서 설명을 추가로 해보겠습니다. 서빙에 관심있으신 분들은 네트워크에 대한 간단한 정리는 꼭 찾아보시길 추천드립니다. ChatGPT가 추천한 키워드를 첨부합니다.)
- 키워드
- 프로토콜 (Protocol): 서로 다른 장치 간에 통신을 원활하게 하기 위해 정해진 규약과 규칙을 의미합니다.
- IP 주소 (IP Address): 인터넷에 연결된 모든 기기는 고유한 IP 주소를 갖고 있으며, 이 주소를 사용하여 다른 기기와 통신할 수 있습니다.
- 라우터 (Router): 네트워크 간에 데이터를 전송하는데 사용되는 장치입니다. 라우터는 데이터를 수신한 후 최적의 경로를 결정하여 목적지에 전송합니다.
- 포트 번호 (Port Number): 한 대의 컴퓨터에 여러 개의 애플리케이션이 실행될 수 있습니다. 이러한 애플리케이션을 구분하기 위해 포트 번호가 사용됩니다.
- TCP (Transmission Control Protocol): 인터넷에서 데이터를 안정적으로 전송하기 위해 사용되는 프로토콜입니다. TCP는 데이터의 무결성과 신뢰성을 보장합니다.
- UDP (User Datagram Protocol): 인터넷에서 데이터를 빠르게 전송하기 위해 사용되는 프로토콜입니다. UDP는 데이터의 손실이나 에러를 감내해야 하지만, 속도가 빠르다는 장점이 있습니다.
- HTTP (Hypertext Transfer Protocol): 웹 브라우저와 웹 서버 간에 데이터를 주고받는 데 사용되는 프로토콜입니다.
- HTTPS (Hypertext Transfer Protocol Secure): HTTP의 보안 버전으로, 데이터를 암호화하여 안전하게 전송할 수 있도록 합니다.
- DNS (Domain Name System): IP 주소를 이용하여 인터넷에 연결된 장치와 통신할 수 있지만, IP 주소는 기억하기 어렵습니다. DNS는 이러한 문제를 해결하기 위해 도메인 이름을 IP 주소로 변환해주는 시스템입니다.
- VPN (Virtual Private Network): 인터넷 상에서 보안적인 연결을 제공하기 위해 사용되는 기술로, 데이터를 암호화하여 안전하게 전송할 수 있도록 합니다.
여러 복잡한 개념은 제쳐두고, 클라이언트는 보통 서버에 ‘API’를 이용해서 요청을 보냅니다. API 란 간단하게 특정 기능을 요청하기 위한 Interface(API의 I) 입니다. 이러한 API를 개발하는데 도움을 주는 프레임워크가 바로 웹 애플리케이션 프레임워크 입니다.
서버와 클라이언트 정리
지금까지 위에서 얘기한 내용을 종합하면 이렇습니다, 아까 예시를 들었던 ‘test.py’는 inference를 수행합니다. 그래서 test.py는 파이썬 스크립트 또는 프로그램이라고 볼 수 있고, test.py를 사용할 수 있게하는 특정한 인터페이스를 제공할 경우 애플리케이션으로 만들 수 있습니다. 우리는 앞으로 예시를 통해 test.py 안에 있는 그 어떤 동작들을 수행하게 할 수 있도록 ‘API’ 형태의 인터페이스를 만들겁니다. 이를 쉽게 해주는 웹 애플리케이션 프레임워크인 ‘FastAPI’에 대해서 배울 것 입니다. 이렇게 만들어진 API는 모델링 서버에서 작동하게 될 것이며, 클라이언트는 API 호출을 통해 서버와 요청을 보내고 응답을 받게 될 것입니다.
끝으로
원래는 FastAPI를 이용해서 CRUD 예시, 그것도 ML과 관련된 예시 작성까지 해보려고 했습니다. 근데 '웹' 이니 'API'니 '서빙'이니 단어는 들어봤는데 익숙하지 않던 개념들 때문에 고생하던 생각이 나서 관련 내용들을 적어보았습니다. 다음글에서는 FastAPI를 이용한 API 예시에 대해서 적어보겠습니다.
또, 오랜만에 티스토리에 글을 쓰다보니, 알찬 내용을 쓰기도, 보기 편하게 정리하기도 쉽지 않다는 생각이 드네요, 그래도 일단은 꾸준히 글을 쓰는게 중요하다 생각해서 글을 종종 작성하도록 하겠습니다.
여담으로, 저는 문서를 Notion에서 먼저 작성하고 옮기는 편입니다. 근데 Notion에서 문서 제목만 가지고도 글을 써준다거나, 관련 예시 코드는 ChatGPT로 작성한다거나 하는게 전부 가능해져서 블로그 글을 쓰는 의욕이 일부 꺾였다는…
'MLOps' 카테고리의 다른 글
| FastAPI 시작과 CRUD 구현 (0) | 2023.03.11 |
|---|
