> D:\2023\poop_wrn로 이동
bentoml serve service:svc --port 3010 --reload # bentoml 서비스 실행
locust --headless -u 100 -r 1000 --run-time 1m
--host http://127.0.0.1:3010 # stress test, locustfile.py필요
bentoml build # bentofile.yaml 필요
bentoml list # 생성된 bento 확인
bentoml serve poopup_demo:latest
--production --port 3010 # nox39에서 실패 후, 관리자 모드로 다시 창 열어 성공
bentoml containerize poopup_demo:latest # docker image 생성
docker run -it --rm -p 3015:3000 --gpus all poopup_demo:ov37ue65xqb4
serve --production # docker 서비스 시작
docker save -o poopup.tar poopup_demo:~~ # docker image의 hdd저장
docker load -i poopup.tar # docker image의 재 로드
도커 실행 명령
> docker inspect <container-id>
...
"MergedDir":~,
"UpperDir":~, # 여기 경로에 jpg파일이 저장
"WorkDir":~
...
# docker 실행(container 생성) 시,
> docker run -it --rm -p 30xx:3000 poopup_demo:kb2~~ serve --production
> docker exec -it <container-id> /bin/bash
>> cd src # 여기에서 jpg파일 확인 가능
1. windows에서는 set 명령으로 환경변수를 볼 수 있으며, BENTOML_HOME=d:\2023으로 설정된 것 확인 가능
> set
2. DNN학습->Bento 생성->Docker 이미지 생성의 순으로 진행됨.
> bentoml build # Bento파일 생성
> bentoml containerize <bentofile:tag>
3. Bento파일 생성 시에, bentofile.yaml 설정파일 사용. Custom docker를 위해서 bentofile.yaml에 지정된 Dockerfile.template 사용
{% extends bento_base_template %}
{% block SETUP_BENTO_BASE_IMAGE %}
{{ super() }}
{% endblock %}
{% set bento__user = "poop" %}
{% set bento__home = "/home/" ~ bento__user %}
{% set bento__path = "/home/" ~ bento__user ~ "/bento" %}
{% set bento__uid_gid = 1000 %}
{% block SETUP_BENTO_COMPONENTS %}
{{ super() }}
{% endblock %}
4. 생성된 Bento파일(BENTNML_HOME 아래)의 해당 경로에 만들어진 Dockerfile을 봐서 Dockerfile.template 적용 확인
5. Bento 파일을 이용하여 Docker 이미지 생성
> bentoml containerize poopup_demo:latest
6. 컨테이너 실행
> docker run --user poop -it --rm -p 3010:3000 --gpus all poopup_demo:leo2pupckkeizqb4 serve --production
# --------------- service.py -------------------------------------------
from __future__ import annotations
import typing as t
from typing import TYPE_CHECKING
from torchvision import transforms
import numpy as np
from PIL.Image import Image as PILImage
import bentoml
from bentoml.io import Image
from bentoml.io import NumpyNdarray
if TYPE_CHECKING:
from numpy.typing import NDArray
poop_runner = bentoml.models.get("poopup:latest").to_runner()
svc = bentoml.Service(name="poopup_demo", runners=[poop_runner])
xforms = transforms.Compose([
transforms.Resize(256),
transforms.CenterCrop(224),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])
def to_numpy(tensor):
return tensor.detach().cpu().numpy()
@svc.api(input=Image(), output=NumpyNdarray(dtype="int64"))
async def predict_image(f: PILImage) -> "np.ndarray[t.Any, np.dtype[t.Any]]":
assert isinstance(f, PILImage)
img = np.expand_dims(xforms(f), 0)
output_tensor = await poop_runner.async_run(img)
# print(output_tensor, type(output_tensor))
return output_tensor.detach().cpu().numpy()
