BentoML 사용법 요약

> D:\2023\poop_wrn로 이동

bentoml serve service:svc --port 3010 --reload   # bentoml 서비스 실행

locust --headless -u 100 -r 1000 --run-time 1m

--host http://127.0.0.1:3010  # stress test, locustfile.py필요

bentoml build    # bentofile.yaml 필요

bentoml list   # 생성된 bento 확인

bentoml serve poopup_demo:latest

--production --port 3010   # nox39에서 실패 후, 관리자 모드로 다시 창 열어 성공

bentoml containerize poopup_demo:latest  # docker image 생성

docker run -it --rm -p 3015:3000 --gpus all poopup_demo:ov37ue65xqb4

serve --production  # docker 서비스 시작

docker save -o poopup.tar poopup_demo:~~  # docker image의 hdd저장

docker load -i poopup.tar  # docker image의 재 로드

도커 실행 명령

> docker inspect <container-id>

...

"MergedDir":~,

"UpperDir":~,  # 여기 경로에 jpg파일이 저장

"WorkDir":~

...

# docker 실행(container 생성) 시,

> docker run -it --rm -p 30xx:3000 poopup_demo:kb2~~ serve --production

> docker exec -it <container-id> /bin/bash

>> cd src  # 여기에서 jpg파일 확인 가능

1. windows에서는 set 명령으로 환경변수를 볼 수 있으며, BENTOML_HOME=d:\2023으로 설정된 것 확인 가능

> set 

2. DNN학습->Bento 생성->Docker 이미지 생성의 순으로 진행됨. 

> bentoml build  # Bento파일 생성

> bentoml containerize <bentofile:tag>

3. Bento파일 생성 시에, bentofile.yaml 설정파일 사용. Custom docker를 위해서 bentofile.yaml에 지정된 Dockerfile.template 사용

{% extends bento_base_template %}

{% block SETUP_BENTO_BASE_IMAGE %}

{{ super() }}

{% endblock %}

{% set bento__user = "poop" %}

{% set bento__home = "/home/" ~  bento__user %}

{% set bento__path = "/home/" ~ bento__user ~ "/bento" %}

{% set bento__uid_gid = 1000 %}  

{% block SETUP_BENTO_COMPONENTS %}

{{ super() }}

{% endblock %}

4. 생성된 Bento파일(BENTNML_HOME 아래)의 해당 경로에 만들어진 Dockerfile을 봐서 Dockerfile.template 적용 확인 

5. Bento 파일을 이용하여 Docker 이미지 생성

> bentoml containerize poopup_demo:latest

6. 컨테이너 실행

> docker run --user poop -it --rm -p 3010:3000 --gpus all poopup_demo:leo2pupckkeizqb4 serve --production

# --------------- service.py -------------------------------------------

from __future__ import annotations

import typing as t

from typing import TYPE_CHECKING

from torchvision import transforms

import numpy as np

from PIL.Image import Image as PILImage

import bentoml

from bentoml.io import Image

from bentoml.io import NumpyNdarray

if TYPE_CHECKING:

    from numpy.typing import NDArray

poop_runner = bentoml.models.get("poopup:latest").to_runner()

svc = bentoml.Service(name="poopup_demo", runners=[poop_runner])

xforms = transforms.Compose([

        transforms.Resize(256),

        transforms.CenterCrop(224),

        transforms.ToTensor(),

        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])

    ])

def to_numpy(tensor):

    return tensor.detach().cpu().numpy()

@svc.api(input=Image(), output=NumpyNdarray(dtype="int64"))

async def predict_image(f: PILImage) -> "np.ndarray[t.Any, np.dtype[t.Any]]":

    assert isinstance(f, PILImage)

    img = np.expand_dims(xforms(f), 0)

    output_tensor = await poop_runner.async_run(img)

    # print(output_tensor, type(output_tensor))

    return output_tensor.detach().cpu().numpy()