使用FastAPI和Docker构建机器学习API

这个示例代码展示了如何使用FastAPI和Docker构建一个机器学习API。它通过Swagger UI进行API文档化，可以轻松地在代码中添加新的端点和模型。Docker容器化应用程序以便于部署到云上或者本地环境中。

#导入fastapi、docker、pydantic、os等库
from fastapi import FastAPI
from pydantic import BaseModel
import docker
import os

# 定义请求数据模型类
class InputShape(BaseModel):
    序列1: list
    序列2: list


# 创建FastAPI应用
app = FastAPI()

# 加载机器学习模型
client = docker.from_env()
model = client.containers.run(
    "ml-model",  # Docker映像名称
    detach=True,  # 在后台运行
    ports={'8000/tcp': 8000},  # 映射Docker端口
)

# 定义路由函数
@app.post("/predict")
def predict(input_shape: InputShape):
    """
    预测给定序列对应输出
    """
    # 构造请求
    data = {"inputs": [input_shape.dict()]}

    # 发送请求到Docker容器上的模型
    response = client.containers.get(model.id).exec_run(
        "python -m predict",
        environment=["PYTHONUNBUFFERED=1"],
        stdin=json.dumps(data).encode("utf-8"),
    )

    # 返回预测结果
    return {"outputs": json.loads(response.output.decode("utf-8"))[0][0]}


# 关闭Docker容器
@app.on_event("shutdown")
def shutdown_event():
    """
    关闭Docker容器
    """
    client.containers.get(model.id).kill()

# 运行应用程序
if __name__ == "__main__":
    uvicorn.run(
        "app:app",
        host="0.0.0.0",
        port=int(os.environ.get("PORT", 8000)),
        workers=1,
        use_colors=True,
    )

免责申明：文章和图片全部来源于公开网络，如有侵权，请通知删除 server@dude6.com