李三十一

V1

2022/06/10阅读:16主题:全栈蓝

从 0 到 1,如何徒手撸个 Python 插件系统?

号主从事算法服务开发多年,临近三月的尾巴,输出一个插件化部署算法服务的解决方案。篇幅内容都经过生产实践,如果对各位号友有所帮助,请拽个三连:点赞、关注和转发

插件机制背景

插件化机制使框架业务模块的实现相解耦,框架服务抽象出统一的交互接口,业务模块只要符合交互标准即可做到插件替换。

微内核架构是插件架构模式的一种典型实现,常常把微内核架构也叫做插件式架构。
当前微内核架构也被应用在许多我们熟知的产品,比如:操作系统、Chrome浏览器、Eclipse编辑器等

微内核架构包含两个组件:核心系统(core system)和插件模块(plugin component)

  • 核心系统只包含让系统可以运作的最小功能
  • 插件模块则包含一些特殊处理逻辑、额外的功能,用于提供更多的业务能力

具体如下图:

Python 插件核心

__import__()函数是我们本篇的核心,具体实现都围绕这个函数定制展开。

作用:用于动态加载类和函数。如果一个模块经常变化就可以使用 import() 来动态载入。
语法:

__import__(name, globals=None, locals=None, fromlist=(), level=0)
 name[必须]:模块名称
 globals - 全局变量集合,默认为None
 locals - 局部变量集合,默认为None
 fromlist - 是否导入子模块,看上去是导入模块的列表。但实际是一个判断条件,只要设置为非空的值,且模块名称是带有子模块的,将导入子模块。例如:sys.path。当不设置时,返回sys,如果设置为非空值,则返回ntpath(path模块)
 level - 绝对或者相对导入

此处我们做个简单的验证,通过__import__实现和import一样的导入能力。分别验证导入os.path和导入其对应的子模块,具体如下:

>>> __import__('os.path')
<module 'os' from '/opt/anaconda3/envs/python38/lib/python3.8/os.py'>
>>> __import__('os.path', fromlist=['None'])
<module 'posixpath' from '/opt/anaconda3/envs/python38/lib/python3.8/posixpath.py'>
>>> __import__('os.path', fromlist=['path'])
<module 'posixpath' from '/opt/anaconda3/envs/python38/lib/python3.8/posixpath.py'>
>>>

以上只是在 shell 里面进行验证,那 Python 代码里面该如何写呢?有两种方式:
直接引用加载

p = __import__('widget.demo.infer', fromlist='infer')  # 导入
print(p.Demo)      # 取出类变量
# 打印结果
<class 'widget.demo.infer.Demo'>

Importlib包方式

import importlib    # 导入工具包
demo = importlib.import_module('.demo.infer', package='widget')
print(demo)
# 打印结果
<module 'widget.demo.infer' from '/Users/**/language-bootcamp/python/plugin_system/widget/demo/infer.py'>
print(demo.Demo)
# 打印结果
<class 'widget.demo.infer.Demo'>

插件服务基本组成

PluginCore:通过Plugin Manager调用算法,负责业务逻辑的实现
PluginManger: 通过读取配置文件,负责各种插件的加载、管理、甚至热更新

此处,Python 插件相关的知识点已经讲完了,下面进行算法插件化部署相关内容,Go Go Go!

算法服务基本组成

如上,一个完整的算法服务包含三部分:API逻辑算法逻辑模型文件

API逻辑:服务相关逻辑,比如:HTTP 相关的请求/响应设置或 gRPC 远程交互约定等。
算法逻辑:算法相关逻辑,比如:数据的前置预处理、后置标签映射等。
模型文件:算法运行依赖项。

可能某些号友会发问:一定是三个部分,难道不能两个,甚至一个?
此处只是从纯业务功能划分,便于理解。具体代码实现,都可以。

插件管理器定义

定义了插件管理的方法,插件功能加载、插件获取方法实现

class BaseManager(object):
    """插件管理基类"""
    
    def __init__(self) -> None:
        """加载插件配置文件"""
        pass

    def get_plugin(self, name):
        """根据调用,返回插件实例"""
        raise RuntimeError('not implemented yet!')

    def get_total_plugin(self):
        """返回所有插件"""
        raise RuntimeError('not implemented yet!')

算法插件定义

每个插件需要实现公共接口方法。

class ApiBase(object):
    """API服务基类"""
    
    def __init__(self) -> None:
        "模型初始化加载"
    
    def predict(self, req_dict={}):
        """
        预测方法,推理算法入口
        :param req_dict:        请求参数,词典类型,eg:{"name":"value"}
        :return:                返回结果,词典类型,eg:{"name":"value"}
        """

        raise RuntimeError('not implemented \'predict\' method')

    def version(self):
        "版本方法"
        return '20220330'

配置文件定义

PluginManager通过配置文件进行可选插件指定加载配置,包括:插件名 、插件路径等信息。

{
    "demo":{
        "infer_dir":"widget.demo.infer"
    },
    "digit_recognition":{
        "infer_dir":"widget.digit_recognition.infer"
    }
}

插件扩展

有些时候为了解耦,需要调用 C 代码,以 linux 平台为例,我们讲讲 python 如何调用 .so 文件进行扩展。

# -*- coding: utf-8 -*-
import json
import ctypes
from ctypes import c_float
from common.logger import LOG

class C_Type(object):
    def __init__(self) -> None:
        self.so = ctypes.CDLL('widget/ctype/lib/sum.so')
    
    def predict(self, req_dict={}):
        LOG.info("this is ctype infer, req_dict=%s" % json.dumps(req_dict))
        return req_dict

    def version(self):
        return '20220326'

def get_plugin_class():
    return C_Type

总结一下

高可扩展:通过插件机制,我们可以很方便进行服务扩展
部署灵活:也能通过配置发布单独服务或者多个服务
代码解耦:最主要能实现各个功能模块的开发解耦,方便进行业务定制

但插件的使用得注意,尽量选择依赖环境和处理性能基本一致的业务进行插件构建,否则会有性能问题,慢插件影响快插件的推理速度。

好了,以上就是今天的全部内容,以上所有代码都汇总到github.com/codetodo-io/language-bootcamp,号友们可以下载演示。

❤️❤️❤️读者每一份热爱都是笔者前进的动力! 我是三十一,感谢各位朋友:求点赞、求评论、求转发,大家下期见!

分类:

后端

标签:

后端

作者介绍

李三十一
V1