阿升

V1

2022/09/28阅读:9主题:默认主题

报时机器人的rasa shell执行流程分析

  本文以报时机器人为载体,介绍了报时机器人的对话能力范围、配置文件功能和训练和运行命令,重点介绍了rasa shell命令启动后的程序执行过程。

一.报时机器人项目结构

1.对话能力范围

(1)能够识别欢迎语意图(greet)和拜拜意图(goodbye)
(2)能够识别时间意图(query_time)
(3)能够识别日期意图(query_date)
(4)能够识别星期几意图(query_weekday)

2.配置文件功能

(1)nlu.yml:主要包含意图、例子、对实体的标注等。
(2)stories.yml文件:用户和机器人之间对话的表示,用户输入意图,机器人响应action。
(3)actions.py:自定义的action,比如action_query_time、action_query_date、action_query_weekday。
(4)config.yml:主要包含nlu(分词、特征提取和分类等)和dialog policy(记忆、规则、机器学习等)。
(5)domain.yml:主要包含意图、视图、槽位、响应、动作等。
(6)credentials.yml:主要和其它对话平台集成,比如facebook、slack等。
(7)endpoints.yml:action_endpoint(调用自定义action)、tracker_store对话存储(内存、redis、mongodb等)、event_broker消息队列(RabbitMQ、Kafka等)。

3.训练和运行命令

(1)训练模型
使用NLU数据和stories训练模型,模型保存在./models中。

rasa train

说明:关于如何把数据集按照比例拆分为训练集和测试集,在训练集上训练模型,在测试集上测试模型,可以参考《聊天机器人框架Rasa资源整理》。
(2)启动action服务器 使用Rasa SDK开启action服务器。

rasa run actions

(3)启动rasa服务器和客户端 通过命令行的方式加载训练模型,然后同聊天机器人进行对话。

rasa shell

二.rasa shell执行流程分析

  整体思路是通过rasa shell加载和解析模型,通过消息处理的方式建立起用户(客户端)和聊天机器人(rasa服务)对话的桥梁。

1.rasa/cli/shell.py文件

  在rasa/cli/shell.py文件中,def shell(args: argparse.Namespace) -> None函数如下:

2.rasa/cli/run.py文件

  在rasa/cli/run.py文件中,def run(args: argparse.Namespace) -> None函数如下:

3.rasa/api.py文件

  在rasa/api.py文件中,def run(...) -> None函数如下:   在run()函数中调用serve_application()函数如下:

4.rasa/core/run.py文件

  在rasa/core/run.py文件中,serve_application()函数如下:   在serve_application()函数中启动了一个基于Sanic的Web服务器,通过configure_app()方法构建了app,然后通过run()方法启动,如下所示:

app = configure_app(
        input_channels,
        cors,
        auth_token,
        enable_api,
        response_timeout,
        jwt_secret,
        jwt_method,
        port=port,
        endpoints=endpoints,
        log_file=log_file,
        conversation_id=conversation_id,
        use_syslog=use_syslog,
        syslog_address=syslog_address,
        syslog_port=syslog_port,
        syslog_protocol=syslog_protocol,
        request_timeout=request_timeout,
    )
......    
app.run(
        host=interface,
        port=port,
        ssl=ssl_context,
        backlog=int(os.environ.get(ENV_SANIC_BACKLOG, "100")),
        workers=number_of_workers,
    )

  通过register_listener(listener, event)注册给定事件的侦听器:

app.register_listener(partial(load_agent_on_start, model_path, endpoints, remote_storage), "before_server_start",)
app.register_listener(close_resources, "after_server_stop")

5.rasa/core/agent.py文件

  通过load_agent_on_start()方法加载一个agent。在rasa/core/agent.py文件中,load_agent()函数如下所示:   在load_agent()函数中,加载模型代码是agent.load_model(model_path)。在Agent类的def load_model()方法中,关于初始化MessageProcessor代码如下:

self.processor = MessageProcessor(
    model_path=model_path,
    tracker_store=self.tracker_store,
    lock_store=self.lock_store,
    action_endpoint=self.action_endpoint,
    generator=self.nlg,
    http_interpreter=self.http_interpreter,
)

加载模型的代码如下:

logger.info(f"Loading model {model_tar}...")
with tempfile.TemporaryDirectory() as temporary_directory:
    try:
        metadata, runner = loader.load_predict_graph_runner(
            Path(temporary_directory),
            Path(model_tar),
            LocalModelStorage,
            DaskGraphRunner,
        )
        return os.path.basename(model_tar), metadata, runner
    except tarfile.ReadError:
        raise ModelNotFound(f"Model {model_path} can not be loaded.")

6.rasa/engine/loader.py文件

  在rasa/engine/loader.py文件中,def load_predict_graph_runner()函数如下:

三.遇到的问题和说明

1.如何用PyCharm调试Rasa项目

解析:一种是基于Script path的调试方法,一种是基于Module name的调试方法。这里介绍前者如下所示: (1)Script Path:安装rasa类库的__main__.py文件路径。
(2)Parameters:rasa的各种cli,比如train、test、shell等。
(3)Working directory:安装rasa类库的根目录。
说明:因为rasa类库依赖类库太多导致系统环境混乱,所示建议使用虚拟环境进行rasa类库安装。

2.NoConsoleScreenBufferError

解析:exception=NoConsoleScreenBufferError('No Windows console found. Are you running cmd.exe?')

3.模型20220915-081548-honest-yield.tar.gz

解析:由metadata.json文件和components文件夹组成,后者和config.yml内容密切相关,如下所示:

4.Sanic框架

解析:Sanic是一个高性能异步的Web框架。

5.asyncio库

解析:它的编程模型是一个消息循环,关键字涉及event_loop、coroutine、task、future、async/await等。

  本文只是简要的介绍了rasa shell命令启动后的程序执行过程,但是对于加载模型后如何解析模型构建图,以及用户输入后,消息如何通过模型(nlu和dialog policy)得到输出并没有介绍,后面写篇文章专门介绍。

参考文献:
[1]Rasa实战:构建开源对话机器人
[2]Sanic官方文档:https://www.osgeo.cn/sanic/
[3]asyncio库异步I/O:https://docs.python.org/3.7/library/asyncio.html
[4]聊天机器人框架Rasa资源整理

分类:

人工智能

标签:

自然语言处理

作者介绍

阿升
V1

吾爱DotNet(公众号)