交互 Python 笔记本/组件的概念例如,用于多智能体强化学习- EJB-bean-like 组件?

问题描述

我的目标是构建新的认知架构,该架构使用强化学习组件(Pytorch 或 Tensorflow Python 神经网络来表示 RL 值函数,用于计算观察-动作映射(使用此值函数))。

我的目的是从多个交互的 RL 组件构建这个架构,这些组件具有一些特定的专业化(状态空间、动作空间、策略),例如一个 RL 组件可用于从视觉观察中提取几何表示,另一个 RL 组件可用于将声音输入翻译成自然语言语句,第三个 RL 组件可用于将自然语言语句解析为逻辑语句(使用自然语言处理的形式语义)和另一个组件,用于将这些信息融合并翻译成高级技能/动作和另一个组件 - 将高级复杂动作编译成运动原语。

这种架构需要并行和交互的 Python 组件。我的问题是 - 这种设计的概念架构和技术是什么?这些 Python 组件/笔记本之间的通信模式和技术是什么?

如果我确实在 Java EJB 或 Spring 中实现了这一点,那么我可以将每个 RL-Unit 放入单独的 EJB 或 Spring bean 中,并且 EJB 容器或 Spring 容器将成为这些 bean 以及在它们之间构建的关联的生存空间启动中的 bean(或者也可以由侦听器/发布器实现)。

我是 Pyhon 的新手,我不知道如何在 Python 中实现它。我应该考虑 Django 服务器/框架吗?在我的理解中 - Django 用于 CRUD 数据库访问和 API 编程,但是 - 也许我应该将 Python 笔记本/函数包装在 Django 组件中,通过 HTTP API 公开这些 Django 组件,然后使用通常的 HTTP(外部介质)通信进行通信组件之间?

我真的很困惑,想知道这种分布式/组件式 Python 的一些常见概念或模式。

我的理解是 - 这不是 Python 并行化的问题(例如使用 MPI)。这是关于组件类型的架构。如果某个组件增长(例如某个非常大的神经网络),那么我可以使其单独并行。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...