使用图像和测量物体重量的多模态神经网络

问题描述

我目前正在处理一项分类任务,将传送带上的物体图像分为几个不同的类别。为此,我使用了通过 Python Tensorflow 实现的 MobileNet 架构。另外,物体的重量(例如 1.2 公斤)是可用的,所以我想通过使用重量和图像数据来使神经网络多模态,以实现更好的预测。

我正在考虑通过连接两个输入(图像和权重)然后应用 softmax 来组合它们。此外,输入的权重似乎很有用,因为图像数据比权重重要得多(可能是 95% 到 5%)。

我的问题:

  • 对于权重,您会推荐什么样的模型架构 数据分类
  • 您将如何组合这两个输入?

提前致谢。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)