(论文阅读40-45)图像描述1

news/2024/4/16 3:51:41

40.文献阅读笔记(m-RNN)

简介

题目

Explain Images with Multimodal Recurrent Neural Networks

作者

Junhua Mao, Wei Xu, Yi Yang, Jiang Wang, Alan L. Yuille, arXiv:1410.1090

原文链接

http://arxiv.org/pdf/1410.1090.pdf

关键词

m-RNN、multimodal

研究问题

研究问题:解释图像内容;图像和句子检索。

以前的方法思路:看做句子和图像之间的检索问题。给定句子(图像)查询相应的图像(句子)。

具体实施方法:对句子和图像都提取特征,并且将其映射到相同的语义 嵌入空间。

缺点:这样的方法对新图像的描述能力弱。(不在数据库中的句子、图像无法查询,或者查询结果不准确)

针对这一任务,通常有两类方法。第一类假定有特定的语言语法规则。它们解析句子并将其分为几个部分。然后将每个部分与图像中的对象或属性关联起来(例如,使用条件随机场模型,使用马尔可夫随机场模型)。这类方法生成的句子在语法上是正确的。另一类方法与我们的方法更为相关,它们利用深度玻尔兹曼机和主题模型等,学习多模态输入(即句子和图像)空间的概率密度。与第一种方法相比,它们能生成结构更丰富、更灵活的句子。给定相应图像生成句子的概率可作为检索的亲和度指标。

研究方法

多模态循环神经网络(m-RNN):该模型直接模拟了在给定先前单词和图像的情况下生成单词的概率分布。图像描述就是从这个分布中采样生成的。该模型由两个子网络组成:用于句子的深度递归神经网络和用于图像的深度卷积网络。这两个子网络在多模态层中相互作用,形成整个 m-RNN 模型。

The whole m-RNN architecture contains a language model part, an image part and a multimodal part. The language model part learns the dense feature embedding for each word in the dictionary and stores the semantic temporal context in recurrent layers. The image part contains a deep Convulutional Neural Network (CNN) [17] which extracts image features. The multimodal part connects the language model and the deep CNN together by a one-layer representation.

语言模型学习字典中每个词的稠密特征嵌入,并在recurrent layers中存储语义时间上下文(semantic temporal context)。

图像部分包含提取图像特征的深度卷积神经网络( CNN )。

多模态部分通过单层表示将语言模型和深度CNN连接在一起。

损失函数:using a perplexity based cost function

  1. RNN在每个时间帧中有六个层:输入词层、两个词嵌入层、递归层、多模态层和 softmax 层

研究结论

模型优于最先进的生成方法。此外,m-RNN 模型还可应用于检索图像或句子的任务,与直接优化检索排序目标函数的先进方法相比,其性能有了显著提高。模型是可扩展的,并且有潜力通过为图像和句子整合更强大的深度网络来进一步改进。

创新不足

额外知识

递归神经网络:【神经网络】递归神经网络 - 知乎 (zhihu.com)

模型必须能够按照树结构去处理信息,而不是序列(循环神经网络),这就是递归神经网络的作用。

41.文献阅读笔记

简介

题目

Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models

作者

Ryan Kiros, Ruslan Salakhutdinov, Richard S. Zemel, arXiv:1411.2539.

原文链接

http://arxiv.org/pdf/1411.2539.pdf

关键词

Visual-Semantic

研究问题

图像描述

研究方法

编码器:深度卷积网络( CNN )和长短期记忆循环网络( LSTM ),用于学习图像-句子的联合嵌入。解码器:一种新的神经语言模型,它将结构向量和内容向量结合起来,用于每次依次生成单词。

解码器补充:引入了一种新的神经语言模型,称为结构-内容神经语言模型(SC-NLM)。SC-NLM 与现有模型的不同之处在于,它以编码器产生的分布式表征为条件,将句子的结构与内容割裂开来。

结构变量有助于引导模型生成短语,可以看作是一个软模板,有助于避免模型生成语法废话。

SC-NLM 可以仅根据文本进行训练。这样,我们就可以利用大量的单语文本(如非图像标题)来提高语言模型的质量。

编码器为我们提供了一种对图像和标题进行排序并开发良好评分函数的方法,而解码器则可以使用所学到的表征来优化评分函数,从而生成新的描述并对其进行评分。

研究结论

最先进的性能

创新不足

额外知识

Lstm:包含一个内置的记忆单元,用于存储信息和利用远距离上下文。LSTM 存储单元周围有门控单元,用于读写和重置信息。

42.文献阅读笔记(LRCN)

简介

题目

Long-term Recurrent Convolutional Networks for Visual Recognition and Description

作者

Jeff Donahue, Lisa Anne Hendricks, Sergio Guadarrama, Marcus Rohrbach, Subhashini Venugopalan, Kate Saenko, Trevor Darrel l, arXiv:1411.4389.

原文链接

http://arxiv.org/pdf/1411.4389.pdf

关键词

recurrent convolutional

研究问题

描述了一类可端到端训练且适用于大规模视觉理解任务的递归卷积架构,并展示了这些模型在活动识别、图像标题和视频描述方面的价值。

递归卷积模型则是 "双重深度 "的,因为它们学习空间和时间的组合表征。当非线性因素被纳入网络状态更新时,学习长期依赖关系就成为可能。可微分递归模型的吸引力在于,它们可以将可变长度的输入(如视频)直接映射到可变长度的输出(如自然语言文本),并能模拟复杂的时间动态;同时,它们还能通过反向传播进行优化。

有关用于视频处理的 CNN 模型的研究已经考虑了在原始序列数据上学习三维时空滤波器,以及在固定窗口或视频镜头片段上学习帧到帧表示,其中包含了瞬时光流基于轨迹的聚合模型 。这些模型探索了感知时间序列表征学习的两个极端:要么学习完全通用的时变加权,要么应用简单的时间池。

研究方法

主张视频识别和描述模型也应在时间维度上进行深度学习,即潜在变量具有时间递归性。

LSTM 单元的隐藏状态使用非线性机制进行增强,允许状态在不修改的情况下传播、更新或重置,使用的是简单的学习门控函数。

应用于时变输入和输出的愿望不断增长的架构

研究结论

证明 LSTM 类型的模型可以提高传统视频活动挑战的识别率,并实现从图像像素到句子级自然语言描述的新颖端到端优化映射。我们还表明,这些模型改进了从传统视觉模型衍生的中间视觉表征中生成描述的能力。

创新不足

额外知识

CRF:条件随机场

43.文献阅读笔记

简介

题目

Show and Tell: A Neural Image Caption Generator

作者

Oriol Vinyals, Alexander Toshev, Samy Bengio, Dumitru Erhan

原文链接

http://arxiv.org/pdf/1411.4555.pdf

关键词

研究问题

图像描述

想回答诸如"数据集大小如何影响泛化"、"它将能够实现什么样的迁移学习"、"它将如何处理弱标记样本"等问题。

研究方法

CNN(图像的表示)+LSTM(联系前后输入)

介绍了 NIC,这是一个端到端神经网络系统,可以自动查看图像并生成通俗易懂的合理描述。NIC 以卷积神经网络为基础,将图像编码为紧凑的表示形式,然后由递归神经网络生成相应的句子。对模型的训练是为了最大限度地提高给定图像的句子的可能性。

利用一个循环神经网络将可变长度的输入编码为固定维度的向量,并使用这种表示将其"解码"到期望的输出句子。

研究结论

随着图像描述可用数据集规模的扩大,NIC 等方法的性能也将随之提高。此外,如何利用来自图像和文本的无监督数据来改进图像描述方法也将是一个有趣的课题。

创新不足

额外知识

None

44.文献阅读笔记

简介

题目

Deep Visual-Semantic Alignments for Generating Image Description

作者

Andrej Karpathy, Li Fei-Fei, CVPR, 2015.

原文链接

http://cs.stanford.edu/people/karpathy/cvpr2015.pdf

关键词

对图像内容进行密集注释。

研究问题

提出了一种生成图像及其区域的自然语言描述的模型。以往视觉识别领域的大部分工作都集中在用一组固定的视觉类别标记图像上,这些工作已经取得了很大的进展。然而,尽管封闭的视觉概念词汇表构成了一种方便的建模假设,但与人类所能编写的大量丰富描述相比,它们具有极大的局限性。针对生成图像描述的挑战,已经开发出了一些开创性的方法。然而,这些模型通常依赖于硬编码的视觉概念和句子模板,这就限制了它们的多样性。此外,这些工作的重点是将复杂的视觉场景还原成一个句子,而我们认为这是不必要的限制。

研究方法

利用图像及其句子描述的数据集来学习语言和视觉数据之间的模态间对应关系。基于图像区域上的卷积神经网络,句子上的双向循环神经网络和通过多模态嵌入对齐两个模态的结构化目标的新颖组合。

描述了一种多模态循环神经网络架构,该架构使用推断的对齐来学习生成新的图像区域描述。

输入->推断->输出

研究结论

创新不足

额外知识

双向递归神经网络(Bidirectional Recurrent Neural Network,BRNN):来计算单词表示。双向递归神经网络采用 N 个单词序列(以 1-k 表示法编码),并将每个单词转换为 h 维向量。不过,每个单词的表征都会被该单词周围大小不一的上下文所丰富。

45.文献阅读笔记

简介

题目

Translating Videos to Natural Language Using Deep Recurrent Neural Networks

作者

Subhashini Venugopalan, Huijuan Xu, Jeff Donahue, Marcus Rohrbach, Raymond Mooney, Kate Saenko, NAACL-HLT, 2015.

原文链接

http://arxiv.org/pdf/1412.4729.pdf

关键词

视频翻译

研究问题

将视频直接翻译成句子.描述的视频数据集稀缺,现有的大多数方法已被应用于可能词汇量较小的玩具领域。人们已经提出了针对具有一小部分已知动作和对象的狭窄领域的解决方案.

研究方法

同时具有卷积和循环结构的统一深度神经网络将视频直接翻译成句子。

该网络在 120 多万张带有类别标签的图像上进行了预先训练.

他们将其模型的一个版本应用于视频到文本的生成,但没有提出端到端的单一网络,而是使用了中间角色表示。

利用长短期记忆(LSTM)递归神经网络来建立序列动态模型,但将其直接连接到深度卷积神经网络来处理传入的视频帧,从而完全避免了监督中间表征。

研究结论

提出了一种用于视频描述的模型,该模型使用神经网络从像素到句子的整个流水线,并且可以潜在地允许整个网络的训练和调整。在一个广泛的实验评估中,我们表明我们的方法比相关的方法生成更好的句子。我们还表明,与仅依赖视频描述数据相比,利用图像描述数据可以提高性能。然而,我们的方法在更好地利用视频中的时间信息方面存在不足

创新不足

每帧都进行卷积处理,运算量太大.

额外知识


http://www.ppmy.cn/news/1225485.html

相关文章

不使用宝塔面板 安装 EasyImage 简单图床

发布于 2023-07-17 在 https://chenhaotian.top/linux-app/easy-image/ 前言 如果不希望安装宝塔面板或其国际版 aapanel(尽管宝塔面板可以在安装后关闭),那么可以参考这篇文章。 本文安装环境为 Debian 11, 在 Ubuntu 20.04 测试通过 安…

[黑马程序员SpringBoot2]——开发实用篇1

目录: 手工启动热部署自动启动热部署热部署范围配置关闭热部署功能第三方bean属性绑定松散绑定常用计量单位应用bean属性校验进制数据转换规则加载测试专用属性加载测试专用配置测试类中启动web环境发送虚拟请求匹配响应执行状态匹配响应体匹配响应体(json)匹配响应…

用深度学习预测股市涨跌之学习记录

从开始学习深度学习就想用深度学习尝试实现对股市涨跌对预测,虽然不抱很大期望,权当练习了。 硬件 I5 RTX 2060 16G内存 数据 首先,不管用什么模型都需要数据。我的数据来源一开始使用的是XTP的测试接口,后来陆续使用了sina的和…

Gem5模拟器学习之旅

安装gem5 模拟器 翻译自官网(https://www.gem5.org/documentation/learning_gem5/part1/building/) 支持的操作系统和环境 gem5的设计考虑到了Linux环境。我们定期在 Ubuntu 18.04、Ubuntu 20.04 和 Ubuntu 22.04 上进行测试,以确保 gem5 在…

简单线性回归函数

简单线性回归函数 定义术语理解简单线性回归例子 定义 线性回归:利用线性回归方程中最小平方函数对一个或多个自变量和因变量之间关系进行建模的一个回归分析。该建模的目标为找到各个系数的最佳值让预测误差最小 简单线性回归:只有一个自变量的线性回…

stable diffusion十七种controlnet详细使用方法总结

个人网站:https://tianfeng.space 前言 最近不知道发点什么,做个controlnet 使用方法总结好了,如果你们对所有controlnet用法,可能了解但是有点模糊,希望能对你们有用。 一、SD controlnet 我统一下其他参数&#…

Leetcode—142.环形链表II【中等】

2023每日刷题(三十三) Leetcode—142.环形链表II 实现代码 /*** Definition for singly-linked list.* struct ListNode {* int val;* struct ListNode *next;* };*/ struct ListNode *detectCycle(struct ListNode *head) {struct ListNode* …

【数据结构(一)】线性结构和非线性结构

文章目录 线性结构和非线性结构1. 线性结构2. 非线性结构 线性结构和非线性结构 数据结构包括:线性结构和非线性结构。 1. 线性结构 线性结构作为最常用的数据结构,其特点是数据元素之间存在一对一的线性关系。线性结构有两种不同的存储结构&#xff…

使用Docker部署Python Flask应用的完整教程

一、引言 Docker是一种开源的容器化平台,可以将应用程序及其依赖项打包成一个独立的容器,实现快速部署和跨平台运行。本文将详细介绍如何使用Docker来部署Python Flask应用程序,帮助开发者更高效地构建和部署应用。 二、准备工作 在开始之前…

matlab中一个神奇的操作(鼠标滚轮调节改变数字)

matlab中选中想要改变的数字,按住ctrl按键滚动滚轮,数字会改变;

vmware workstation pro 17.5 安装 macos 13.5.2 虚拟机超详细图文教程

前言 本文很细,甚至有点墨迹,主要为了方便从来没用过 vmware 的新人,其实大部分步骤和正常安装虚拟机没有区别,详细贴图以方便大家对比细节 参考文章 感谢大佬们的无私分享 https://blog.csdn.net/qq_19731521/article/details…

OpenCV图像纹理

LBP描述 LBP(Local Binary Pattern,局部二值模式)是一种用来描述图像局部纹理特征的算子;它具有旋转不变性和灰度不变性等显著的优点。它是首先由T. Ojala, M.Pietikinen, 和D. Harwood 在1994年提出,用于纹理特征提取…

代码随想录算法训练营Day 56 || 647. 回文子串、516.最长回文子序列

647. 回文子串 力扣题目链接 给定一个字符串,你的任务是计算这个字符串中有多少个回文子串。 具有不同开始位置或结束位置的子串,即使是由相同的字符组成,也会被视作不同的子串。 示例 1: 输入:"abc"输…

无需公网IP,使用MCSM面板一键搭建我的世界Minecraft服务器联机游戏

文章目录 前言1.Mcsmanager安装2.创建Minecraft服务器3.本地测试联机4. 内网穿透4.1 安装cpolar内网穿透4.2 创建隧道映射内网端口 5.远程联机测试6. 配置固定远程联机端口地址6.1 保留一个固定TCP地址6.2 配置固定TCP地址 7. 使用固定公网地址远程联机 前言 MCSManager是一个…

Python武器库开发-flask篇之Get与Post(二十五)

flask篇之Get与Post(二十五) 在Flask中通过request对象请求相关的数据,在正常的网页请求的过程中,有两种请求的方式,Get和Post Get请求 我们现在来看看在Flask中是如何以Get方式得到我们想要的值的,通过request.args可以获取Get请求中的所…

GamingTcUI.dll丢失修复,最全面的GamingTcUI.dll修复指南

热衷于电脑游戏的用户可能会在启动游戏时遇到这样的错误信息:"无法启动应用,因为找不到GamingTcUI.dll"。那么这个GamingTcUI.dll文件是什么?如何解决这个问题呢?我们将在本文中进行详细讲解。 一.GamingTcUI.dll是什么…

Android MQTT开发之 Hivemq MQTT Client

使用一个开源库:hivemq-mqtt-client,这是Java生态的一个MQTT客户端框架,需要Java 8,Android上使用的话问题不大,需要一些额外的配置,下面列出了相关的配置,尤其是 packagingOptions,…

基于SSM的高校宿舍管理系统

文章目录 项目介绍主要功能截图:部分代码展示设计总结项目获取方式🍅 作者主页:超级无敌暴龙战士塔塔开 🍅 简介:Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我,都给你】 🍅文末获取源码联系🍅 项目介绍 基于SSM的高校宿舍管理系统,java项目。 …
最新文章