开源人工智能根据面部表情特征深度学习应用于生成图像标题

作者: 趣说人工智能 2018-07-11 11:27:26

开源人工智能根据面部表情特征深度学习应用于生成图像标题摘要:图像字幕是生成图像的自然语言描述的过程。然而,大多数当前的图像字幕模型没有考虑图像的情感方面,这与其中表现的活动和人际关系非常相关。为了开发一种可以生成包含这些人类标题的模型,我们使用从包括人脸在内的图像中提取的面部表情特征,旨在提高模型的描述能力。在这项工作中,我们提出了两种Face-Cap模型,它以不同的方式嵌入面部表情特征,以生成图像标题。使用所有标准评估指标,我们的Face-Cap模型在应用于从标准Flickr 30K数据集中提取的图像标题数据集时,优于用于生成图像标题的***进基线模型,该数据集包含大约11K个包含面部的图像。对字幕的分析发现,令人惊讶的是,令人惊讶的是,字幕质量的提高似乎并非来自添加与图像的情感方面相关的形容词,而是来自字幕中描述的行为的更多变化。

开源人工智能根据面部表情特征深度学

开源人工智能根据面部表情特征深度学习应用于生成图像标题

习应用于生成图像标题简介:图像字幕系统旨在使用计算机视觉和自然语言处理来描述图像的内容。这在计算机视觉中是一项具有挑战性的任务,因为我们不仅要捕捉对象,还要捕捉它们之间的关系以及图像中显示的活动,以便生成有意义的描述。大多数***进的方法,包括深度神经网络,都会生成反映图像事实方面的字幕[3,8,12,16,20,35,37];在这个过程中,通常会忽略能够提供更丰富和更有吸引力的图像标题的情感方面。在设计智能系统以产生智能,适应性和有效结果时,需要包括识别和表达情感的情感属性[22]。设计能够识别情感并将其应用于描述图像的图像字幕系统仍然是一个挑战。

一些模型已将情绪或其他非事实信息纳入图像标题[10,23,38];他们通常需要收集一个补充数据集,其中的情感词汇来源于此,来自自然语言处理[25]的工作,其中情绪通常被描述为积极的,中立的或消极的。马修斯等人。例如,[23]通过众包构建了一个情感图像标题数据集,其中要求说话者使用固定词汇包括正面情绪(例如可爱的猫)或负面情绪(例如阴险的猫);他们的模型在这个和一套标准的事实标题上进行了训练。甘等人。 [10]提出了一个名为StyleNet的字幕模型,用于添加样式,包括情感,以及事实标题;他们指定了一组预定义的样式,例如幽默或浪漫。

这些类型的模型通常包含代表观察者对图像的情感的图像描述(例如,对于图像的正面看法而言,可爱的猫,对于负面的看法,则是阴险的猫);它们并不旨在捕捉图像的情感内容,如图1所示。这种区别已在情感分析文献中得到认可:例如,[24]的早期工作提出了一种用于预测情绪的图论 - 理论方法。由文本作者表达,首先删除文本实际内容中的正面或负面的文本片段(例如“主角试图保护她的好名字”作为电影情节描述的一部分,哪里好具有积极的情绪)并且只留下反映作者主观观点的情感文本(例如“大胆,富有想象力,无法抗拒”)。在图像的背景下,我们对与内容相关的情感的概念感兴趣。

开源人工智能根据面部表情特征深度学习应用于生成图像标题

开源人工智能根据面部表情特征深度学习应用于生成图像标题贡献:因此,在本文中,我们引入了一个图像字幕模型,我们称之为Face-Cap,以结合图像本身的情感内容:我们自动检测人脸的情绪,并将衍生的面部表情特征应用于生成图像标题。我们介绍了Face-Cap的两种变体,它们以不同的方式使用这些特征来生成字幕。我们的工作贡献是:

1.Face-Cap模型生成包含面部表情特征和情感内容的字幕,既不使用情感图像标题配对数据也不使用难以收集的情绪标题数据。据作者所知,这是***项在图像字幕任务中应用面部表情分析的研究。

2.一组实验证明,这些Face-Cap模型在所有标准评估指标上都优于基线,这是一种***进的模型。对生成的字幕的分析表明,它们通过更好地描述图像中执行的操作来改进基线模型。

3.一个图像标题数据集,包括我们从Flickr 30K数据集[39]中提取的人脸,我们称之为FlickrFace11K。它是公开的3,用于促进该领域的未来研究。

开源人工智能根据面部表情特征深度学习应用于生成图像标题

开源人工智能根据面部表情特征深度学习应用于生成图像标题数据集:为了训练我们的面部表情识别模型,我们使用面部表情识别2013(FER-2013)数据集[11]。它包括野外样本,幸福,悲伤,恐惧,惊讶,愤怒,厌恶和中立。它包含35,887个示例(28,709个用于培训,3589个用于公开,3589个用于私人测试),通过Google搜索API收集。这些示例采用灰度级,大小为48 x 48像素。在删除11个完全黑色的示例后,我们将FER-2013的训练集分为两个部分:25,109个用于训练,3589个用于验证模型。与该领域的其他工作[17,27,40]类似,我们使用FER-2013的私人测试集进行训练阶段后模型的性能评估。为了与相关工作进行比较,我们不会将公共测试集应用于培训或验证模型。

为了训练我们的图像字幕模型,我们提取了Flickr 30K数据集的一个子集,带有图像标题[39],我们称之为FlickrFace11K。它包含11,696个例子,包括人脸,使用基于CNN的人脸检测算法进行检测[18] .4我们观察到Flickr 30K数据集是我们数据集的一个很好的来源,因为它有很大一部分样本包括人类与其他图像标题数据集(如COCO数据集[4])相比,这些面。我们将FlickrFace11K样本分为8696个进行培训,2000个进行验证,1000个进行测试,并将其公之于众.5为了提取样本的面部特征,我们使用面部预处理步骤和面部表情识别模型如下。

开源人工智能根据面部表情特征深度学习应用于生成图像标题Face预处理:由于我们的目标是在FER-2013上训练面部表情识别模型并将其用作FlickrFace11K样本的面部表情特征提取器,我们需要使样本与FER-2013数据一致。为此,使用面部检测器对FlickrFace11K的面进行预处理。通过基于CNN的面部检测算法检测面部并从每个样本裁剪。然后,我们将每个面转换为灰度,并将其调整为48 x 48像素,这与FER-2013数据完全相同。

开源人工智能根据面部表情特征深度学习应用于生成图像标题结论和未来的工作:在本文中,我们提出了两种图像字幕模型,Face-Cap,它采用面部特征来描述图像。为此,应用面部表情识别模型从包括人脸的图像中提取特征。使用这些特征,我们的模型被告知图像的情感内容,以自动调节图像标题的生成。与***进的基线模型相比,我们已经使用标准评估指标显示了模型的有效性。生成的标题表明Face-Cap模型成功生成图像标题,并在适当的时间结合了面部特征。对字幕的语言分析表明,描述图像内容的有效性得到提高,表达的可变性更大。

未来的工作可能涉及设计新的面部表情识别模型,这可以涵盖更丰富的情感,包括混乱和好奇;并有效地应用其相应的面部特征来生成图像标题。此外,我们希望探索注入面部情绪的替代架构,如[37]的软注射方法。

代码地址:github.com/omidmn/Face-Cap

人工智能 深度学习 机器学习
上一篇:人工智能生成微笑悲伤愤怒惊奇等离散面部属性利用生成对抗网络 下一篇:五个最热门的开源机器学习JavaScript框架
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

教育人工智能伦理风险如何消解

人工智能(Artificial Intelligence,简称AI)是计算机科学的一部分,包括研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统等方面。教育人工智能伦理则是用以规范教育人工智能开发及应用过程中关系、行为的道理及准则。

中国教育报 ·  20h前
为什么人工智能是可再生能源电网复原力的关键

各界呼吁政府在电网基础设施上投入资金,升级集中式发电源的长输电线路,尝试利用过去的技术来解决当今的问题。但是现在已经有了更好、更具前瞻性的替代方案:利用分散式可再生能源的人工智能(AI)。

世界经济论坛 ·  22h前
北京打造首个政策先行区:自动驾驶年内尝试真正无人

昨天,在北京经济技术开发区朝林广场,无人洗地机“蜗小白”引人关注。当日,经开区正式启动北京市智能网联汽车政策先行区。

北京日报客户端 ·  22h前
传统数据之外,哪里是通往智能之路?

为了实现这种更高阶的人工智能,寻求进步的公司都在积极探索,除了吸收更多数据并更好地管理数据的典型方法之外,我们还需要考虑更多创新的方法。

卿云 ·  1天前
“机器换人”引发就业挑战,一线工人前路何在?

当前,人工智能在全球范围内的加速发展引发各国高度关注,无论是简单的机械动作还是复杂的感知任务,人工智能所展现出的实力都可圈可点。

佚名 ·  1天前
AI机器人上场,驾培行业翻开智能化新篇章

驾培行业打破传统的驾培模式刻不容缓,而通过各种智能技术和装备,启动智能化的教学,无疑是有效的替代之法。

林中易木 ·  1天前
语音识别技术迎风发展,未来五年规模将近300亿

语音识别技术得到重视,根据市场研究机构报告预测,到2025年,语音识别市场规模将达到267.9亿美元。

六栎 ·  1天前
95%PyTorch库都会中招的bug!特斯拉AI总监都没能幸免

这就是最近Reddit上热议的一个话题,是一位网友在使用再平常不过的Pytorch+Numpy组合时发现。

明敏 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载