基于实时功能磁共振成像的脑机交互自然图像检索技术研究

发布时间：2017-06-07 18:09

  本文关键词：基于实时功能磁共振成像的脑机交互自然图像检索技术研究，由笔耕文化传播整理发布。

【摘要】：大脑是人体的知觉中心、思维中心和控制中心,针对大脑活动进行成像的神经影像学的飞速发展使人们得以读取大脑的活动信号,极大地推动了神经科学的进步。尤其是功能磁共振成像技术(functional Magnetic Resonance Imaging,fMRI)出现之后,大脑功能活动成像空间分辨率大幅提高,使得对大脑复杂感知和认知神经活动的精确解读成为可能。视觉信息作为人类主要的信息来源,其解读技术一直是脑科学的研究热点。基于实时功能磁共振成像(real time fMRI,rt-fMRI)的图像检索能够直接利用脑活动信号还原出大脑所接收到的视觉信息,是现阶段视觉信息解读技术研究中最具挑战性和最有吸引力的技术,在人脑视觉信息处理机制研究中占有显著地位。针对人脑接受自然图片刺激时的视觉信息解读问题,本文着重研究了融合初级和中级视觉特征编码模型的图像识别方法和基于卷积神经网络视觉编解码模型的语义分类方法,并在此基础上结合rt-f MRI脑机交互技术,构建了基于rt-fMRI的脑机交互自然图像检索系统。主要研究工作包括:1.构建了一种融合中级视觉特征字典的视觉编码模型,并基于该模型实现了一种图像识别方法。目前已有的视觉编码模型通常将初级视觉皮层看作一个整体,强调对初级视觉特征的表征能力,而缺乏对处理中级视觉特征相关视觉区功能的模拟,影响了视觉编码模型的准确性。本文使用稀疏字典训练的方法构造了针对斑点特征和角点特征的中级视觉特征字典,并使用该字典模拟大脑视觉区的信息处理方式,同时将该字典与金字塔结构Gabor小波模型相结合,构建了融合初级和中级视觉特征的编码模型。本文使用该优化模型进行了基于fMRI的图像识别的实验,结果表明,优化的视觉编码模型能够有效地表征特定的初级和中级视觉特征,提高图像识别的准确率。2.提出了一种基于卷积神经网络视觉编码模型的语义分类方法。传统的语义分类方法以fMRI中各体素独立作用为假设,以单个体素在视觉刺激下激活的显著水平作为其是否用于视觉语义分类特征的依据,但大脑fMRI体素激活值的高低并不能直接反映该体素包含视觉语义信息的多少,这影响了视觉语义信息解读的有效性。本文基于卷积神经网络构建语义相关视觉区域的编码模型,利用语义相关特征相似性作为标准来进行特征选择,选择出的体素在一定程度上能够包含更多语义相关信息。四种语义的自然图像的分类实验结果表明,该方法能有效地提高语义分类的准确性。3.提出了一种fMRI图像检索中的实时脑机交互策略,并构建了一套基于rt-fMRI的脑机交互自然图像检索系统。该系统融合了视觉信息的语义解读和基于视觉编码模型的图像识别算法,可以通过对大脑fMRI信号的解读在线检索出图像库中与视觉刺激接近的图像。同时,本文在该系统中引入实时反馈机制,设计了一种基于视觉注意状态实时分类的rt-fMRI脑机交互策略,进行视觉信息在人与计算机之间的双向传递,以提高视觉语义解读的准确性。实验结果表明,该系统能够有效、稳定地完成实时图像检索任务,并且在引入脑机交互模块后分类正确率有显著提高。
【关键词】：功能磁共振成像 视觉编码模型 中级视觉特征 稀疏字典学习 多体素模式分析 特征选择 卷积神经网络 脑机交互 图像检索
【学位授予单位】：解放军信息工程大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.41;R318
【目录】：

• 摘要4-6
• Abstract6-13
• 第一章 绪论13-23
• 1.1 课题背景及意义13-14
• 1.2 视觉信息解读技术14-19
• 1.2.1 视觉编码模型15-17
• 1.2.2 多体素模式分析解码方法17-19
• 1.3 基于实时功能磁共振的脑机交互技术19-22
• 1.3.1 实时功能磁共振成像19-20
• 1.3.2 脑机交互技术20-22
• 1.4 课题研究内容及论文结构安排22-23
• 第二章 基于中级视觉特征编码模型的自然图像识别23-35
• 2.1 金字塔结构Gabor小波编码模型23-25
• 2.2 一种基于中级视觉特征字典的编码模型25-27
• 2.3 基于f MRI的自然图像识别实验27-34
• 2.3.1 实验材料28-30
• 2.3.2 实验结果和分析30-34
• 2.4 本章小结34-35
• 第三章 基于卷积神经网络视觉编码的视觉语义分类35-45
• 3.1 f MRI特征选择方法35-37
• 3.1.1 基于感兴趣区域的特征选择方法35-36
• 3.1.2 基于单变量分析的特征选择方法36-37
• 3.2 基于卷积神经网络编码模型的特征选择方法37-40
• 3.2.1 卷积神经网络编码模型的构建38-39
• 3.2.2 基于卷积神经网络的特征选择39-40
• 3.3 基于f MRI的自然图像四分类实验40-44
• 3.3.1 实验材料40-42
• 3.3.2 结果分析42-44
• 3.4 本章小结44-45
• 第四章 基于实时功能磁共振的脑机交互自然图像检索45-57
• 4.1 基于视觉信息解读的脑机交互自然图像检索45-46
• 4.2 实时数据传输与处理46-50
• 4.2.1 实时数据传输47
• 4.2.2 实时数据处理47-50
• 4.3 基于rt-fMRI的视觉信息脑机交互方法50-51
• 4.4 视觉刺激生成与显示51-53
• 4.5 基于rt-fMRI的自然图像检索实验53-55
• 4.5.1 实验材料53-54
• 4.5.2 结果分析54-55
• 4.6 本章小结55-57
• 第五章 总结与展望57-59
• 5.1 总结57-58
• 5.2 展望58-59
• 致谢59-61
• 参考文献61-67
• 作者简历67

【参考文献】

中国期刊全文数据库 前8条

1 童莉;王理军;郑载舟;闫镔;;基于多体素模式分析的fMRI视觉解码研究综述[J];信息工程大学学报;2015年01期

2 吴朝晖;俞一鹏;潘纲;王跃明;;脑机融合系统综述[J];生命科学;2014年06期

3 黄凯奇;任伟强;谭铁牛;;图像物体分类与检测算法综述[J];计算机学报;2014年06期

4 吕柄江;赵小杰;姚力;高家红;;实时功能磁共振成像及其应用[J];科学通报;2014年02期

5 雷煜;童莉;李建新;闫镔;;基于脑功能磁共振影像的视觉信息解读技术[J];计算机应用研究;2013年06期

6 ;Development of an invasive brain machine interface with a monkey model[J];Chinese Science Bulletin;2012年16期

7 吴义根,田志雄,黄雄,吴光耀,李丽云,孙骏谟,刘买利,唐孝威;人脑初级视皮层内事件相关型视觉刺激fMRI BOLD响应特性初步研究[J];波谱学杂志;2003年03期

8 沈钧贤;人类脑计划与神经信息学[J];生物物理学报;2001年04期

  本文关键词：基于实时功能磁共振成像的脑机交互自然图像检索技术研究，由笔耕文化传播整理发布。

，

本文编号：429859