计算机论文哪里有?本文的工作不仅涉及如何解决特定领域任务,而且还涉及使用任务的实践来启发深度学习方法的研究。现从以下 2 个角度对未来工作进行展望:(1)具有可视化能力的模型,或许能够从现实角度,完成一些与医学研究课题的互动。在保证模型性能的条件下,有可能利用可视化深度学习模型的解释性推动睡眠分期标准的合理化和精准化。同时,这样的应用实践,也有助于完善深度学习理论研究。
1 绪论
1.1 研究背景与意义
人类大约有三分之一的时间在睡眠中度过,睡眠与人类生理、心理健康休戚相关,是一项非常重要的生命活动。
研究表明,睡眠不足将导致人体生理系统出现各种功能障碍[1],并增高罹患冠心病、关节炎、糖尿病、肌肉疼痛等慢性疾病的风险[2]。此外,不良的睡眠还会促使激素失调,进一步导致能量调节秩序紊乱,诱发令人苦恼的肥胖症[3]。近年来,越来越多的证据表明,主要的睡眠障碍和情感障碍之间存在强相关和潜在的双向动态关系[4]。抑郁症与睡眠障碍处于这种关系的作用机制中,在学术界早已成为一个普遍认识[1]。与此同时,睡眠障碍也是一个社会问题。因睡眠不足造成的交通事故屡屡发生,与之同因的医疗事故已经致使美国 10 万多人死亡[5]。综上所述,无论是对于临床医学,还是对于社会安全,监测、评估睡眠质量都具有重要临床意义和实际应用价值。
睡眠分期是评估睡眠质量的重要依据,也是诊断睡眠障碍和进行临床神经学后续研究的首要工作[6]。在临床应用及研究中,睡眠分期凭借多导睡眠监测(Polysomnography,PSG)数据对睡眠质量进行定量评测。PSG 技术能够同步监测多种生理信号,包括脑电(Electroencephalogram, EEG) 信 号 、 眼 电 (Electrooculogram, EOG) 信 号 、 下 颌 肌 电(Electromyogram, EMG)信号、口鼻气流、血氧饱和度、胸腹呼吸运动、鼾声等,因而成为诊断睡眠障碍的“金标准”。
在早期的睡眠分期任务中,睡眠专家采用 R&K(Rechtsehaffen-Kales)标准对收集到的睡眠数据进行人工分期。由于新技术的出现和睡眠医学的快速发展,旧的睡眠分期标准已经无法满足临床应用,为了改善这种情况,美国睡眠医学学会(American Academy of Sleep Medicine, AASM)重新评估了 R&K 标准并发布了新的 AASM 标准[7]。
1.2 国内外研究现状
自动睡眠分期是人工智能与睡眠医学结合的产物,与计算机应用领域、信号处理领域、神经科学领域等多种研究领域相关。在自动睡眠分期方法研究早期,主要的方法思路可以分为两大类:基于规则推断的知识工程方法和基于数值分类的特征工程方法。前者需要消耗较长的时间构建知识库,且适用情况比较有限,因此,在后续发展中逐步被特征工程所取代。自 2012 年,AlphaGo 大败世界冠军李世石及 AlexNet 在 ImageNet 挑战赛一举夺冠以来,使用深度学习的睡眠分期方法被越来越多的研究者所提出。
本节首先对现有自动睡眠分期方法从研究目标、使用数据、特征及模型四个角度进行总体梳理(如图 1-1)。在此基础上,围绕本文研究的主要课题,重点介绍了国内外基于深度学习的睡眠分期方法研究现状。最后,分析了现有研究存在的问题。
2 基于注意力机制的混合神经网络睡眠分期模型设计
2.1 问题的提出
睡眠分期本质上是一个多分类任务——输入一个睡眠阶段的一小段一维时序数据,输出相应的睡眠阶段决策。根据 AASM 标准,通常,这一小段信息持续的时长为 30 秒;而一个 PSG 记录,往往是几分钟、几小时的;因此,睡眠分期又可以分为简单多分类和序列多分类两大类。前者讨论的对象是单个睡眠“帧”,后者讨论的则是可以切分成多个连续“帧”的单个记录。
由于存在个体差异性,简单多分类任务要想较好地避免这种差异对模型性能的影响,不仅需要学习类间差异,还需要学习类内差异。而且,通常做自动睡眠分期时,直接输入的是某个个体记录,不大可能提前学习到该个体与数据库中个体的差异。再者,简单多分类任务无法学习到连续睡眠“帧”之间存在持续传递的信息。所以,本文解决的是序列型多分类任务。
现有模型除了 GraphSleepNet[23],实现多通道数据输入大多局限在迁移学习、分通道训练上,这本质上仍然是分别处理单通道数据的一种扩展。而且,睡眠专家在判读睡眠“帧”时,常常以 PSG 不同通道的数据作为参考,体现了通道利用的同步性。因此,本章模型以同时处理多通道数据为目的提出。 GraphSleepNet[23]利用 GCN 和多个 EEG 通道,动态学习睡眠分期脑功能连接图,在该领域内具有很强的先进性。但是,睡眠分期的其他非 EEG 生理信号,比如,EOG 信号,虽然无法与 EEG 关联,在实际分期中,却有很大的参考价值。所以,为了学习不同种类生理信号,本章仍然选用普通卷积网络作为基础架构。
除此之外,目前在该领域内使用注意力机制的模型,基本全是基于自注意力机制的,那有没有可能像别的领域一样基于 RNN 使用非自注意力机制呢?
基于上述分析,提出本章研究。
2.2 模型设计基础理论
2.2.1 卷积神经网络概述及现有变体
现阶段所使用的卷积神经网络大致由卷积层、批正则化层、激活层、池化层以及全连接层(可选)构成。卷积神经网络与之前的多层感知机、全连接网络相比,通过共享卷积核提取平移不变特征,并减少需要学习的参数。除去特殊的 3D 卷积、转置卷积(反卷积)外,卷积操作发展至今主要有了 3 种变体:扩张卷积(Atrous/Dilated Convolution)、分组卷积、可分离卷积。
普通卷积的一系列操作如图 2-1 所示:
3 基于序列学习的多目标睡眠分期方法 .................................... 37
3.1 问题的提出 ................................ 37
3.2 基于序列学习的多目标睡眠分期方法实现 ........................... 37
4 总结与展望 ....................................... 49
4.1 总结 .......................................... 49
4.2 展望 ............................................ 49
3 基于序列学习的多目标睡眠分期方法
3.1 问题的提出
在一个睡眠“帧”序列中,如果一个睡眠“帧”与上一睡眠“帧”的睡眠阶段相同,那么,它就是一个非过渡“帧”,反之,为过渡“帧”。
受文献[17]启发,本章将视角放在睡眠“帧”的过渡集与非过渡集上。本章认为,就睡眠阶段是否转移而言,可以将睡眠“帧”分成两大类:过渡睡眠“帧”与非过渡睡眠“帧”。在这样的两大类中,过渡“帧”相较于非过渡“帧”是少数类。
基于上述内容,本章在传统睡眠分期任务中,引入了过渡与非过渡的二分类任务,并将两个任务联合到一起,进行多目标学习,提出一种基于序列学习的多目标睡眠分期方法。通过将过渡与非过渡的关系类别化,可以从数据本身出发,学习到蕴藏其中的关系变化特征。
这里,基于序列学习,在序列到序列(sequence to sequence, seq2seq)问题的模式下,可以在分类时进行序列间的交互,这便为过渡与非过渡的标记提供了可能。
4 总结与展望
4.1 总结
自动睡眠分期任务在睡眠医学快速发展、逐渐普及的背景下,成为近几年医工结合领域的研究热点。在传统特征工程算法发展平缓的时机下,深度学习方法在别的领域的成功应用,使其有大力推动自动睡眠分期发展的潜力。本文利用自动睡眠分期任务,使用深度学习方法对机器学习领域的三要素(模型、目标策略、训练算法)中的模型和目标策略进行了探索。得到的主要研究成果和结论如下:
(1)出于可视化的目的,力图通过注意力机制显示不同 PSG 数据通道对睡眠分期决策的影响,设计了一种基于层级注意力的全新混合神经网络模型。在此模型中,混合框架是由 CNN 和 RNN 构成的,层级注意力机制是连接它们的中间模块。从解决任务的角度而言,实验证明,当该模型具有与近年先进模型可比较的性能时,其层级注意力对睡眠分期过程的通道选择性的可视化效果,与人类认知基本相符。从探索深度学习的角度而言,通过使用外部查询版本的注意力,获得注意力模块与双向 RNN 栈的两种结合方式,得到这样的两个结论:(a)在单层内使用 RNN 的双向编码策略得到的双向 RNN 栈比先分别构成单方向 RNN 栈然后在最高层进行双向包裹所得到的双向 RNN 栈的效果要更好;(b)注意力机制的查询向量和值向量、键向量的语义层次更加接近时,模型效果更好。
(2)注意到可以将睡眠阶段转移与否当作一个二分类任务并可实现无专家标记后,在睡眠分期领域中首次引入多种分类任务形式的多目标学习技术。经过总结与分析有这样一个认识:在睡眠分期领域中,由于客观存在的睡眠结构问题,在睡眠各阶段中,浅睡 I期(即 N1 期)的占比很少,是该领域数据在数据平衡上的固有缺陷。但是,通过使用提出的基于层级注意力的混合神经网络模型作为基准模型,并利用一组多目标学习的任务权重组合提升了该基准模型的总体性能,结果表明,此时的多任务学习有助于校正 N1 期被误分类成 N2 期的情况。并且,该模型在多目标学习的优化下,在另一角度的少数类——过渡集上也有识别准确率的提升。从而证明,基于序列学习的多目标睡眠分期方法有助于在睡眠分期模型性能的提升。
参考文献(略)