一、数据立方体压缩存储技术研究现状与展望（论文文献综述）
陶陈凝[1]（2021）在《基于压缩感知的光谱成像系统和重构算法研究》文中研究指明光谱成像技术结合成像技术和光谱技术,同时获取具有目标物体空间和光谱信息的三维数据立方体。从图像的光谱数据立方体中可以获取每个空间像素的光谱曲线,也可以获得每个光谱通道的强度图像。基于光谱图像所提供的丰富信息,光谱成像技术在遥感、农业、生物、医学和军事等领域均具有重要的应用价值。区别于传统的采用空间或光谱扫描的光谱成像技术,基于压缩感知理论的光谱成像技术通过压缩采样、计算重构的方式实现了非扫描的高效率光谱成像。压缩光谱成像的技术关键在于压缩采样成像和压缩感知重构两个过程,其中压缩采样成像需要通过光学系统对目标物体的三维数据立方体进行空间和光谱维度的编码与混叠,而压缩感知重构则从成像结果中复原出光谱图像,采样和重构的过程共同决定了压缩光谱成像的采样效率和成像质量。本文围绕编码孔径压缩光谱成像和单像素压缩光谱成像这两种压缩光谱成像技术,结合压缩感知中的相干性理论,从光学系统和压缩重构算法两个方面开展研究。首先,本文提出了基于编码孔径快照式光谱仪（CASSI）和RGB联合成像的系统,及用于联合成像测量结果重构的前融合和后融合算法。CASSI和RGB联合成像的系统充分结合了 CASSI系统的在光谱维度高保真度的优势以及RGB成像的在空间维度高准确度的特点,相比于单独成像获取了更多有效信息。前融合算法通过合并联合成像系统的系统矩阵提升了压缩感知重构的效率,而后融合算法借助引导滤波提升了成像的光谱与空间分辨能力。然后,本文基于压缩感知理论中的相干性最小化原则,提出了使用RGB成像元件的双色散型结构的CASSI系统具有最低的相干性,引入Frobenius范数形式的感知相干性作为优化目标,通过遗传算法和梯度下降算法分别实现编码孔径和稀疏表示字典的优化。经过优化的RGB成像双色散型结构的CASSI系统具有非常高的压缩感知采样效率和光谱成像质量。并且,本文提出了基于颜色传感器的无透镜压缩单像素光谱成像系统,及基于相干性最小化的结构照明空间图案与稀疏表示字典的同时优化算法。在该系统中,分别使用结构照明和颜色传感器完成空间调制和光谱调制,实现了无透镜、低成本、高稳定性的光谱成像;而优化算法实现了结构照明图案与稀疏表示字典的相互适应,以充分利用光谱图像在光谱与空间维度的稀疏特性,提升重构光谱图像的质量。最后,分析了目前压缩光谱成像技术的不足,并展望了其发展前景,对未来压缩光谱成像技术的进一步研究工作提供了方向。
吴纪龙[2]（2021）在《中医药大数据资源数据仓库构建及处方分析应用研究》文中研究说明中医药学凝聚着深邃的哲学智慧和中华民族几千年的健康养生理念,在长期的临床诊疗实践中积累了丰富且宝贵的资源,这些资源种类繁多、数据量巨大并广泛分布于整个中医药领域,如何充分整合、利用及管理这些数据资源是中医药面临的难题。中药处方是中医药学理、法、方、药的重要组成部分,是在辨证论治的基础上选药配伍形成,基于大规模临床数据,发现治疗疾病的有效核心处方和潜在药物配伍可有效辅助临床决策支持。但当前仍然较多的采用传统方法对中医药数据进行存储和计算,这种方式扩展性不高且容易达到瓶颈。针对该问题,本文将有效结合大数据技术、机器学习及复杂网络等算法,对海量临床数据进行分布式挖掘,本文主要包括以下内容:（1）基于CDH（Cloudera’s Distribution Including Apache Hadoop）大数据平台,完成了对中医药大数据资源数据仓库的构建。首先,提出了一种自上而下和自下而上相结合的体系结构,使数据仓库的逻辑结构更加的清晰。同时,将多源数据采集到HDFS,分析其数据特点和相互之间的联系,设计了主题域模型和多维数据模型。然后,采用Spark、Hive QL等技术开发了ETL任务并通过Dolphin Scheduler配置了ETL工作流,完成了多源数据到数据仓库的映射,当前数据仓库包含的记录条数近3.4亿条,数据量约351GB。最后,采用Kylin针对方药主题构建了数据立方体,进行了多维OLAP分析示范研究。该数据仓库具有多源数据整合及数据处理等功能,具备Web多维分析和数据挖掘功能。（2）基于中医药大数据资源数据仓库,完成了对中医临床有效处方的分布式挖掘工作。首先,从数据仓库中抽取出慢阻肺病患者的临床诊疗数据形成数据集市。然后,根绝患者的治疗情况分为有效组和无效组,采用倾向性评分匹配方法消除两组间的混杂偏倚,针对有效组人群,提取其处方信息构建药物配伍网络并通过多尺度骨干网络算法提取核心药物子网,通过药物富集分析方法进行有效处方（P<0.05）发现,发现了165个有效处方,其有效比达到了80.88%,可作为治疗慢阻肺病的核心处方。最后,通过条件互信息法挖掘出有效药症知识。（3）开展了中药方剂配伍规律的分布式挖掘研究。为高效挖掘中药方剂中的关联规则,本文提出了一种分布式Charm算法,该算法基于Spark框架下,有效解决了传统方法挖掘效率低及内存溢出的问题。针对关联规则数量较多的问题,本文提出了一种分布式压缩算法,得到了更少的且更具代表性的关联规则,实验表明,得到的关联规则在临床上具有非常好的指导意义。
徐艳[3]（2021）在《快照式视频光谱成像系统仿真与验证》文中研究表明高光谱成像是现代光学遥感的研究热点之一,被广泛应用于环境监测、矿产勘查、农林保护以及国防等领域。具备高分辨率成像能力的高光谱载荷一般采用色散型（如光栅、棱镜）分光体制,通过单狭缝限制成像为线视场,利用分光部分完成精细分光后利用2维传感器实现1维空间和1维光谱的采集,这种成像体制原理信息获取模型简单。但是线成像视场的限制难以实现对动态场景的有效探测,当待探测场景为运动的汽车或扩展的气体时,这种成像体制难以反映目标动态缺陷,如何实现动态场景的高光谱成像视频观测是国际研究热点。编码孔径光谱成像是一种新型具备的快照式视频成像能力的高光谱技术之一。将单狭缝升级为具有编码属性的二维编码孔径版,以压缩感知目标稀疏为基本原理,通过特定的编码和重建实现2维传感器对3维场景（2维空间+1维光谱）信息的同时获取,使用算法重构光谱数据立方体,具备对动态目标的视频光谱成像能力。从数学原理上分析属于非全采样,当待探测目标光谱信息存在高频特性时容易产生光谱失真,且编码和重建算法较为复杂,难以实现实时信息解算。针对以上问题,本文提出了一种基于均匀狭缝阵列的新型光谱成像方法,并进行了仿真分析和实验,论文主要工作总结如下:1.在分析色散型单狭缝高光谱成像方法和压缩感知编码孔径视频光谱成像方法的基础上,提出并实现了一种基于均匀分布多狭缝阵列的编码光谱成像系统,该方法采用组合棱镜实现对面视场的光谱分光,采用具备微移动属性的均匀狭缝阵列编码实现面视场的三维信息快速采集。系统能够在工程实现上无需使用复杂编码算法,从理论上分析该方法能解决高时间效率、高空间分辨率和高光谱分辨率的同时兼顾难题,具备对动态目标的视频光谱成像能力。2.针对提出的新方法,开展了详细的仿真和对比工作,结果表明:相对单狭缝色散体制本方法的时间采集效率提升17倍,且光谱数据重构结果不存在失真。相对50%采样率的压缩感知编码孔径,本方法实现的空间结构相似度是前者的1.8倍,光谱保真度是前者的1.17倍。本方法在单狭缝光谱成像系统全采样的基础上提高了采样速度,延续了编码孔径光谱成像系统的快照的优势,弥补了光谱信息失真的不足,且重构算法上比编码孔径复杂度降低,具有良好的工程可实现性。3.基于提出的方法,完成了均匀狭缝阵列的设计和实现,在此基础上搭建了一套完整的均匀狭缝阵列编码光谱成像系统,经过特定设计,相邻狭缝的间距和探测波长色散范围完全匹配,利用高性能可见光相机进行二维空间的光谱信息不混叠的采样,使用微位移电机控制均匀狭缝阵列编码板进行微扫描实现全视场覆盖,从而达到快照式视频光谱成像的目的,从硬件上实现了本文提出的新方法。4.利用搭建的成像系统,对提出的方法进行了实验验证,并对系统的光学MTF、探测灵敏度、光谱分辨率和视频成像帧频等参数进行了测试,最后利用该系统对外景开展了成像验证,结果表明该系统可以较好地验证本文提出的新方法,初步具备工程可实现性。5.论文最后还对该方法的应用前景进行了分析和展望,并对系统性能指标的进一步提升提出了方法,为本方法将来的进一步工程化发展提供了研究思路。
李保平[4]（2021）在《基于快速卷积字典学习算法的图像重建系统设计与实现》文中提出随着神经科学的发展,科学家对动物大脑皮层的信号处理机制进行了深入的研究,发现哺乳动物的初级视觉细胞的感受野具有空间局部性、方向性和带通性,科学家提出稀疏编码的模型来描述初级视觉细胞的这些性质。稀疏编码中局部块之间相互独立的假设导致字典中的基是彼此移位的版本,为将移位不变性建模,科学家提出了卷积稀疏编码（Convolutional Sparse Coding,CSC）。CSC是一个双凸问题,当前主流的求解方式是使用交替方向乘子法（Alternating Direction Methods of Multipliers,ADMM）。实验发现,CSC求解过程涉及到处理复杂逆矩阵,导致较大的空间占用和计算量,为解决这个问题,本文引入预条件技术,实现避免矩阵逆运算的效果,从而降低计算复杂度,提升算法的收敛速度。通过调研发现,CSC对具有通道相关性的三维图像进行字典学习的方式存在不足,已有的方法不能较好地考虑到三维图像的空间和光谱完整性。本文提出了采用三维字典和二维系数的结构来构建三维卷积字典学习算法,兼顾了空间维和光谱维的字典学习。同时采用提出的预条件ADMM来对该问题进行求解,避免复杂矩阵逆的计算。随着遥感技术的发展,高光谱图像（Hyperspectral images,HSI）得到了广泛的应用,基于压缩感知的光谱成像技术得到了发展。从远少于图像光谱通道数量的测量值中重建出原光谱通道数的HSI是一个欠定的任务。CSC作为一种无监督的特征提取方法可以为HSI压缩重建提供先验信息。本文提出了基于CSC的高准确度的HSI层析成像压缩重建算法,结合全变分正则化约束项进行重建,提升了 HSI的重建质量。本文基于提出的预条件ADMM的高效卷积字典学习算法、三维高光谱图像高效卷积字典学习算法、基于卷积稀疏编码的高准确度的高光谱图像层析成像压缩重建算法设计并开发了一款具有二维图像字典学习、三维图像字典学习、视差图重建、图像修复和高光谱图像压缩重建功能的图像重建系统。
刘世界[5]（2020）在《基于压缩感知的高光谱成像技术研究》文中指出高光谱成像技术是一种同时获得空间信息和光谱信息的遥感技术,是现代遥感领域的重要探测技术手段之一。传统高光谱成像技术包括点视场扫描,线视场扫描和面视场凝视获取等方法,这些方法基于奈奎斯特采样理论进行数据采集,要保证信息得到准确保留,采样频率必须要大于探测信号所包含最大频率的两倍,并经过数据压缩和解压的过程,才得到最终数据。这种信息处理流程会带来计算空间和存储空间的浪费,因为系统首先需要存储含有大量冗余信息的采集数据,再经过复杂的压缩算法实现压缩,最终得到很少量的有效数据,这对于一些运算和存储能力有限的系统来说,比如星上系统,无疑增加了一定的压力。压缩感知是一种可以实现压缩和采样同时进行的信息处理理论,能解决以上过程带来的矛盾,基于压缩感知的光谱成像系统也已经成为目前研究的热点之一,本文在探究压缩感知成像机理的基础上,做了具有以下创新点的研究内容:1.提出了多狭缝组合编码的高分辨率视频光谱成像方法（SGCSHI,Slit Group Coded Scanning Hyperspectral Imager）。SGCSHI按照压缩感知理论进行狭缝编码,可实现欠采样条件下全部信息的获取,实验表明,80%采样率条件下,SGCSHI获取的光谱图像质量与传统单狭缝推扫获取方式相当,将探测效率提高了1.25倍。SGCSHI由单狭缝线视场成像变为多狭缝面视场成像,由扫描探测变为凝视探测,利用光栅或棱镜作为分光器件,实现高光谱分辨率数据获取,本文实验系统平均光谱分辨率可达3.8nm（@550nm）。同时提出基于狭缝移动的光谱成像系统（SSHI,Slit Scan Hyperspectral Imager）,同样可以实现高光谱分辨率探测,与传统探测方法具有相同的探测效率。SSHI单次获取信息是SGCSHI系统获取信息的编码“原子”,是实现SGCSHI光谱成像方法的基础。SGCSHI和SSHI解决了传统凝视光谱成像系统光谱分辨率低的问题,为利用高分辨率高光谱成像技术实现动态目标视频探测提供了新的方法路线。2.针对传统方法重构结果光谱保真度低的问题,提出了基于双稀疏域联合（JDSD,Joint of Double Sparse Domains）求解的高精度光谱恢复算法。JDSD算法将信号分解为低频和高频两部分,针对信号不同频率分布特点分别进行不同的稀疏分解,进而解码以实现细节补偿,解决了传统基于单稀疏域变换的重构方法带来的光谱吸收峰等细节损失问题。在大量样本测试中,20%采样率下,传统重构算法平均恢复结果的保真度指标SAM和GSAM分别为0.625和0.515,而JDSD算法平均重构结果对应的值分别为0.817和0.659,80%采样率情况下,两个指标分别由0.863和0.808提升为0.940和0.897,JDSD的高精度恢复结果对光谱的进一步应具有十分重要的意义。3.分别提出电子式狭缝组合编码光谱成像方法（E-SGCSHI,ElectricalSGCSHI）和机械移动式多狭缝组合编码（M-SGCSHI,Mechanical-movement SGCSHI）光谱成像方法。E-SGCSHI系统利用液晶光阀作为电子编码器件,可以实现高速变换编码,控制灵活性高,实现了全采样率下探测帧频为0.38HZ（数据立方体大小为64×64×80）的高光谱视频成像功能,但液晶光阀光学利用率极低（小于10%）,因此E-SGCSHI系统获取图像信噪比很差。M-SGCSHI系统利用玻璃掩模板作为编码器件,配合视场光阑,通过精密的机械移动实现编码的变换。实现了全采样率下探测帧频为0.5HZ（数据立方体大小为160×256×64）的高光谱视频成像功能。同时,玻璃掩模板的光学利用率在90%以上,具有高对比度等优点,解决了E-SGCSHI的信噪比极差的问题,实现了高成像质量的光谱成像信息的获取,在最终成像结果中,E-SGCSHI平均信噪比约为31db,M-SGCSHI平均信噪比则为41db。4.针对传统基于原始光谱信息的光谱相似度评价方法难以客观体现对光谱指纹特征保真程度问题,提出了基于梯度信息的光谱保真度评价方法（GSAM,Gradient SAM）。GSAM利用光谱形状的一阶梯度信息来增强光谱吸收峰等指纹特性,并将其纳入光谱保真度评价中。GSAM对于光谱特征峰等细节变化很敏感,在测试数据中,随着采样率的变化,SAM的值在0.998～1之间,而GSAM的值在0.72～1之间,因此具有更强的差异分辨力,可以客观地反映出系统对于光谱特征的保真能力。同时可以将GSAM利用到地物分类中,在测试数据中,基于SAM的平均分类精度为0.86,基于GSAM的方法可以达到0.93,突出了光谱特征在分类中的作用。另一方面,因为GSAM是以梯度信息作为评价标准,因此其不受偏置影响,具有更强的鲁棒性。
李宏益[6]（2019）在《全球多源遥感数据集成处理平台建设关键技术研究》文中认为随着对地观测技术的发展,遥感数据的获取途径和方式也越来越多,遥感数据呈现出多源、多尺度、结构复杂、格式多样、体量大等特点,遥感进入了大数据时代。在现有数据资源的条件下,为了进一步增强全球尺度遥感观测频度和精度,需要以多源遥感数据协同的方式来生产遥感产品,为此需要构建全球多源遥感数据集成处理平台。不考虑遥感产品反演算法层面,全球多源遥感数据集成处理平台建设需要解决的问题主要有四个方面:（1）数据存储访问层面:由于每一个传感器数据具有不同的存储结构,需要对应的读写函数;而且各遥感卫星数据中心和应用部门根据应用的需求按各自的标准进行数据的存储组织管理,以及数据的重复拷贝,导致了数据无序的增长。这需要一个通用透明的统一数据存储及访问模式。（2）数据组织协同层面:不同投影下跨尺度数据很难有效组织和检索,给大规模的多源遥感产品生产带来困难,因此需要构建一种适合于多源数据协同的数据立方体作为数据生产单元。（3）算法集成层面:全球遥感算法的多层嵌套、输入参数可变可缺省、时空属性约束等多方面的原因,使得遥感算法的处理架构及大规模集成处理难度增大。因此,需要对各类遥感产品生产流程进行建模,构建自动化生产流程,并在流程中实现对各类算法高效、扩展性强的集成,能应对和处理生产过程中出现的多种不确定性情况。（4）并行处理方面:由于遥感算法专业性强、数据分布情况多样,并行处理方式选择有限,需要构建一种适合于多源数据协同遥感产品生产的高性能处理框架。本文针对上述问题,研究全球多源遥感数据集成处理关键技术并以此为基础构建实现相应的系统平台。研究成果及创新点如下:（1）针对遥感数据格式多样性和多源遥感数据协同使用的需求,抽象出各种数据格式及格式库都遵循的数据格式层级结构,设计了一种统一的数据结构和格式抽象库,实现了不同数据格式的统一IO操作和多源遥感数据的无差别访问。（2）针对多尺度数据的协同使用,构建了结合数据尺度和产品类型的多源多尺度遥感数据协同剖分体系,并在此基础上设计生成一种多维度遥感数据立方体结构,实时在内存中组织数据立方体,为集群环境下协同遥感产品生产奠定了基础。（3）针对多类全球遥感协同产品大规模生产的需求和多源协同遥感产品递归嵌套调用、处理算法复杂和处理平台异构等多方面的特性,建立了遥感产品生产架构、产品生产工作流和产品生产算法服务化集成方法,并制定了对生产过程中出现的多种不确定性问题的处理策略,实现了多领域算法的综合集成和协同生产。（4）针对集成系统无法对算法代码进行修改的状况和遥感数据处理属于数据密集型计算的特点,设计实现了集群环境下双层高性能处理框架,该框架上层采用粗粒度任务并行模式,包括计算并行模式和与之相适应的并行存储文件系统;下层采用基于内存数据链表的图像加速处理框架,为遥感产品的高效生产提供了技术基础。
黄盼[7]（2019）在《高教数据的多维分析方法研究及应用》文中进行了进一步梳理为了满足第三次产业革命对高素质人才的需求,具有人才培养主要职能的高校不断的探索人才培养模式,应用信息化技术辅助教学管理与教学改革,致使智慧校园建设进程加快。在高校信息化建设发展过程中,积累了大量数据,充分挖掘与利用这些数据提升教学管理是十分有意义的工作。目前针对高校数据的挖掘大多是通过关联规则挖掘算法实现的。然而,关联规则挖掘算法存在效率低、数据维度少、准确度不高的问题,为了提高算法的准确度和效率,本文提出了一种融合hash函数和标记事务压缩的HMApriori算法并在HMApriroi算法的基础上结合OLAP技术,提出多维关联规则挖掘的方法。具体研究内容如下:（1）提出了融合hash函数和标记事务压缩的HMApriori算法,解决了Apriori算法候选项集过多和冗余的缺点。本文在学生课程成绩数据集上对Apriori算法、HMApriori算法和其他改进算法进行了对比实验。实验表明,本文提出的HMApriori算法在候选2项集数量和时间上取得了明显的提升。（2）提出了结合HMApriori算法和联机分析处理（OLAP）技术的多维关联规则挖掘方法,使用该方法对学生个人信息、上网信息、图书借阅信息等多个维度数据进行挖掘,分析挖掘结果得到多维数据与学生成绩的关联性。（3）构建了学情分析系统,将HMApriori算法和多维关联规则挖掘方法应用到系统中,通过统计分析和关联分析模块,分别展示在校学生的总体情况和影响学生成绩的因素。该系统可以辅助管理者进行决策,提升教学管理,帮助学生调整学习进度。系统开发后,具有通用性,可以在国内各高校推广使用,具有巨大的应用价值。
杨敏珠[8]（2019）在《星上大气垂直探测仪高数字压缩比的研究》文中认为2016年12月11日升空的风云四号卫星使中国乃至世界的气象探测进入了新时代,其上所搭载的大气垂直探测仪（GIIRS）作为首个工作于静止轨道的傅里叶光谱仪,能够提供长波波段685-1130cm-1以及中波波段1685-2250cm-1的光谱信息,光谱分辨率为0.625cm-1。数据产品可进一步被用来预测大气温度湿度、水汽轮廓线等的垂直分布,从而能够提供更准确地气象预测。大气垂直探测仪（GIIRS,Geostationary Interferometric Infrared Sounder）所收集的数据是三维的数据立方体,包括空间两维以及时间一维,其数据量相当庞大,在目前探测器规模下的数据量已达66Mb/s。随着日后探测器规模的进一步扩展,其数据量也会随之成倍增长,从而对向下传输带宽造成压力。与此同时,所采集到的是干涉数据,需要经过傅里叶变换之后才能得到光谱信息并进行下一步的反演,所以作为中间数据的干涉数据,其准确性至关重要。论文首先简要介绍了在轨以及在研的几款重要的傅里叶光谱仪及它们的参数,同时关注了它们在降低数据量两方面的方案。本课题主要从压缩算法的角度切入,就降低数据量的问题进行研究。首先以数学中概率的角度看待数据压缩问题,大致介绍了压缩的先验知识,指出无损压缩与有损压缩的实质,以及一个完整的压缩算法流程所需步骤及其各自的功能。在分别对傅里叶变换前后的数据立方体的空间两维和第三维进行了信息熵和相关性的计算后,本文决定在设计方案时主要以针对时间维为主。并且由于对数据的准确度要求较高,着重考虑无损压缩算法以及对数据失真的影响几乎可忽略不计的近无损压缩算法。在无损压缩方面,提出将干涉数据进行分段,对中间0光程差附近的部分进行矢量量化,对两边的部分进行线性预测的压缩方案。并通过Matlab仿真进行参数的选择以使得方案能够得到较优的压缩比,其中预测次数会对资源和最终结果产生较大的影响。据此方案分为多次预测和单次预测分别进行实现,采用主频为4.2ghz的CPU实现基于单次预测的压缩需约0.405s,FPGA能够在0.7942s实现单次预测的方案压缩数据立方体,中波数据立方体此时已能够达到最佳3.54.2的无损压缩比,长波数据立方体有更好的压缩比,但还是可以再进一步,通过资源的增加实现多次预测,从而使其压缩比能够达到最佳的4.75.4左右,此时CPU需约0.753s,FPGA消耗的时间在1.2504s。另外还通过构建噪声和压缩比之间的关系,分析出除了增加资源,通过数据处理的方式减少其包含的噪声可以进一步提高压缩比。近无损压缩本就是有条件的有损压缩:其所带来的失真需在原始数据噪声范围之内。由于最终所需数据并不是直接的干涉数据,而是经过傅里叶变换后的光谱数据,因此噪声的估算和失真度的计算均应发生在光谱数据。估算噪声并以此规范均方光谱误差（mean-square spectral error,MSSE）、光谱失真度（Relative spectral Quadratic Error,RQE）与前后光谱的相关性（spectral correlation,SC）这三项失真度指标,总结出这三项指标的阈值并以此作为评判近无损压缩是否符合要求的标准。本文所提出的近无损压缩方案包括抽取、量化和熵编码,在符合近无损失真要求的情况下,长波能够取得7.8023.72的压缩比,中波能够取得6.2113.15的压缩比。结果表明,本文所提的方案是可用的,能够在降低数据量的同时保证数据的准确性。为日后的研究提供了可实施的算法参考。
汪玮杨[9]（2019）在《基于数据立方体的环境监测数据可视分析方法研究》文中指出随着我国经济的快速发展,环境信息技术得到了飞速发展,环保部门开展了多种环境质量监测、生态环境调查以及污染源管理,积累了大量数据,并且随着物联网技术的发展,越来越多的环境监测站点的数据可以通过网络传输,当前环境领域也正在经历大数据时代。环境监测数据有着显着的时空特征,同时有着多维,多层次的特征。而环境领域的分析人员面对着这样的海量数据时,往往不能进行有效的分析,大多采用单一图表和统计分析的手段进行,难以满足实际的分析需求。针对环境监测数据的特性,需要一种能够快速处理此类特性的数据模型。数据立方体技术是一种高效的多维数据模型,能对关系表的每个可能维度集执行跨维度聚合,用以支持快速的数据探索。本文使用空间四叉树和平面树结构来表达空间点对象的位置分布和分类维度,在不同维度间共享节点链接实现跨维度的聚合设计,并通过时序映射构建环境监测数据的跨维度查询的Nanocubes立方体结构,用于高效存储和查询高维多粒度的时空数据,为多维时空数据集的实时探索性可视化分析奠定基础。针对顾及监测数据专题属性相似性和空间约束的可视分析算法进行了研究,探讨了一种精确表示每个聚类中的属性位置的凹包构建方法。同时基于真实的地理行政区划设计了一个多尺度聚类模型,用于高效的对空间对象属性的地理位置进行聚类分析。通过预先计算出分层聚类结果,用以支持多层次聚类地图,并存储基于地理语义聚类的统计信息,从而有效的支持可视化交互。本研究利用快速高效的数据立方体结构,以真实世界的行政区划语义为前提,利用密度聚类和边界聚类技术,针对不同的分析任务,设计了几种可视化组件,以帮助本文研究环境监测数据。并搭建一个环境大数据可视分析平台,根据环境监测数据的时空特征进行交互式可视分析,能够直观、高效的展现环境监测数据时空分布特征与层次结构,并结合交互式设计为用户提供个性化展示方案,提高生态环境监测领域的有效监管和高效的可视化分析、协助进行环境监管。
晏博川[10]（2019）在《数据离散化与数据立方体技术在高铁接触网数据分析中的应用》文中指出高速铁路是我国一种重要的交通运输方式,而接触网系统在高速铁路供电系统中占据了举足轻重的地位,因此业内对于高速铁路接触网系统的供电可靠性就提出了比较高的要求。现阶段我国高速铁路接触网系统的运行维护数据随着高速铁路供电安全检测监测系统（6C系统）的投入运行,在不断的记录汇总当中。随着数据体量的不断增大与计算机技术的不断发展,建立一个基于高速铁路接触网的故障预测与健康管理系统就成为了提高其安全性与可靠性的一个重要突破口。本文以历年高速铁路接触网故障数据为研究对象,对其进行了编码规则的制定,并通过数据离散化的方法验证了对数值型数据基于专家经验知识进行概念分层的正确性与合理性。为了提高数据查询效率,进而将数据立方体算法引入到高速铁路接触网数据的多维查询当中,实现了高速铁路接触网数据多维快速查询的目的。主要完成以下工作:1、对数据离散化方法进行研究。通过分析比较确定使用ChiMerge离散化算法来对高速铁路接触网数值型数据的概念分层进行正确性与合理性验证。基于高速铁路接触网数据特点,对算法程序予以优化。以历年高速铁路接触网实测数据来进行实验分析,验证了基于专家经验知识的概念层次划分的正确性与合理性。2、对数据立方体算法进行研究。分析比较当前主要算法的优劣之处,结合当前高速铁路接触网数据特点,最终将Dwarf算法引入到高铁接触网数据的多维查询当中,实现了高速铁路接触网数据多维快速查询的目的。3、针对高速铁路接触网数据特点与Dwarf算法本身的不足,作者优化了Dwarf立方体的存储结构,同时在Dwarf立方体的后缀合并过程中添加了一个判断结点内单元值唯一性的条件,以达到减少查询响应时间,进一步提高其查询效率的目的。最终运用高速铁路接触网实测数据进行实验,通过与原有算法的实验对比分析,验证了优化后算法在查询性能上的优势。
二、数据立方体压缩存储技术研究现状与展望（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、数据立方体压缩存储技术研究现状与展望（论文提纲范文）
（1）基于压缩感知的光谱成像系统和重构算法研究（论文提纲范文）
| 致谢 |
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 光谱成像技术概述 |
| 1.1.1 光谱成像技术的分类 |
| 1.1.2 光谱成像技术的应用 |
| 1.2 压缩光谱成像技术概述 |
| 1.2.1 压缩光谱成像 |
| 1.2.2 编码孔径压缩光谱成像 |
| 1.2.3 单像素压缩光谱成像 |
| 1.3 本文主要研究工作 |
| 2 压缩感知理论及压缩光谱成像原理 |
| 2.1 压缩感知理论 |
| 2.1.1 传统的采样方法 |
| 2.1.2 压缩感知采样 |
| 2.1.3 信号的稀疏表示 |
| 2.1.4 压缩感知系统矩阵特性 |
| 2.1.5 压缩感知信号重构算法 |
| 2.2 编码孔径压缩光谱成像原理 |
| 2.2.1 单色散型编码孔径快照式光谱仪 |
| 2.2.2 双色散型编码孔径快照式光谱仪 |
| 2.3 单像素压缩光谱成像原理 |
| 2.4 压缩光谱成像中的关键元件 |
| 2.4.1 编码孔径 |
| 2.4.2 色散元件 |
| 2.5 本章小结 |
| 3 基于图像融合的编码孔径压缩光谱成像 |
| 3.1 引言 |
| 3.2 系统结构 |
| 3.3 重构算法 |
| 3.3.1 Pre-fusion算法 |
| 3.3.2 Post-fusion算法 |
| 3.4 光谱成像结果分析与讨论 |
| 3.4.1 数据集的准备及评价函数的选取 |
| 3.4.2 光谱成像结果 |
| 3.4.3 算法的参数设置对光谱成像质量的影响 |
| 3.4.4 噪声对光谱成像质量的影响 |
| 3.5 本章小结 |
| 4 基于相干性优化的编码孔径压缩光谱成像 |
| 4.1 引言 |
| 4.2 编码孔径快照式光谱仪的相干性分析 |
| 4.3 基于相干性最小化的优化算法 |
| 4.4 光谱成像结果分析与讨论 |
| 4.4.1 数据集的准备及优化算法参数的设置 |
| 4.4.2 光谱成像结果 |
| 4.4.3 算法的参数设置对光谱成像质量的影响 |
| 4.4.4 噪声对光谱成像质量的影响 |
| 4.5 本章小结 |
| 5 基于颜色传感器的单像素压缩光谱成像 |
| 5.1 引言 |
| 5.2 系统结构 |
| 5.3 基于梯度下降的相干性最小化算法 |
| 5.4 仿真 |
| 5.4.1 数据集的准备及优化算法参数的设置 |
| 5.4.2 仿真结果分析 |
| 5.5 实验 |
| 5.5.1 实验系统设计 |
| 5.5.2 实验结果分析 |
| 5.6 本章小结 |
| 6 总结与展望 |
| 参考文献 |
| 作者简历 |
| 攻读博士期间所取得的科研成果 |
（2）中医药大数据资源数据仓库构建及处方分析应用研究（论文提纲范文）
| 致谢 |
| 摘要 |
| ABSTRACT |
| 1 引言 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 本文主要工作 |
| 1.4 论文组织结构 |
| 2 相关研究方法 |
| 2.1 大数据相关技术 |
| 2.1.1 Apache Hadoop |
| 2.1.2 Apache Hive |
| 2.1.3 Apache Spark |
| 2.1.4 Apache Kylin |
| 2.1.5 Apache Dolphin Scheduler |
| 2.2 临床数据挖掘相关方法 |
| 2.2.1 倾向性评分匹配 |
| 2.2.2 药物配伍网络构建 |
| 2.2.3 多尺度骨干网络算法 |
| 2.2.4 药物集富集分析方法 |
| 2.2.5 互信息熵 |
| 2.3 关联规则挖掘方法 |
| 2.3.1 关联规则基本概念 |
| 2.3.2 关联规则挖掘过程 |
| 2.3.3 Apriori算法 |
| 2.3.4 FP-Growth算法 |
| 3 中医药大数据资源数据仓库研究及构建 |
| 3.1 中医药大数据资源数据仓库概述 |
| 3.1.1 数据仓库技术概述 |
| 3.1.2 中医药数据来源 |
| 3.2 中医药大数据资源数据仓库体系结构 |
| 3.3 中医药大数据资源数据仓库构建的准备工作 |
| 3.3.1 大数据平台搭建 |
| 3.3.2 中医药源数据分析思路 |
| 3.4 中医药大数据资源数据仓库数据模型设计 |
| 3.4.1 数据模型设计原则 |
| 3.4.2 主题域数据模型 |
| 3.4.3 多维数据模型 |
| 3.5 中医药大数据资源数据仓库命名规范 |
| 3.5.1 库名命名规范 |
| 3.5.2 表名命名规范 |
| 3.5.3 字段名命名规范 |
| 3.6 中医药大数据资源数据仓库ETL过程 |
| 3.6.1 数据抽取 |
| 3.6.2 数据处理 |
| 3.6.3 ETL任务配置 |
| 3.6.4 ETL任务结果 |
| 3.7 方药主题多维OLAP分析 |
| 3.8 本章小结 |
| 4 中医临床有效处方分布式挖掘方法研究 |
| 4.1 方法概述 |
| 4.2 慢阻肺数据集市构建 |
| 4.2.1 患者用药过程数据表设计 |
| 4.2.2 倾向病例匹配结果表设计 |
| 4.2.3 药物配伍网络结果表设计 |
| 4.2.4 核心药物子网结果表设计 |
| 4.2.5 药物富集分析结果表设计 |
| 4.2.6 药症相关性分析结果表设计 |
| 4.3 分布式分析方法设计与实现 |
| 4.3.1 分布式假设检验实现 |
| 4.3.2 消除混淆因素和样本均衡处理 |
| 4.3.3 分布式药物配伍网络构建 |
| 4.3.4 分布式核心药物子网提取 |
| 4.3.5 分布式药物富集分析 |
| 4.3.6 分布式药症相关性分析 |
| 4.4 实验结果 |
| 4.4.1 实验数据分析 |
| 4.4.2 分布式倾向病例匹配结果 |
| 4.4.3 分布式药物配伍网络结果 |
| 4.4.4 分布式核心药物子网结果 |
| 4.4.5 分布式药物富集分析结果 |
| 4.4.6 分布式药症相关性分析结果 |
| 4.5 本章小节 |
| 5 基于关联规则的中药方剂配伍规律分布式挖掘研究 |
| 5.1 频繁闭项集挖掘 |
| 5.1.1 频繁闭项集相关概念 |
| 5.1.2 Charm算法 |
| 5.2 分布式Charm算法 |
| 5.2.1 数据预处理 |
| 5.2.2 通过等价类划分数据集 |
| 5.2.3 分布式阶段 |
| 5.2.4 汇总阶段 |
| 5.3 频繁闭项集的分布式压缩算法 |
| 5.3.1 数据预处理 |
| 5.3.2 频繁闭项集压缩 |
| 5.3.3 分布式实现过程 |
| 5.4 实验与结果分析 |
| 5.4.1 实验数据描述 |
| 5.4.2 分布式Charm与传统Charm挖掘效率比较 |
| 5.4.3 分布式关联规则挖掘结果 |
| 5.4.4 分布式压缩频繁闭项集结果 |
| 5.5 本章小结 |
| 6 总结与展望 |
| 6.1 工作总结 |
| 6.2 未来展望 |
| 参考文献 |
| 作者简历及攻读硕士学位期间取得的研究成果 |
| 学位论文数据集 |
（3）快照式视频光谱成像系统仿真与验证（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 引言 |
| 1.1 研究的背景及意义 |
| 1.2 相关领域的研究现状 |
| 1.2.1 传统光谱成像技术发展状况 |
| 1.2.2 计算光谱成像技术的研究现状 |
| 1.3 论文的主要研究内容 |
| 第2章 光谱成像系统原理 |
| 2.1 信号采样方法 |
| 2.2 光学元件分析 |
| 2.2.1 望远物镜 |
| 2.2.2 棱镜的分光原理 |
| 2.3 PHI系统原理 |
| 2.4 CASSI系统原理 |
| 2.5 本章小结 |
| 第3章 均匀分布狭缝阵列编码光谱成像系统原理和数学建模 |
| 3.1 均匀分布狭缝阵列编码光谱成像系统原理 |
| 3.2 均匀分布狭缝阵列编码光谱成像系统数学模型 |
| 3.3 PHI系统与均匀分布狭缝阵列编码光谱成像系统对比 |
| 3.4 CASSI系统与均匀分布狭缝阵列编码光谱成像系统对比 |
| 3.5 本章小结 |
| 第4章 均匀分布狭缝阵列编码光谱成像系统仿真与分析 |
| 4.1 数值仿真参数 |
| 4.2 三种光谱成像系统仿真 |
| 4.3 光谱数据立方体恢复 |
| 4.4 能量和灵敏度的差异分析 |
| 4.5 光谱数据恢复结果评价 |
| 4.6 本章小结 |
| 第5章 均匀分布狭缝阵列编码光谱成像系统实验验证 |
| 5.1 快照式视频光谱成像识别一体化样机 |
| 5.1.1 快照式视频光谱成像系统设计 |
| 5.1.2 快照式视频光谱成像系统样机 |
| 5.2 关键元件分析 |
| 5.2.1 均匀狭缝阵列元件分析 |
| 5.2.2 组合棱镜色散元件分析 |
| 5.3 系统传递函数 |
| 5.4 系统信噪比 |
| 5.5 光谱分辨率测试 |
| 5.6 对外成像和初步应用 |
| 5.7 本章小结 |
| 第6章 总结和展望 |
| 6.1 本文工作总结 |
| 6.2 对工作的展望 |
| 参考文献 |
| 致谢 |
| 作者简历及攻读学位期间发表的学术论文与研究成果 |
（4）基于快速卷积字典学习算法的图像重建系统设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 课题研究的背景及意义 |
| 1.1.1 选题背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 卷积稀疏编码算法发展 |
| 1.2.2 高光谱图像压缩重建算法发展 |
| 1.3 研究内容和目标 |
| 1.3.1 卷积稀疏编码算法 |
| 1.3.2 高光谱图像压缩重建算法 |
| 1.4 论文主要工作和创新点 |
| 1.5 论文组织结构 |
| 第二章 基于Preconditioned ADMM的高效卷积字典学习算法 |
| 2.1 引言 |
| 2.2 卷积字典学习算法 |
| 2.2.1 数学表达 |
| 2.2.2 优化策略 |
| 2.2.3 算法收敛性 |
| 2.2.4 内存消耗 |
| 2.3 基于PADMM的高效卷积字典学习算法 |
| 2.3.1 使用ADMM进行字典更新 |
| 2.3.2 预条件卷积字典学习 |
| 2.3.3 卷积稀疏编码 |
| 2.4 灵活的对角预条件器 |
| 2.4.1 PCDL算法的收敛条件 |
| 2.4.2 对角预条件器的选择 |
| 2.4.3 PCDL算法的计算复杂度 |
| 2.5 数值实验 |
| 2.5.1 参数选择和停止标准 |
| 2.5.2 加速表现 |
| 2.5.3 CDL算法字典结果 |
| 2.5.4 图像修复实验 |
| 2.5.5 视差图补全实验 |
| 2.6 结论 |
| 第三章 高效三维高光谱图像卷积字典学习算法 |
| 3.1 引言 |
| 3.2 三维卷积字典学习算法 |
| 3.2.1 二维卷积字典学习算法 |
| 3.2.2 三维卷积字典学习算法 |
| 3.3 三维卷积字典学习算法的双凸优化框架 |
| 3.3.1 稀疏编码子问题 |
| 3.3.2 字典更新子问题 |
| 3.3.3 计算复杂度分析 |
| 3.4 使用PADMM的三维卷积字典学习算法 |
| 3.4.1 预条件ADMM |
| 3.4.2 预条件的稀疏编码 |
| 3.4.3 对角预条件器的选择 |
| 3.4.4 预条件字典滤波器更新 |
| 3.4.5 预条件卷积字典学习算法的总结 |
| 3.5 实验部分 |
| 3.5.1 卷积字典实验设置 |
| 3.5.2 卷积字典学习算法收敛性对比 |
| 3.5.3 字典滤波器结果 |
| 3.6 结论 |
| 第四章 基于卷积稀疏编码进行高准确度的压缩层析成像重建算法 |
| 4.1 引言 |
| 4.2 光谱图像成像模型 |
| 4.3 基于卷积字典的光谱图像压缩重建算法模型 |
| 4.4 基于Precondition ADMM的算法求解 |
| 4.4.1 优化求解方案设计 |
| 4.4.2 使用Preconditioning ADMM进行高效求解 |
| 4.5 实验结果分析与对比 |
| 4.5.1 实验细节 |
| 4.5.2 实验对比 |
| 4.5.3 字典中滤波器个数的影响 |
| 4.5.4 算法对于测量噪声的鲁棒性 |
| 4.6 结论 |
| 第五章 基于快速卷积字典学习算法的图像重建系统 |
| 5.1 需求分析 |
| 5.1.1 功能需求 |
| 5.1.2 性能需求 |
| 5.2 体系结构 |
| 5.3 基于Matlab GUI的可视化界面的图像重建系统 |
| 5.3.1 Matlab GUI介绍 |
| 5.3.2 图像重建系统基础功能实现 |
| 5.3.3 二维卷积字典学习模块 |
| 5.3.4 三维高光谱图像卷积字典学习模块 |
| 5.3.5 基于二维卷积稀疏编码的图像重建模块 |
| 5.3.6 基于三维卷积字典学习算法的高光谱图像压缩层析投影重建模块 |
| 5.4 系统测试 |
| 5.4.1 功能测试结果 |
| 5.4.2 性能测试结果 |
| 5.5 本章小结 |
| 第六章 总结与展望 |
| 6.1 论文总结 |
| 6.2 论文展望 |
| 参考文献 |
| 致谢 |
| 攻读学位期间取得的研究成果 |
（5）基于压缩感知的高光谱成像技术研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 引言 |
| 1.1 研究背景 |
| 1.1.1 光谱成像技术发展 |
| 1.1.2 计算光谱成像技术发展 |
| 1.2 本文结构安排 |
| 第2章 压缩感知计算成像理论基础 |
| 2.1 压缩感知基本原理 |
| 2.2 稀疏表达 |
| 2.3 信号的观测矩阵 |
| 2.4 重构算法 |
| 2.5 本章总结 |
| 第3章 多狭缝组合编码光谱成像系统原理 |
| 3.1 编码光谱成像系统原理与数学模型构造 |
| 3.2 多狭缝组合编码光谱成像系统 |
| 3.3 数值仿真 |
| 3.4 工程可行性论证 |
| 3.4.1 基于单狭缝扫描的成像光谱仪系统(SSHI) |
| 3.4.2 SGCSHI系统与SSHI系统的关系 |
| 3.5 本章总结 |
| 第4章 基于双稀疏域联合求解的高精度光谱恢复算法 |
| 4.1 算法原理 |
| 4.1.1 基本算法描述 |
| 4.1.2 稀疏约束参数的设置 |
| 4.2 实验结果与讨论 |
| 4.2.1 数据来源和评价方法 |
| 4.2.2 基本实验结果 |
| 4.2.3 稀疏基的影响 |
| 4.2.4 不同重构组合的JDSD算法 |
| 4.3 本章总结 |
| 第5章 电子式狭缝编码光谱成像系统 |
| 5.1 液晶光阀的工作原理 |
| 5.2 电子式狭缝编码光谱成像系统 |
| 5.2.1 系统组成 |
| 5.2.2 电子式单狭缝扫描成像光谱仪系统(E-SSHI) |
| 5.2.3 电子式狭缝组合编码光谱成像仪系统(E-SGCSHI) |
| 5.3 液晶光阀的透过率 |
| 5.4 本章总结 |
| 第6章 机械移动式狭缝编码光谱成像系统 |
| 6.1 机械移动式单狭缝扫描成像光谱仪系统(M-SSHI) |
| 6.2 机械移动式多狭缝组合编码光谱成像系统(M-SGCSHI) |
| 6.2.1 掩模版的设计和实现 |
| 6.2.2 移动平台的控制方法 |
| 6.2.3 系统实现与实验 |
| 6.3 本章总结 |
| 第7章 光谱成像保真度评价 |
| 7.1 空间信息保真度评价 |
| 7.2 光谱信息保真度评价 |
| 7.2.1 光谱形状信息的评价 |
| 7.2.2 光谱幅值信息的评价 |
| 7.2.3 光谱形状和幅值联合的评价 |
| 7.2.4 光谱指纹特征保真度的评价 |
| 7.4 对系统评价和分析 |
| 7.5 本章总结 |
| 第8章 总结与展望 |
| 参考文献 |
| 附录A 部分重构算法 |
| 1.匹配追踪类 |
| 2.软&硬阈值迭代类 |
| 致谢 |
| 作者简历及攻读学位期间发表的学术论文与研究成果 |
（6）全球多源遥感数据集成处理平台建设关键技术研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 研究背景及意义 |
| 1.1.1 全球遥感产品生产的意义 |
| 1.1.2 多源遥感数据协同的优势 |
| 1.1.3 多源遥感产品协同自动化生产的挑战 |
| 1.2 国内外研究现状分析 |
| 1.2.1 多源遥感数据存储组织管理 |
| 1.2.2 工作流构建与集成处理 |
| 1.2.3 遥感并行处理 |
| 1.3 本文研究内容描述 |
| 1.4 本文的组织结构 |
| 第2章 基于统一抽象的多源遥感数据集成方法 |
| 2.1 引言 |
| 2.2 多源遥感数据特点分析 |
| 2.3 多源遥感数据格式统一抽象 |
| 2.3.1 遥感数据格式与库分析 |
| 2.3.2 统一格式抽象库设计与实现 |
| 2.3.3 统一的数据格式结构 |
| 2.3.4 基于格式抽象库的工具 |
| 2.4 应用实例 |
| 2.5 小结 |
| 第3章 基于剖分体系的多源遥感数据协同组织方法 |
| 3.1 引言 |
| 3.2 结合数据尺度和产品类型的多源多尺度遥感数据协同剖分体系 |
| 3.2.1 高分辨率剖分层次 |
| 3.2.2 中分辨率剖分层次 |
| 3.2.3 低分辨率剖分层次 |
| 3.3 基于协同剖分体系的多源遥感数据数据立方体协同生成 |
| 3.3.1 多源遥感数据数据立方体协同生成流程 |
| 3.3.2 逻辑数据立方体协同生成 |
| 3.3.3 实体数据立方体协同生成 |
| 3.4 应用实例 |
| 3.5 小结 |
| 第4章 遥感产品流程建模及算法集成 |
| 4.1 引言 |
| 4.2 遥感产品生产架构 |
| 4.3 遥感产品工作流程构建实例 |
| 4.3.1 产品生产架构形式化表达 |
| 4.3.2 遥感产品生产脚本生成 |
| 4.3.3 不确定问题的处理策略 |
| 4.3.4 遥感产品算法服务化集成 |
| 4.4 小结 |
| 第5章 集群环境下遥感产品生产并行处理框架 |
| 5.1 引言 |
| 5.2 遥感产品处理算法的运算特点分析 |
| 5.2.1 运算序列相关性 |
| 5.2.2 运算空间位置相关性 |
| 5.2.3 运算IO占比 |
| 5.3 集群环境下的双层并行处理框架 |
| 5.3.1 系统运行流程设计 |
| 5.3.2 上层粗粒度任务并行处理设计 |
| 5.3.3 对应的并行文件系统设计 |
| 5.3.4 下层基于内存的图像加速处理框架 |
| 5.4 应用实例 |
| 5.5 小结 |
| 第6章 多源遥感数据集成处理系统实现 |
| 6.1 引言 |
| 6.2 系统需求与目标 |
| 6.3 系统设计 |
| 6.3.1 总体设计 |
| 6.3.2 分布式组件设计 |
| 6.3.3 系统流程 |
| 6.4 重要模块实现 |
| 6.4.1 自动工作流 |
| 6.4.2 数据集成 |
| 6.4.3 分层调度 |
| 6.5 系统实现 |
| 6.6 小结 |
| 第7章 总结与展望 |
| 7.1 总结 |
| 7.2 研究展望 |
| 附录 |
| 参考文献 |
| 致谢 |
| 作者简历及攻读学位期间发表的学术论文与研究成果 |
（7）高教数据的多维分析方法研究及应用（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 主要研究工作 |
| 1.4 论文的组织结构 |
| 第二章 相关理论与技术 |
| 2.1 数据挖掘 |
| 2.2 关联规则 |
| 2.3 多维关联规则挖掘 |
| 2.4 OLAP技术在关联规则中的应用 |
| 第三章 HMApriori算法的关联规则挖掘 |
| 3.1 HMApriori算法 |
| 3.2 HMApriori算法验证 |
| 3.3 本章小结 |
| 第四章 融合HMApriori算法和OLAP的多维关联规则挖掘方法 |
| 4.1 方法模型 |
| 4.2 源数据 |
| 4.3 数据立方体和OLAP引擎 |
| 4.4 关联规则挖掘 |
| 4.5 方法验证 |
| 4.6 本章小结 |
| 第五章 学情分析系统设计与实现 |
| 5.1 系统功能需求 |
| 5.2 系统总体架构设计 |
| 5.3 数据库设计 |
| 5.4 系统功能设计 |
| 5.5 系统实现 |
| 5.6 系统测试 |
| 5.7 本章小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 个人简介 |
| 附件 |
（8）星上大气垂直探测仪高数字压缩比的研究（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 绪论 |
| 1.1 仪器背景介绍 |
| 1.2 傅里叶光谱仪的原理及发展 |
| 1.3 研究内容与结构安排 |
| 1.3.1 研究问题 |
| 1.3.2 研究概况 |
| 1.3.3 研究内容 |
| 1.3.4 论文结构安排 |
| 第2章 数据压缩系统 |
| 2.1 数据压缩理论 |
| 2.1.1 信息论 |
| 2.1.2 无损压缩的实质 |
| 2.1.3 有损压缩的实质 |
| 2.1.4 有损压缩及其失真的评价 |
| 2.2 数据压缩系统的基本组成 |
| 2.2.1 预处理 |
| 2.2.2 预测/变换/小波变换 |
| 2.2.3 量化编码 |
| 2.2.4 熵编码 |
| 2.3 本章小结 |
| 第3章 数据分级与特点分析 |
| 3.1 数据产品分级 |
| 3.2 数据特点分析 |
| 3.2.1 数据的时间维 |
| 3.2.2 数据的空间维 |
| 3.2.3 信息熵估计 |
| 3.2.4 相关性分析 |
| 3.3 本章小结 |
| 第4章 无损压缩方案设计 |
| 4.1 无损压缩方案 |
| 4.1.1 总方案概况 |
| 4.1.2 矢量量化 |
| 4.1.3 线性预测 |
| 4.1.4 熵编码 |
| 4.2 总方案实现与验证 |
| 4.2.1 实现流程图 |
| 4.2.2 CPU实现与验证 |
| 4.2.3 FPGA实现与验证 |
| 4.3 噪声估算与无损压缩比 |
| 4.4 本章小结 |
| 第5章 近无损压缩方案设计 |
| 5.1 压缩指标的标准制定 |
| 5.2 压缩方案 |
| 5.3 亮温灵敏度 |
| 5.4 本章小结 |
| 第6章 总结与展望 |
| 6.1 课题总结 |
| 6.2 课题展望 |
| 参考文献 |
| 致谢 |
| 作者简历及攻读学位期间发表的学术论文与研究成果 |
（9）基于数据立方体的环境监测数据可视分析方法研究（论文提纲范文）
| 中文摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外相关研究现状 |
| 1.2.1 数据立方体 |
| 1.2.2 聚类分析 |
| 1.2.3 时空数据可视分析 |
| 1.3 技术路线与研究内容 |
| 1.4 章节安排 |
| 第二章 数据源与相关技术研究 |
| 2.1 数据源 |
| 2.2 数据立方体相关技术 |
| 2.2.1 多维数据模型 |
| 2.2.2 数据立方体 |
| 2.2.3 立方体计算方法 |
| 2.3 聚类分析相关技术 |
| 2.3.1 层次聚类算法 |
| 2.3.2 密度聚类算法 |
| 2.4 本章小结 |
| 第三章 环境监测数据聚合分析 |
| 3.1 问题描述 |
| 3.2 立方体构建 |
| 3.2.1 相关定义 |
| 3.2.2 立方体操作 |
| 3.2.3 立方体构建 |
| 3.3 时空聚合分析 |
| 3.3.1 立方体查询 |
| 3.3.2 聚合分析 |
| 3.4 本章小结 |
| 第四章 环境监测数据聚类边界分析 |
| 4.1 聚类地图 |
| 4.1.1 问题描述 |
| 4.1.2 凹多边形 |
| 4.2 空间约束的凹包构建算法 |
| 4.2.1 相关定义 |
| 4.2.2 算法流程 |
| 4.2.3 算法实例 |
| 4.3 聚类边界模型 |
| 4.3.1 地理维度划分 |
| 4.3.2 分析模型 |
| 4.3.3 模型实例 |
| 4.4 本章小结 |
| 第五章 系统设计及案例应用 |
| 5.1 系统设计 |
| 5.1.1 设计目标 |
| 5.1.2 系统架构 |
| 5.1.3 数据库设计 |
| 5.1.4 可视化框架设计 |
| 5.2 功能设计 |
| 5.3 可视化组件设计 |
| 5.3.1 层次分析组件 |
| 5.3.2 多维分析组件 |
| 5.3.3 多视图关联组件 |
| 5.3.4 聚类分析组件 |
| 5.4 案例应用 |
| 5.4.1 区域数据分析 |
| 5.4.2 多维度聚合分析 |
| 5.4.3 聚类边界分析 |
| 5.5 本章小结 |
| 第六章 总结与展望 |
| 6.1 研究总结 |
| 6.1.1 本研究主要成果 |
| 6.1.2 创新点 |
| 6.2 不足和展望 |
| 参考文献 |
| 攻读学位期间承担的科研任务与主要成果 |
| 致谢 |
| 个人简历 |
（10）数据离散化与数据立方体技术在高铁接触网数据分析中的应用（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 高速铁路接触网故障数据研究现状 |
| 1.2.2 OLAP数据立方体算法的研究现状 |
| 1.3 本文研究的主要内容及方法 |
| 第2章 基于ChiMerge算法的概念分层验证 |
| 2.1 数据编码 |
| 2.1.1 高速铁路接触网数据的构成 |
| 2.1.2 高速铁路接触网故障数据编码 |
| 2.2 数据离散化与概念分层 |
| 2.2.1 数据离散化 |
| 2.2.2 概念分层 |
| 2.2.3 高铁接触网数值型数据的概念分层 |
| 2.3 基于卡方的ChiMerge算法 |
| 2.4 ChiMerge算法的应用 |
| 2.4.1 高铁接触网数据 |
| 2.4.2 算法程序应用与优化 |
| 2.5 实验与结果分析 |
| 2.6 本章小节 |
| 第3章 OLAP与数据立方体技术 |
| 3.1 数据仓库 |
| 3.2 OLAP技术 |
| 3.2.1 OLAP的概念 |
| 3.2.2 OLAP的特质 |
| 3.2.3 OLAP多维数据存储模型 |
| 3.2.4 数据仓库与OLAP的关系 |
| 3.2.5 数据立方体与多维数据模型 |
| 3.3 OLAP查询及常用优化方法 |
| 3.3.1 OLAP查询 |
| 3.3.2 常用查询优化方法 |
| 3.4 数据立方体优化算法 |
| 3.4.1 BUC算法 |
| 3.4.2 Quotient算法 |
| 3.4.3 贪心算法 |
| 3.4.4 高铁接触网数值型数据特点 |
| 3.4.5 算法的比较 |
| 3.5 本章小结 |
| 第4章 数据立方体技术在高铁接触网数据分析中的应用及优化 |
| 4.1 算法选择 |
| 4.2 Dwarf算法 |
| 4.2.1 Dwarf算法基本概念 |
| 4.2.2 Dwarf的存储结构 |
| 4.2.3 Dwarf算法的构造过程 |
| 4.3 基于高铁接触网数据的Dwarf存储结构 |
| 4.4 Dwarf存在的缺陷 |
| 4.5 Dwarf算法优化及应用 |
| 4.5.1 优化策略 |
| 4.5.2 优化存储结构 |
| 4.5.3 优化后的立方体建立过程 |
| 4.6 实验与结果分析 |
| 4.7 本章小结 |
| 结论与展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士学位期间发表的论文及科研成果 |
四、数据立方体压缩存储技术研究现状与展望（论文参考文献）
- [1]基于压缩感知的光谱成像系统和重构算法研究[D]. 陶陈凝. 浙江大学, 2021(01)
- [2]中医药大数据资源数据仓库构建及处方分析应用研究[D]. 吴纪龙. 北京交通大学, 2021(02)
- [3]快照式视频光谱成像系统仿真与验证[D]. 徐艳. 中国科学院大学(中国科学院上海技术物理研究所), 2021(01)
- [4]基于快速卷积字典学习算法的图像重建系统设计与实现[D]. 李保平. 北京邮电大学, 2021(01)
- [5]基于压缩感知的高光谱成像技术研究[D]. 刘世界. 中国科学院大学(中国科学院上海技术物理研究所), 2020(03)
- [6]全球多源遥感数据集成处理平台建设关键技术研究[D]. 李宏益. 中国科学院大学(中国科学院空天信息创新研究院), 2019(06)
- [7]高教数据的多维分析方法研究及应用[D]. 黄盼. 北方民族大学, 2019(04)
- [8]星上大气垂直探测仪高数字压缩比的研究[D]. 杨敏珠. 中国科学院大学(中国科学院上海技术物理研究所), 2019(03)
- [9]基于数据立方体的环境监测数据可视分析方法研究[D]. 汪玮杨. 福建师范大学, 2019(12)
- [10]数据离散化与数据立方体技术在高铁接触网数据分析中的应用[D]. 晏博川. 西南交通大学, 2019(03)