试论云计算技术下的大数据处理系统
来源:用户上传
作者: 任梁
摘 要
随着云计算技术的不断完善，为了促进大数据处理系统的功能多样化，云计算技术在大数据处理系统上得到了广泛的应用。本文重点研究了在多元因素的影响下的数据模型对大数据处理的影响，并据此提出了一种基于融合思想，采用了混合架构以及分散处理的云计算环境下的大数据处理系统的整体部署策略。
【关键词】云计算 大数据处理 融合处理
1 引言
随着网络技术的发展，以及智能设备的普及，当前的数据增长速度已经呈现爆炸式增长，大数据时代已经来临。目前专家对大数据处理系统方面的研究主要是基于云环境下的分布式部署以及网络架构的融合和动态实时数据处理这三个方面。同时也取得了一定的研究成果，对于当前的云计算环境下的大数据处理系统的发展提供了很多理论和实践基础。
2 基于融合思想的大数据处理方案分析
云计算技术模式下，人机交互和数据处理以及网络逻辑处理技术等都相对交融，处于深度融合状态。因此基于融合思想的大数据处理方案就是以融合思想为核心，将云计算技术模式下的各种分散的网络资源进行协同组织，然后再进行融合，从而充分发挥分散状态下的资源优势，形成一种整体性的比较优势，因此这种融合式的大数据处理方案的应用前景十分广阔。
在云计算技术模式下，大数据处理研究更多的着力点放在了大数据处理系统的构建、分散资源的协同以及相关的辅助技术等。从宏观角度来看，可以氛围内混合处理和混合管理两个方面。其中混合管理的核心就是研究各种无线以及有线的处理机制和数据共享、资源共享机制的管理，同时还包括了分散数据管理机制和协同机制管理等。而混合处理的研究核心则是着力于系统运行模型和相关辅助技术上。
3 大数据处理系统的应用和处理系统分析
3.1 大数据处理系统的应用
大数据处理系统的应用主要包括三个方面：
（1）基于融合式架构的应用。这实际上就是一种客户机/服务器架构模式，其中服务器主要负责应用系统的管理和控制以及相关应用的逻辑处理和数据调度等。而客户端则是专门进行人机交互，当用户想要执行数据处理分析人物时，通过客户机向服务器发送请求，然后有服务器完成并返回给客户端。这个融合式架构相对简单，且容易维护，但是服务器功能有着极高的依赖，这也往往成为数据处理系统应用的瓶颈。
（2）分散式架构。这种架构的特点就是协同控制的节点都是平等地位，并且和处理系统有关的控制和管理模块都是分散在各个客户端上。客户端拥有一定的自治属性，因此具有通用性和灵活性和可扩展性等诸多优势。但是由于数据采用分布存储和分布操作，这样在维护方面就变得较为困难，而且节点之间的实时同步和用户动态注册的应用也难以实现。
（3）混合式结构。这种结构拥有前两两种结构有点，通过服务器实现数据信息的统一维护，而客户端一方面实现信息传输功能，同时也能够和用户在某些应用方面进行充分的交互，因此能够有效减轻服务器端的压力，这样也能够消除服务器端的瓶颈。提升系统的鲁棒性和灵活性。
3.2 云计算技术下的大数据处理系统具体分析
3.2.1 系统架构
云计算技术环境下的大数据处理平台的节点主要体现下面几个特点：其一是节点分散性；其二是数据处理动态性；其三是数据来源混构性。
这个处理平台架构采用了融合式的调度执行层和任务融合调度管理，并根据处理规则和不同的参数来调整处理引擎的数据和算法组合以及计算资源。对大数据资源的数据交互和任务分工工作进行了有效融合。同时在管理层，也对业务数据进行分布式存储，提升了容错处理能力。
3.2.2 系统处理流程
系统处理流程主要是对分散状态数据进行处理，其关键就是对分散的数据进行提取，因此首先给其他应用提供数据接口。然后数据管理部分要融合数据资源，并在一定容忍度的基础下，对不同的数据处理机制进行比较，进而优势融合。最后数据处理中心则是对数据进行集中处理，然后统一分配数据资源，从而在数据中心实现数据处理的融合。
3.2.3 处理系统的部署
某信息产业园的大数据处理系统的部署是根据信息企业集群的需求，然后对现有分散数据资源进行挖掘，比如企业内部的ERP和SCM系统中的数据，通过对这些数据进行深度挖掘从而为该企业提供战略发展资源。图1就显示了这个部署图。
从部署图可以看出，在这家企业中，ERP和SCM和CRM是其数据源，然后经过服务器处理之后，分布到n个数据库，然后进行合并进入到大数据管理模块，最终能够实现数据查询和数据决策服务。
4 结语
总而言之，目前采用融合式思想，在云计算技术条件下，对大数据处理系统进行部署的研究相对较少，特别是当前的信息产业，由于其自身的解决方案并不能够实现大数据条件的比较优势，所以本文提出的融合式的大数据处理技术，有效的提升了数据利用深度，拓展了大数据处理系统的应用范围。
参考文献
[1]于戈，谷峪，鲍玉斌，王志刚.云计算环境下的大规模图数据处理技术[J].计算机学报，2011（10）.
[2]程苗基于云计算的Web数据挖掘[J].计算机科学，2011（S1）.
作者单位
中国科学院信息技术应用研究院 浙江省宁波市 315040
转载注明来源:https://www.xzbu.com/1/view-6507498.htm
