基于云计算技术视角的大数据挖掘技术分析

来源:用户上传      作者:

　　摘要：云计算是一种新型的数据计算方式，主要是通过网络系统将客户端进行连接之后将客户端中的信息和数据资源进行整合，然后统一到一个巨大的数据资源库当中，在这之后就可以根据实际的需求对资源进行调配和管理。而大数据挖掘技术与分析平台能够更高效、更迅速地进行计算和分析，满足人们对信息的需求。
　　关键词：云计算技术;大数据挖掘技术;体系架构
　　中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2019）11-0096-01
　　1 大数据挖掘技术的基本概述
　　1.1 大数据挖掘技术的优势
　　大数据挖掘技术可以从数来众多、类型丰富、流转速度较快的信息与数据当中挖掘到价值密度高的信息，将这些信息推送给用户，为用户提供精准化的服务。与传统的数据挖掘技术相比，大数据挖掘技术在挖掘的深度与广度方面和信息处理的效率方面都具有重要的优势。
　　在傳统的数据挖掘技术当中，数据来源主要是特定的管理系统，再加上网页信息系统当中的被动数据。而大数据挖掘技术的数据来源更加广泛，除了上述两个基本来源之外，各种传感设备产生的仿真数据也是重要来源。从总数据体量来说，大数据挖掘技术的信息更加海量，需要使用EB或ZB计量。
　　1.2 应用大数据挖掘技术的必要性
　　从数学的角度来说，数据挖掘就是通过特定的工作来对数据进行分析与提取，了解数据的特点、发现数据之间的潜在规律。在应用到企业当中之后，大数据挖掘技术就可以通过对数据之间规律的总结来进行预测，从而为企业的财务预算与各项决策提供理论依据。在互联网领域当中，各项技术不断发展与成熟，可以为企业带来经济上的巨大利润。
　　根据相关的调查显示，大多数企业在互联网领域的投资回报率都超过了投资数量的3倍。与此同时，在企业经营与发展的过程当中，做好市场调研、了解外部环境动态是科学决策的基础，这些信息不仅可以使管理人员对市场走势进行精准判断，同时还可以为企业提供更便利的服务。而要实现这个目标，就要利用大数据挖掘技术。
　　1.3 大数据挖掘技术的实际应用
　　1.3.1 在铁路行业当中的应用
　　铁路行业的特点就是每天要处理大量的信息与数据，这是由于行业系统为了满足人们不同的出行要求、为人们的生活提供便利，每天的客观运营总量比较大，产生的信息量也比较大。与此同时，这些信息比较复杂，不仅需要对每天的客运流量进行统计，同时还需要对各个线路、测试数据进行整理，还需要处理各种票务上的信息。而应用大数据挖掘技术可以自动对这些信息进行搜集，同时还可以按照相关的算法来对信息进行整理与分析。这样一来，铁路的管理人员就可以更好地了解旅客的出行需求，从而根据需求来调整列车运行的状况，同时可以在列车运行期间，通过大数据挖掘技术对各项数据进行监测。
　　1.3.2 在其他领域当中的应用
　　除了在铁路部门之外，大数据挖掘技术还可以在其他很多领域当中被应用。比如在股票领域，利用该技术可以对历史数据与信息进行有效分析，从中发现这些数据的规律，从而对股票未来发展的趋势进行预测，从而为投资者提供参考依据。再比如在金融行业当中，使用该技术可以通过对信息的深入挖掘，从而发现信用异常或者资产异常的客户信息，同时通过对比发现其中存在的不法交易，这样可以为相关企业减少经济损失。与此同时，金融企业还可以利用这一技术来对市场的走向进行分析与预测，从而对公司未来的发展方向进行调整。
　　2 基于云计算技术视角的大数据挖掘体系架构
　　2.1 传统数据挖掘体系存在的问题
　　传统数据挖掘系统在构建的过程当中，通常是在单机或者服务器上进行运行，因此它的结构体系主要是服务器的二层机构，更加完善的是网页浏览器的三层结构。在应用的过程当中，通常会采用数据移向计算的方式，这种方式的特点是会先将信息进行储存然后再进行集中处理。这种方式虽然具有一定的合理性和科学性，但是在面对海量信息与具有异构动态的信息与数据的时候，这种处理方式需要耗费大量的时间，同时还需要大量的传输成本、增加了空间的复杂程度。
　　2.2 基于云计算技术的大数据挖掘体系架构
　　大数据挖掘技术可以充分解决上述传统数据挖掘体系存在的问题，它融合了计算、储存等模式，可实现同步分析，同时还具有较强的分析与挖掘功能。在构建体系架构的过程当中，可以分为不同的结构层次。首先是支撑平台层。该层次是大数据挖掘动力的来源，可以提供基本的信息与资源。在该层次当中，融合了大数据技术、云计算以及多种信息处理技术，形成了资源丰富的云环境。其次是功能层。功能层的作用是对用户的需求进行分析与挖掘，它可以根据用户的喜好来挖掘他们的潜在需求。第三层是服务层。在服务层当中，大数据挖掘技术可以通过客户端来与服务提供者和使用者相连接，从而实现三者之间的信息交流，从而发掘价值密度比较高的信息，并以服务的形式传达给用户。
　　在大数据挖掘体系架构构建的过程当中，云计算技术发挥了重要的作用。功能层、服务层与平台层这三者之间相互配合，共同形成了挖掘云系统，在系统当中实现了对信息的计算和储存，同时展示了分析、挖掘的功能。在完成了上述的过程之后，可以通过服务的形式将分析的结果呈现给用户，为他们的决策提供理论帮助。
　　3 基于Hadoop的大数据挖掘平台
　　在Hadoop的基础上构建大数据挖掘平台，可以更好地对大数据挖掘技术进行分析，了解数据与信息的处理流程。
　　首先是数据预处理。大数据挖掘技术在运行的过程当中是以数据为基础的，并不是先确定某种模式之后再确定数据，模式会随着数据的改变而发生变化。在数据预处理的过程当中，通过应用各种现代化的处理技术，可以在处理过程当中实现并行计算和迭代计算，同时还可以对数据进行合并与共享。第二是数据存储。大数据挖掘技术的存储的方式比较多样化，除了传统的存储形式之外，还包括分布式存储方式，可以存储各种形式的数据。对于不确定的数据，该平台也有相应的管理系统，可以通过构建不确定关系模型来进行有效存储。第三是数据计算与分析。大数据挖掘技术主要是以多种计算模式相融合的方式来实现对信息与数据的分布并行处理的。对于静态数据，通常维度比较小，传统的分析工具可以进行有效处理。而对于维度较大且复杂的数据，传统的分析工具无法起到较好的效果，而大数据挖掘技术可以提高原有系统的计算能力和分析能力，对传统的算法进行改进。
　　4 结语
　　总的来说，而云计算与大数据挖掘技术相结合之后，可以更加快速、高效地在大量的信息中为人们找到有用的信息，并按照人们的需要做好信息的筛选与数据的运算。大数据挖掘技术与传统的挖掘技术相比，在挖掘的深度与广度上具有明显的优势。本文在这个基础上探究了大数据挖掘体系架构和大数据挖掘平台，希望能够为大数据挖掘技术的发展提供参考与借鉴。
　　参考文献
　　[1] 邢丘丹，焦晶，杜占河.基于云计算和大数据的在线教育交互应用研究[J].现代教育技术，2017，24（04）：88-95.
　　[2] 何清，庄福振，曾立，赵卫中，谭庆.PDMiner：基于云计算的并行分布式数据挖掘工具平台[J].中国科学：信息科学，2017，44（07）：871-885.
转载注明来源:https://www.xzbu.com/8/view-15115528.htm