“我再吃最后一口”通过精心收集,向本站投稿了15篇大数据时代基于云计算的数据监护研究论文,下面小编给大家整理后的大数据时代基于云计算的数据监护研究论文,欢迎阅读!

篇1:大数据时代基于云计算的数据监护研究论文
大数据时代基于云计算的数据监护研究论文
在大数据时代,为了更好地管理和利用科学数据,计算机图灵奖获得者Jim Gray于提出了数据监护(Data Curation)的概念。十余年来,数据监护一直是国内外信息资源管理领域的热点议题,研究主题集中在数据监护的内容、发展策略、合作模式、职业教育、成功实践等领域。111鉴于云计算能够为数据监护提供强有力的技术支撑,如云计算快速提供资源的能力有助于辅助完成资源密集型数据监护任务,网络化云服务有利于实现数据监护的协同工作,基于云计算开展数据监护引起了国外信息资源管理学界和业界的广泛关注。本文对基于云计算的数据监护问题进行探讨,希望对我国的数据监护工作有所借鉴。
一、数据监护工作流程
数据监护是为了确保数据当前的使用目的,并能用于未来再发现及再利用,从数据产生伊始即对其进行管理和完善的活动。121为了有效指导数据监护实践,提高数据监护效率,一些数据监护机构和研究者对数据监护过程进行了概念化,提出了相应的数据监护生命周期模型。本文基于英国数据监护中心的DCC数据监护生命周期模型13与王芳和慎金花提出的细化的数据监护生命周期模型,梳理出了数据监护工作流程,见图1。数据监护工作流程由4个阶段、11个业务环节组成,涵盖了数据监护的所有必要阶段和核心工作。
数据收集阶段:数据采集。数据采集是数据监护活动的起点,指根据采集政策,从数据创建者、档案馆、知识库或数据中心等接收数据。元数据创建。为采集到的数据创建管理、描述、结构和技术元数据,以便进行数据管理和数据维护,以及实现数据共享。
数据处理阶段:数据评价和选择。评估数据并为长期监护和保存选择数据。数据评价和选择直接关系到科学数据库的质量,并且带有一定的主观性。数据剔除。根据成文的政策、指引或法律要求,处理未成为长期监护和保存对象的数据,将这些数据转移到其他档案馆、知识库、数据中心或其他保管机构。根据法律要求,有些数据会被安全销毁。数据导入。将经过选择的数据传送至档案馆、知识库、数据中心或其他数据监护机构。为保证数据的可用性,在导入数据之前,应进行去重、交叉注释、格式认证等。数据迁移。根据存储环境的需求,或者为了确保数据对硬件和软件退化的抗扰性,改换数据的格式、存储系统、存储类型。
数据保存阶段:数据长期保存。长期保存须确保数据的可信性、可靠性、可用性和完整性。长期保存包括数据清洗、数据验证、分配保存元数据、分配表征信息,保证数据具备可接受的数据结构和文件格式。数据存储。遵守相关标准,选择科学的组织方式和安全的存储介质组织并存储数据。数据存储既可以保证数据的安全性,又便于数据被随时使用和加工处理。
数据利用阶段:数据获取。采用适当的标准发布数据,并执行严格的访问控制和验证程序,保证用户安全、准确的访问和获取数据。数据复用。制订数据复用规则,在不违反知识产权的前提下,提供数据复制、链接、引用等服务。数据转换。根据原始数据创建新数据。例如,通过转换格式、建立子集等途径,创建新数据。
二、云计算为数据监护提供支撑
云计算作为分布式计算、网络存储、负载均衡、热备份冗余等计算机和网络技术融合的产物,具有超大规模、虚拟化、通用性、高可扩展性等诸多特点。云计算的特点与数据监护的需求非常契合,可以为数据监护提供强有力的技术支撑。
弹性服务:云计算服务的规模可快速伸缩,以自动适应业务负载的动态变化。用户使用的云计算资源与业务的实际需求相一致,避免了因为资源供需不匹配而导致的服务质量下降或资源浪费。161数据监护的数据剔除和数据迁移等任务不需要持续不断的执行,属偶发性活动。云计算的弹性服务能够很好地满足偶发性数据监护活动的资源调用需求。
按需服务:云计算以服务的形式为用户提供基础设施、存储空间、应用程序等,并能够根据用户的需求,自动分配各种资源。17用户也可以根据需要在云中部署所需的应用程序。云计算的按需服务为数据监护中需要依赖主观意识完成的任务,如元数据创建、数据评价和选择提供了极大的便利。
泛在接入:用户通过互联网可以随时随地利用云计算服务。数据用户越来越多的使用笔记本电脑、智能手机、平板电脑,将数据监护业务流程转移至云,能够极大地方便用户上传、访问和下载数据。数据监护的数据采集、数据获取和数据复用等业务环节,可以从云计算的这一特点中受益。
服务外包:用户进行数据处理所需的计算资源价格昂贵,将提供计算资源的业务委托给云服务商,既能够节省开支,又能够使用户专注于自己的核心工作。云服务商为了利益最大化,保持最优竞争力,都会迅速应对技术变革,以更低的价格提供更快的处理器和更大的存储空间。云计算服务外包的特点使数据监护机构将部分信息技术支持业务委托给云服务商,以获得更低廉的价格和更优质的服务成为可能。
三、基于云计算的数据监护模型
云计算提供从硬件设施到应用软件的多层次服务。根据服务的对象和功能差异可以将云计算划分为三种服务模式:基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS);根据租用云计算的用户对数据和环境的控制权,可以将云计算划分为公有云、私有云和混合云等部署模型。本文根据数据监护不同业务阶段的工作内容和技术需求,并结合云计算的服务模式和部署模型,构建了基于云计算的数据监护模型,见图2。下面分别从数据监护的云计算服务模式和部署模型两个方面分析基于云计算的数据监护模型。
(一)数据监护的云计算服务模式
IaaS层。IaaS提供基础设施部署服务。IaaS通过虚拟化技术整合服务器、存储设备、网络资源、高性能计算集群等物理资源,构建全局统一的动态虚拟化资源池。基于云计算的数据监护模型的IaaS层为上层云计算服务提供海量硬件资源,实现硬件资源的按需酉己置。
PaaS层。PaaS是云计算应用程序运行环境,提供应用程序部署与管理服务。PaaS不仅能够实现海量数据的'存储,而且能够提供面向海量数据的分析处理功能。在基于云计算的数据监护模型的PaaS层,数据监护机构使用云供应商的软件工具和开发语言,开发数据收集和数据处理所需的各种应用程序,实现应用程序的多元化和定制化服务,并将科学数据保存于海量数据存储系统。
SaaS层。SaaS提供以服务为形式的应用程序。SaaS允许用户使用部署于供应商云基础设施上的应用程序,用户也可以根据需求向供应商定制应用程序。在基于云计算的数据监护模型的SaaS层,数据监护机构通过应用程序向用户提供数据利用服务,实现数据共享和科研协作。
(二)数据监护的云计算部署模型
数据监护的各个阶段分别面向数据监护方和数据使用方,对应不同的数据存取、处理等操作权限,因此需要采用相适应的云计算部署模型。数据监护过程中的数据利用阶段位于SaaS层,为用户提供方便高效的数据获取等服务,而公有云面向一般公众提供敏捷弹性服务的特点与数据利用阶段的功能需求相契合。用户能够通过网络浏览器像使用个人电脑中的软件那样使用公有云的应用程序,实现应用程序的泛在访问。因此,基于云计算的数据监护模型的SaaS层应采用公有云部署模型。数据收集和数据处理工作要求云计算提供量身定制的服务功能和非常稳定的服务质量,而数据保存工作要求云计算能够切实保障数据安全。私有云部署在用户数据中心的防火墙内,能够提供对数据、安全性和服务质量的最有效控制,而且不会冲击用户已有的业务流程。因此,基于云计算的数据监护模型的PaaS层适宜采用私有云部署模型。上述公有云和私有云的基础设施共同构成了基于云计算的数据监护模型的IaaS层,并且公有云和私有云具有统一的接口标准,保证服务的无缝迁移,即IaaS层采用混合云部署模型。
四、基于云计算的数据监护案例
SRF项目:英国南安普顿大学的SRF项目,针对科学研究工作集成了许多已有的协作型数据管理工具,并将这些工具部署到一个共享的虚拟云平台上,以SaaS的方式提供服务。SRF工具最大的特点是能够在网络日志中自动或者手工创建和共享实验数据。例如,SRF的一款代理软件能够植入实验仪器和计算机,自动抽取仪器在实验过程中记录的数据,并转换为XML格式,然后以博客的形式发布以实现协作复用。通过博客发布平台实现实验过程、实验数据、实验分析的互联,组织实验数据记录,构建实验、实验数据、实验设备之间的关联关系。在数据监护生命周期中,SRF工具主要用于接收和抽取数据,以保证实验数据在上传至云的过程中会被格式化成标准格式。
Data Flow项目:牛津大学的Data Flow项目,旨在创建免费的云托管Data Stage和Data Bank,以便于管理、保存、发布研究数据。其中,Data Stage以在用户电脑上运行映射驱动器的方式,提供研究组水平的、安全的“本地”文件管理环境。另外,Data Stage还提供数据的网络获取和在线存储服务,用户通过访问控制程序的认证之后,即可以访问私人、共享、协作、公众和公共数据目录。Data Bank是一种虚拟化的、基于云部署的机构研究数据仓储。机构可以选择将Data Bank部署在Eduserv教育云或者机构自己的基础设施中。Data Bank还具备包括数据抽取、储存、长期保存、访问在内的一系列数据监护功能。
Kindura项目:伦敦国王学院的Kindura项目,是一个基于混合云部署模型的科学数据管理试点项目,提供基于存储的数据管理服务和基于计算的数据处理服务。Kindura项目通过DuraSpace推出的托管云服务一DuraCloud,将本地服务与各种云服务相衔接。用户利用DuraCloud提供的统一界面,即可享受一站式数据存取服务。Kindura项目通过部署于服务器上的规则引擎,以及面向规则的集成数据管理系统(iRODS)的规则库,决定具体数据存储在本地还是存储于云端:二进制对象存储在云端,元数据和Fedora对象存储在本地。l9Kindura项目证明,混合云能够有效节省数据监护成本,并且能够更加高效地利用本地存储库,提升数据处理能力。
东南大学AMS-02项目:东南大学为大型国际合作项目AMS-02的数据监护工作构建的云计算平台,提供IaaS、PaaS、SaaS服务。该云计算平台架构如图3所示。在IaaS层,云计算基础设施由3500颗CPU内核和500TB高速存储设备构成,提供虚拟机和物理机的按需分配,并且自动配置操作系统、科学计算函数库等运行环境。在PaaS层,数据分析处理平台提供大规模计算能力和海量数据存储能力;应用开发环境为AMS-02数据分析处理应用提供编程接口。在SaaS层,以服务的形式部署云计算应用程序,用户通过访问AMS-02应用,可以获取原始科学数据以及数据处理分析结果。云计算通过超级计算模式,整合大量的存储、计算、带宽等资源,为数据监护提供了经济高效的解决方案。国内的数据监护尚处于起步阶段,对基于云计算的数据监护进行深入的理论探讨和实践探索,有助于推动我国的数据监护实现跨越式发展。
篇2:云计算环境数据安全研究论文
云计算环境数据安全研究论文
云计算是网格计算、分布式计算、效用计算等技术发展融合的产物,如今普及速度非常快。亚马逊、谷歌、微软等企业向用户提供了在云环境中开发应用和远程访问应用的功能。由于云环境的数据托管给服务商存储在远程服务器中,且应用数据通过互联网传输,数据存储和传输安全是一个重要的问题。在实现云计算之前,首先应该解决由此带来的安全问题。论文描述了云计算中数据安全相关的挑战,研究了对于数据安全不同层面的解决方案。
1 引言
云计算是基于下一代互联网的计算系统,提供了方便和可定制的服务供用户访问或者与其他云应用协同工作。云计算通过互联网将云应用连接在一起,向用户提供了在任意地点通过网络访问和存储数据的服务。
通过选择云服务,用户能够将本地数据副本存储在远端云环境中。在云环境中存储的数据能通过云服务提供商提供的服务进行存取。在云计算带来方便的同时,必须考虑数据存储的安全性。如今云计算安全是一个值得注意的问题。如果对数据的传输和存储不采取合适的手段,那么数据处于高风险的环境中,关键数据泄露可能造成非常大的损失。由于云服务向公共用户群提供了访问数据的功能,数据存储可能存在高风险问题。在后续章节中,本文首先介绍了云计算模型,然后针对云计算本身的属性带来的信息安全问题,研究了已有数据安全解决方案的应用范围。
2 云计算应用模式
云计算的应用模式主要有软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)等。在SaaS中,厂商提供服务供客户使用,客户使用服务在云基础架构中运行应用。SaaS相对比较简单,不需要购买任何硬件,使用容易。但是数据全部保存在云端,且存放方式不受用户控制,存在安全隐患。PaaS则通过使用云计算服务商提供的中间件平台开发和测试应用,例如谷歌的App Engine。由于不同的中间件平台提供的API不一样,同一个应用不能再不同的平台通用,存在一定的兼容性问题。在IaaS模型中,用户可以控制存储设备、网络设备等基础计算架构,或者直接使用服务商提供的虚拟机去满足特定的软件需求,灵活性高但是使用难度也比较大。
随着云计算的蓬勃发展,云计算安全作为不能忽视的层面,应该引起足够的重视。如果对数据的传输和存储不采取合适的手段,那么数据将处于高风险的环境中。由于云计算向用户群提供了访问数据的功能,不论采用三种主要应用模式的任意一种,数据都存储在公共平台中,由此带来了数据存储和传输的安全问题。
3 数据安全挑战
3.1 数据保障
当多个用户共享同一个资源的时候存在资源误用的风险。为了避免这个风险,有必要对数据存储、数据传输、数据处理等过程实施安全方面的措施。数据的保护是在云计算中最重要的挑战。为了加强云计算的安全,有必要提供认证授权和访问控制的手段确保数据存储的安全。数据安全的主要几个方面:健壮性——使用测试工具检查数据的'安全脆弱性,查看云计算应用是否有常见的漏洞,比如跨站脚本、SQL注入漏洞等;保密性——为了保护客户端数据的安全,应当使用资源消耗少的瘦客户端,尽量将客户端的功能精简,将数据的运算放置在云服务端完成;可用性——数据安全中最重要的部分,具体实施情况由厂商和客户直接协商决定。以上措施决定了数据的可用性、可靠性和安全性。
3.2 数据正确性
在保证数据安全的同时也要保证数据的正确性。每个在云计算中的事务必须遵守ACID准则保持数据的正确性。否则会造成数据的“脏读”,“幻读”等现象,造成数据的不准确,事后排查花费的代价高。大多数Web服务使用HTTP协议都面临着事物管理的问题。HTTP协议本身并不提供事务的功能,事务的功能可以使用程序内部的机制解决。
3.3 数据访问
数据访问主要是指数据安全访问管理机制。在一个公司中,应根据公司的安全条例,给予不同岗位职工特定数据的访问权限,保证该数据不能被公司的其他员工访问。可以使用加密技术保证数据传输安全,采取令牌管理手段提升用户密码的猜解复杂程度。
3.4 保密性
由于在云环境中,用户将文本、视频等数据存储在云端,数据保密性成为了一个重要的需求。用户应该了解保密数据的存放情况和数据的访问控制实施情况。
3.5 数据隔离
云计算的重要特征之一是多用户租用公共服务或设备。由于公用云向所有用户提供服务的特点,存在数据入侵的可能。通过注入代码等手段,可能造成云端存储的数据被非授权获取。所以有必要将用户数据和程序数据分开存储,增加数据被非授权获取的难度。通常可以通过SQL注入、数据验证等方式验证潜在的漏洞是否存在。
3.6 数据备份
云端数据备份主要目的是在数据意外丢失的情况下找。数据丢失是一个很普遍的问题,一份的调查表明,66%的被访者声称个人电脑的文件存在丢失情况。云端数据备份还可以方便将数据恢复到某个时期的版本。云计算作为公用服务,已有大量用户使用网盘将数据副本存储在云端,但是还有很多应用的业务数据未在用户本地设备中存储。无论云端存储数据的性质,云端都应定时将存储的数据备份,保障云服务的正常运行。
3.7 法律法规风险
在云计算中,数据有可能分布存储在不同的国家和地区中。当数据被转移到其他的国家和地区中后,必须遵守当地的法律法规。所以在云计算中,存在数据放置地理位置的问题,客户应当知晓数据存储的地理位置防范风险。
4 数据安全解决方案
对于数据安全问题,需要方案解决云环境中数据潜在的风险。其中由于云环境的公用特性,数据保密应当作为主要解决目标。针对上节的数据保障、正确性、访问等问题,多位云计算安全专家在不同层面已先后提出了几套完整的解决方案,其目标主要是保证云环境中数据共享的安全性。在不可信的公共云环境中,数据共享的同时保证数据对第三方的保密性。
4.1 基本方案
数据加密是一个比较好的保证数据安全的方案。在云端存储数据之前最好能先加密数据。数据的拥有者能将数据的访问权给予特定的用户群体。应当设计一个包括认证、数据加密、数据正确性、数据恢复等功能的模型去保证数据在云端的安全。
为了保证数据不能被非授权访问,将数据加密使其完全对于其他用户无法解析是一个比较好的方法。在上传数据到云端之前,建议用户验证数据是否在本地有完整的备份,可以通过计算文件的哈希值来验证数据是否一致。数据传输应当采用加密方式,防止敏感信息被中间人监听。SaaS要求必须在物理层面和应用层面将不同用户的数据隔离。可以使用采用基于角色的访问控制或者是自主访问控制,以及分布式的访问控制架构控制云计算中的数据访问。一个设计良好的访问控制机制可以极大地保护数据的安全,还可以采用入侵防御系统实时监测网络入侵。入侵防御系统主要功能为识别可疑行为,记录行为的详细信息并试图阻止。
上述基本方案可以解决数据保障、数据正确性、数据访问及保密性等问题。但是,在实际应用中没有考虑效率,仅仅作为基本手段不能满足用户云环境数据共享的特定需求。
4.2 属性基加密
属性基加密(Attribute-based Encryption)相对于传统的公用密钥加密具有很大的优势。传统的公用密钥加密采用公私钥对,公钥加密的信息只能用私钥解密,保证了仅有接收人能得到明文;私钥加密的信息只能用公钥解密,保证了信息的来源。公钥基础设施体系和对称加密方式相比,解决了信息的保密性、完整性、不可否认性问题。属性基加密则在公用密钥加密的基础上,更多考虑了数据共享和访问控制的问题。在属性基加密系统中,密钥由属性集合标识。仅当公私钥对指定的属性相同或者具有规定的包含关系时,才能完成解密密文。例如,用户如果为了数据安全将文档加密,但是需要同公司的人能解密该密文,那么可以设置密钥的属性位“组织”,只有属性位“组织”为该用户公司的密钥才能将该密文解密,不满足条件的密钥则不能解密,如图1所示。
属性基加密分为密钥策略(KP-ABE)和密文策略(CP-ABE)。KP-ABE模式中,密文具有属性集合,解密密钥则和访问控制策略关联。加密方定义了能成功解密密文的密钥需要满足的属性集合。KP-ABE模式适用于用户查询类应用,例如搜索、视频点播等。CP-ABE模式中,加密方定义了访问控制策略,访问控制策略被包含在密文内,而密钥仅仅是属性的集合。CP-ABE模式主要适用于访问控制类应用,例如社交网站、电子医疗等。
属性基加密方式,不仅可以应用在云存储共享中,在审计日志共享方面也有很广泛的应用。审计日志共享大都存在时间段的限制,属性基加密方式可以在密文中添加时间属性位和用户属性,提供对不同用户共享不同时间段日志的功能。属性基加密紧密结合了访问控制的特性,在传统公用密钥的基础上,提高了数据共享的方便程度。
属性基加密虽然提高了数据共享的方便程度,但是没有从根本上解决云环境数据加解密过程中,解密为明文导致的敏感数据泄露问题。
4.3 代理重加密
由于云环境是公用的,用户无法确定服务提供商是否严格的将用户资料保存,不泄露给第三方。所以,当用户之间有在云环境中共享资料的需求时,必须考虑资料的保密性问题。
用户A希望和用户B共享自己的数据,但是不希望直接将自己的私钥Pa给B,否则B能直接用Pa解密自己采用私钥加密的其他数据。对于这种情况,有一些解决方案。
(1)用户A将加密数据从云端取回,解密后通过安全方式(例如采用用户B的公钥加密)发送给用户B。这种方式要求用户A必须一直在线,存在一定的局限性,并且数据量比较大时,本地耗费的计算量可能非常大。
(2)用户A可以将自己的私钥给云服务提供商,要求提供数据共享的服务。在这种情况中,用户A必须相信云端不会将私钥泄露。
(3)用户A可以采用一对一加密机制。A将解密密钥分发给每个想共享数据的用户,A必须针对每个用户生成并存储不同的加密密钥和密文。当新用户数量很多时,这个方案造成了磁盘空间的大量占用,存储数据冗余度高。
代理重加密(Proxy Re-Encryption)手段可以很好的解决云环境数据共享的问题。代理重加密手段设立了一个解密代理。首选A由私钥Pa和B的公钥Pb计算出转换密钥Rk。转换密钥可以直接将由私钥Pa加密的密文转加密为由公钥Pb加密的密文。在转换过程中,A的原始密文不会解密为明文,而转加密后的密文也只能由用户B解密。当用户B想访问A共享的资料时,只需要解密代理使用Rk将A的密文转换为只有B能解密的密文即可。这种机制保证了包括云在内的所有第三方都不能获取A共享给B的明文,如图2所示。
代理重加密解决了云环境中数据共享而不泄露明文的基本问题,侧重于数据的保密。该技术手段关注数据的保密性,未考虑实际应用中数据共享方便程度等其他问题。
4.4 基于代理重加密的属性基加密方法
代理重加密技术可以和在云存储中使用的属性基加密机制结合,属性基加密侧重于加密方面的访问控制,而代理重加密从加密手段上保证了数据的隐秘性。通过将这两种机制结合,用户可以更加高效的分享数据。数据拥有者可以根据新的访问控制规则生成转换密钥,然后将转换密钥上传至云服务器,服务器将原有的密文转加密为新的密文。新的密文在不影响原有用户解密的情况下,可以使新用户成功解密。而在转换原有密文的整个过程中,服务器无法将密文解密为明文。
该类加密方法既保证了转换效率,又保证了数据的保密性。此类方法中,不考虑抗选择密文攻击的算法计算转换密钥的资源消耗相对较小,考虑了抗选择密文攻击的算法资源消耗量和密钥属性基的大小正相关。
5 结束语
虽然云计算是一个带来了很多益处给用户的新兴技术,但它也同时面临着很多安全方面的挑战。本文说明了云计算方面的安全挑战和对应的解决方案,从而降低云计算可能带来的安全风险。为了保证云存储的安全访问,在技术层面,可以采用健壮的数据加密机制;在管理层面,采用合适的令牌管理机制,分发令牌给用户从而保证数据只能被授权的访问。随着云计算的普及,相信云服务提供商和用户对于云环境数据安全方面会越来越重视。在相关安全策略实施后,云计算能在提供良好服务的同时,让用户使用更加放心。
篇3:大数据时代语言学研究论文
大数据时代语言学研究论文
内容摘要:自维克托迈尔-舍恩伯格及肯尼斯库克耶提出大数据的理念以来,大数据受到了越来越多的关注。大数据在一定层面上可以理解为n个大语料库的结合体。本文从跨专业的视角分析大数据与语言学研究的结合,分析其结合的可能性,为语言学的进一步发展提供新的研究视角。
关键词:大数据;语料库;语言学
在语料库研究已经广泛应用的今天,大数据为语言学家们开辟了新的视野,提供了新的研究方向。
一.大数据的提出及其最初应用
大数据,顾名思义就是大量的数据。自从维克托迈尔-舍恩伯格及肯尼斯库克耶提出这一概念以来,大数据就受到越来越多的关注。首先将这一概念付诸应用的是BI,工业4.0,云计算,物联网,互联网+等领域。在信息化发达的今天,大数据的提出无疑为相关领域的研究提供了新的视野,也在不断推动其发展。
二.语言学的传统研究方法
纵观语言学的研究方法及理论,大多数是以二三十年前提出的转换生成语法,系统功能语法等为基础进行的。虽然研究成果颇丰,但也面临一些问题,首当其冲的就是研究后劲不足。我们都知道,语言学研究理论虽然经典,并且为语言学的研究提供了坚实的基础,在其研究历程中取得了丰硕的成果。然而语言学的经典基础理论大多是二十年前提出的,经过二十多年的研究挖掘,已经逐渐缺乏研究后劲,其理论的研究视阈已被挖掘殆尽,再想用此理论进行语言学方面的深入研究已很难再有新突破,语言学研究急需开辟新的视野,挖掘新的方向。
三.大数据与语言学研究结合的可能性
大数据这一概念的提出,源于信息时代的发展,互联网的普及。网络驱动着人们生活的每一个角落,现实生活中我们每天都在与网络打交道。网络可以快速处理大量数据,从而为我们的生活提供便利。大数据这一新的研究趋势便应运而生了,大数据自诞生之初便与互联网,网络筛选,网络推荐结下了不解之缘,为网络时代的生活办公提供了巨大的便利。鉴于大数据这一新的研究视角为互联网时代带来了巨大便利,我们可以考虑将这一研究方法应用到语言学的研究中,为语言学的研究提供新的视野,开辟新的角度。大数据与语言学研究的结合有如下可能:首先,日趋成熟的语料库研究为大数据时代的到来打下坚实基础。近些年来,运用语料库的方法进行语言学研究已经成为一种新趋势,语言学研究者们开始把目光投向语料库研究,注重用数据说话,将语料库这种研究方法运用到语言学研究的方方面面,并取得了一系列成果。不用于以往的研究方法,语料库注重用数据说话,通过提取的数据的客观发展趋势来描述语言学问题。目前这一方法已经成功的运用到了语言学研究的很多领域,为语言学研究拓展了新的视野。既语料库的研究方法之后,近几年又出现了大数据这一新的研究方法。大数据这一研究方法虽然自诞生之初到现在,其应用领域还集中在云计算,物联网,互联网+等领域,但究其本质而言,大数据与语料库存在很多相似之处,都是运用数据说话,通过数据的发展趋势来解决问题。从一定角度上看,大数据其实就是n个大型语料库的集合。语料库的研究方法已经成功的运用到了语言学研究领域,由此,我们可以推断与语料库一脉相承的大数据的研究方法也可以与语言学很好的结合,并为解决语言学的问题提供新的研究视角。
其次,运用传统的语言学理论研究语言学的方法遇到了越来越多的瓶颈。纵观近些年来语言学的研究,大多数运用的`仍是二十多年前的转换生成语法和系统功能语法作为基础研究理论和方法。经典的语言学理论确实为语言学研究指引了正确的方向,也取得了丰硕的研究成果,解决了语言学研究中的一个个难题。但是,值得关注的是,传统的语言学研究方法和理论的研究切入点已经逐渐被挖掘殆尽,若仍坚持传统研究方法,会使后续研究缺乏研究后劲与动力。同时,传统的语言学研究往往只运用语言学的理论解决语言学的问题,这样给学科的深入发展带来了不小的屏障,阻碍了语言学研究的深入发展,制约了一系列深层次问题的研究和解决,语言学研究亟待寻找新的方法理论,特别是运用跨学科的方法来解决其发展的瓶颈制约。最后,跨学科的研究方法已成为一种必然的趋势。查阅国内外的相关文献,我们不难发现,语言学的研究已经逐渐跳出传统的研究理论与方法,开始寻求新的突破点。继引入语料库这一运用数据来阐述语言学研究问题的方法,并取得了一系列研究成果之后,跨学科的研究方法便开始逐渐被发掘出来,并深入到语言学研究的方方面面,为更好的解决语言学的深层次问题打开了新的研究视野。大数据作为一种以语料库为基础的新生的跨学科研究方法,必然会与语言学研究结下不解之缘,并为语言学研究的深入发展带来新的视觉和发展的源源动力。总之,大数据与语言学的结合必然会成为语言学发展的新趋势,并为语言学研究提供源源不竭的动力。
篇4:大数据时代网络安全研究论文
大数据时代网络安全研究论文
摘要:随着大数据技术的不断发展和应用,对计算机网络安全管理提出了新的挑战,通过对大数据背景下计算机网络安全的分析,介绍了新技术下的网络安全问题,提出了相关的网络安全防范措施,认为在大数据背景下,网络安全管理必须采用多种方法和手段,同时将大数据技术应用于网络安全管理中,构建符合时代需求的网络安全防范体系。
关键词:大数据;网络安全;隐私数据;防护策略
随着计算机在现代信息社会的广泛应用,同时随着智能手机的推广,计算机网络安全越来越得到重视。需要不断采用新技术、新方法来加强对计算机网络的监控管理,采用切实有效的手段和措施来提高计算机网络安全管理水平,确保计算机网络技术能够正常、健康、有序地发展,保证用户信息数据的安全性、私密性,有效地防止非法用户盗取网络保密数据,防止病毒入侵,成为广大计算机用户关心的问题。
1大数据技术
大数据是指在传统的事务处理数据库、数据仓库的基础上,引入海量的多渠道的数据构成的巨大数据体,其含义主要包括两个部分,第一是数据部分,大数据的所包含的数据具有数据规模巨大、数据更新快速、数据类型多样和数据的价值密度低四大特征。第二是数据的处理部分,大数据充分利用云计算、数据挖掘等相关技术,对大数据进行处理,采用Hadoop、MapReduce、SPSS等工具,对数据进行分析,从而得到“有趣”的信息,为管理决策提供服务。
2大数据背景下的网络安全
大数据背景下的数据呈现即时性、海量性、多类型性,多种数据以爆炸式的不断增长,一方面使得对计算机网络的安全管理带来了新的挑战,出现了针对大数据的网络攻击;另一方面由于网络攻击大数据的不断完善,对攻击手段、攻击时间、攻击方式等的大数据分析挖掘,发现网络安全攻击规则,对提高计算机网络的安全带来了新的工具和手段。
2.1用户账号的安全
计算机网络的`广泛应用,用户的很多敏感信息都保留在各个网络节点中,这些信息的安全性正受到极大的挑战。很多的网站存在着各种的漏洞,甚至部分网站存在着后门程序,网络节点对用户的账号信息保护不力,或者保护措施形同虚设,这些信息在大数据的背景下,经过网络节点用户信息的关联分析,往往无所遁形,很容易被非法用户的攻击,造成用户账号数据的泄露。2.2大数据平台的安全在大数据的背景下,各行各业提供了一些资源共享与数据互通的大数据平台,这些平台在带来便利的同时,也为提供了新的攻击目标,非法用户可以通过大数据平台,以很少的代价获得大量的信息,为计算机网络安全带来新的问题。
2.3用户隐私的安全
在大数据背景下,通过大数据的相关技术,分析用户遗留在各个网络站点的相关数据,将会产生严重的隐私泄露,因此对敏感数据的所有权和使用权必须严格界定,否则会很容易地侵犯了用户的隐私权。
3大数据背景下的网络安全防护策略
3.1加强用户账号的安全
目前,计算机用户在不同的网站或者软件客户端注册使用各种不同的用户账号,很多账号相互关联,相互验证。因此,为了提高数据的安全性,提高账号的安全,首先要将账号和密码设置复杂,不容易破解;其次在各个站点或者客户端设置的用户名和密码相互区分,不要设置相似的账号和密码;最后,对账号和密码进行分类,对于不同级别的账户设置相对应的密码,对重要的账号和密码单独管理,定期更换,从而保证账户的安全。
3.2安装防火墙和杀毒软件
为了安全地在大数据背景下使用网络资源,可通过采用防火墙技术与病毒防杀技术来提高计算机网络安全性。所谓防火墙技术,即依据特定的安全标准对网络系统所传输的数据包进行实时检测,若发现可疑的数据包及时报警或者阻止,从而有效将非法的数据包拒之门外,保证计算机用户的数据安全。此外,日常运行中应积极应用杀毒软件与病毒监控软件对病毒进行监控和消除,通过软件的定期升级、定期杀毒扫描等手段,将计算机病毒隐患消除。
3.3新技术的使用
利用大数据的挖掘分析处理,提高入侵检测技术水平,检测监控网络和计算机系统是否被滥用或者入侵的前兆。通过对大数据的数据挖掘和统计分析,形成入侵检测的规则模型,在系统运行过程中,判断系统的动作是否是正常操作,形成主动的监测机制。
3.4使用文件加密和数字签名技术
大数据的背景下,在网络安全中继续采用文件加密技术和数字签名技术,可以有效地提高计算机网络的安全级别。其中文件加密技术是为了防止秘密数据被窃取、被破坏或侦听所采用的主要技术,也为了提高信息系统和数据的安全保密性。数据签名技术的主要目的是对传输中的数据流实行加密。
3.5加强隐私数据的查询权限
在大数据的背景下,通过对海量数据的分析处理,尤其是对计算机用户在各个网站节点遗留的相关联的信息进行数据挖掘,可以得到用户的大量隐私数据,这些隐私数据一旦被恶意使用,会造成极坏的影响,为此大数据技术以及相关的数据处理平台,应限制大数据用户对细节数据的展现,大数据技术的分析查询应该主要集中在统计数据的分析处理上,从而在技术层面上避免大数据技术的滥用。
3.6加强相关的法律法规
随着技术的进步,用户的隐私数据在计算机网络中变得越来越透明,网络安全也就处于更加重要的地位,对于使用计算机网络的各个部门和个人,遵守相关的网络使用规章制度,是实现网络安全的重要环节,同时国家和相关组织应该及时顺应新技术的发展,不断修改完善在大数据背景下计算机网络的法律法规,用法律法规构造出计算机网络安全的最后一道屏障。
4结语
随着大数据、互联网+等计算机新技术和新应用的飞速发展,计算机网络信息的安全问题同时在不断发展变化中,计算机系统以及用户的隐私数据要想得到更好地保护,必须综合采用多种防范策略,同时防范措施也必须跟随新技术的进步而不断完善,不断将大数据等新技术应用于网络安全管理之中,吸取各种防护策略的优点和长处,集众家之精华,逐步建立起符合信息时代潮流的网络信息安全的防护体系。
参考文献:
[1]陈春.基于数据挖掘技术的计算机网络病毒防御分析[J].信息通信,(05).
[2]张传勇.基于大数据时代下的网络安全问题分析[J].网络安全,(24).
[3]闫智,詹静.大数据应用模式及安全风险分析[J].计算机与现代化,2014(08).
[4]徐海军.大数据时代计算机网络安全防范研究[J].信息安全,(02).
[5]苏艳,李田英.计算机网络安全防范措施探讨[J].电脑知识,2015(11).
[6]孙海玲.计算机网络安全隐患及有效维护措施分析[J].信息与电脑(理论版),2012(9).48
篇5:数据立方体计算研究
数据立方体计算研究
OLAP技术是数据仓库中一项重要技术,CUBE计算是OLAP的'核心技术.主要讨论了数据立方体的计算的3个方面,系统地分析和阐述了CUBE计算的概念、策略、方法、性能等,最后展望了该领域的研究方向.
作 者:武晓新 王志蓬 赵宇海 WU Xiao-xin WANG Zhi-peng ZHAO Yu-hai 作者单位:武晓新,WU Xiao-xin(鞍山师范学院,计算中心,辽宁,鞍山,114007)王志蓬,WANG Zhi-peng(东北大学,信息科学与工程学院,辽宁,沈阳,110004)
赵宇海,ZHAO Yu-hai(鞍山师范学院,计算中心,辽宁,鞍山,114007;东北大学,信息科学与工程学院,辽宁,沈阳,110004)
刊 名:鞍山师范学院学报 英文刊名:JOURNAL OF ANSHAN NORMAL UNIVERSITY 年,卷(期): 9(2) 分类号:N37 关键词:OLAP 数据立方 语义计算篇6:大数据时代的大数据管理研究论文
信息技术作为时代不断发展的象征,不管是在我国行业的发展中,还是在人们的日常生活,都起到了重要作用。同时,在信息技术不断发展的过程中,大数据时代的应用范围也在不断的扩大,其来源渠道也非常多,数量也在不断增加。在这种情况下,大数据时代的大数据信息管理就显的尤为重要。由于大数据的数量不断增加,现有的管理形式已经无法满足大数据时代的发展,并且在利用计算机对大数据进行全面分析和处理的过程中,也受到了严重的影响,因此,要想有效的对大数据进行充分利用,就要对大数据管理形式给予高度重视,采取有效的措施,不断加强大数据的管理形式,最终实现有效、便捷、安全等管理性能,这也为对我国信息技术提供了重要的发展方向。
篇7:大数据时代的大数据管理研究论文
数据库管理形式是大数据管理不断发展的重要成果,也是到目前为止最后的一个阶段。在计算机技术不断发展的过程中,计算机内部的容量得到了很大程度的提高,并且大数据的管理和维护成本也相应的有所下降。同时,在大数据管理形式不断发展的过程中,对其系统管理内存不足等现象,进行了全面的提高,有效的实现了资源共享,也在最大程度上保证了大数据的安全、稳定等性能。另外,在大数据时代的大数据库管理的过程中,不在近几年只是固定在某一个计算技术应用体系,而是面向整个管理体系,以此在最大程度上提高了大数据共享的性能,使大数据与大数据形成一个独立的个体,对其大数据进行了全面、有效的、统一的管理,为我国信息技术的发展提供了重要方向。
篇8:大数据时代的大数据管理研究论文
在大数据时代的大数据管理的人员管理形式,不断发展和改革的过程中,计算机的软件和硬件都得到了有效的提高,磁盘、磁鼓等储存软件,得到了全面的普及和发展。同时,在在不断发展的过程中,计算机将大数据的组成形式,叫做大数据文件,并且在大数据文件上就可以直接的取名字,直接的进行查看,这对大数据的管理,无疑不是一个新的发展的起点。在大数据时代的大数据文件管理的过程中,由于大数据长期的保存在外面的,这样在对的大数据处理、分析、查找、删除、修改等操作的过程中,提供了极大程度上的'便利,其对其操作的程序,也具有特点的要求。但是,在文件管理的过程中,由于共享性能较大,数据与数据之间缺乏一定的独立性,对其管理和维护的费用和时间较大,这样往往工作效率提高,不能被广泛的使用。
篇9:大数据时代的大数据管理研究论文
在大数据时代的大数据管理形式不断发展过程中,给企业发展带来冲击非常巨大。因此,企业要根据我国信息技术不断发展的形式,对大数据管理框架进行全面的设计和创新,如图1所示。在大数据的处理的过程中,主要是围绕着数据资产进行管理的,同时对大数据时代的大数据管理制度,进行全面的规划行、设计、创新,这样对其它信息技术管理领域,提供了便利的条件。其实,大数据时代的大数据管理最主要的目的,就是将大数据的价值进行充分的展现。另外,在大数据时代的大数据管理框架不断创新的过程中,有效的实现了大数据共享等性能,不断扩大了大数据时代的大数据管理的内容,对我国现代化信息技术的发展,起到了重要的作用和意义。
2。2 开发与内容的管理形式
在不断提高大数据时代的大数据管理形式的过程中,可以从两个方面进行,一是大数据开发管理,二是内容管理。其中大数据开发管理注重于大数据管理的定义,和管理解决策略,对其大数据的存在价值,进行有效的开发。换句话说,其实也就是在大数据时代的大数据管理的过程中,对其管理形式的开发,对大数据的功能和价值,进行充分的理解。
大数据时代的大数据管理中的内容管理是指:企业对大数据进行不断的获取、使用、存储、维护等工作活动。因此,传统的大数据时代的大数据管理形式,已经无法满足对这个时代发展需求。因此,在时代快速发发展的推动下,要对开发管理和内容管理,进行全面的创新和设计,对需要专门设定的管理形式,要给予高度的重视,可以利用的集合型的保存形式,进行全面的保存。
其实,大数据时代的大数据管理主要是为企业提供重要的发展方向,为企业提供重要的价值信息。大数据时代的大数据管理在数据应用和开发的过程中,起到了重要的衔接作用,也为我国信息技术的发展,打下了坚实的基础。
2。3 对大数据架构进行全面的管理
在大数据时代的大数据管理的过程中,数据框架管理起到了重要的作用,并且与大数据开发的过程中,有很多相似的地方。在传统的大数据时代的大数据管理的过程中,对其数据的开发、处理、保存等形式,都受到了一定程度上的限制。因此,在对大数据时代的大数据架构管理的过程中,对其操作形式,进行了全面的管理创新,避免受到范围的限制。另外,随着大数据不断的增加,大数据构架管理可以根据大数据的用途,质量良好的应用形态。例如:社交网络等形式。
与此同时,在最近几年的发展中,大数据时代的大数据管理形式,也面临着新的挑战基机遇。以此,只有对大数据时代的大数据管理形式,对个人信息、隐私等进行全面的管理,避免个人信息、隐私等发生泄露、不对称等现象的发生,这样不仅仅企业在发展的过程中,提供了最大程度上的安全保障,也为大数据时代的发展,带来了新的发展篇章。
3 结语
综上所述,大数据时代是信息技术时代不断发展的产物,不管对我国经济的发展,还是人们在日常工作、生活的过程中,都起到了重要的作用和意义。因此,本文对大数据时代的大数据管理发展的历程进行了简要的分析,并对大数据时代的大数据管理形式,提出了一些可参考性的建议,只有对大数据时代的大数据管理形式,进行不断的创新,对大数据时代的大数据管理框架,进行不断的构建,也只有这样的才能在最大程度上促进了我国信息技术的发展,也为我国各行各业的发展,提供了重要的发展方向,对我国经济的发展,也起到了推动性的作用。
篇10:大数据时代档案管理信息化研究论文
大数据时代,通过档案信息化工作的持续开展,将让档案信息资源的保管更为到位,同时也能够使档案管理工作的模式有了更多的选择,尤其关键的是,此项工作的推进将让档案信息资源的利用效率以及利用频率得到大幅度的提升。为此,文章将从大数据时代给档案管理信息化建设带来的机遇入手,对大数据时代如何促进档案管理信息化建设进行研究与探讨。
一、大数据时代给档案管理信息化建设带来的机遇
在当前的时代,大数据技术的出现以及广泛应用,让社会的各个领域发生了显著的变化。对于档案管理工作来说,通过对大数据技术的重视和应用,将让传统的档案管理工作得到系统的优化,进而让档案信息资源的利用价值得到显著的提高,具体表现为:(1)借助对大数据技术的引入和应用,能够确保档案管理工作实现高效运行,当网络技术以及各类新型档案管理软件被应用到档案管理工作领域之后,将让以往依赖于人工处理的归档、建档工作实现升级,进而带来全方位的工作效率提高,这样也确保了档案管理工作的效率以及质量。(2)大数据时代推动了传统档案管理工作的精准性,档案管理工作涉及到对海量档案信息资源的保管、应用与开发,人工处理的模式极易导致在这一过程之中产生舛误,而借助大数据技术的应用,将提升工作精度,使得档案信息资源的检索、利用以及开发等工作内容得到了信度层面的保障。(3)大数据时代为档案的保存和传播的带来了革命性的影响。传统的纸质档案的保存寿命不长久,大数据时代实现了信息和载体的分离,利用人类先进的计算机存储系统、芯片、云存储等,可以极大的提高存储的容量,而且,档案的复制极为方便,同一份档案可以进行多次复制存储,防止了档案资源的流失,可以实现永久存储,促进了人类智慧的长久保存于与传播。总之,大数据时代的到来,给档案管理带来了极大的机遇和便利,应积极促进档案管理的信息化建设。
二、大数据时代档案信息化建设的实施
在大数据时代,档案信息化建设工作需要打造信息化档案管理工作理念,创设信息化档案管理数字平台,注重基础设施建设工作,提升档案管理人员素质水平,科学设定岗位责任。
1.打造信息化档案管理工作理念
档案管理机构的负责人不得对大数据时代对档案管理工作的影响熟视无睹,而是应当积极进行管理理念的创新,看到大数据技术对传统档案管理工作的革新意义所在;档案管理工作人员应当意识到大数据时代到来对自身工作模式所带来的一系列改变,进而在日常工作中有意识地提升自身的信息技术手段应用水平,主动去接触和了解大数据技术的内涵,以便能够通过对自身信息技术应用水平的提高,真正为档案管理工作的信息化建设进程贡献出个体的一份力量。
2.创设信息化档案管理数字平台
为了将大数据技术所具备的技术优势真正地应用和体现于档案管理工作领域,这便要求档案管理机构要积极致力于对信息化档案管理数字平台的创设,如此将实现对档案信息资源的网络平台化综合管理,而且亦能够让档案管理工作获得良好的信息化建设氛围。不过在搭建平台过程之中,档案管理机构不能盲目地贪大求全,而是应当立足于自身的工作实际需要以及自身所掌握的`资源,从而以此为根基,循序渐进地实现对平台的搭建和完善。在平台搭建完成之后,应当创设档案信息资源查询链接,如此将让档案信息资源的查找与利用工作更为高效、便捷,也能够让档案信息资源同其它信息资源的类型得到有效地区分。
3.注重基础设施建设工作
为了真正能够实现档案信息资源的信息化建设,这便要求档案管理机构应当注重基础设施的投入,具体应当做到下述几点:第一,要通过调研工作,了解到市场上哪些设备对于档案管理工作是必需的,由此将之加入到自身的硬件采购计划之中,以便能够确保信息化建设工作得到充足的硬件条件保障;第二,档案管理机构应当为工作人员提供信息化水平培训与进修机会,并将之纳入到部门绩效考核范畴之中,以此来促进工作人员能够主动实现对自身信息化应用水平的提高。
4.提升档案管理人员素质水平
大数据时代,档案管理面临着巨大的变革,要想落实信息化建设,必须要不断提升档案管理人员的素质水平。具体而言,首先需要加强外部优秀人才的引进,信息化建设需要的专业的信息技术人才,应当加强这方面人才的引进于培养工作。其次需要加强在岗人员专业技能培训,对老员工加强信息技术培训工作,对新员工加强档案技能培训工作。最后,需要加强对档案从业人员的爱岗敬业意识教育,要鼓励他们调整心态、更新观念,创新档案管理模式,加强自身潜力开发,让档案管理工作更好地服务于单位发展。
5.科学设定岗位责任
考虑到网络技术给社会公众带来生活便利的同时,亦会因系统漏洞以及骇客等问题造成信息资源的破坏。因此,档案管理机构在践行信息化建设工作的同时,必须科学地设定岗位责任,以便让工作人员能够在日常工作中获得明确的工作职责指引,同时,要明确规定日常网络管理安全细则,以便能够让工作人员能够严格按照规范的流程进行操作,避免因工作人员疏忽大意而造成档案信息资源受到破坏。
三、结语
以上,我们对大数据时代档案管理信息化的方式展开了研究。在新的历史发展时期,档案工作人员必须要紧跟时代发展步伐,关注科技创新,积极完成档案管理信息化技术的创新,从而带动档案管理水平的提升,实现档案管理的新突破,为档案管理事业贡献力量。
参考文献:
[1]夏燕玲.档案信息化建设与档案管理的几点思考[J].云南档案,,26(3):29-31.
[2]俞志华,王军宁.数字化时代高校档案管理信息化建设[J].合肥工业大学学报(社会科学版),,21(2):78-81.
[3]李海军.档案管理信息化之理念探讨——以高校档案管理信息化建设为背景[J].北京档案,2007(2):17-19.
[4]赵群.解析档案信息化建设与档案管理的几点思考[J].办公室业务,(23):150-151.
[5]徐海燕.事业单位档案管理信息化建设存在的问题与解决措施[J].文存阅刊,(9).
[6]宋刚.档案管理信息化建设存在的问题和对策研究[J].办公室业务,2018(3).
篇11:大数据时代的国际关系研究论文
大数据时代的国际关系研究论文
当前阶段,大数据已经成为了人们经常谈论的课题,它不仅仅在计算机领域中占领着主导地位,也深入渗透进了各行各业、不同领域,国际关系也随着大数据时代的到来产生了很大变化。尤其近年来一系列的国际僵持事件把国际关系研究中对大数据的研究推上重要位置,大数据也因此成为国际关系研究中的一个必要课题。
一、大数据时代的诞生与内含
(一)大数据时代的诞生
大数据时代的诞生有着特殊的时代环境和技术背景。
從时代环境方面来看,在大数据诞生和发展的这些年间,社会环境在各方面都是处在高速发展中的,说是日新月异也不为过,在这种环境下做出的每一个决定都对自身有着至关重要的影响,因此,做出决定前就要广泛的参考各种各样的信息数据来保证决定的准确性,对数据的依赖随之加深。
从技术背景方面来看,早在上世纪初,电话、电报等新型信息流通方式的出现就大规模的改变了人们的生活方式,促生出了大量的数据,随着时间的更迭,移动信息设备广泛普及,数据存储变得日常和廉价,云计算技术也得到了发展,大数据时代来临的各种必要技术条件都已备齐,大数据时代也就应势到来了。
(二)大数据的内含
大数据的具体内含至今并没有统一的规定,但是大数据首先是一种数据,一种独特的信息资产,它不仅仅是以枯燥的数字形态出现,还包括着文字、图片、视频等多种形态的信息。“大”是其区别于其他信息的重要特点,这个“大”有着多重含义,首先,也是最浅显的一层含义,就是其数据储存量大、数据种类多、数据计算量也大;其次,从深层含义上来理解,大数据所代表的如此庞大的数据信息并不是杂乱无章的,而是相互关联存在的,数据之间有着独特的“关系网”,利用这些密切的关系网,我们可以从数据中分析出想要得到的信息,这也就是所说的大数据处理,大数据处理是大数据时代一种重要的能力,也是发掘数据背后价值的至关重要的一个步骤。
二、大数据对于国际关系研究的意义
(一)国家数据主权方面
国际关系多种多样,总归来说离不开竞争与合作,国家的实力是国际竞争与合作所要考虑重要条件。在如今大数据时代背景下,国家的竞争力往往与这个国家拥有的数据量及数据的来源途径的多少和处理数据的能力的大小密切相关,因此,国家的数据主权必须要予以重视和维护。事实上,在如今的大国竞争中,大数据的博弈已经白热化。
我们可以从三个方面来理解大数据对于国家数据主权的意义。首先,大数据承载着信息,是数据主权的基础,利用大数据可以分析出一个国家和地区最新的经济、军事、社会动态,是维护国家主权必不可少的功课;其次,大数据作为一种信息权利在主权国家的国际关系维护和发展中发挥着重要作用。主权国家的社会权利的重要来源之一就是承载着信息的各种数据,大数据发展实力强劲的国家可以利用各种信息平台将自国的信息数据扩散出去,增强本国的影响力,从而在国际关系中保有更大的权利;最后,只有做好了大数据控制才能合法维护国家的主权,控制才能了解,了解才有权威,有权威才能进行引导,大数据控制是了解国内外各种信息的不二渠道,了解是维持权威性的重要手段,因此,大数据是国家维护其主权合法性的重要支柱。
(二)国家安全维护方面
维护国家安全是社会和每个国民的责任,在大数据时代,利用数据信息来维护国家安全是一种强有力的手段,新时期,利用大数据对国家安全维护进行创新发展必将使国家的综合实力上升到一个新高度。
首先,对于本国的数据信息进行加密处理能够大幅度提升我国数据的安全程度,利用相关技术对大数据进行处理可以找到隐藏在信息网中不利于国家安全的部分并予以剔除,达到安全预警的效果,除此之外,还可以利用数据挖掘的方式获取其他国家的相关数据,对他国的社会、政治、经济等情况进行了解,知己知彼才能百战不殆;
其次,利用大数据还可以对未来国内外各种领域的走势进行预测,通过现有的以及可获得的数据信息来推敲出本国或者他国未来一段时间内的社会动态、军事变化、科技发展情况、经济走势等情况,就可以为国家争取到更多的时间来安排应对措施,为国家的安全增添了新的保障。
(三)经济实力提升方面
在提升国家经济实力方面,大数据的优势主要体现在它的商业价值方面。在当今大数据时代背景下,商业交易已经不仅仅局限于实体商品与财产的交换,更多的是有关的数据信息等虚拟商品的交易,这种交易使数据的经济效益增加,商业价值变大。在过去,已经用过的企业的相关产业信息成为了废弃物品,不仅保存不便,还占用空间,十分浪费,但是在大数据新时期,这些数据信息可以重新成为商品,直接变现,为企业的发展添砖加瓦。
除此之外,大数据对经济的贡献还体现在催生除新的商业模式和促进社会经济的发展方面,通过大数据处理和云计算技术,企业可以快速找到降低成本、增加利润的方法,用一种新的商业模式使自身得到更好的发展。社会经济也会因大数据而发生较大改变,所幸,它会以一种全新的方式来推动社会经济的发展。
三、大数据时代国际关系面临的挑战
(一)国际关系平等难以维持
在国际关系的不断改变中,人们始终期盼的是维持平等的关系,但是,大数据时代在一切得到发展的同时却催生出更多的“不平等”。数据鸿沟的出现使得这些不平等的情况明朗化,对于数字鸿沟,我们可以从三个方面来看待它。首先,在数据获得方面,数据并不是凭空产生的,而是通过各种各样的人类活动的整合分析得出的,因此,并不是所有主体都能够得到这些数据,在国际中,比较强的国家并加以利用,强者更强,差距更大;其次,在数据的分析利用方面,数据处理是一种能力,不是每个人都有这种能力的,有些人得到数据可以准确快速地对其进行分析处理,利用该数据获得发展,而没有能力处理数据的人即使得到了数据也无法利用,之能够白白浪费;最后,数字鸿沟还体现在学习机会的获得方面,对于强国来说,公民有着各种各样的机会学习大数据处理的相关知识,然而对于大数据技术本来就弱的国家来说,却难以得到比较好的学习机会。总而言之,大数据时代下,难以跨越的数据鸿沟严重阻碍了国际关系的平等发展。
(二)新型数据霸权的出现
說道霸权主义大家都不陌生,我们一直致力于建设民主的国际关系,但是霸权主义一直阻碍着国际关系民主性的发展,在大数据发展的新时期,霸权主义也不仅仅是我们以往了解的形式,而是更多的以数据霸权的.形式出现。二战以来,美国与西欧等发达国家的科技一直走在世界前沿,且美国作为世界龙头一直推行着霸权主义,阻碍他国的发展,大数据处理也是美国首先推行的,之后,美国开始大力发展大数据事业,除强硬的技术支持外,还通过政策手段把大数据的发展上升到了国家战略的高度,试图迅速在大数据技术方面扩大与他国差距,占据世界主导地位。美国的表现就是典型的数据霸权主义,上文中的数据鸿沟是因为客观原因拉大了强者与弱者的差距,那么数据霸权就是主观意图的拉大差距,来维护自己的利益,破坏国际关系的民主性。
(三)国际合作的安全威胁增大
竞争与合作是国际关系的主要模式,上文提到的两种挑战主要是出现在国际竞争中的,但实际上大数据时代,国际合作也面临着诸多挑战,安全威胁的增大是最常见的。对于大数据来说,数据的量越大,涉及到范围越广,数据分析处理的水平越高,那么这些数据能够发挥出的价值就越大,因此,在大数据方面,两个或多个国家进行合作能将大数据带来的效益发挥到最大,也能在一定程度上抵御数据鸿沟和数据霸权。然而,由于不同国家的政策不同且合作中的国家都想成为最大的利益获得者,使得国际合作的安全威胁增大。
在大数据方面进行国际合作就离不开对数据的存储和运输,在数据存储和运输过程中都存在着安全威胁,更重要的是,不同国家对于数据管理的法律和观念不同,数据在合作国家间传输时,就会受到不同的法律管理,风险是非常大的。
四、我国如何应对大数据时代国际关系变化
(一)政府给予重视、出台相关政策
随着大数据时代的诞生,我国已经意识到了大数据给国际关系带来的变化,在未来,政府要更加重视大数据的发展,利用各种政策条件推动我国大数据发展进程。目前,我国政府还没有出台关于发展大数据的相关政策,但是已经在部分规划中对加快发展信息处理技术做出了明确规定,随着大数据发展的愈演愈烈,我国一定要抓住这个机遇,政府要大力培养人才,利用政策制定出最适宜的发展战略,站在巨人的肩膀上加以创新,走向大数据发展的前沿。
(二)建设数据平台、重视数据的整合与利用
随着大数据发展的推进,数据的总量会越来越大,数据的分类处理也会越来越复杂,为了避免不必要的麻烦,更好的发展大数据,应对大数据带来的国际关系的调整,我国应该建设数据平台,对数据进行整合,使数据利用更加方便。为了迎接国际关系中的大数据变革,我们要努力超越其他国家,走在大数据发展前列,在全球大力发展大数据技术的背景下,想要超越他国,建设平台,整合资源,有序发展是不二法门。
(三)结合社会实际情况应用大数据
不同的国家有着不同的社会发展状态,在应用大数据技术谋求发展和精进大数据技术时,我们不能脱离社会实际去把发展模式过度理想化,结合自身社会的实际情况来发展,稳扎稳打,才能发挥出大数据的实际效果。国际关系是纷繁复杂的利用大数据处理国际关系时,对不同的国家、不同的国际关系、不同的涉及领域,要结合实际情况灵活运用大数据,切忌千篇 一律。
五、结语
在全新的大数据时代,国际关系风起云涌,产生着新的变化,大数据在特殊的时代环境和技术背景下诞生,有着其独特的内含,对国际关系也有着重要的意义,为了维护我国的数据主权、国家安全,提升我国经济实力,解决大数据时代面临的难以维持国际关系平等、数据霸权主义出现、国际合作安全受到威胁等挑战,我国要从利用政策、建设平台、结合实际来大力发展大数据。
【参考文献】
[1]试论科技进步对当代国际关系的影响[J]. 王逸舟.欧洲. 1994(01)
[2]中国互联网“时势造英雄”[J]. 田溯宁.互联网天地. (08)
[3]大数据时代的数据主权和国家数据战略[J]. 沈国麟.南京社会科学. 2014(06)
篇12:大数据时代管理会计研究论文
大数据时代管理会计研究论文
一、大数据时代
1.大数据。大数据原来是计算机领域处理信息的一种方法。为了得到更精确的结果,大数据采纳了很多看起来毫无关联的信息,比如天气、温度等,构成了庞大繁杂的数据库。这些信息平均价值较低,利用新的处理模式删繁就简,实现高效准确的目的,于是大数据便发展成为一种新的信息处理模式,它包括海量的、高增长率的和多样化的信息资产,且具有更强的决策力、洞察发现力和流程优化能力。大数据时代最大的转变就是关注相关关系而不是因果关系,即只需要结果,而不需要理清其中的联系,这颠覆了人们的思维习惯,对收集信息、管理信息和预测信息等方面提出了新的挑战。
2.云计算。云计算是大数据的主要运算方法之一,也是支撑大数据的平台,它可以挖掘出纷繁复杂、价值低廉的数据群下的真实价值。云计算由不同研究机构共同开发,普遍被认为是一个由虚拟资源构成的资源池,通过互联网向外按需提供资源,其主要特点是多用户共享、大数据处理与大数据储存。云计算是在原有的并行计算和分布式计算等多种技术的基础上进化而来,成熟度高,可靠性强,具备廉价和高效的优点。
二、大数据时代的管理会计
管理会计的任务是将财务会计所记录的总账和报表等资料进行加工处理,使高层管理人员能够对日常活动进行规划、控制和决策。管理会计是对未来的规划,侧重于对未来的预测,相对于财务会计来说更依赖对数据、尤其是大数据的处理分析。管理会计大致可分为对经营预测、决策和长期投资决策的预期效果综合分析的“决策会计”和为了提高预期决策效率而进行的预算管理、责任会计、成本控制和绩效评价的“执行会计”。大数据时代大大扩展了管理会计的各项职能。
1.经营预测。传统的经营预测存在偏差的最大原因是信息不对称,很多信息没有被利用或量化。大数据时代,可利用计算机、互联网和云计算将巨量数据的信息载体处理成为简单准确的所需信息呈现在面前,只要挖掘数据,即可得出预测结果。互联网时代,人们习惯于在网上搜寻自己需求的信息,这就在网上留下了文本、音频、视频等浏览记录。这些记录之间缺乏逻辑与结构的联系,所以被称为“非结构性数据”。管理会计可通过云计算处理这些“非结构性数据”,并利用计算结果进行经营预测。
2.全面预算管理。预算管理既将企业制定的经营目标以货币形式表现出来,也将企业整体目标拆分开来落实到每个部门和员工。大数据时代,预算人员面对复杂的巨量数据和动态实时的预算要求,需要将预算管理系统与大数据结合。
2.1大数据时代下的预算是动态、实时的。在编写预算时,所有预算项目会经审批后储存进云端,在执行预算时,云会计下的系统可以利用云端上新增的数据同步计算出实际与预算的差异,并可调整预算。
2.2有力的数据分析软件使预算系统更加及时。应用多维数据分析技术,大数据下的预算系统可以很好的支持巨量数据的及时分析。
2.3预算的编写更加智能。大数据下的预算系统,可以先由IT部门制作标准模型和参数表,将它们与预算模块中的具体数据建立动态联系,再由预算管理人员通过自定义计算功能实现预算模块各个数据之间的联系,并且预算人员可以自己编写、维护和更新业务规则,使预算要求更加明确有效的反映到预算模块中。
3.绩效评价。绩效评价系统的关键绩效指标是衡量员工工作的量化指标,其设定应遵循具体、可度量、可实现、现实性和时限性五个原则,实际设计时容易出现偏差。应用大数据系统可以解决其中一些问题。
3.1可度量原则可能导致的`关键指标遗漏。可度量原则是指绩效指标应是数量化或行为化的,过分追求量化指标往往导致关键绩效指标遗漏。应用大数据系统,设计者可以在云端获得形式多样的间接反映绩效的数据,量化充分即可避免关键指标的遗漏。
3.2现实性原则可能导致的指标偏离。现实性原则是指绩效指标的考察是现实可行的,而在操作时,设计者可能常为节省考核费用而忽略考察成本较高的指标,导致考核结果偏离战略目标。大数据系统下,大量数据的收集唾手可得,很多指标的测定变得不再复杂昂贵,既可以通过委托专门的研究中心计算所需指标,也可以租用经济高效的虚拟服务器自己计算指标,成本低,更加符合现实性原则。
3.3时限原则可能导致的考核过于注重短期利益。时限原则是指指标的完成应在特定期限内,不能遥遥无期,这导致员工过于注重短期利益,对企业长期经营不利。大数据是站在巨量数据之上进行分析的,数据基数很大,考量因素很多,有更大的把握对复杂和长远的投资进行预测,在一定程度上避免短视行为。
三、挑战
大数据和云计算尚未引起普遍重视。麦肯锡公司调查显示,只有49%的高管关注大数据的发展,很多中小企业忽视对大数据的关注。这无疑会影响大数据的推广应用,落后企业也会因此增加机会成本与时间成本。大数据的信息真实性越来越被重视。大数据的引进,对外部信息和内部信息真实性均提出了更高的标准,这对目前还未做到公开透明的企业来说是个挑战。大数据系统的处理技术尚不令人满意。例如,处理非结构化数据时,在转化成结构化数据的途中可能会产生意思曲解和信息遗漏;目前处理巨量数据较为成熟的Hadoop体系的应用门槛较高,不利于大数据系统的推广;网络容量有限,储存成本较高。信息和网络安全问题的挑战日益严重。一方面是企业取得的信息是否合法,是否尊重了客户的隐私权。另一方面是企业能否保护好客户的资料,不被窃取。网络水平的快速发展与网络高手的层出不穷,信息和网络安全愈发重要。熟练掌握大数据处理技术的人才不足。企业需要能够熟练应用大数据工具的管理会计人才,只有通过他们专业解读和提炼大数据系统处理得到的最终信息,管理层才能得到有利于经营管理的信息,才能做出合理可行的决策。目前,这类人才严重缺少。
四、建议
1.大力宣传和推广大数据系统,普及大数据和云计算知识,推动大数据时代的健康发展。
2.国家应着重提升全民的计算机素质,鼓励参与国家大型分布式计算项目,发展大数据计算技术。分布式计算项目是将一个超大型计算项目分解成可在单个电脑上计算的小块儿,每一个拥有电脑的人只需下载正规软件,即可参与其中。
3.高度重视云安全,不仅要建立杀毒系统保护信息免受侵害,还要在信息共享时注意混合云中数据的所有权问题,推广使用分裂密钥加密等技术对机密数据进行保护。
4.加大培养管理会计人才的力度,鼓励使用大数据工具。逐步培养可以综合掌握数学、统计学、计算机等多方面知识的复合型人才,提高管理会计的数据分析与挖掘能力,适应大数据时代的变化。
篇13:云计算环境下的数据挖掘研究论文
摘要:文章首先对云计算的特点进行简要分析, 在此基础上对云计算环境下的数据挖掘进行研究。期望通过本文的论述能够对数据挖掘效率的提高有所帮助。
关键词:云计算; 数据挖掘; 服务;
1 云计算的特点分析
1.1 超大规模
国内外大型互联网企业纷纷建立起云平台, 开启一大批服务器, 如Google公司、亚马逊公司、微软公司等公司都建立了云平台, 大幅度提升了网络平台数据运算效率、存储效率和交互效率, 使云计算具备超大规模特点。
1.2 虚拟化
云平台是向网络平台提供资源的平台, 网络用户可借助云计算技术在任意位置获取应用服务, 这种应用服务不是固定实体, 而是虚拟化的。在云平台上, 需要运行虚拟化的搜索、储存、上传下载操作, 网络用户无需了解资源的获取渠道, 只要通过终端设备就可以获取网络服务信息, 实现数据快速互传。
1.3 可靠性高
云平台可提高数据互传、存储的可靠性, 其采用计算节点同构可互传、数据多副本容错等措施增强服务的可靠性, 即使在数据传输或存储丢失的情况下, 也可以找回渠道恢复数据, 与计算机自带硬盘相比, 网络云计算平台的可靠性更高。
1.4 通用性强
云计算技术的针对性不强, 对其他设备没有过高的要求, 只需在网络平台上建设平台, 配备足够的服务器, 就可以实现云计算技术的应用。在同一云平台的支撑下, 可满足不同设备的运行要求。
1.5 扩展性好
云平台既可以满足不同类型企业的需求, 也可以满足个人用户需求, 其本身带有动态伸缩性。用户可根据自身需求对空间、功能进行定制, 满足个性化的应用要求, 使云平台具备良好的扩展性。
1.6 按需服务
云平台可提供充足的空间, 便于用户在云平台上存储、调用、传输数据资源。为了避免用户过度占用云平台资源, 云平台一般设置了计费标准, 要求用户按需购入占用量, 促使云平台成为可交易的资源。
篇14:云计算环境下的数据挖掘研究论文
2.1 数据挖掘服务层次结构
2.1.1 基础设施层
该层主要为整个数据挖掘服务提供存储和计算资源, 在基础设施层运行中, 通过接口可连接网络资源与物理资源, 实现不同类型资源的高度共享。该层还提供数据挖掘服务的虚拟化接口, 满足资源对接要求, 为资源存储、共享提供技术支撑。
2.1.2 虚拟化层
在云计算技术上建立数据挖掘服务模式, 利用虚拟化层快速处理大量资源。在结构体系中, 虚拟化层根据云计算技术虚拟化汇聚分布式资源, 在封装处理虚拟资源的基础上, 分类和管理不同资源, 从而提高挖掘服务执行效率。在对资源进行封装后, 通过开发和利用平台层实现资源共享。虚拟化技术是资源封装的重要技术, 既可以提高资源运行效率, 也可以实现对资源的合理调动, 提高服务模式的便捷性。
2.1.3平台层
在数据挖掘服务模式中,平台层作为数据核心服务部分, 负责管理不同数据及其功能, 实现不同服务目录的高效管理。用户可根据服务内容和使用需求组合不同服务目录, 发挥数据功能性管理作用。在平台层中, 可有效调度计算资源, 提高计算资源的运行效率, 这使得平台层在数据挖掘服务中占据着不可替代的地位。
2.1.4 应用层
该层由终端层和接口层组成, 其中接口层为用户提供服务等级, 满足各种服务请求, 终端层将服务请求显示出来, 并且可根据请求的服务内容作出评价。在终端层的内容访问中, 根据用户访问请求、访问内容对访问接入作出不同选择, 再结合用户访问情况, 借助终端设备实现数据挖掘服务。
2.2 体系的建模流程
2.2.1 对服务进行自定义
在数据挖掘服务运行时, 可通过自定义完成相关数据的搜集, 从而快速找到与之相关的资源。由此可以使数据挖掘人员开展工作时, 对候选加以充分利用, 进而形成服务目录, 为用户使用提供方便。
2.2.2 组件构建
在对数据挖掘服务组件进行构建时, 应当确保调用服务接口的统一性, 同时在构建其它服务组件时, 需要绑定服务和数据, 从而构建起数量更多的组件, 为用户提供所需的数据挖掘服务模式。
2.3 数据挖掘体系的服务过程
2.3.1 分析阶段
该阶段主要负责分析数据挖掘内容, 确定需要挖掘的`数据, 根据对应的数据服务内容设置相应的服务模式, 并对服务模式作出定义。为保证数据挖掘与实际需求相符, 在数据挖掘时需先进行数据分析, 深入到外部环境中调查市场发展趋势和市场需求情况, 以市场为导向开发大数据挖掘模式, 使云计算下的数据挖掘服务更具备高效性、实用性和针对性。
2.3.2 设计阶段
该阶段要根据前期市场调查情况对数据挖掘服务方案进行设计, 最终确定符合用户使用习惯的数据处理模式。数据挖掘服务模式设计不仅关系到用户体验的满意程度, 而且还影响着数据挖掘服务运行效率。在某些特定的情况下, 甚至可能对供应商与消费者带来利益冲突, 阻碍数据挖掘服务在信息化环境中的有效应用, 为了解决上述问题, 必须以市场调查为前提开展数据挖掘服务模式设计, 避免不必要的矛盾。
2.3.3 开发阶段
在该阶段, 一套相对完整的数据挖掘服务体系会随着设计得以呈现, 各种服务内容与方法在该阶段中得到合理应用。体系开发时, 应对各项功能进行定义, 并将所有的功能整合到一起, 以此来实现多种不同的服务目标, 确保数据挖掘服务模式的高效运行。对体系进行开发的过程中, 可基于服务接口的实现, 对相关的功能进行有效地协调, 从而使开发出来的功能更符合用户的使用需要, 由此可使数据挖掘服务的价值得以充分体现, 有利于推动数据挖掘服务市场的持续、稳定发展。
3 结论
综上所述, 云计算以其自身所具备的诸多特点, 在诸多领域中得到越来越广泛的应用。本文在简要阐述云计算特点的基础上, 对云计算环境下的数据挖掘进行分析研究, 提出数据挖掘服务模式的构建方法, 以期能够对数据挖掘效率的进一步提升有所帮助。
参考文献
[1]孙亮.数据挖掘服务模式应用云计算的优化策略探究[J].黑河学院学报, (01) :23-25.
[2]王勃, 徐静.基于云计算的Web数据挖掘Hadoop仿真平台研究[J].电子设计工程, 2018 (01) :43-44.
[3]包科, 蔡明.高速接入网云计算平台的大数据挖掘算法研究[J].机床与液压, (12) :143-144.
[4]冯丽慧.云计算和挖掘服务融合下的大数据挖掘体系架构设计及应用[J].电脑编程技巧与维护, 2017 (12) :132-133.
篇15:分析论文:云计算环境下大数据
分析论文:云计算环境下大数据
1大数据处理流程
基本的大数据的处理流程可以分成数据采集、数据处理与集成、数据分析和数据解释4个阶段。首先获取数据源的数据,因为在数据源端的数据包含各种各样的结构,需要使用某种方法将其进行预处理,使数据成为某种可以用一种算法分析的统一数据格式,接着需要找到这种数据分析的算法,将预处理过的数据进行算法特定的分析,并将分析的结果用可视化等手段呈现至用户端。
1.1数据采集
大数据的采集是整个流程的基础,随着互联网技术和应用的发展以及各种终端设备的普及,使得数据的生产者范围越来越大,数据的产量也越来越多,数据之间的关联也越来越复杂,这也是大数据中“大”的体现,所以需要提高数据采集速度和精度要求。
1.2数据处理与集成
数据的处理与集成主要是对前一步采集到的大量数据进行适当的预处理,包括格式化、去噪以及进一步集成存储。因为数据采集步骤采集到的数据各种各样,其数据结构也并不统一,不利于之后的数据分析,而且,一些数据属于无效数据,需要去除,否则会影响数据分析的精度和可靠性,所以,需要将数据统一格式并且去除无效数据。通常会设计一些过滤器来完成这一任务。
1.3数据分析
在完成了数据的采集和处理后,需要对数据进行分析,因为在进行数据分析后才能体现所有大数据的`重要价值。数据分析的对象是上一步数据的处理与集成后的统一格式数据,需要根据所需数据的应用需求和价值体现方向对这些原始样本数据进一步地处理和分析。现有的数据分析通常指采用数据仓库和数据挖掘工具对集中存储的数据进行分析,数据分析服务与传统数据分析的差别在于其面向的对象不是数据,而是数据服务。
1.4数据解释
数据解释是对大数据分析结果的解释与展现,在数据处理流程中,数据结果的解释步骤是大数据分析的用户直接面对成果的步骤,传统的数据显示方式是用文本形式体现的,但是,随着数据量的加大,其分析结果也更复杂,传统的数据显示方法已经不足以满足数据分析结果输出的需求,因此,数据分析企业会引入“数据可视化技术”作为数据解释方式。通过可视化结果分析,可以形象地向用户展示数据分析结果。
2云计算与大数据分析的关系
云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源,是一种按使用量付费的模式。这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。目前,国内外已经有不少成熟的云计算的应用服务。数据分析是整个大数据处理流程里最核心的部分。数据分析是以数据的价值分析为目的的活动,而基于大数据的数据分析通常表现为对已获取的海量数据的分析,其数据来源可能是企业数据也可能是企业数据与互联网数据的融合。从目前的趋势来看,云计算是大数据的IT基础,是大数据分析的支撑平台,不断增长的数据量需要性能更高的数据分析平台承载。所以,云计算技术的不断发展可以为大数据分析提供更为灵活、迅速的部署方案,使得大数据分析的结果更加精确。另一方面,云计算的出现为大数据分析提供了扩展性更强,使用成本更低的存储资源和计算资源,使得中小企业也可以通过云计算来实现属于自己的大数据分析产品。大数据技术本身也是云计算技术的一种延伸。大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术,包括海量分布式文件系统、并行计算框架、数据库、实时流数据处理以及智能分析技术,如模式识别、自然语言理解、应用知识库等等。但是,大数据分析要走向云计算还要赖于数据通信带宽的提高和云资源的建设,需要确保原始数据能迁移到云环境以及资源池可以随需弹性扩展。
3基于云计算环境的Hadoop
为了给大数据处理分析提供一个性能更高、可靠性更好的平台,研究者基于MapReduce开发了一个基于云计算环境的开源平台Hadoop。Hadoop是一个以MapReduce算法为分布式计算框架,包括分布式文件系统(HDFS)、分布式数据库(Hbase、Cassandra)等功能模块在内的完整生态系统,已经成为当前最流行的大数据处理平台,并被广泛认可和开发应用。基于Hadoop,用户可编写处理海量数据的分布式并行程序,并将其运行于由成百上千个节点组成的大规模计算机集群上。
4实例分析
本节以电信运营商为例,说明在云计算环境中基于Hadoop的大数据分析给大数据用户带来的价值。当前传统语音和短信业务量下滑,智能终端快速增长,移动互联网业务发展迅速,大数据分析可以为运营商带来新的机会,帮助运营商更好地转型。本文数据分析样本来自于某运营商的个人语音和数据业务清单,通过Hadoop2.6.0在Ubuntu12.04系统中模拟了一个大数据分析平台来处理获得的样本。希望通过对样本数据的分析与挖掘,掌握样本本身的一些信息。以上分析只是一些很基本的简单分析,实际上样本数据中所蕴含的价值要远远大于本文体现的。以上举例意在说明基于云计算的大数据分析可以在数据分析上体现出良好的性能,为企业带来更丰富更有效率的信息提取、分类,并从中获益。
5结束语
基于云计算的大数据分析已经成为解决大数据问题的主要手段,云计算环境中的大数据分析平台部署需要综合考虑硬件、网络、软件等各方面的集成,使大数据的海量信息积累体现价值,显示云计算的性能优势,而没有云计算技术的支撑也不能进行高效和准确的大数据处理分析。最后本文通过一个例子来分析了基于云计算的大数据分析给企业带来的价值,由此可见,大数据需要云计算技术的深入挖掘,同时也促进了云计算技术的不断发展。












