- · 《计算技术与自动化》栏[08/03]
- · 《计算技术与自动化》刊[08/03]
- · 《计算技术与自动化》征[08/03]
- · 《计算技术与自动化》投[08/03]
- · 《计算技术与自动化》数[08/03]
基于云计算的大数据网络信息检索技术及扩展(2)
作者:网站采编关键词:
摘要:3.1 系统架构 推荐计算子系统。该系统由3部分组成:(1)数据预处理:对异构的数据进行转换、加载。数据挖掘:充分利用聚类、关联规则、分类、聚合
3.1 系统架构
推荐计算子系统。该系统由3部分组成:(1)数据预处理:对异构的数据进行转换、加载。数据挖掘:充分利用聚类、关联规则、分类、聚合算法进行分别计算。推荐模块:运用各类算法,进行精准计算,得出推荐结果。其中各类算法包括基于项目、基于用户、基于模型等的推荐算法。这些算法都有各自的优缺点,为了更好的提供给用户的信息,可以将两种互补的算法相结合,得到更加精确的结果。(2)业务应用子系统。该子系统主要是为系统扩展而服务,根据业务需求变化转变系统功能,并为系统需求制定合理的推荐规则。(3)基础云计算平台:运用分布式计算在不同节点上进行大量计算。(姜少鑫,探讨基于云计算技术的个性化推荐系统:中小企业管理与科技(中旬刊),2016)
3.2 操作流程
推荐系统的操作流程是根据MapReduce的编程模型,其将大规模的数据集并行运算。核心功能是将大数据计算任务分成许多小任务,将这些小任务分配给大量计算节点,并行处理,将结果综合,得到最后计算结果。
4.结语
综上所述,基于云计算的大数据网络信息检索技术仍然有需要改进优化的地方,随着大数据时代的到来,还可以将人工智能的技术运用到网络信息检索中,使得更加智能的完成检索任务。信息检索技术在之后的发展中要不断深入研究、优化创新,以获得更加智能、多元化的检索结果。
在信息和网络技术迅速发展的推动下,人们的感知、计算、仿真、模拟、传播等活动产生了大量的数据,海量数据的产生刺激了云计算技术的蓬勃发展。云计算对大数据信息的正确处理,获得有利的需求信息会对当今社会产生巨大的影响。为此云计算对海量数据的收集与检索成为人们致力研究的问题。本文阐述了海量数据的存储,web页面的搜集与检索以及对信息检索技术研究之上的个性化推荐系统。云计算是分布计算、并行计算、和网格计算的发展,而云是一个包含大量可用虚拟资源的资源池。随着DT时代的到来,云计算技术作为新的技术趋势快速发展,从根本上改变了当前人们的工作方式。处在云计算快速发展的时代,必然会刺激数据的大量产生,使得解决信息收集、检索问题成为必然之需。1.大数据常用存储方式随着信息产业的蓬勃发展,云计算已成为一种新的技术趋势不断发展,云计算提供的服务从根本上改变了人们的生活。云计算的产生促进了大数据的发展。大数据通常分为两种即结构化数据:主要以表的形式存储;非结构化数据:主要以文件的方式存储。云计算对海量数据高效的访问存储需求、对数据库高可用性和高可扩展性的需求都让传统的关系型数据库显得力不从心,使非关系型数据库得到发展。超过一半以上的大数据采用非关系型数据库,其主要采用共享文件系统。共享文件系统的架构:服务器面对的是一个集群文件系统,而非底层的存储设备。集群文件系统统一管理底层的物理存储空间,集成一个单一命名的文件系统。后端存储采用DAS结构,把存储服务器与各自的操作系统直连。所谓DAS是服务器与存储设备通过直连的方式相互连接。还有一种共享存储架构-SAN共享集群NAS架构,其核心与共享文件系统类似,不同之处在存储子系统上,其架构的存储子系统由SAN和直连DAS组成,以SAN集群文件系统或文件系统的方式为NAS集群提供访问接口,NAS集群通过光纤连接SAN并访问其存储设备。所谓SAN是服务器与存储设备通过IP或FC网络相互连接,存储设备是由大量的磁盘聚集成的一个磁盘集,服务器通过访问此磁盘集,从而获得底层的数据资孕畔⑹占图焖鞔笫菔谴笮透丛拥氖菁绱撕A康氖荼旧砗苣阎苯邮褂茫挥型ü淼氖莶拍艹晌没枨笫荨6萍扑闶且恢志哂蟹浅G看蟮募扑隳芰Φ募际酰梢酝ü扑闶购A渴莩晌没枨笫荨;谠萍扑闶迪执笫菪畔⒓焖鞴讨饕治呈章己图焖?网页收录在信息检索过程中,存储服务器会对其内的数据进行分析和排序,根据相关性对其排序,相关度高的排在前面。同时对上述存储服务器展开分布式的检索,最后将检索结果存储在Index Repository,网页则收录于搜索引擎中的索引之中。当用户发出搜索命令时,实际上是对Index Repository进行信息搜索,Web页面内容根据Page Rank算法加以运算得出倒序索引表,存储于索引存储器中。(刘月,探究云计算下大数据的信息检索技术应用:数字技术与应用,2015)其中将页面标题和链接数据当作索引来进行存储,便于广度优先的遍历。网页内容则保存于另外的索引内,便于深度优先的遍历。(吴谋硕,基于云计算的Web信息收集与检索过程分析:信息与电脑(理论版),2016)2.2 基于客户-服务器模式的检索搜索引擎的用户界面很简单只需给用户提供一个输入信息文本框,在服务器端存放的一个数据库,里面存放有大量的web页面。搜索引擎的核心是,将用户输入的信息作为关键字字符串在后台的数据库中查找相匹配的web页面,再将查询的结果组成一个列表,形成新的HTML页面呈现给用户。信息检索过程中一般都放在逻辑事务处理层进行。3.基于云计算个性推荐系统在信息爆炸的时代,如何获得所需求有价值的信息,是当今人们致力研究的问题。个性化推荐系统可以帮助人们在冗余的信息中找到自己所需信息的重要手段,该系统可以快捷、多元的满足用户的需求,提高信息的利用率。信息检索技术能够提供给用户信息,搜索引擎是信息检索的常用方法,但此技术无法智能、多样化的提供用户兴趣信息,所以就产生了基于云计算的个性化推荐系统。个性化推荐系统是通过搜集海量数据并利用数据清洗、挖掘技术,通过云计算平台构建的一种高级智能化平台,其结合用户的购买反馈情况及兴趣爱好来推荐相应的信息或商品,来满足客 系统架构推荐计算子系统。该系统由3部分组成:(1)数据预处理:对异构的数据进行转换、加载。数据挖掘:充分利用聚类、关联规则、分类、聚合算法进行分别计算。推荐模块:运用各类算法,进行精准计算,得出推荐结果。其中各类算法包括基于项目、基于用户、基于模型等的推荐算法。这些算法都有各自的优缺点,为了更好的提供给用户的信息,可以将两种互补的算法相结合,得到更加精确的结果。(2)业务应用子系统。该子系统主要是为系统扩展而服务,根据业务需求变化转变系统功能,并为系统需求制定合理的推荐规则。(3)基础云计算平台:运用分布式计算在不同节点上进行大量计算。(姜少鑫,探讨基于云计算技术的个性化推荐系统:中小企业管理与科技(中旬刊),2016)3.2 操作流程推荐系统的操作流程是根据MapReduce的编程模型,其将大规模的数据集并行运算。核心功能是将大数据计算任务分成许多小任务,将这些小任务分配给大量计算节点,并行处理,将结果综合,得到最后计算结果。4.结语综上所述,基于云计算的大数据网络信息检索技术仍然有需要改进优化的地方,随着大数据时代的到来,还可以将人工智能的技术运用到网络信息检索中,使得更加智能的完成检索任务。信息检索技术在之后的发展中要不断深入研究、优化创新,以获得更加智能、多元化的检索结果。
文章来源:《计算技术与自动化》 网址: http://www.jsjsyzdhzz.cn/qikandaodu/2020/0925/473.html