标签归档:分散式数据处理

瑞驰推出面向广域网的分散式存储

  ESG对企业的调查报告指出:“受访企业中有31%的企业表示,目前最大的难题是如何确保机密数据的安全性,还有31%的企业则表示改善备份和恢复进程的需求是企业面临的首要难题。41%的受访企业表示,企业目前关键的存储标准是服务与支持。”

  随着组织的日益壮大和移动办公的常态化,组织需要在不同地域的分支机构、工业厂房、临时场所之间建立安全有效的网络连接,而目前大多数组织在数据传输与存储的方式和机制上还存在着许多安全风险。

  瑞驰vEdge分散式存储是采用广域网分布式技术及纠删技术构建的对象云存储。通过面向私有云、公有云、混合云的分布式架构,轻松实现广域网分布式存储、加速传输、快速访问等功能,适用于网盘、分支机构异地传输、教育云、企业私有云等应用场景。

  分散存储。用户上传源文件后,vEdge系统可将数据分散存储至广域网内的各存储节点,对外提供统一的标准化接口。当目标用户发起下载请求时,采用就近原则由最近的节点下载分片并组合后提供给用户,整网提供多个镜像或副本,大幅提升了访问速度和稳定性。

  全局共享。多个vEdge设备可形成集群效应,实现广域网下的数据全局共享、统一存储空间管理、自动负载均衡,文件可实现跨区域跨网络分布式存储,支撑起全网范围内的数据存储和高效利用,按需扩容有效应对企业高速扩张的要求。

  数据备份。每个分支机构PC先做本地缓存,局域网中普遍采用的是百兆和千兆的网络,可以大幅提升效率。本地缓存完成后,利用vEdge的云数据同步功能,将每个分支机构数据自动同步至总部。本地数据丢失时,优先选用本地vEdge网关进行数据恢复,也可以选用同步至总部的数据进行恢复,数据安全双重保障。

  整体而言,瑞驰vEdge分散式存储能提升本地缓存效率,利用公网闲时,定期(晚上/周末)自动传回总部,不占用带宽资源,不影响办公。并且,所以数据都会经过网关切片加密处理,杜绝传输过程中数据被截取破解的可能性,所有数据采用纠删冗余分片存储至不同存储节点上,提供比RAID更高级别的安全保障。多个分散式存储网关可形成集群效应,统一存储空间管理,自动负载均衡,支撑起全网范围内的数据存储和高效利用,有效应对企业高速扩张需求。

浅谈医学大数据(中

  医疗大数据有着前面第一节提到的所有特征。在医疗大数据带来各种优势的同时,大数据随之带来的各种特性使得传统的数据处理和数据分析方法及软件捉襟见肘,问题多多。在大数据时代出现之前,受限于数据量的可获得性和计算能力的有限性,传统的数据管理和分析采用着不同的思路和流程。传统上,对于问题的研究建立在假设的基础上进行验证,进而研究事物的相关因果性,希望能回答“为什么”。

  而在大数据时代,海量数据的涌现提供了从不同角度更细致更全面观察研究数据的可能,从而打开了人们的好奇心,探索欲望,人们想知道到数据告诉了我什么,而不仅仅是我的猜想是否被数据验证了。人们越来越多地用大数据挖掘各种感兴趣的关联,非关联等相关性,然后再进一步比较,分析,归纳,研究(“为什么”变成一个选项而不是唯一终极目标)。大数据与传统数据思路上的不同导致了分析流程的不同,如图一所示:

  面对海量的数据和不同的分析思路,大数据的管理和分析与传统数据分析的差异日益加大。回答特定问题的单一预设结构化数据库明显不能完全胜任处理大数据的海量及混杂等问题。数据的混杂多样性具体可以从一些调查数据中表现出来。SAS的一份调查报告显示机构内的非结构化数据最多可以占到总数据量的85%,而这些非数字,非结构化的数据却必须被量化分析和用到决策分析中 (Troester, 2012)。

  另一份2013年进行的SAS调查报告显示在461个提供完整反馈信息的机构中只有26%的机构表示他们所拥有的大数据是结构化的 (Russom, 2013)。 此外,在机构中,分析的数据一般不会只有一个单一的来源。Alteryx的调查报告显示在200家被调查的机构中只有6%的机构表示他们的数据是只有一个来源,最为普遍的情况是5-10个来源,具体分布如图二 (Alteryx, 2014)。

  调查中还显示90%的被调查样本表示有数据整合问题,37%表示需要等其他小组提供数据,30%表示不能得到他们想要的数据,一般估计是一个数据分析师的60%到80%的时间是花在数据处理准备阶段上的 (Alteryx, 2014)。

  由此可见有效的数据管理,数据库建立及数据分析流程的重要性。传统的数据管理的过程包括抽取(Extraction),转换(Transformation)和载入(load)。通过ETL,可以赋予数据一种合适恰当的结构用于特定的分析发现。具体数据准备分析流程如图三所示:1)抽取单个或多个来源的数据 。2)净化,格式化,标准化,聚合,添加,或遵循其他特定的数据处理规则。3)载入处理完的数据到特定的数据库或储存为特定的文件格式。4)采用各种方法进行数据分析。

  ETL的中心内容仍旧适用于大数据,但由于大数据的大量性和多样性对数据库和数据管理及处理方法的要求越来越高,也越来越复杂,这样线性处理整个数据变得相当耗费人力,物力,和时间。

  此外,大数据的快速性,易变性也使得把数据储存在单一的中央数据库变的不太可行。 在这种情况下,最流行的思路是把数据分割处理,也就是把数据储存到多个储存节点(比如网络数据库),在每个节点单独处理数据(甚至处理完就接着进行初步分析,但处理的程度依客户具体问题而调整),然后再汇总整合到一起,提供给单个或多个数据库,接着根据需要选择合适的分析方法获取有用结果。ETL贯穿于整个大数据管理分析的流程中。图四演示了大致的大数据管理分析流程及一些大数据处理分析平台工具的名字。

  SAS的数据仓库研究院(TDWI)针对现今存在的大数据处理分析平台工具进行了一项调查以帮助人们在选择软硬件进行大数据分析时能做出更好的决策。针对大数据技术,特点,和使用者操作,调查提供了三个选择:1)现在使用中,并且会继续使用。2)会在三年中开始使用。3)没有计划使用。图五左侧显示了对于各种大数据分析平台工具,被调查人员的回复比例。图五的右侧显示了平台工具可能的潜在成长和对采用此工具做出承诺的被调查人员比例。

  根据潜在成长和承诺的综合考量,此调查还进一步把大数据分析平台,工具分成4组:第一组为适度的承诺,中度到强的成长潜力;第二组为中度至强有力的承诺,适度增长潜力;第三组为弱到中度的承诺,适度增长潜力;第四组为中度至强有力的承诺,弱增长潜力。图六显示了这些组别的内容分布。限于篇幅,本文不详细介绍所列的每一平台工具的具体内容,感兴趣的读者可以参考文献获取更详细的介绍。

  图五和图六都显示了最流行的平台和数据处理方式为开源免费的Hadoop和MapReduce。伴随着他们的潜在成长和承诺程度,可以预见,Hadoop和MapReduce正在并会继续推动和促进大数据的处理和应用。

  在此,我们简单介绍一下Hadoop和MapReduce的概念。Hadoop是一種基于Java的分散式数据处理框架。它可以提供对储存在多个硬件设备上的数据进行高吞吐率的读写。更重要的是,它对大数据具有高容错性 和对并行应用程序的高可用性。Hadoop框架结构由若干名字节点(NameNode)和数据节点(DataNode)组成。一份数以万计,百万计的大数据文件会被分割成更小的文件信息块储存在多个数据节点里,可以是任何计算机硬件设备。

  有关这些文件的数据属性资料信息称作metadata则被存储在名字节点里(NameNode). NameNode主要管理文件系统的命名空间和客户端对文件的访问操作记录。Hadoop的框架结构如图七:

  当访问和操作数据文件时,客户端会联系名字节点提取文件信息块的属性信息比如位置,文件名等。然后根据这些属性信息,客户端直接从相应的数据节点同时读取数据块。Hadoop本身具有冗余和复制功能,保证在单个硬件储存设备出现故障时数据仍旧能被恢复而没有任何损失,比如每个数据节点默认拥有3个备份之类。

  此外,在有新数据节点添加到框架中时,Hadoop还可以自动平衡每个数据节点的数据载有量。同样,名字节点也可以拥有冗余和复制功能,用于在单个储存数据属性信息的名字节点出现故障时可以恢复相应的数据属性信息。

  MapReduce则是一种可以用来并行处理大数据的编程模型。同一程序在Hadoop的框架下可以用各种不同的语言(Java,Ruby,Python等)按MapReduce的编程模型进行编写和运行。其关键就在于三个词: map,reduce, 和并行处理。我们通过一个例子来理解MapReduce的大致工作原理。比如我们有一30个字的字符串“开落花缠落花绕缠开绕笑瓜夜村村舍舍瓜夜藤绕下下藤绕嬉嬉笑娃娃”,任务是计算每个字出现的次数。

  最简单的方法是按序读取每一个字建立标识索引并计算出现的次数值存入内存,如果是新字,值为1,如果是出现过的字则次数值累加上去。此种方式是按串行的方式进行的,所花的时间会随着字符串的长度和复杂度程线性增长。当字符串是以万计百万计时,比如基因组数据,所花的时间将是相当惊人的。 并行处理则能节约相当多的时间。

  我们先把原文件分割到几个小文件块,然后对每个小文件块进行字的标识索引和附加数值(这儿不进行累计,只是简单的单次点数),然后再排序重组把相同字放在一起,然后我们再用缩减法计算出字及其相应的出现次数值。图八显示了具体的例子步骤:

  本文作者陈遵秋,美国俄勒冈州,健康科技大学,公共卫生预防系,美国统计协会认证统计分析师;陈漪伊,美国俄勒冈州,健康科技大学,公共卫生预防系,生物统计助理教授(交流微信号:2823095726)

物联网技术在石化行业的应用方案

  近几年,物联网技术作为新一代信息技术的重要组成部分,受到了相关领域专家学者的广泛关注。我国政府也高度重视这项技术,并在2010年与新能源、新材料、节能环保、生物医药等一起被确认为国家大力发展的战略性新兴产业,我国提出的基于物联网技术的“感知中国”计划也进入了战略实施阶段。目前,物联网的研究与应用已经覆盖安全、环境、医疗、物流、能源、交通等多个领域。本文将结合石化行业产品特性,分析了物联网技术在石化行业物流业务中的应用。

  传感器技术和信息处理技术是物联网的基础。通过传感器、RFID、多媒体信息采集、二维码等多种传感和编码技术,物联网能够实现对物理世界数据或事件的信息采集,实现对物理世界的认知。

  其中传感器技术涉及到数据信息的收集,利用传感器和传感器网络,协作感知、采集网络覆盖区域中被感知对象的信息。信息处理技术是物联网应用系统实现物物互联、物人互联的关键技术之一。基于多个物联网感知互动层节点或设备所采集的传感数据,信息处理技术能够实现对物理变量、状态、模板、事件及其变化的全面、透彻感知,以及智能反馈、决策的过程。信息处理技术涵盖数据处理、数据融合、数据挖掘、数据整合等多个技术领域,实际运用中可以采用并行或串行的方式、基于集中或分散式的机制来实现。

  物联网是在互联网的基础上衍生的,主要解决物品信息的处理和传送。它由通信技术、组网技术、中间件技术和网关技术等几个方面组成。感知网络的无线通信部分集成于传统的通信网络,会遇到无线通信信道所存在的多经、无线通信的信道带宽和发射功率限制等传统问题,同时也会遇到传感器传输能力与通信范围有限、网络的拓扑结构变化频繁,功耗节能、无线干扰等多个问题。因此在通信技术选择上,信息传输特性和实现的复杂度是要着重考虑的两个因素。物联网的网络架构是由互联网、移动通信网、多种网络基础设施形成的高度混杂的异构体系,组网技术需要运用拓扑控制、信道资源调度、多跳路由、可靠传输控制以及异构网络融合等技术支撑,以在传感器节点的能量和网络带宽等资源普遍受限的条件下保证通信信道的高可用性。中间件技术可以通过屏蔽硬件平台、操作系统平台和通信协议的异构性,实现物联网感知互动层、网络传输层和应用服务层等部分的连接。网关技术指实现异种异构网络与网络传输层的无缝连接,并实现多种设备异构网络接入,它需要实现对感知设备移动性支持、服务发现、感知互动层与网络传输层的报文转换、IPSec与感知互动层安全协议转换、远程维护管理、IPv6/IPv4自适应封装技术等功能。

  应用服务技术是推动物联网不断发展的驱动力,它强调如何更好加工、处理和利用信息,如何更高效的提供应用服务,需要海量信息多粒度分布式储存、海量数据挖掘与知识发现、海量数据并行处理、云计算等多种技术的支撑。

  海量信息多粒度分布式存储是指通过传统或新兴信息存储技术、分布式数据库技术对物联网的数据进行存储,以便为以后的服务提供更好的原始数据。海量数据挖掘与知识发现是指在应用系统利用应用现场部署的各种终端传感设备获取的大量、不完全、有噪声、模糊的、随机的数据中提取潜在的而又有用的信息和知识,并通过数据处理引擎对这些数据进行挖掘、建模,从而得到物联网应用系统所需要的逻辑操作和知识。海量数据并行处理是指同时利用多种计算资源解决计算问题的过程,在目前云计算技术成熟的条件下,并行计算能够给物联网的海量信息提供更高效的数据处理能力。同时,云计算虚拟化技术的应用,能更加有效的利用各种计算能力,为各类物联网应用提供支撑。

  物联网应用系统应对的大多是应用场景的实时数据,包括生产、生活等多个领域,以及国家重要行业的敏感数据,因此安全管理是保证物联网健康发展的重要前提。物联网感知层、网络汇聚及传输层和应用层等不同层面的不同信息处理过程所面临的安全问题也有其各自特征。如何保证物联网信息的机密性、完整性和可用性是物联网应用的最大挑战。在实际运用中,我们应做到物联网的保密性、数据鉴别、设备鉴权、完整性、可用性和新鲜性等几个方面。

  物联网已经成为国家战略性新兴产业,有着广阔的市场前景和应用空间。通过更透彻的感知、更全面的互联互通、更深入的智能化,物联网技术有利于完善和提升企业自动化、集成化和智能化的水平。石化行业可以通过构建物流领域的物联网,实现对油轮、车辆、管输、装置、产品等终端感知对象多维信息跨地域的全面感知、高度共享。基于物联网与现有应用系统的集成,利用数据挖掘和深度分析,逐步实现智能能源生产管理。目前在石化行业,已经实现部分物联网技术的应用。

  在传统成品油提货管理中,自有配送业务首先由物流中心在ERP系统中生成预留单,打印提油单后由司机前往油库提油。如果发生调整或者增加配送任务,则司机必须先到配送中心去领取任务单,之后到油库提油配送;直销批发客户则需要先在系统中开订单,打印提油单后交给客户到油库提油。原有管理模式下,成品油提货手续繁琐,效率较低。流程对比如图1所示。

  为了提高效率,企业借助先进的物联网技术,实现了电子提单管理功能。通过RFID自动感知、传输、处理,提高了提货业务的便捷性及操作效率。该系统采用RFID无线射频识别技术,由感知设备、应用系统及组网等技术实现。其中感知设备包括射频卡、读卡器和密码键盘三部分组成,当卡进入磁场后,接收阅读器发出的射频信号,凭借感应电流所获得的能量发送出存储在芯片中的产品信息;或者主动发送某一频率的信号, 阅读器读取信息并解码后,送至中央信息系统进行有关数据处理。系统通过感知模块实现数据采集;通过术的开发,实现数据的处理;集成ERP系统后,实现了业务处理和安全管理两方面功能。业务处理功能是通过底层集成二次物流优化系统、ERP系统,结合相应的业务操作来实现。通过综合利用身份认证、网络及服务器加固等多种方式,系统还实现了安全管理,保证使用过程中的安全。

  使用电子提单管理系统后,提货业务省略了移库单打印及派送工作,配送人员将工作重心转移到配送环节管理,也减少了传递单据的车辆空驶成本。电子提单的应用替代了传统纸质单据,简化了司机在新增、调整、删除配送单据时往返开票点的业务流程;减少了销售企业单据传递的环节,节省了配送成本,提高了工作效率。系统采用成熟的软硬件加密技术,在企业内部封闭运行,增强了业务交易的安全性,杜绝了伪造提单带来的经济损失。以江苏省为例,使用电子提单后,由于RFID卡可重复使用,不需要再打印纸质单据,有效避免纸张浪费。据测算,在未上电子提单系统时,全省每月预留单和客户提货单约需10.5万套,每套(3联)成本平均0.1元,每年可减少使用120.5万张套打单据,至少节省费用12.6万元成本。中石化销售企业目前19家省市使用电子提单,一年节省的打印纸张费用将近200万。

  采用电子提单后,客户购油、提货操作更加方便快捷;企业能够收集到客户准确信息,建立完善的客户档案,营销策略更具有针对性;细化了营销工作管理,提高了客户满意度,增加了客户对公司的忠诚度,体现了以客户为导向的服务理念。采用电子提单管理系统后,油库验单、发货操作更加连贯,并和自动付油系统进行了紧密集成,实现了射频卡在油库验票、发油、出库等环节的使用,大大简化了操作,提高了工作效率。接入互联网后,客户可以网上查询购油、提油、对帐信息,客户还可以在营业网点通过触摸式显示屏查询,极大的提高了用户体验水平,提高了用户满意度,树立了负责任,重效率的企业形象。

  化工销售行业中,部分销售产品属于危险化学品与易制毒化学品,极少有物流商能够提供足够车辆编组成列运输。若自行组建配送车队,则自备车多需在国铁编组站重新编组发运,运输效率低,物流成本高。为了保证化工产品的安全运行,降低物流成本,提高铁路配送量,公司通过加强化工自备车在路信息采集,实现车辆专用线、国铁、卸车点之间往返的全程可控。经与铁道部协作,公司下属化工销售部门利用铁路运输管理信息系统提供的相关信息资源,建设化工自备车调度管理信息系统,实现车辆运行情况和行驶轨迹的实时查询和动态追踪,为提高配送车辆利用率提供了信息技术手段。

  系统在感知层,利用GPS定位系统(针对公路运输和内河航运)与铁道部车号自动识别技术(针对铁路运输),实现对配送车辆的定位与跟踪。在传输层,借助通信技术、组网技术、中间件技术及网关技术,传输物联网中各类信息。在应用层,建立了涵盖物流作业、物流监管与物流决策三个层面的物流信息系统,实现了物流管理初步智能化。

  在实际运行中,铁路车号自动识别系统(ATIS)能够自动扫描车辆车号,并通过电子、射频、信号处理、软件等技术手段,传输和处理信号,自动识别列车辆序、车种、车型、车号等信息,为铁路运输管理信息系统(TMIS)和铁路车辆管理等信息系统提供检测数据。定位模块依托移动互联技术、3G网络、移动代理服务技术以及北斗卫星导航技术,实现实时监控及数据传输,并采用优化技术实现数据的分析及处理。为了保证安全性,系统采用网络边界防护、网络内主机防护、存储传输数据加密和保护、网络访问行为管理、整体网络服务质量提升以及安全审计等方式,实现了系统多层网络及数据的安全。

  通过应用以上技术,系统能够测算发到时间之间的车辆行驶公里数,统计车辆执行运输任务过程中的行驶、停车记录,分析停车地点、停车时长、行驶时长、行驶里程、行驶速度等信息,并可根据GPS运行状态向客户与客户经理发送到达预告短信,实现GPS完好率与应用率统计报表。通过及时掌握自备车资源的可用和分布情况,最大限度地利用自备车资源,提高周转率和负荷率,减少列车租用量,进而减少车辆运输成本及新购车成本。系统对产品运输、仓储的管理可具体到物流服务商、运输工具甚至单品货物,密切跟踪在途产品的实际流向,能够有效防范经营风险。

  物联网已经成为国家战略性发展新兴产业,得到了国家大力扶持和政策支持,具有广阔的市场前景和发展空间。通过更透彻的感知、更全面的互联互通、更深入的智能化,物联网技术可以完善和提升企业自动化、集成化和智能化的水平。通过构建物流领域的物联网,有助于实现石化行业的高水平物流管理,为企业智能化生产创造条件,提升企业竞争力。

华为助力重庆市某区交通局数据中心建设

  XXX交通局交通警察总队(交通管理局)是直辖市公安厅主管全市道路交通管理工作的职能部门,主要负责指导监督各地维护道路交通安全、交通秩序以及开展机动车辆、驾驶员管理工作。总队下共设10个部门。全市9个地市交警支队、加上总队直属支队及129个县(区)交警大队,和300多个交警中队接入了公安网络。在直辖市,地市和县级平台上,运行着六大系统的应用。

  目前在全范围进行了全国统一版机动车登记/驾驶证管理信息系统的推广应用工作并于2014年底步完成全省推广应用工作。但是,由于历史原因和公安网络等因素,交警总队各数据库之间分布分散,尚未建立省级集中式的业务工作库。随着公安网络的不断扩容完善以及交通管理工作对信息化的依赖越来越强烈,现有的分散式数据存贮模式无法适应现代交通管理的实际需求,迫切需要建立新的数据中心,整合并有效处理所有信息。

  面对信息管理的需求,华为解决方案将现有生产中心、容灾备份中心两个数据处理中心按照全局需求的标准进行升级改造,其配置和结构体系必须满足各业务应用系统对主机处理能力和数据存储量的要求。数据处理中心均采用“存储区域网络(SAN)”结构构建主机和存储系统,这样能有效突破网络瓶颈的限制,提高服务器与存储系统各自的效率和保证高速数据传输。由于目前信息系统平台除设备档次较低及数量较少以外,在业务处理总体架构方面,与直辖市级集中平台架构相同,目前已经基本形成的异地容灾架构也满足了公安部建设异地容灾备份系统的要求。因此,针对直辖市级集中平台的设计和实现,项目整体解决方案的实现思路是:为减少数据传输层级和节省各地市软/硬件设备投资,快速适应机动车登记/驾驶证管理等交通管理业务需求和数据更新管理需求,在不改变现有体系结构的情况下,通过对现有的主机、存储、网络、安全和应用等系统进行升级改造,建立起全直辖市集中式的交通管理数据中心,不仅有效节省了成本,而且使公安交通管理信息系统总体架构更为科学合理。

  数据集中化是现代企业IT发展的趋势,分散式数据存贮模式已不再适应现代管理的实际需求。神州数码同厂商一起参与项目售前方案讨论,通过升级改造,建设集中式信息管理的数据中心,降低成本的同时实现了服务响应效率的提升,展示了信息化作为业务“合作伙伴”的巨大价值,确实值得借鉴。

福建省促进大数据发展:变分散式管理为统筹集中式管理

  构建“一人一档、一组一档、一物一档、一事一档”大数据平台,变分散式管理为统筹集中式管理——汇聚共享,让政府数据“增值”东南网8月2日讯(福建日报记者 谢贤伟)要是有这样一个平台,能汇集政府各部门各行业的运行数据和来自互联网的相关数据,建立经济运行预测模型,那么,实时掌握经济运行形势、预测经济发展趋势、预警经济运行潜在风险,就会更准确高效。这一切,依靠大数据,便可实现。福建,正向着大数据发力。日前,省政府正式出台《福建省促进大数据发展实施方案(2016-2020年)》。到2020年,我省将初步形成以大数据

  【摘要】 构建“一人一档、一组一档、一物一档、一事一档”大数据平台,变分散式管理为统筹集中式管理—— ”因此,根据方案,我省将构建“一人一档、一组一档、一物一档、一事一档”大数据平台,推动政府数据从分散式管理向统筹集中式管理转变。

  构建“一人一档、一组一档、一物一档、一事一档”大数据平台,变分散式管理为统筹集中式管理——汇聚共享,让政府数据“增值”东南网8月2日讯(福建日报记者 谢贤伟)要是有这样一个平台,能汇集政府各部门各行业的运行数据和来自互联网的相关数据,建立经济运行预测模型,那么,实时掌握经济运行形势、预测经济发展趋势、预警经济运行潜在风险,就会更准确高效。这一切,依靠大数据,便可实现。福建,正向着大数据发力。日前,省政府正式出台《福建省促进大数据发展实施方案(2016-2020年)》。到2020年,我省将初步形成以大数据为核心要素、以大平台为营运支撑的产业集群,大数据将成为又一新兴产业。到2020年,大数据在关键领域的应用,亦将基本建成,首先是政务工作。“现有政府数据资源的管理,实行‘谁采集、谁占有、谁管理’,已制约大数据的形成和开发应用。”省发改委数字福建规划处处长施友连说,“现在,是要充分运用物联网技术和互联网渠道,实现全周期、全样本、全方位采集,提高采集数据的完整性、精细度和时效性。”因此,根据方案,我省将构建“一人一档、一组一档、一物一档、一事一档”大数据平台,推动政府数据从分散式管理向统筹集中式管理转变。在政务数据汇聚平台上,省市之间纵向汇集,部门之间横向集中。汇聚共享,可以让“沉睡”的政府数据增值。“通过充分开发应用,能避免数据浪费和流失,产生新价值。”施友连认为。围绕数据共享、开放开发,方案提出,推进部门通过政务数据汇聚平台获取共享数据,减少数据重复采集;推动政府数据向社会开放,通过普遍开放和授权开发相结合的模式,开展数据查询、应用接口、数据下载等服务;鼓励企事业单位融合政务数据与社会数据,开发新的数据产品。“政府大数据的应用,将改进政府治理方式,提升政府治理能力,形成精准治理、多方协作的社会治理新模式。”施友连表示。方案明确,在政府精准化管理、公共安全管理、生态环境监测、市场事中事后监管、政府宏观决策五大领域,以主动化推送、个性化服务、精准化管理、科学化决策、预警式应急、协同式监管等形式,开展大数据应用。前不久,省发改委已发布数字福建重点领域大数据应用服务需求,涵盖社会信用体系大数据、经济运行监测大数据、环境保护大数据、市场监管预警大数据等15个方面,推广政府购买服务,邀请企业来闽开发并提供应用服务。“不同于小数据应用着眼于实现业务流程,大数据应用将实现政务工作能力水平的提升,为建设国家现代治理体系提供关键支撑。”施友连说。

边缘计算“逆袭”“万物互联”可期

  原标题:边缘计算“逆袭”“万物互联”可期 本报记者 马成涛 在大数据时代,海量数据传输到云端进行

  在大数据时代,海量数据传输到云端进行处理,然后再将处理结果传输到终端,这种中心化的云计算模式不仅给云端处理带来了巨大压力,还会降低数据传输速度,影响数据处理效率。在这种情况下,去中心化的边缘计算进入人们的视野。在前不久举行的第四届世界互联网大会上,边缘计算备受关注,被誉为“技术明珠”。

  相较云计算,边缘计算聚焦实时短周期数据分析,更适合物联网“物物相连”特性

  什么是边缘计算?根据业界定义,边缘计算是在靠近人、物或数据源头的网络边缘侧,通过融合网络、计算、存储、应用等核心能力的开放平台,就近提供边缘智能服务,来满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。简单地说,不同于云计算集中式处理数据的架构模式,边缘计算是一种分散式运算架构,将数据处理迁移到靠近数据源的边缘地带,可有效降低终端设备对网络带宽的要求和网络负荷。

  随着物联网的发展,未来将产生海量的数据。据思科VNI(可视化网络指数)报告预测,到2020年,一个互联网用户平均每天约产生1.5GB数据量。还有互联网数据公司预测,到2018年,将有50%的物联网网络面临网络带宽的限制,40%的数据需要在网络边缘侧分析、处理与储存,到2020年将有超过500亿的终端设备联入网络。

  如何更好地处理这些物联网海量数据,成为摆在业界面前的一项技术难题。物联网是物物相连的互联网,实现端到端的连接,本身适合分散式计算模式。边缘计算的到来,让业界看到了希望。相比较云计算,边缘计算聚焦于实时、短周期的数据分析,数据不必上传至云端,在本地网络中就可以完成计算,极大提高了数据处理能力和效率。

  在局部数据处理上,边缘计算具有优势,可以分区域数据存储、计算等,还可让各个子系统保持一定独立性。不过,边缘计算并非是为了取代云计算,而是对云计算的重要补充。业内人士认为,未来可以在骨干网建设云计算中心,在局域网建设边缘计算网络,彼此之间实现互联,提升可扩展性,更加灵活和智能。

  在物联网系统中,边缘计算的核心在于靠近信息源头就可以进行计算,通过分区域数据分析处理,实现物与物之间传感、交互和控制,最大限度地减少延迟。也因此,业内专家认为,边缘计算能更好地支撑物联网运行,为物联网找到海量数据处理突破口。

  试想,未来你开着一辆智能驾驶汽车,车上的摄像头、激光雷达等传感器实时搜集路况信息,每秒就能产生1GB (千兆字节)的数据。如果采用云计算模式,智能驾驶汽车需要将数据传输到云端,然后才能通过云端反馈的数据,进行智能反应,而通过边缘计算,由汽车智能终端设备直接处理,反应速度就快多了。从时间的绝对数值来说,边缘计算可能只比云计算快1秒钟,但别小看这1秒钟,关键时刻能够阻止一起交通事故。如果在某些情况下,智能驾驶汽车无法连接到云端,边缘计算就更有必要了。

  在安全方面,边缘计算也更胜一筹。云计算需要将数据传输到云端处理,在数据传输和云端处理过程中都可能产生信息安全问题。搭载云服务的多款汽车就曾多次被曝出重大安全漏洞,黑客可以在不经过车主授权的情况下,控制车辆启动,打开车门,甚至可以在没有钥匙的情况下开启后备箱。而边缘计算的核心是将计算从云端迁移到设备终端,不必将数据传输到云端,不仅大大提高了处理速度,也相应地提高了网络安全性。

  边缘计算尽管具有敏捷、实时、智能、安全等独特优势,但是其发展过程中仍存在诸多痛点。边缘计算难以兼容过多的智能化处理方式,在OT(操作技术)和ICT(信息通讯技术)的跨界协作、产业链协作与整合、信息集成等方面面临诸多挑战,导致真正具有边缘计算能力的智能设备和网络非常少。为了突破边缘计算的技术瓶颈,有研究人员将目光投向人工智能、区块链等新技术,而这些新技术也处于起步阶段,难以为边缘计算提供有效解决方案。

  此外,芯片技术也制约着边缘计算的发展。边缘计算也需要数据处理,只不过是将云端处理模式,变为终端处理模式,其计算能力需要芯片技术的升级来加以支撑,而目前芯片技术还难以完全满足边缘计算的需要。

  现在,云计算已经成为互联网时代最重要的平台技术之一,大型科技公司一般都将数据传至云端进行处理。不过,随着物联网的发展,单纯的云计算模式越来越难以应付日益庞大的数据。以目前的宽带水平来看,无法有效支持物联网数据传输,进而让云计算中心处理前端数据自然也变成了不可能完成的任务,这为边缘计算的发展带来了新机遇。

  为了抓住这波计算技术革命的机遇,华为、微软、思科、英特尔等科技巨头纷纷布局边缘计算,积极进行新产品的技术测试和技术方案验证。 2017年3月,华为发布了基于边缘计算的物联网EC-IoT(边缘计算物联网)解决方案,创新性地将边缘计算和云管理引入物联网领域,就近提供边缘智能服务,实现全流程的产业服务和商业模式创新,促使行业数字化转型,目前已经在智慧水务等领域得到应用。华为有关负责人表示,智慧水务解决方案通过强大边缘计算能力和开放架构的物联网网关,实时采集供水设备的运行数据,结合云端大数据分析平台,可全面了解供水设备各部件的“健康指标”,实现对供水设备的预防性维护,大幅提升供水设备正常运行时间,让供水更安全。 5月,微软推出全新云服务 Azure IoT Edge,将计算能力由云端推至边缘,分摊了云端计算压力,减少了数据在云端传输耗费的时间,加快了响应时间。

  边缘计算将逐渐来到人们身边,广泛应用到生活中各种领域。其中,智能门禁就会成为边缘计算的典型应用场景。近日,以视频为核心的物联网解决方案提供商海康威视与英特尔联合发布了一款边缘计算相关的AI(人工智能)设备――“明眸”近景人脸识别系统。 “明眸”智能门禁采用先进的前端数据分析模式,让人脸识别时间小于1秒钟。据介绍,门禁系统通过前端摄像头抓取人的脸部信息,如果通过云计算,前端摄像头抓取的信息需要传输到中心后台,然后将处理的数据返回前端,判断是否执行开门的指令,这种处理方式对网络宽带的要求很高,且响应速度较慢,很可能会让用户等得不耐烦。而通过边缘计算,门禁系统可以快速给出判断,大大提高了系统的敏捷性、实时性和可靠性。

  不难看出,边缘计算在实时计算、轻量计算、智能网关等方面表现出色,能为用户提供更智能、更快捷的使用体验。随着大量资本入局、研究进一步深入、智能芯片等硬件升级,边缘计算将充分释放数据价值,加速物联网落地,催生更多创新应用,重塑人们的生活方式。

土豆链(Potato chain)在迪拜首次发布 打造全球首个分散式泛娱乐社群价值数据引擎

  7月30日,全球首个分散式泛娱乐社群公有链-土豆链(Potato chain)在阿联酋迪拜举行了首场发布会。众多阿联酋政要、明星,娱乐界人士,区块链专家到场参加活动。

  土豆链(Potato chain)是一个全球化的基于区块链的行业应用 ,以后将在泰国,日本,韩国、马来西亚,新加坡,美国等地区陆续并落地应用。土豆链团队选择阿联酋迪拜作为第一场发布会的地点是因为阿联酋迪拜的发达以及在国民经济中的重要性。与迪拜的合作将更快的推动土豆链(Potato chain)的应用发展。此次发布会到场人数规模远超预期,达6000人以上。此次发布会通过社交软件Twitter、YouTube、一直播等面向全球直播。

  发布会邀请到了迪拜知名主持人,前政治家 阿联酋王子等作为整场活动的嘉宾主持。

  发布会现场:全球分散式泛娱乐社群第1人–土豆链(Potato chain)联合发起人孙涛说:全球社群经济发展潜力巨大,移动互联网引发社群经济浪潮,催生出粉丝经济,而泛娱乐行业的发展,明星IP 诞生效率则通过社群快速发酵。一个好的作品则通过跨领域共生,能够快速撬动一个极其庞大的粉丝群体,催生出力量惊人的社群经济,其潜力是难以估量的。虽说全球社群经济发展潜力巨大,但是却有种种缺陷阻碍着社群经济的发展。社群的影响力的巨大经济价值在一波波的商业广告以及娱乐产业中已经得到了各界的普遍认同及追捧,收益爆棚造成了行业红海,竞争激烈。如何找到社群影响力的下一个收益风口,成为了社群影响力生态链条中重要的一个突破口。土豆链(Potato chain)正是应此而生,作为全球首个去中心化的影响力泛娱乐价值数据引擎,由全球多个国家的爱好者自发组织运营,致力于利用区块链与分散式存储技术,构建一个全球范围内的影响力价值平台。目标是发掘社群经济的公众认知度或社会影响力的人物,并通过区块链技术体现其新维度的价值。

  土豆链(Potato chain)致力于创造一个基于影响力-区块链技术-交易所-线下应用为一体的的自进化能力系统平台,同时这也将会是土豆链全球落地化是接下来重要的发展方向。全球分散式泛娱乐社群第1人–土豆链(Potato chain)联合发起人孙涛说:土豆链(Potato chain)定位为分散式泛娱乐社群公有链,将与泛娱乐产业广泛结合,形成新的商业变革。土豆链打造是一個去中心化的互联网,让內容的分享不在取决于发布者的关注度,而是在于该内容的品质和匹配度,再借以 token的激励,有效保证社群价值得到充分释放,另一方面,社群与泛娱乐产业的结合,将形成融合版权方、制作者、用户等的全产业链价值共用平台。在行业快速迭代时刻,基于解决用户痛点理念的土豆链(Potato chain)也将迎来自己的快速发展期。土豆链还和多家交易所达成战略合作意向,为土豆链以后上线提供了技术保障支持,迪拜区块链专家非常关注土豆链发布表示土豆链区块链技术是区块链技术创新,构架完美,它的应用将引导社群泛娱乐化潮流。

  最后全球分散式泛娱乐社群第1人–土豆链(Potato chain)联合发起人孙涛说:土豆链(Potato chain)已经吹响进军国际市场的号角,之后会在韩国、泰国、东京、纽约等全球一线城市进行市场推广。期待土豆链(Potato chain)在这千帆进发的互联网大时代,能闪耀自己的一份光芒。笃行远方,土豆链也将以勇锐盖过怯懦,继续深耕深耕区块链技术,诠释出自己的那份精彩。