分类目录归档:pc蛋蛋网站

基于瞬时访问信息的动态页迁移机制

  页迁移是分布共享存储系统中动态开发数据局部性的一种优化策略,但体系结构相关性及时空开销限制了它在实际系统中的应用.本文立足于CC-NUMA系统和 具有单地址空间映象…

  你可以通过身份认证进行实名认证,认证成功后本次下载的费用将由您所在的图书馆支付

  百度学术集成海量学术资源,融合人工智能、深度学习、大数据分析等技术,为科研工作者提供全面快捷的学术服务。在这里我们保持学习的态度,不忘初心,砥砺前行。

性能优化简记四(C语言

  在现代处理器架构中,为了加快CPU的读取数据速度,CPU采用了多级缓存机制。CPU访问缓存花费的时间要远远小于访问内存的花费的时间。利用程序空间局部性的性质,简单解释就是,如果程序当前操作内存区域A,那么有很大的概率程序后面还会操作区域A。CPU把最近用过的数据暂存在缓存中,后面需要时,直接在缓存中读取即可。

  上面显示有三级cache,其中index0和index1都属于cache 1,一个是I-cache(指令缓存,存储指令),一个是D-cache(数据缓存,存储数据)。可以通过下面的命令查看等级:

  缓存是由cache line为最小单位组成的,每次从下级缓存中读取整个cache line。缓存行为2的整数幂个连续字节,一般为32-256个字节。最常见cache line的长度一般为64字节。在linux中可以通过下面的命令查看cache line的长度。

  对于热点区域,可以cache line对齐,来减少cache 读取的次数。如下面的图一,数据长度小于cache line,但是在空间上占用两块cache line。一个cache line的后半部分,一个cache line的前半部分,想要完整的读取该数据需要两次读取。

  通过内存调整,使数据只占用一行cache line,则只需要读取一次即可。

  如何移动数据使数据占用一个cache line呢?以cache line的长度为64为例,cache line从内存中读取时,是以64(也就是cache line的长度)的倍数的地址起,连续读取cache line长度,如首地址为0,64,128等,不会从1,2等地址开始读取64字节。 所以只要数据起始内存地址也是64的倍数,则占用的cache line数量保证最小。

  如何使内存首地址按给定大小对齐呢?一般有两个方法,第一个是使用函数aligned_alloc,类似malloc,可以使用man查看函数说明如下:

  属于C11的stdlib.h库。第一个参数是首地址对齐参数,第二个是申请内存大小,说明上要求是第一个参数大小的倍数,但在实际中不是倍数也能正常运行。aligned_alloc(128, 64)说明申请64字节的大小,首地址按照128的倍数对齐。

  如果对上面的方法不放心,还可以手动对齐。原理是先申请一块大的内存,然后手动保证首地址对齐。

authoruri:(52de2b85658a04d1) 杨学军) 国防科学技术大学计算机学院

  国防科学技术大学计算机学院《计算机学报》蒋艳凰,杨学军,易会战.卫星遥感图像并行几何校正算法研究[J]. 计算机学报.2004(07)蒋艳凰;杨学军;易会战.卫星遥感图像…

  国防科学技术大学计算机学院国防科技大学学报国防科技大学学报周海芳,刘光明,郑明玲,杨学军. 遥感图像自动配准的串行与并行策略研究[J].国防科技大学学报 2004.doi…

  国防科学技术大学计算机学院计算机工程与科学周海芳,陈虎,杨学军. 嵌入式系统软硬件联合设计方法研究[J].计算机工程与科学 2001.doi:10.3969/j.issn.1007-130X…

  国防科学技术大学计算机学院《软件学报》易会战,陈娟,杨学军. 基于语法树的实时动态电压调节低功耗算法[J].{H}软件学报,2005,(10):1726-1734.易会战,陈娟,杨学军…

  国防科学技术大学计算机学院《软件学报》易会战,杨学军. 有效的低功耗编译优化方法:部件使用局部化[J].软件学报 2004.有效的低功耗编译优化方法:部件使用局部化[J…

  国防科学技术大学计算机学院《计算机学报》所光,杨学军,SUO Guang,YANG Xue-Jun. 面向多线程多道程序的加权共享Cache划分[J].计算机学报 2008.doi:10.3321/j…

  国防科学技术大学计算机学院计算机工程与科学杨学军.并行计算六十年.计算机工程与科学.2012.1-10杨学军.并行计算六十年[J]. 计算机工程与科学.2012(08)杨学军…

  国防科学技术大学计算机学院计算机工程与科学胡湘华,杨学军. 传感网节点调度方法综述[J].计算机工程与科学,2008,(03):93-96.胡湘华;杨学军.传感网节点调度方法综述…

  国防科学技术大学计算机学院杨学军国防科学技术大学计算机学院计算机工程与科学计算机工程与科学周海芳,易会战,杨学军,ZHOU Hai-fang,YI Hui-zhan,YANG Xue-jun…

  国防科学技术大学计算机学院并行与分布处理国家重点实验室徐新海国防科学技术大学并行与分布处理国家重点实验室《计算机学报》林一松,杨学军,唐滔,王桂彬,徐新海…

  百度学术集成海量学术资源,融合人工智能、深度学习、大数据分析等技术,为科研工作者提供全面快捷的学术服务。在这里我们保持学习的态度,不忘初心,砥砺前行。

王建军在省委中心组理论务虚会上强调

  7月15日至16日,以全面深入学习和实践习新时代中国特色社会主义思想为主题,省委召开中心组理论务虚会,省委书记、省长王建军主持会议并讲话。他强调,要高举领袖思想伟大旗帜,进一步兴起学习和实践习新时代中国特色社会主义思想的新高潮,更加坚定自觉地用领袖思想武装头脑、指导实践、推动工作,全面落实“四个扎扎实实”重大要求,深入实施“五四战略”,奋力推进新青海建设不断开新局谱新篇。

  4月初,省委常委会就进一步全面深入学习贯彻习新时代中国特色社会主义思想和党的十九大精神做出安排部署,要求省级各班子、省级领导干部领题调研,为全省各级机关和党员干部作出表率。全省迅速掀起学习实践习新时代中国特色社会主义思想的“大学习、大调研”新高潮,并在实践中不断引向深入。会上,多杰热旦、刘宁、王予波、张光荣分别代表省委常委会、省人大常委会党组、省政府党组、省政协党组发言。14名省级领导同志围绕各自分管的工作作了重点发言。王建军一一作了点评。3个多月来,省级领导干部集中时间和精力,主要领导率先垂范,省级领导以上率下,着眼于重大问题研究,立足班子工作实际,结合各自分管工作,深入基层、深入群众带头开展调研,形成了36篇高质量的调研报告。

  王建军在总结讲话中指出,大家在研讨交流中初步形成6个方面的共识,是这次大学习大调研取得的理论和实践成果,要谋以为用,研以致用。对青海发展的指导思想有了共识。必须高举习新时代中国特色社会主义思想伟大旗帜,“8个明确”和“14个坚持”是领袖思想的精神实质,也是青海发展的指导思想。我们要进一步增强“四个意识”,坚定“四个自信”,坚决维护习总书记的核心地位,坚决维护党中央权威和集中统一领导,自觉在思想上政治上行动上同以习同志为核心的党中央保持高度一致。高举领袖思想这面旗帜,我们就能团结带领全省各族群众向着决胜全面小康、实现中华民族伟大复兴的中国梦奋勇前进。对青海发展的阶段性特征有了共识。青海处在社会主义初级阶段的较低层次,发展不足、不充分仍然是青海的主要矛盾,经济和生态及社会之间、城乡区域之间、供给和需求之间不平衡,经济发展、人才支撑、创新驱动、市场发育、投资效益、动能转换等不充分。这既是基本省情,也是我们想问题、办事情、做决策的基点。对青海发展的战略有了共识。“五四战略”是党的十九大精神在青海落地生根的切入点,是党中央、习总书记和历届省委对青海工作要求定位与时俱进的再深化,要再细化、再实化、深入实施,力争结出实践的硕果。对青海发展的路径有了共识。就是“一优两高”,即在坚持生态保护优先的前提下,实现高质量发展、创造高品质生活。这是习总书记出的题,我们要答好卷。对青海发展的布局有了共识。要站在“五位一体”总体布局和“四个全面”战略布局的高度,以全新的视野深化对执政规律、社会主义建设规律、人类社会发展规律的认识,聚精会神来谋划事关青海发展的方向、目标、动力、保障、支撑等重大问题。对青海发展的保障有了共识。要不断推进新时代全面从严治党向纵深发展。“四个伟大”中,起决定性作用的是党的建设新的伟大工程。新时代党的组织工作路线,把组织体系建设作为重中之重。我们要坚持组织路线为政治路线服务,全面贯彻新时代新担当新作为的要求,选好干部、配好班子、用好人才,培养好青年才俊,为建设新青海提供坚强保证。

  王建军指出,要把这次丰硕的调研成果转化为省委的科学决策,转化为实践成果和发展成果。涉及建设性的调研成果要进一步梳理研究,更好推进地方战略向融入国家战略转变;涉及全局性的调研成果要分轻重缓急,推动工作落实;涉及局部性的调研成果要形成问题清单、责任清单和任务分解表,抓好跟踪落实。

  两天来,与会同志读原著、学原文、悟原理,认真学习了党的十九大报告、《习谈治国理政》第二卷、纪实文学《梁家河》。大家在研讨交流中一致认为,通过调查研究和学习研讨,深化了认识,提高了站位,接受了教育,碰撞了思想,凝聚了智慧,增强了信心。大家表示,要切实把习新时代中国特色社会主义思想学深悟透、融会贯通、真信笃行,扎实做好学习调研成果的转化工作,以新时代新担当新作为推动新青海建设取得新成就。

  省委常委,省政协主席,省人大常委会副主任、省政府副省长、省政协党员副主席,省法院院长、省检察院检察长出席会议。(罗藏)

一文知道Nginx服务器的缓存原理和机制

  Nginx服务器的缓存原理,是在学习过程中比较重要的一个知识点,学习通透之后,对于自己的能力会有不小的提升——而且提升不只限于nginx一方面,技术理论一通百通,对于理解其他内容也会有很大帮助。

  Web缓存技术的基本思想是利用客户访问的时间局部性原理,对客户已经访问过的内容在Nginx服务器本地建立副本,这样在一段时间内再次访问该数据,就不需要通过Nginx服务器再次向后端服务器发出请求,所以能够减少Nginx服务器与后端服务器之间的网络流量,减轻网络拥塞,同时还能减小数据传输延迟,提高用户访问速度。同时,当后端服务器宕机时,Nginx服务器上的副本资源还能够回应相关的用户请求,这样能够提高后端服务器的鲁棒性。

  当Nginx服务器发现,用户请求数据在服务器本地不存在时,会产生404错误,服务器能够捕捉该错误,进一步转向后端服务器请求相关数据,最后将后端请求到的数据传回客户端,并在服务器本地缓存。

  原理上基本等同于404错误驱动,不同之处在于该方法是通过location块的location if条件判断直接驱动Nginx服务器和后端服务器的通信和Web缓存,而不对资源不存在产生404错误。

  这两种缓存机制只能缓存200状态下的响应数据,同时不支持动态链接请求。比如:getsource?id=1和getsource?id=2这两个请求,返回的是相同的资源。所以实际上,一般是采用Nginx搭配Squid服务器架构实现方案。

  memcached在内存中开辟一块空间,然后建立一个Hash表,将缓存数据通过键/值存储在Hash表中进行管理。memcached由服务端和客户端两个核心模块组成,服务端通过计算“键”的Hash值来确定键/值对在服务端所处的位置。当位置确定后,客户端就会向对应的服务端发送一个查询请求,让服务端查找并返回所需数据。

  文章出处:【微信号:magedu-Linux,微信公众号:马哥Linux运维】欢迎添加关注!文章转载请注明出处。

  本文档的主要内容详细介绍的是数据库有哪些常见的应用结构数据库应用结构的使用资料概述 数据库常见的应用….

  轻量级的发行版有其特殊的用途:给予一些老旧或是性能低下的机器以新生。但是这不意味着这些特别的发行版仅….

  Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可….

  本文档的主要内容详细介绍的是Linux系统教程之磁盘分区和LVM系统的详细资料概述主要内容包括了:1….

  近日,浪潮发布新款AI应用服务器AGX-5。而在不久前,英伟达、华为等巨头也纷纷推出AI硬件产品。产….

  HTTPServer可以支持基本的HTTP身份验证吗?我知道代码中没有任何示例,但想知道是否有人对此进行编码支持?它看起来不像…

  系统广播的问题。 该网站已启动并正在运行,但我的中心未显示。 它正如我在日志中看到的那样与服务器进行通信,但连接似乎一直…

  在试图使用EAP-TLS进行企业安全连接时,在TLS握手序列中,在服务器Hello完成之后,我们使用不可信证书EAP-TLS错…

  随着大数据时代的到来,有很多JAVA程序员想要转行大数据。 不得不说,大数据行业可以说是为JAVA程….

  遇到远程连接不上sql数据库,基本上可能出现的问题都已经列举完了,从以上这些方面着手排查基本上就可以….

  Vitec Electronics公司宣布推出业内首个直接电流电阻感应(DCR)器件――59P987X系列电感。这种新型电感的D…

  在前不久的HPC China中国高性能计算学术年会上,国内TOP100超算首次实现了全国产,其中联想….

  不同的协议层对数据包有不同的称谓,在传输层叫做段(segment),在网络层叫做数据报(datagr….

  爬虫开始运行时需要一个初始url,然后会根据爬取到的html文章,解析里面的链接,然后继续爬取,这就….

  在写这篇文章之前,我特地搜索了一下。在 Google 上,很多人都在问如何实现命令重复执行直至成功这….

  服务器主机租用已经不是什么稀罕的事情了,随着这些年经济的进步,也有着非常大的提高,租用服务器常见的安全漏洞有哪些呢?这个…

  服务器是否能够合理的使用,对于用户来说是非常重要的,如果在使用的过程中能够快速安全稳定的使用到产品,当然是一件让人开心…

  Ian Beavers和Erik MacLean ADI公司 物联网系统攻击登上新闻头条,网络、边缘节点和网关不断暴露出安全漏洞…

  故事是这样的,大年初一,客户反应他们服务器无法访问,查看路由,发现某oracle+tomcat服务器….

  工业以太网工业以太网是在以太网技术和TCP/IP技术的基础上开发出来的一种工业网络。以前,以太网一般….

  单台的Redis服务器一个月总有那么几天心情不好,心情不好就罢工了,导致所有的缓存都丢失了(redi….

  本书是一部UNIX网络编程的经典之作。书中全面深入地介绍了如何使用套接字API进行网络编程。全书不但….

  要使用你创建的 Bash 别名,你需要将其添加到 .bash_profile 中,该文件位于你的家目….

  智能电网简单来说,就是电力网络和信息技术的结合,采集电网各种数字化传感器的实时数据,结合电力设备的资….

  服务器大厂iBASE近日发布了全球首款基于AMD EPYC嵌入式处理器的机架式准系统网络服务器“FW….

  本文档的主要内容详细介绍的是客户机和服务器的程序及生成文件的详细资料免费下载。

  Appleboum 分析,这家美国电信公司的服务器在中国制造工厂被窜改,美国情报局判断是在中国广州的….

  菲茨帕特里克说,那是在去年的“DefCon全球黑客大会”上,当时他准备在会上演讲的主题正是“硬件入侵….

  人更改了文档–并生成了一个事件。有人发了电子邮件,另一个事件出现了。换一个日历,甚至可能打个电话-….

  台湾地区国防部参谋本部资通电军指挥官马英汉在接受金融时报采访时表示,在当代的电子制造产业中,芯片及其….

  联想在服务器市场的发展延续了它在PC市场的收购模式,2014年9月它收购收购IBM的x86服务器业务….

  超微电脑创办于美国,创始人为台湾华裔,主板组装工厂大部分位于中国大陆,自己工厂做不过来时会分包给代工….

  AMD在过去几年可谓是最难熬的几年,为了研发先进的Zen架构它甚至不得不将办公楼出售以筹集资金,可喜….

  本文档的主要内容详细介绍的是PESD2CAN ESD保护二极管的详细数据手册免费下载。

  对于开发者而言,基础设施相关工作是个令人头痛但又摆脱不了的包袱。然而,无服务器计算机制能够减轻这一负….

  容器是近年来最令人迷惑的时尚。在某些情况下,“我们可以构建是你之前构建的机器的完美复制品的新机器”有….

  如果你同样在使用 Git 开发软件的话,你可以在你的本地开发环境做些希望交给别的开发者的提交,以添加….

  一般来说,应用程序进程的生命周期有三种主要状态:启动、运行和停止。如果我们想成为称职的管理员,每个状….

  先进的制造工艺曾经是Intel最强有力的武器,结果到了14nm上出现严重不顺,10nm更是前所未有地….

  据印度日报《经济时报》报道,戴尔EMC高级董事兼总经理曼尼什·古普塔表示:“客户希望利用这些技术,让….

  在美国国土安全部监察长办公室的一份报告中公布,海关与边境保护局(CBP)未能采取适当的保障措施来保。….

  针对美国可能出台的联邦数据管制,谷歌提出制定一系列公司政策并任命一直以来的隐私顾问基思·恩利特担任首….

  您的成本会随着服务规模增长。不久之后,许可证和维护成本会非常显眼,并引起公司众多财务人员的警觉。竞争….

  本文档的主要内容详细介绍的是UDP用户数据报协议的客户机,服务器,生成文件的程序免费下载。

  作为行业巨头,Intel最近有点流年不利,积极转型的同时PC和服务器大本营却遭到AMD疯狂蚕食,屋漏….

  基础设施即服务(IaaS)提供“服务器”、“存储”、及“网络硬件”等基础设施资源。基础设施即服务(I….

  日前,互联网域名系统北京市工程研究中心(简称域名工程中心,英文缩写ZDNS)在中国科学院软件园发布了….

  《中国AI计算力发展报告》摘要版在2018 AICC人工智能计算大会上正式对外公布。

  每一个产业从起步到成熟都会走过很多年,而在这个过程中,竞争一直存在,有很多因素决定格局的变化,而产业….

  在进行中国AI计算力发展时,浪潮综合考虑算力、算法、数据对于人工智能发展的影响,重点评估AI领域的投….

港交所:深港通技术准备就绪 目前没有消息公布

  中国证监发言人日前表示,深港通将会在今年内择机开通,目前两地监管部门及交易所正密切合作,中国证监会成立了深港通专项工作小组,待各项工作完成后就会启动深港通。今日,港交所就深港通何时开通在回复媒体查询时并未给予正面回应,但重申在技术上已准备就绪,强调目前没有消息可以公布。

  深港通将于本月宣布开通。消息指“沪港通”优化措施及“深港通”条件已经全部落实,最快于本周公布,筹备时间为4个月,即今年12月正式通车。据悉,总额度限制将取消,但未有如市场预期般扩大每日额度,日后每天额度仍维持在现水平,即北上各130亿元(人民币.下同),南下各105亿元,“沪股通”可投资股份亦不予扩阔。消息指中央希望留有一手,一方面是配合内地整顿金融市场及去杠杆,不宜过分刺激股市以免再现泡沫,另一方面是待港、沪、深全面互通后先观察一年,明年再考虑依实际市况慢慢加码。

  深港通开通不仅吸引海外增量资金入场,直接为券商带来业绩增厚。同时也是资本市场对外开发的再进一步,实现内外资金的互通,利于资本市场对外开放。在金融改革大背景下,券商板块将持续收益资本市场的市场化改革红利,券商板块迎来正反馈效应。

  投资者关系关于同花顺软件下载法律声明运营许可联系我们友情链接招聘英才用户体验计划

  不良信息举报电话举报邮箱:增值电信业务经营许可证:B2-20080207

随机IOPS全面超越腾讯云CSG存储网关高性能缓存技术详解

  CSG存储网关是基于腾讯云高性能、高可靠性的对象存储系统COS对外提供iSCSI、NFS和CIFS/SMB访问协议。作为一种混合云方案, 帮助用户不用修改本地应用就可以把数据上传到COS。网关可以部署在用户IDC也可以部署在腾讯云上,产品形态如下所示。

  网关和COS之间需要走外网来通讯,外网网络存在延时高、抖动和丢包等问题,而且还会占用客户大量带宽。

  实际场景下,我们发现用户经常访问的数据只是一小部分热点数据,存在局部性特点,所以如果能在网关上加一层缓存且缓存命中率足够高的话,理论上网关就可以达到接近本地磁盘的读性能,也可以减少对带宽占用。

  缓存的大小受容量的限制只能保存一部分热点数据, 需要根据场景选择合适的缓存算法。评价缓存系统好坏一般通过命中率和延时两个指标,缓存算法一般都是在两者间权衡。影响命中率的关键就是缓存替换算法,而延时主要跟并发锁设计有关。一般缓存系统采用一把大的全局锁,对于CSG采用本地磁盘作为存储介质的系统,普通的SATA盘延时差不多10ms左右,如果采用全局锁最多只有100qps/s, 所以需要对锁进行优化。

  业界普遍的做法是采用缓存替换算法是LRU,例如Linux内核page cache、 memcached等。典型的实现方式是hashtable + 双链 + 全局锁的方式,但是这种实现存在两大问题:

  牺牲LRU特性,即减少节点移动到head的次数, 从而降低全局锁的竞争,但是可能会造成热点数据被淘汰

  每个子链表一把全局锁,maintainer 线程根上述比例维持链表长度时要加全局锁

  节点访问时只需要加节点锁同时标记为active 并不移动解决了锁冲突问题,而且分三个子链表配合制定的访问策略解决了局部性差的场景。但是只是由maintainer 线程根据 active 表示来判断是否移动到 head, 过度的牺牲LRU特性会造成热点数据被淘汰导致命中率低。

  也是采用分两个子链表解决了局部性差的场景, 但是依然采用的是全局锁没有对锁做优化。

  memecached 和page cache的实现针对局部性差的场景都是采用拆分链表的方式。针对全局锁的问题memecached 中虽然采用了节点锁,但是过度的牺牲LRU特性会造成缓存命中率低。

  CSG在实现的参考了这两个方案的优缺点,希望能够在并发性能的和缓存的命中率之间到达平衡, 具体实现如下:

  hashtable每个bucket一把锁保护节点和索引,一把全局锁保护LRU链表

  链表由midpoint指针分为hot 和cold两个子链表,默认的节点数比例是 2:1

  CSG也是通过midpoint把LRU链表划分为hot 和cold两个子链表来解决局部性差场景。锁的优化采用的是段锁+全局锁,对节点的访问是先加段锁访问数据,移动节点时才加全局锁,把全局锁的临界区控制到了最小范围。这样即保证了LRU特性提升了缓存命中率而且锁冲突也不严重, 实际测试4线程加全局锁修改链表可以达到50w+/s的并发满足了需求。

  如上图所示我们实现的段锁hashtable是对每一个bucket一把锁,对hash到同一个bucekt的key加同一锁,多线程并发锁冲突小并发高。hash冲突时采用的链式冲突处理, 当load_factor 1.0时会自动进行resize,保证key和 bucket锁得比例小于1:1。

  对比发现即使单线线程下是unordered_map的两倍以上, key越多锁冲突越少并发性能也越好。

  数据对比在局部性比较好的场景随机范围80G,CSG的延时比国外知名云商低10%左右。局部性比较差的场景随机范围500G, CSG 读随机IOPS是竞品3倍。

巢湖因高温现局部性蓝藻水华 日打捞约2万吨

  2018年8月5日,合肥,工人驾驶打捞蓝藻船,采用水上移动式藻水分离磁捕技术清除蓝藻。受连日高温影响,巢湖出现局部性水华。 7月29日,湖心区和西北岸出现局部性蓝藻水华,水华面积约121.38平方千米,占巢湖水域面积的15.9%。

  { info: { setname: 巢湖因高温现局部性蓝藻水华 日打捞约2万吨, imgsum: 4, lmodify: 2018-08-06 08:16:06, prevue: 2018年8月5日,合肥,工人驾驶打捞蓝藻船,采用水上移动式藻水分离磁捕技术清除蓝藻。受连日高温影响,巢湖出现局部性水华。 7月29日,湖心区和西北岸出现局部性蓝藻水华,水华面积约121.38平方千米,占巢湖水域面积的15.9%。, channelid: , reporter: , source: 视觉中国, dutyeditor: 何雨芳_NN5632, prev: { setname: , simg: , seturl: }, next: { setname: 受台风\云雀\外围影响 江西九江街道成河, simg: 年8月5日,合肥,工人们在合肥巢湖派河口湖面打捞蓝藻。工人配备专业机械化打捞设备,采用水上移动式藻水分离磁捕技术,提高打捞处理效率。记者8月1日从省环保厅获悉,新一期巢湖蓝藻应急防控遥感监测结果显示,受连日高温影响,巢湖出现局部性水华。 7月29日,湖心区和西北岸出现局部性蓝藻水华,水华面积约121.38平方千米,占巢湖水域面积的15.9%。, newsurl: # }, { id: DOGTODCB00AN0001NOS, img: 监测结果显示,7月28日,湖心区和北岸出现蓝藻水华,水华面积约61.88平方千米,占巢湖水域面积的8.1%,水华规模为“零星性水华”。 7月29日,湖心区和西北岸出现蓝藻水华,水华面积约121.38平方千米,占巢湖水域面积的15.9%,水华规模为“局部性水华”。, newsurl: # }, { id: DOGTODCC00AN0001NOS, img: 根据藻情发展,合肥市及时启动相应级别的蓝藻水华防控预警,做好蓝藻水华监测、应急打捞、物资保障等工作。环湖各县(市)区组建蓝藻打捞队伍,配备专业机械化打捞设备,部分县区采用水上移动式藻水分离磁捕技术,进一步提高打捞处理效率。, newsurl: # }, { id: DOGTODCD00AN0001NOS, img: 目前,巢湖岸边,已有塘西河、派河口、长临河、中庙四座藻水分离站实施机械化蓝藻打捞。藻水分离项目负责人表示,当前各藻水分离站正开足马力运行,日平均打捞藻浆合计2万吨,处理后的藻泥运往污泥处置中心。, newsurl: # } ] }

Linux之虚拟服务器LVS搭建

  原理:负载均衡器和RS都使用同一个IP对外服务。但只有DR对ARP请求进行响应,所有RS对本身这个IP的ARP请求保持静默。也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC地址改为RS的MAC(因为IP一致)并将请求分发给这台RS。这时RS收到这个数据包,处理完成之后,由于IP一致,可以直接将数据返给客户,则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端。由于负载均衡器要对二层包头进行改换,所以负载均衡器和RS之间必须在一个广播域,也可以简单的理解为在同一台交换机上。

  原理:就是把客户端发来的数据包的IP头的目的地址,在负载均衡器上换成其中一台RS的IP地址,并发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的原IP地址改为自己的IP,将目的地址改为客户端IP地址即可。期间,无论是进来的流量,还是出去的流量,都必须经过负载均衡器。

  缺点:扩展性差。当服务器节点(普通PC服务器)增长过多时,负载均衡器将成为整个系统的瓶颈,因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时,大量的数据包都交汇在负载均衡器处,导致负载均衡器变慢以至于整个链路变慢。

  原理:隧道模式就是,把客户端发来的数据包,封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包,处理后直接返回给客户端,不需要再经过负载均衡器。注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议。因此,在RS的内核中,必须编译支持IPTUNNEL这个选项。

  优点:负载均衡器只负责将请求包分发给后端节点服务器,而RS将应答包直接发给用户,减少了负载均衡器的大量数据流动,负载均衡器不再是系统的瓶颈,就能处理很巨大的请求量,这种方式,一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。

  缺点:隧道模式的RS节点需要合法IP,这种方式需要所有的服务器支持“IP Tunneling”(IP Encapsulation)协议,服务器可能只局限在部分Linux系统上。

  调度器通过“轮循”调度算法将外部请求按顺序轮流分配到集群中的真实机器上,它均等的对待每一台服务器,而不管服务器实际的连接数和系统负载。

  调度器通过“加权轮循”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态的调整其权值。

  “目标地址散列”调度算法根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

  “源地址散列”调度算法根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找到对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

  调度器通过“最少链接”调度算法动态的将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用“最少连接”调度算法可以较好的均衡负载。

  在集群系统中的服务器性能差异较大的情况下,调度器采用“加权最少连接”调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态的调整其权值。

  无需排队。如果有台Real Server的连接数等于0就直接分配过去,不需要再进行SED运算。

  “基于局部性的最少连接”调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少连接”的原则选出一个可用的服务器,将请求发送到该服务器。

  “带复制的基于局部性最少连接”调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按“最少连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发到该服务器;若服务器超载,则按“最少连接”原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复制的程度。

  说明:由于缺乏实际requests,无法模拟其它动态调度算法的效果,暂时记录到这里。

Michael IJordan:AI 时代变革源于应用场景中的优化算法

  原标题:Michael I.Jordan:AI 时代变革,源于应用场景中的优化算法

  雷锋网 AI 科技评论按:8 月 9 日,为期两周的 2018 国际数学家大会(ICM)在里约热内卢完美谢幕,来自全球一百多个国家的 3000 多位数学家出席了本次盛会。

  近年来,运筹优化与决策算法作为数学在现实中的应用领域,一直受到数学界的广泛关注。而在此次面对 ICM 全体参会数学家的讲座中,Jordan 教授发表了聚焦「是否存在最佳的优化方法」问题的,主题为「Dynamical,symplectic and stochastic perspectives on Gradient-Based optimization」的讲座。人工智能领域中运筹优化和算法决策的重要性,再一次成为了全场的焦点。

  Michael I.Jordan 是加州大学伯克利分校 UCB 电气工程与计算机科学系、统计系杰出教授,美国科学院、美国工程院、美国艺术与科学院三院院士,机器学习领域目前唯一获此成就的科学家,是机器学习的奠基者、人工智能领域的泰斗之一。

  Michael I.Jordan已确认参加由雷锋网、乂学教育·松鼠AI和IEEE LTSC主办的『全球AI+智适应教育峰会』,免费门票、VIP门票开放申请中,访问大会官网即刻申请:

  今天演讲的主题是动态的、保辛的随机视角下的梯度优化方法。内容围绕动态系统(dynamical systems)和优化之间的关系展开。这在数学中是一个古老而宽泛的领域。动态系统研究涉及数学的众多分支,主要基于对梯度流与力学变分观点。「数据工程」通常被称为「机器学习」或「人工智能」,是跨越统计学、物理学、计算机科学和数学的跨领域学科。

  对我们来说,将计算与实际问题相结合是一项艰巨的任务。我们的目标是在这个领域中建立一些新的联系,从基于梯度优化的连续时间、变分角度研究等各个方面着手。我们超越了经典的梯度流理论,专注于二阶动态,旨在展示这种动力学与快速收敛 (converge) 的优化算法之间的相关性。

  虽然我们关注理论研究,但实际的应用背景对我们来说也同样重要。现代统计数据分析通常涉及非常大的数据集和参数空间,因此计算效率在实际应用中至关重要。

  在这样的前提下,效率的概念比传统的计算复杂性理论中「算法复杂度」的概念更加严格。我们接下来讨论多项式复杂性和指数复杂性之间的区别,这是一个非常有意义的关注点。在大规模数据分析中,一个可以实际应用的算法不仅需要多项式的复杂度阶,而且需要在相关问题参数中线性或者近似线性的复杂度。优化理论为提升算法的效率提供了实践和理论的支持。它提供了计算效率高的算法,并提供了允许将收敛速度确定为问题参数的显式函数的分析工具。鉴于基于 Hessian 的优化方法在参数空间的维度上会产生二次或三次的复杂度,在讨论非一阶方法的时候,效率可能是一个有意义的讨论点。

  更广泛地说,统计推断(statistical inference)和计算思想的融合,是当前世纪的主要趋势之一——目前以诸如「数据科学」和「机器学习」这样的术语来出现。这是一种寻求将计算和统计推断需求共同研究的新的数学概念的趋势。例如,人们希望将数据分析算法的运行时间的计算化成关于统计风险、数据样本数量、模型复杂度等统计量的函数,同时考虑计算资源限制,如处理器数量、通信带宽和异步程度。对这种权衡的基本理解似乎可以通过更低的下界的发展而出现——通过建立「最优」概念,可以消除冗余的概念并揭示必然的联系。在这里,优化理论也很重要。

  经典统计理论没有考虑时间维度,它的方程在数据复杂性、风险和变量维度之间进行权衡,但在这些方程中并不包含运行时间。而在计算机科学的另一方面,你会发现算法设计需要在运行时间、运行资源等复杂性度量之间进行权衡,但统计风险不在其中。所以要如何将这两种方式放在一起是我们这个时代的一大挑战。优化起到了将这两个领域结合在一起的作用,它提供了算法和对问题更深层次的理解,特别是当我们开始考虑通过优化去达到更优的下界。

  在 20 世纪 70 年代开始的一项开创性研究中,Nemirovski、Nesterov 和其他人开发了一种优化的复杂性理论,建立了收敛速度的下界,并发现实现这些下界限的算法。此外,复杂性模型是相对的——指定了「oracle」,那么算法只能使用 oracle 可用的信息。例如,只访问函数值和梯度的 oracle。因此,实际计算效率的相关指导方法可以在理论中以自然的方式施加。

  计算和统计数据通过优化结合在一起。而哪些领域会先开始组合在一起?我们如何开始建立理论和实践?在现实生活、公司和科学中,以下对于成功案例至关重要。一个是基于梯度的优化,我学到的算法版本,是在关注 Hessian 矩阵和牛顿迭代法以及更高阶的版本。在二三十年间,它们发挥了很多作用,特别是在大规模计算问题上得到了成功应用,但计算 Hessian 很难,也很难去估算它们。现在我们经常会有随机差异,在这些问题上我们没有办法准确地观察事物。这些问题只是存在于统计领域,我们可能存在各种错误比如采样偏差等。我们必须面对它并且利用它。最终,加速概念在前苏联优化界出现了,它是研究优化算法,尤其是如何获得最快的优化算法的概念。这类被称为「加速算法」的优化算法(Nesterov, 1998),通常可以达到 oracle 的最下限速率,尽管 Nesterov 加速方法为什么能够达到 oracle 的理论原因还是个谜。

  我们认为,一些谜团是出自于离散时间算法和分析的优化的历史焦点。在优化中,「连续优化」和「离散优化」之间的区别,在于如何匹配(「空间」)变量。相比之下,我们的讨论将集中在连续时间上。在连续时间中,我们可以将加速度作为一种差异概念给予数学意义,将它作为沿曲线的速度变化。我们可以提出「最快速率是多少」的问题,来作为变分分析的一个问题。本质上,这是为给定的 oracle 本身找到「优化的最佳方法」作为优化的形式问题。这种变分的观点也具有生成性的优点——我们可以推导出实现想要的 fast rates 的算法,而不是去为某一个特殊方式得出的特定算法去分析并建立一个符合算法要求的 fast rate。

  为了使连续时间上的结果能够推广、得出数字计算机可以实现的算法,我们将连续时间动态系统的问题离散化。有趣的是,我们会发现,广泛应用于从变分或哈密顿角度获得的动态的辛迭代积分器,与优化有关。从辛积分获得的算法可以更快地通过相空间移动,这为「加速」赋予了几何意义。

  考虑在某种意义上的「加速」的连续时间下的随机动态系统也是有意义的。最简单形式的基于梯度的积分微分方程是 Langevin 扩散。我们看到,通过考虑欠阻尼 Langevin 扩散,我们将获得更类似于加速梯度下降的方法,并且实际上可证明产生比过阻尼扩散更快的速率。

  Nesterov 在 1980 年代提出了一种建立收敛速度下界的梯度下降方法。在 1983 年 Nesterov 发表了开创性论文后,随后的三十年中,各种其他问题背景下的各种加速算法得到了发展。这些包括镜像下降、复合目标函数、非欧几里德几何、随机梯度下降和高阶梯度下降。我们已经证明了以上这些算法的收敛速度:他们的收敛速率通常达到 oracle 下限。总体来说,加速一直是现代优化理论中最富有成效的思想之一。

  拉格朗日公式可以在连续时间内捕获加速度,显示该公式如何产生一系列微分方程,其收敛速度是离散的连续时间对应物。我们强调这些微分方程的数值积分问题,建立了我们在下面讨论的辛积分方法。

  辛积分是微分方程离散化的一般方法,它保留了动力系统的各种连续对称性。从力学获得的微分方程的情况下,这些对称性包括物理上有意义的积分,例如能量和动量。即使动态量只是近似值,辛积分器也能精确保存这些量,除了从物理守恒的观点来看这一结果的吸引力之外,连续对称性的保留意味着辛积分器比其他积分格式更稳定。因此可以在离散时间系统中使用更大的步长。正是后一个事实表明辛积分器在加速优化方法相关的微分方程中起作用。辛积分器可以从拉格朗日框架导出,但更自然地,可以从哈密顿框架导出。但事实上,辛方法在拓扑上比 Nesterov 加速法的一个三序列变种更稳定,如果选择更大的步长,这一事实就会更加明显。辛集成与优化中的加速现象之间存在着联系,当后者被解释为连续时间现象时,辛积分提供了获得离散时间近似的有效且灵活的方式。

  最需要注意的是非凸优化中的加速度与鞍点的逃逸问题。现实中存在的问题大都具有非凸特性。事实证明,对于统计学习中的广泛问题,非凸情形下存在足够的数学结构,即可以获得有用的数学结果。实际上,在许多情况下,来自凸优化的想法和算法适当地修改可以被应用于非凸环境。特别对于基于梯度的优化,在凸问题中执行良好的相同算法也倾向于在非凸问题中产生良好的性能。从这个意义上说,凸优化除了拥有自己的许多自然应用之外,还可以作为非凸优化的实验室。在鞍点附近存在 pancake 区域,在这个区域内进行梯度下降将「卡住」需要指数量级的时间逃逸。这个区域并不平坦,而是随着 Hessian 的变化而变化。Lipschitz 假设使我们能够控制这种变化。

  到目前为止关注的是动态系统。系统是确定的。随机性以有限的方式被引入,作为一种扰动,确保从鞍点快速逃离。我们特别分析了球中的非均匀扰动,足以快速逃离,但是这不是必要的。鉴于这种简单选择的成功,我们用动力研究中更彻底的随机方法来解决我们的问题。

  基于梯度的优化的一般主题及其在大规模统计推断问题中的应用,目前非常活跃。我们要强调一下在未来几年可能引起持续关注的一些课题。一个令人值得注意的问题是,在统计设置中经常使用优化方法来解决点估计问题,其中核心问题是在参数空间中输出具有所需统计特性的单个点。

  而更广泛的问题是,使用概率分布的一些精炼的形式来提供与该相关的不确定性的指标。通过考虑作为概率分布空间的空间,优化思想也可以在这里体现:我们可以要求不收敛到单个点,而是收敛到点的分布上。哈密顿方法自然而然地产生震荡解,并且正如我们所看到的,需要一些工作来获得收敛到某一个点的算法。这表明哈密顿方法实际上在分布收敛的设定中比在点估计设定中更容易使用,从而提供了点估计和更广泛的推断问题之间的算法桥梁。事实上,在贝叶斯推断中,哈密顿公式(以及不同积分器形式的辛积分)已经成功地应用于 MCMC 算法(马尔科夫链蒙特卡洛算法)的设置中,其中哈密顿函数的动量分量提供了更快的混合。加速算法和高效的推断算法之间更深层次的联系值得研究。

  数学正在成为数据领域的一个强大工具,已经证明了许多定理。对力学的梯度流和变分透视的研究可以应用于该区域。最后,我需要重申一下数学工具在解决基于数据的实际问题中的重要性。尽管有一些现实世界的为数据分析的数学应用问题,我们承认这个领域还不是很成熟,但未来非常值得期待。