您现在的位置:首页 > 资讯中心 » 专题文章 » 正文

百度CTO:绿色数据中心应对大数据时代

来源:比特网 作者:徐征 2012-07-27 09:17:50
http://down0.51hvac.com/down/uploads/allimg/110721/1-110H1091G40-L.gif
专题
现代科技的发展对IT、电信企业的要求逐步提高,为了满足市场要求和行业竞争,企业必须不断投入人力物力进行硬件加强,随之,研发..

     7月26日,在2012中国通信行业数据中心峰会上,国内知名搜索引擎服务企业百度公司技术总监陈尚义,与嘉宾们分享了百度在数据中心绿色运行上的实践经验。其中关于互联网企业数据中心如何节能高效方面,百度采用的统一基础架构平台,在节能降耗以及资源动态调度方面引起了听众们的关注。比特网记者也利用会见期间采访了陈尚义。


      陈尚义向记者谈到,百度每天面对海量的大数据,其系统产生的海量日志达到百PB级,需要数万台服务器存储。并且随着网页资源增加和搜索质量提升,网页和超链数据将随之急剧增加。因此百度数据呈现海量、高增长,结构化和非结构化并存,记录大小差距巨大,数据一致性强弱不一,数据冷热不均,突发事件常导致数据访问波峰等特点。


  针对以上问题,百度通过自建数据中心,开发了自己的大数据存储系统,并使用了多项新技术。例如,开发网页更新模型、优化数据存储和访问、定制Flash、多副本存储、自主知识产权的复制协议、数据分治策略、采用拆片存储技术、运用局部更新大记录的策略和三层数据存储模型等。


  “可以说,数据中心是百度业务的载体,它支撑着海量数据存储、云平台和搜索社区等,所以百度更加关注建设云数据中心,用云的核心驱动力来支撑业务规模发展。我们自建的数据中心规模目前达到1000PB,计算能力是100万CPU核。”陈尚义表示,“百度的单体十万台服务器的数据中心,PUE每降低0.1,一年就可为百度节省上千万的成本。所以,打造自我的绿色高效数据中心,大数据时代将很好应对节能环保、低碳的要求。”


      百度数据中心是如何“瘦身”高效的?陈尚义介绍,百度绿色数据中心设计理念是绿色为整体,从源头开始节能。首先解决的是设备能耗问题,其中包括IT设备和辅助设备能耗问题。其次是单机的定制化量体裁衣,采用集中散热、集中供电、高效部件等方法。同时,采用SSD解决服务器的瓶颈,降低服务器数量,节约了30%的服务器。另外,百度在数据中心工作上,采取白天以商业业务为主、数据处理为辅,夜晚侧重数据处理为主的原则,利用早晚的用户使用习惯,来很好分配大数据量的工作时间,进而实现了节能高效。


  陈尚义最后表示,百度未来仍将一如既往地引领大数据存储和处理的发展方向。l

免责声明:
1.本网站部分文章内容、图片或视频来源于网络、作者投稿等,版权归原作者所有,仅供学习参考之用,不具有任何商业用途,如涉版权、侵权等问题,请及时联系我方进行处理(联系电话:022-84220470,电子邮件:help@51hvac.com);
2.本网站对转载、分享内容、特约发布、陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完善性提供任何明示或暗示保证,仅供读者参考,并请自行核实相关内容;
3.只要不用于商业目的,本网站的文章欢迎任何形式的传播和转载,转载请取得授权、注明出处、保持作品完整;
4.本网站有权根据中华人民共和国法律、法规及规范性文件、互联网变化及自身业务的发展情况,不断修改和完善本声明。
微信扫描左侧二维码,文章分享到朋友圈
暖通空调在线公众微信:ehvacr
每日行业微信日报,订阅有礼了!
责编:cuilei
新闻投稿:news@51hvac.com
高端访谈更多>>
  • 许鹏教授:抗击COVID-19ASHRAE与REHVA对策之对比及借鉴
  • 张泉:数据中心节能方向及相关技术研究的进展
官方微信