往期回顾

第一期数据处理技术变迁

  • 时 间
  • 2012-09-15 13:30-16:00
  • 地 点
  • 北京通惠国家广告产业园A座3层万松书院
  • 主持人
  • 逸客淘宝高级技术专家,2005年至今专注于数据仓库、数据分析与挖掘在互联网中的应用,经历了单机数据系统演进到几千个节点的大型分布式数据平台的变迁,主导构建了淘宝直通车等业务线的数据平台。目前负责一淘数据部-数据分析与开发团队,支持大淘宝系的搜索、广告、无线、联盟等业务数据的分析与开发。

话题

数据处理技术变迁

随着数据指数级别的增长,对数据分析处理技术不断的提出了新的挑战。从oracle到hadoop,从脚本到hive,新技术的引进成本和业务发展如何平 衡。在海量数据和纷繁复杂的需求下, 大淘宝数据处理现有的体系架构是怎样的,是如何支撑到搜索、广告、数据产品(量子恒道)等业务和运营。本次分享就从淘宝的业务增长出发,交流技术的变迁过程和背景。并且就现有的大淘宝数据平台的数据处理架构进行分享和相关方面的交流。

嘉宾

士诚

09年加入淘宝,后一直从事海量数据分析开发工作,参与了淘宝数据部门整个分布式平台变迁的全过程,量子恒道的数据仓库构建和开发。在基于分布式的数据开发方面有深厚的实践经验。目前主要关注与分布式系统的数据仓库建设,分布式系统应用和优化。

讨论的话题

  • 数据处理中的问题和瓶颈

  • 数据处理技术的选择

  • 新技术的应用场景和局限性

现场速递

分享开始,嘉宾士诚分享数据处理技术变迁

分享过程中,不时有同学积极提问并与嘉宾讨论

散场后仍有很多同学留下来热烈讨论