一淘数据部-月光宝盒双11 HBase集群应用和优化经验

本博客会陆续更新一淘数据部 各位技术同学分享的资料。
本次分享的内容来自九翎同学:
受众:
对HBase集群应用感兴趣的同学。
简介:
培训内容:
月光宝盒项目为了满足双11当天天猫所有会场坑位效果计算的需求,尝试对HBase集群进行了一系列的应用和优化,顺利支撑双11当天各个流量峰值时刻的读写压力。本次是对这些经验的总结与分享,和大家探讨交流HBase在高并发读写应用场景下的实践方法。
内容大纲:
1). 月光宝盒项目简介
2). HBase集群双11相关工作
3). 月光宝盒双11优化工作
4). 总结的话
5). Q&A

文件下载:月光宝盒双11 HBase集群应用和优化经验-PDF文件

基于storm引擎的虫洞系统

虫洞系统是吸星大法项目衍生出来实时计算的基础平台。

它以storm实时流处理引擎为基础,提供了计算力、数据源整合、数据交换、监控几大功能模块。任务的权限控制正在筹划中。

这几个功能模块是此实时计算平台提供稳定运行的基础,虫洞系统承载的业务包括:月光宝盒、一淘首页个性化(实时用户个性化指标的计算)、吸星大法实时日志接入(数据源整合)。
  • 计算能力
    基于storm的流式处理任务可以直接运行在虫洞系统上,避免了搭建、维护集群的成本,极大的节约了业务的成本、提高了开发的效率和系统的稳定性
  • 数据源整合
    目前虫洞系统整合了多个实时数据源,这些数据源组合起来,可以实现完整的业务分析。 吸星大法实时数据接入将数据源接入、归一化,为使用方提供格式一致的数据,简化了日志使用的成本和难度。目前接入的主要数据源有:
            – 全网Aplus日志
            – 订单
            – 支付宝交易
            – 站外B2C
            – 实时购物车、收藏夹等
  •   数据交换
    基础日志经过归一化之后,根据业务场景需求,可以有两种方式来使用:
                     1) Hbase, 如果需要回溯历史数据,可以使用Hbase接口来访问
                     2)虫洞(动态端口), 高效、便捷的数据交换形式,支持日志的横向和纵向任意裁剪,支持客户端的动态负载均衡;高容错性等很多特性
             上述两种方式都提供了客户端sdk供使用
  • 监控系统
    监控系统是虫洞系统稳定运行的基础。它有两个主要功能: 1) storm task级状态的汇总 2)异常状态的报警,目前支持短信、旺旺报警
storm task级监控室为storm量身定做的监控系统,使得集群中不同机器间的状态统一监控,监控指标丰富、并且可自定义,是任务开发、调试、运维的利器。

一淘网数据部数据工程-了解前端内存泄露

本博客会陆续更新一淘数据部 各位技术同学分享的资料。
本次分享的内容来自夜沨同学:
受众:
对基数,概率算法感兴趣的同学
简介:
1、基数的概念、应用、传统计算方式极其局限;
2、三种计算基数的概率算法、相关数理分析、比较及实现重点

文件下载:基数估计的概率算法及uv计算中的应用-PDF文件

一淘网数据部数据工程-JS系列2之玩转数据类型

本博客会陆续更新一淘数据部 各位技术同学分享的资料。
本次分享的内容来自 霍雍 同学:
受众:
JavaScript公开课是系统学习JavaScript语言的课程。前端同学或对系统学习JavaScript感兴趣的同学均适合查看。
简介:

JavaScript公开课》是JS编程语言的系列分享。

本次分享将对数据类型及转换、类型检测、常用操作符等做由浅入深的探讨。
大纲:
1). 上节回顾;
2). 基础知识;
3). 包装对象;
4). 类型检测;
5). 动手实践;

文件下载:JS系列2之玩转数据类型 上

JS系列2之玩转数据类型 下

一淘网数据部数据工程-JS系列1之认识JavaScript

本博客会陆续更新一淘数据部 各位技术同学分享的资料。
本次分享的内容来自 霍雍 同学:
受众:
JavaScript公开课是系统学习JavaScript语言的课程。前端同学或对系统学习JavaScript感兴趣的同学均适合查看。
简介:

在逐项深入前,第一节是对语言整体的介绍。都说“万事开头难”,而JavaScript却是“入门容易、精通较难”的奇妙语言。
本节我们探讨的主题:
1). 介绍JavaScript;
2). 误解最多的语言 ;
3). 六个引子;
3.1). 类型 & 类型强制转换;
3.2). 操作符;
3.3). 对象 & 基元类型;
3.4). 函数 & 构造器;
3.5). 闭包;
3.6). 原型;

文件下载:JS系列1之认识JavaScript

大数据产品架构

大数据产品架构设计

一淘网数据部数据工程-Sphinx应用开发

本博客会陆续更新一淘数据部 各位技术同学分享的资料。
本次分享的内容来自 征宇同学:
受众:
对sphinx感兴趣的同学,需要论坛搜索引擎的同学
简介:
Sphinx是一个基于SQL的全文检索引擎。这此分享主要针对Sphinx的配置,应用开发进行讲解,让大家对Sphinx有个感性认识

文件下载:SPhinx在量子知道中的应用-PDF文件

一淘网数据部数据工程-OBConnector介绍

本博客会陆续更新一淘数据部 各位技术同学分享的资料。
本次分享的内容来自国相同学:
受众:
对OB和OBConnector感兴趣的同学
简介:
1.OB在销售分析中的应用
2.OBConnector提供哪些功能简化OB的使用
3.OBConnector的设计和实现

资料下载:OBConnector PDF文件

一淘数据部数据分析与开发-数据开发技术概述

本博客会陆续更新一淘数据部 各位技术同学分享的资料。
本次分享的内容来自冷川同学:
受众:
对海量数据计算感兴趣,想系统了解数据开发技术,以及平时需要使用数据相关技术的同学
简介:
本节课是数据开发技术的入门课程,结合大淘宝数据平台数据平台及开发技术的演进过程,详细讲解目前在用的主要数据开发技术,并且为大家呈现出目前主要的数据开发技术框架图,最后在未来超海量数据的大背景下,数据同学应该主动结合系统痛点进行技术应用

文件下载:数据开发技术-冷川

数据沙龙系列分享

第三期数据分析方法论和实践

  • 时 间
  • 2012-12-01 14:00-16:30
  • 地 点
  • 北京通惠国家广告产业园A座3层万松书院
  • 主持人
  • 少侠