《大数据时代》笔记——10分钟读懂大数据
大数据时代的思维变革
不是样本而是全部
- 小数据时代的随机取样
- 全数据模式，样本=总体
谷歌流感趋势预测——分析美国整个互联网检索记录，可以推测到某个城市的流感状况
Lytro相机——记录整个光场里的所有光，具体生成的照片可以根据需要决定
乔布斯癌症治疗——对乔布斯DNA、肿瘤DNA全测序，根据其特定基因组成按需用药
不是精确性而是混杂性
参见: 世界不是贫乏规整的惨象，而是纷繁复杂的，天地间存在的事物也远远多于系统想象
- 谷歌翻译
虽然搜集的有错误翻译，但巨大的语料库优势完全压倒了缺点，使其好于布朗、微软的班科和布里尔、IBM的Candide
- Facebook等社交网站
由用户随意贴标签分类照片
- 象棋残局
输入所有可能，因此表现的完美无缺和不可战胜
- word语法检查
少量数据下表现最好的算法在大量增加数据量后却表现最差
不是因果关系而是相关关系
- 亚马逊推荐系统
根据产品间的联系推荐，增加100倍销售量
- 沃尔玛
飓风来临前，将蛋挞与飓风用品摆在一起可增加销量
基于相关关系的预测是大数据的核心
- 塔吉特与怀孕预测
美国折扣零售商通过对女性消费记录分析，可以发现她是否怀孕，从而在相应阶段寄送相应的折扣券
- UPS与汽车修理预测
UPS国际快递公司通过监测车辆的各个部位，提早更换需要更换的零件
- 早产儿病情诊断
实时监测病人信息，提早预测感染
大数据时代的管理变革
风险--让数据主宰一切的隐忧
- 无处不在的第三只眼
亚马逊监视着我们的购物习惯
谷歌监视着我们的网页浏览习惯
微博窃听到了我们心中的TA
facebook似乎什么都知道，包括我们的社交关系网
- 隐私被二次利用
大数据时代，不管是告知与许可、模糊化还是匿名化的隐私保护策略都失效
- 预测与惩罚
预测犯罪并提前制止；老年人需要交更多保险费；
这否定了人的自由权利、公平，无法独立选择和自由意识
- 数据独裁
过于信任、依赖数据
掌控--责任与自由并举的信息管理
- 个人隐私保护
让使用者承担责任
公司负有特定时间之后删除个人数据的义务
- 保护个人动因
- 反数据垄断大亨
- 程序员监控大数据并保持透明度
大数据时代的商业变革
一切皆可量化坐姿转化成数据
- 汽车防盗系统
能识别是否是车主，不是需要输入密码，错误则自动熄火
- 识别盗贼
通过收集到的数据识别盗贼
- 提醒疲劳驾驶
- 坐姿与行驶安全关系
通过分析事故发生前的坐姿变化情况
地板数据化
- 适时的开灯、开门
- 根据体重、站姿、走路方式确认他的身份
- 监控商店人流量
文字变为数据
- 谷歌数据图书馆
- 谷歌翻译
沟通变成数据
- 微博
- 情绪数据化
来自世界不同文化的人每天、每周的心情都遵循着相似的模式-2011.science
- 监听新微博发布频率预测电影成败
- 分析微博数据文本，作为股市投资信号
位置数据化
- GPS
- 通过手机预测交通情况
- 处理来自手机的数据预测人类行为
流感时期：通过分析每个人去了哪里见了谁，知道应该隔离谁，怎么找到他
数据创新
- 数据再利用
网页流量测量揭示用户喜好-Hitwise公司
- 数据重组
整合手机用户信息与癌症患者信息揭示手机是否增加致癌率-无关
- 扩展数据利用
零售店监控摄像头
零售店监控摄像头除了安全保卫，还可以跟踪客流及客户停留的位置
从而设计店面最佳布局、判断营销的有效性；最终变纯粹的成本为可增收的投资
- 数据折旧
及时剔除失去基本用途的数据，如亚马逊推荐系统一般不用用10年前客户买的书来进行推荐
- 数据废气利用
谷歌根据用户点击的搜索结果所在的位置来更正排名，将更相关的提前
谷歌拼写检查反馈系统
通过用户自行更正的搜索词、或点击显示正确拼写的页面来完善
相比微软创建维护词典库更先进，变碎屑为金粉
- 开放数据
开放政府数据的倡议响彻全球；私营部门社会对数据的利用更具创新性；数据的价值不只是浮在水面的冰山一角；
数据、技术、思维三足鼎立
- 数据拥有者
数据拥有者可以选择将数据授权给其他公司，如ITA Software；可以自行开发分析，如MasterCard；
- 大数据技术公司
微软Amalga系统，减少病人再度入院、
- 大数据思维公司与个人
20岁的克罗斯与四个朋友创办了FlightCaster预测航班晚点
- 数据中间商
