高考作文、世界杯胜率,百度基于大数据的“神预测”已关闭评论
大数据到底能帮传统企业什么忙?已关闭评论
大数据,人类又一个技术乌托邦?已关闭评论
无所不能的大数据:预测本届世界杯赛事结果已关闭评论
[转]分析资源管理系统的演变: 从Mesos、YARN再到Google Omega已关闭评论
背景
我觉得资源管理器所要处理的问题无外乎几块:资源分配的策略,资源分配的粒度,资源分配的方式,不同类型任务的调度等。看了Google新一代资源管理器Omega的论文之后,对比Mesos和YARN总结了下面一些内容。
问题分类
任何资源调度系统都将面临下面几个问题。
该怎么分离不同的调度工作?
第一,可以无视任务类型,进行均衡负载地分配。第二,专门分离一些适合不同调度工作的调度器去负责各种调度反正。第三,上两种的结合。...
阅读全文
大数据的结果是福是祸?已关闭评论
一、统计现象可能是病态的;
我们经常得到一些用户的消费或者娱乐行为,但是这些行为可能是病态的。这里我就举两个病态的习惯现象作为例子说明。有些用户具有一种病态的消费习惯,习惯于同时消费一定数量的产品,或者某种特定的产品组合。比如,有些肥胖症病人,喜欢吃高热量食品,当然就喜欢看到高热量食品摆放在一起,但是这样就无形中鼓励了对这些用户的不良消费习惯。另一个例子是网络文学。现在的网络文学可算是世界奇观,...
阅读全文
大数据四个“战场”:实时打击欺诈犯罪已关闭评论
如今,当人们谈到欺诈时,可能第一个想到的是银行,事实也是如此——银行是最容易受到威胁的行业。但过去Interac Association的一份报告显示在加拿大借记卡欺诈损失实际上已经下降了62%,而且到了2013年受益于芯片和PIN技术的发展,随着一些安全性高、欺诈检测机制发展起来,可以帮助企业实时检测到欺诈行为,提升惩治犯罪机率。
对于欺诈率下降是个好消息,但是相比好消息,技术的发展不可能消除诈骗犯罪,欺诈者仍然能够利用许...
阅读全文
李彦宏发布百度大数据引擎,及与谷歌、亚马逊等类似项目对比已关闭评论
4月24日,以“大数据引擎驱动未来”为主题的百度第四届技术开放日在北京举行,会议期间百度推出了首款集基础设施、数据处理和机器学习的大数据引擎,而董事长兼CEO李彦宏亲自出席更凸显了百度对这一产品的重视,下面为大家分享罗超在虎嗅上的精彩分析。
以下为原文:
在昨天(4月24日)的百度技术开放日上,李彦宏现身并推出了百度大数据引擎。这在百度,表明对相关产品最高的重视了。
这个发布是什么意思呢?简单地讲,大数据...
阅读全文
看看全球十大电信巨头的大数据玩法已关闭评论
对于电信运营商而言,没有哪一个时代能比肩4G时代,轻松掌握如此海量的客户数据。4G时代,手机购物、视频通话、移动音乐下载、手机游戏、手机IM、移动搜索、移动支付等移动数据业务层出不穷。它们在为用户创造了前所未有的新体验同时,也为电信运营商挖掘用户数据价值提供了大数据的视角。数据挖掘、数据共享、数据分析已经成为全球电信运营商转变商业模式,赢取深度商业洞察力的基本共识。
目前,全球120家运营商中,已经有48%...
阅读全文
HBase在搜狐内容推荐引擎系统中的应用已关闭评论
Facebook放弃Cassandra之后,对HBase 0.89版本进行了大量稳定性优化,使它真正成为一个工业级可靠的结构化数据存储检索系统。Facebook的Puma、Titan、ODS时间序列监控系统都使用HBase作为后端数据存储系统。在国内公司的一些项目中也用到了HBase。
HBase隶属于Hadoop生态系统,从设计之初就十分注重系统的扩展性,对集群的动态扩展、负载均衡、容错、数据恢复等都有充分考虑。相比于传统关系型数据库,HBase更适用于数据量大、...
阅读全文