1 安装前的准备工作 环境说明： 四台服务器，均采用CentOS 6.5 (64bit)平台： 服务器：hdnode01，用途：NameNode和JobTraker 服务器：hdnode02-04，用途：DataNode和TaskTraker JDK: jdk-6u24-linux-x64.rpm Hadoop：hadoop-2.2.0.tar.gz 其他准备： 配置时间同步 配置SSH免密码登陆 名称解析（我这里默认已配置好dns） 1.1 配置SSH免密码登陆： 为了方便后面的配置，我们先配置SSH免密码登陆，以后所有操作都可以在hdnode01...

  导读智能家居的出现，让以往存在于科幻片中的情景能够被人们触手可及！ 陌生人闯入房屋，主人会收到家中智能安防系统发出的手机短信通报；快到家时可以用手机远程操控空调、电热水器；厨房可视电话可以让你在炒菜的时候通过可视电话辅导小孩做功课……智能家居的出现，让以往存在于科幻片中的情景能够被人们触手可及！ 提到智能家居，不少人的第一反应就是比尔·盖茨的湖畔豪宅。几公里长的通讯电缆(大部分是光纤)...

现在选择继续使用MySQL或抛弃它切换到MariaDB有足够的理由。 MariaDB 博客上的性能测试 MariaDB是MySQL源代码的一个分支，在意识到Oracle会对MySQL许可做什么后分离了出来（MySQL先后被Sun、Oracle收购）。这些担忧是有依据的，我会在本文的后面讲到。除了作为一个Mysql的“向下替代品”，MariaDB包括的一些新特性使它优于MySQL。 在介绍这些特性前，我想先谈谈MariaDB的版本编号模式。首先，MariaDB版本与Mysql版本相匹配——比如...

hadoop的版本线路： hadoop的版本是很“混乱”的，并不像我们常见的软件版本一样，版本号高的就最新，hadoop的版本可以用“诡异”二字描述，具体看下图： 注：0.20-security分支开始引入了Kerberos认证，解决了HDFS无认证的安全问题。 Apache Hadoop版本功能介绍 第一代Hadoop特性： append：支持文件追加功能，让用户使用HBase的时候避免数据丢失，也是使用HBase的前提。 raid：保证数据可靠，引入校验码校验数据块数目。 symlin...

Web服务器的性能优化有很多资料介绍了，多台主机负载均衡，查询结果的多级缓存，数据库索引优化等都是常见的优化手段。随着后端优化空间越来越小，现在越来越多的网站更注重前端性能的优化，就是浏览器，http层面的优化，这里写两点最简单最有效的asp.net网站优化技巧。 了解常见的网站性能优化技巧 首先我们要学一些优化网站性能和体验的理论和基础知识，雅虎已经帮我们总结好了，详见参考链接中的几篇文章，有好心人已经给翻...

前面的讨论中，我们已经了解了Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获取所要处理的数据？ 在传统的高性能集群中，计算节点和存储节点是各自独立的，它们之间通过高速网络完成互联，然而，在面临海量数据处理的问题时，网络必然会成为整个系统的性能瓶颈，这就需要引入超高速的网...

每个MapReduce job都是Hadoop客户端想要执行的一个工作单元，它一般由输入数据、MapReduce程序和配置信息组成，而Hadoop会把每个job分隔成两类任务(task)：map任务和reduce任务。在Hadoop集群中有两类节点来执行两类job进程的执行 。 1 大数据处理 任何基础业务包含了收集、分析、监控、过滤、搜索或组织web内容的公司或组织都面临着所谓的“大数据”问题：“web规模”处理即海量数据处理的代名词。社交类网站的兴起也使得这些组织...

Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上执行或重新执行。此外，Hadoop还提供了分布式文件系统...

现在，如果你没有听说过Hadoop，那么你一定落伍了。作为一个全新的开源项目，Hadoop提供了一中新的方式用来存储和处理器数据。大型的互联网公司，如谷歌、Facebook都使用Hadoop来存储和管理它们庞大的数据集。Hadoop也通过在这些领域的应用证明了其五大优势： 高可扩展性 Hadoop是一个高度可扩展的存储平台，因为他可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。不同于传统的关系型数据库系统不能扩展到处理大量的...

wireshark介绍 wireshark官方网站： http://www.wireshark.org/ wireshark是非常流行的网络封包分析软件，功能十分强大。可以截取各种网络封包，显示网络封包的详细信息。 wireshark是开源软件，可以放心使用。 可以运行在Windows和Mac OS上。 使用wireshark的人必须了解网络协议，否则就看不懂wireshark了。 Wireshark不能做的 为了安全考虑，wireshark只能查看封包，而不能修改封包的内容，或者发送封包。 Wireshark VS Fiddl...