分类目录
-
最近文章
近期评论
- 王 淑娟 在 802.11ad——您前所未见的最快WiFi解决方案 上的评论
- 李 伟斌 在 【转载】记一次 superblock 损坏导致服务器无法启动的故障修复 上的评论
- 李 伟斌 在 【转帖】树莓派入门之自动登陆及自动运行程序 上的评论
- 李 伟斌 在 【转载】系统状态查询IOSTATE的一些细致分析。 上的评论
- 心的海洋 在 NAT地址转换原理全攻略[转载] 上的评论
文章归档
- 2025 年四月
- 2025 年三月
- 2025 年二月
- 2024 年十月
- 2024 年七月
- 2024 年六月
- 2024 年四月
- 2024 年三月
- 2024 年一月
- 2023 年十二月
- 2023 年九月
- 2023 年八月
- 2023 年五月
- 2023 年二月
- 2022 年十一月
- 2022 年九月
- 2022 年一月
- 2021 年十一月
- 2021 年七月
- 2021 年三月
- 2021 年二月
- 2021 年一月
- 2020 年十二月
- 2020 年十一月
- 2020 年十月
- 2020 年九月
- 2020 年八月
- 2020 年七月
- 2020 年六月
- 2020 年五月
- 2020 年四月
- 2020 年三月
- 2020 年二月
- 2020 年一月
- 2019 年十二月
- 2019 年十一月
- 2019 年九月
- 2018 年七月
- 2018 年四月
- 2018 年三月
- 2017 年十二月
- 2017 年十月
- 2017 年九月
- 2017 年八月
- 2016 年十月
- 2016 年九月
- 2016 年八月
- 2016 年一月
- 2015 年十月
- 2015 年九月
- 2015 年八月
- 2015 年一月
- 2014 年九月
- 2014 年八月
- 2014 年六月
- 2014 年四月
- 2014 年二月
- 2014 年一月
- 2013 年十二月
- 2013 年十一月
- 2013 年九月
- 2013 年八月
- 2013 年七月
- 2013 年六月
- 2013 年五月
- 2013 年四月
- 2013 年三月
- 2013 年二月
- 2013 年一月
- 2012 年十二月
- 2012 年十一月
- 2012 年十月
- 2012 年九月
- 2012 年八月
- 2012 年七月
- 2012 年六月
- 2012 年五月
- 2012 年四月
- 2012 年三月
- 2012 年二月
- 2011 年十二月
- 2011 年十一月
- 2011 年十月
- 2011 年九月
- 2011 年六月
- 2011 年四月
- 2011 年三月
- 2011 年二月
- 2011 年一月
- 2010 年十二月
- 2010 年十一月
- 2010 年十月
- 2010 年九月
- 2010 年八月
- 2010 年六月
- 2010 年五月
- 2007 年九月
- 0 年
Tag Archives: 集群
部署hadoop分布式文件系统
Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。对于我来说,最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大,而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景)。 Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。 Continue reading
树莓派搭建Hadoop集群
Hadoop是由Java实现的, 所以在树莓派上运行就和在其他x86平台上运行一样简单. 首先, 我们需要安装支持树莓派的JVM. 可以选用OpenJDK或者Oracle的JDK 8. 我个人推荐JDK8, 其速度稍微快些, 但是OpenJDK安装更容易些. 1. 安装Java 安装OpenJDK十分简单, 只要执行以下命令 Continue reading
[整理]架设基于LINUX的服务器集群
架设基于LINUX的服务器集群 1.什么是服务器集群 随着Internet的爆炸性增长,Internet与人的生活越来越息息相关,通过Internet上进行交易也就越来越受关注。近几年,电子商务的年增长均超过100%。服务器的工作量也迅速增长,所以服务器(特别是一个受人欢迎的WEB服务器)很容易在访问高峰时期过载。 而另一方面,计算机从1946年单纯的科学计算任务到现在大量纷繁复杂的信息处理,工作量越来越大,需要越来越快的处理能力。所以计算机界就不得不不断研究更快的处理器,存储器,以适应这一需求。 然而,科学家们意识到,单块处理器的速度发展空间是有限的,为什么不能让计算机象人一样协同工作,“群策群力”地将工作完成好呢!这时,就掀起了“并行计算”的研究。 举个例子来说,我们架设了一台WWW服务器,上面构建了一个电子商务网站,然而随着时间的推移,名声越来越大,这时点击率也就越来越高,WWW服务器的负载也就越来越高。这种情况下,我们就必须提升WWW服务器的能力,以满足以益增长的服务请求。这时,我们就面临两种选择: 1)升级WWW服务器,采用更快的CPU,增加更多的内存,使其更具有POWER;但日益增长的服务请求又会使服务器再次过载,需要再次升级,这样就陷入了升级的怪圈。还有,升级时还得考虑到服务如何接续,能否中止! 2)增加WWW服务器,让多台服务器来完成相同的服务。 这种方法就是服务器集群,通过并行技术来大大提升系统性能。也就是这一章的主要内容,这种方法具有很好的扩展性,而且可以最大限度地利用已有投资。 1.1.集群的概念 集群,是一组独立的计算机系统构成一个松耦合的多处理器系统,它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送,实现分布式计算机。 近几年来,微处理器、内存、总线技术、网络技术有了非常大的进步,软件的并行技术也有了非常大的进步,这使得让一组廉价的个人电脑与工作站协同工作成为可能,甚至可以与拥有强大的芯片处理能力的超级计算机竞争。 比如,16个普通微处理器组成的集群系统可以达到亿次级浮点计算机能力,而且总的成本小于40万元。 不幸的是,建造一个集群并不是一件简单的事件。集群的组成部分必须根据要运行的主要应用进行调整,以使之运行在最佳状态。这此因素带来的结果就是,建造集群系统不是只有一个标准的方案,在本章中,我们就会看到许多种建造方案。 集群技术是计算机系统结构的前沿领域,笔者也仅是略有了解,希望本文能起到抛砖引玉之用。 1.2.并行技术 这是一个非常简单的建造四节点的小集群系统的例子,它是构建在Linux操作系统上,通过MPICH软件包实现的,希望这个小例子能让大家对集群系统的构建有一个最基本的了解。 2.使用MPICH构建一个四节点的集群系统 这是一个非常简单的建造四节点的小集群系统的例子,它是构建在Linux操作系统上,通过MPICH软件包实现的,希望这个小例子能让大家对集群系统的构建有一个最基本的了解。 2.1 所需设备 1).4台采用Pentium II处理器的PC机,每台配置64M内存,2GB以上的硬盘,和EIDE接口的光盘驱动器。 2).5块100M快速以太网卡,如SMC 9332 EtherPower 10/100(其中四块卡用于连接集群中的结点,另外一块用于将集群中的其中的一个节点与其它网络连接。) 3).5根足够连接集群系统中每个节点的,使用5类非屏蔽双绞线制作的RJ45缆线 4).1个快速以太网(100BASE-Tx)的集线器或交换机 5).1张Linux安装盘 2.2 构建说明 对计算机硬件不熟的人,实施以下这些构建步骤会感到吃力。如果是这样,请找一些有经验的专业人士寻求帮助。 1. 准备好要使用的采用Pentium II处理器的PC机。确信所有的PC机都还没有接上电源,打开PC机的机箱,在准备与网络上的其它设备连接的PC机上安装上两块快速以太网卡,在其它的 PC机上安装上一块快速以太网卡。当然别忘了要加上附加的内存。确定完成后盖上机箱,接上电源。 2. 使用4根RJ45线缆将四台PC机连到快速以太网的集线器或交换机上。使用剩下的1根RJ45线将额外的以太网卡(用于与其它网络相连的那块,这样机构就可以用上集群)连接到机构的局域网上(假定你的机构局域网也是快速以太网),然后打开电源。 3. … Continue reading