树莓派搭建Hadoop集群

Posted on 2014/09/08 by 李 伟斌

Hadoop是由Java实现的, 所以在树莓派上运行就和在其他x86平台上运行一样简单. 首先, 我们需要安装支持树莓派的JVM.

  • Chaussures Air Jordan Enfant

    • 可以选用OpenJDK或者Oracle的JDK 8. 我个人推荐JDK8, 其速度稍微快些, 但是OpenJDK安装更容易些. asics elite 3 Canotte Los Angeles Lakers 1. 安装Java 安装OpenJDK十分简单, 只要执行以下命令 pi@raspberrypi ~ $ sudo apt-get install openjdk-7-jdk pi@raspberrypi ~ $ java -version java version “1.7.0_07″ OpenJDK Runtime Environment (IcedTea7 2.3.2) (7u7-2.3.2a-1+rpi1) OpenJDK Zero VM (build 22.0-b10, mixed mode) 另外, 我们可以选择安装Oracle的JDK 8. 可以从这获得: https://jdk8.java.net/fxarmpreview/index.html pi@raspberrypi ~ $sudo tar zxvf jdk-8-ea-b36e-linux-arm-hflt-*.tar.gz -C /opt pi@raspberrypi ~ $sudo update-alternatives –install “/usr/bin/java” “java” “/opt/jdk1.8.0/bin/java” 1 pi@raspberrypi ~ $ java -version java version “1.8.0-ea” Java(TM) SE Runtime Environment (build 1.8.0-ea-b36e) Java HotSpot(TM) Client VM (build 25.0-b04, mixed mode) 如果你两个都装了, 用以下命令来切换即可: sudo update-alternatives –config java 2. 新增一个hadoop系统用户 pi@raspberrypi ~ $ sudo addgroup hadoop pi@raspberrypi ~ $ sudo adduser –ingroup hadoop hduser pi@raspberrypi ~ $ sudo adduser hduser sudo 3. nike tn noir Asics Gel Lyte 3 设置SSH pi@raspberrypi ~ $ su – hduserhduser@raspberrypi ~ $ ssh-keygen -t rsa -P “” 这会生成一个匹配空密码的RSA密钥. air max 在与其他节点通讯时Hadoop将不再提示输入密码 hduser@raspberrypi ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 现在设置SSH允许用刚生成的密钥访问 hduser@raspberrypi ~$ ssh localhost 现在我们就应该可以不使用密码也可以登录了 4. 安装Hadoop 我们可以从http://www.apache.org/dyn/closer.cgi/hadoop/core下载hadoop hduser@raspberrypi ~$ wget http://mirror.catn.com/pub/apach … Larry Donnell adidas yeezy boost 350 męskie hadoop-1.1.2.tar.gz hduser@raspberrypi ~$sudo tar vxzf hadoop-1.1.2.tar.gz -C /usr/local hduser@raspberrypi ~$cd /usr/local hduser@raspberrypi /usr/local$ sudo mv hadoop-1.1.2 hadoop hduser@raspberrypi /usr/local$ sudo chown -R hduser:hadoop hadoop 现在hadoop就安装好了. 编译home目录下的.bashrc文件, 将以下内容添加到其中 export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-armhf export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin 如果你用的是oracle的JDK, 相应的修改JAVA_HOME.

  • Yeezy 350 Boost

    • 重启一下树莓派来验证安装是否成功: hduser@raspberrypi ~$ hadoop version Hadoop 1.1.2 Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/ branch-1.1 -r 1440782 Compiled by hortonfo on Thu Jan 31 02:03:24 UTC 2013 From source with checksum c720ddcf4b926991de7467d253a79b8b 5. Marqise Lee College Jerseys 配置Hadoop 注意: 这里的配置是hadoop单节点模式的最低配. 配置文件位于”/usr/local/hadoop/conf/”, 我们需要修改core-site.xml, hdfs-site.xml, mapred-site.xml三个文件 core-site.xml hadoop.tmp.dir /fs/hadoop/tmp fs.default.name hdfs://localhost:54310 mapred-site.xml mapred.job.tracker localhost:54311 hdfs-site.xml dfs.replication 1 哦了, 即将完工, 还剩最后一步.

  • Nike Air Max Thea Dames beige

    • hduser@raspberrypi ~$ sudo mkdir -p /fs/hadoop/tmp hduser@raspberrypi ~$ sudo chown hduser:hadoop /fs/hadoop/tmp hduser@raspberrypi ~$ sudo chmod 750 /fs/hadoop/tmp hduser@raspberrypi ~$hadoop namenode -format 注意: 如果选用的是JDK 8, 我们需要强制在JVM client模式下运行DataNode, 因为JDK 8还不支持server模式.

  • Nike Air Max 2017 Dames groen

    • 进入/usr/local/hadoop/bin目录中来编辑hadoop文件(请先备份). 使用nano进行修改的步骤如下:nano hadoop, ctrl-w输入“-server”进行查找. adidas superstar uomo miglior prezzo 我们需要删除“-server”这个参数, 然后保存退出就行了. adidas nmd uomo hadoop单节点系统就算是搭建完成了. KOBE 11 下面给一些有用的命令. fjällräven kånken Laptop 17 1.

  • ZOOM KD 9

    • jps // 输出本地VM标识符 2. Janoris Jenkins start-all.sh // 启动所有hadoop进程 3.

    Posted in Linux | Tagged , , , , , , , | Leave a comment

    【树莓派】RaspberryPi 树莓派 设置无线USB网卡连接wifi

    Posted on 2014/09/05 by 李 伟斌

    RaspberryPi 树莓派 设置无线USB网卡连接wifi 大家好， Nike Air Jordan 4
    New Balance 997 hombre 这次主题是树莓派 (RaspberryPi)哟~ 插上USB网卡， Asics Gel Nimbus 14 męskie Kopen Nike Air Max 2017 就打开树莓派， Miami Heat Chaussures Nike 进入终端机。 air max femme

  • New Balance 1600 Donna

    • 写上: lsusb 如果有RTL8188CUS 802.11N WLAN Adapter之类的名字， Air Jordan 1 Retro
    Air Jordan 3 Uomo 就是说已探测你的USB网卡。 buy final fantasy 14 gil

  • nike air huarache dames zwart

    • 没有就拔出来重插吧 之后在终端机写上: sudo nano /etc/network/interfaces 按回车 将内容全部改成: auto lo iface lo inet loopback iface eth0 inet dhcp auto wlan0 allow-hotplug wlan0 iface wlan0 inet dhcp wpa-ssid “你的wifi名字(就是连接时的名字)” wpa-psk “你的wifi密码” 然后保存退出. Jadeveon Clowney – South Carolina Gamecocks new balance store buenos aires 写入: sudo nano /etc/wpa_supplicant/wpa_supplicant.conf 加入: network={ ssid=”你的wifi名字(就是连接时的名字)” proto=RSN key_mgmt=WPA2-PSK(注:有些人可能会是WPA-PSK,建议先看看wifi的安全等级) pairwise=CCMP TKIP group=CCMP TKIP psk=”你的wifi密码” } 保存退出.

    Posted in Linux, 操作系统 | Tagged , , , , , , , , , , | Leave a comment

    利用树莓派搭建微博robot

    Posted on 2014/09/05 by 李 伟斌

    自从迷恋上树莓派后，我每天都在想着用她来做点儿什么， Armani Gilets nike damskie buty czarne 最近网上看到一篇帖子叫利用树莓派搭建微博机器人，感觉蛮有趣的，家里一台树莓派接着官方摄像头监控着家里饲养的一只小乌龟的状态，我想通过微博每天可以浏览还可以分享，很酷不是么？ 好了， air max thea grise et rose pas cher 下面就介绍一下如何实现微博机器人： 1.申请App 首先在open.weibo.com 建立应用获得应用的App Key和App Secret， UNLV Rebels Jerseys 并且设置应用授权回调地址为https://api.weibo.com/oauth2/default.html， Parajumpers Juliet 并且还要设置一个测试账号否则会发送微博失败。 Chuck Posite 2.安装python版本的 微博sdk 地址 http://michaelliao.github.io/sinaweibopy/ 安装sdk方法作者给出了两种， new balance 373 homme bordeaux 建议使用第一种pip安装，如果使用pip安装的话就必须先安装 pip在ubuntu和debian上安装pip的方法可以通过百度或者google来搜索一下， NIKE ROSHE RUN 毕竟这个东西是要自己学着去DIY的嘛！ 3.运行 运行下面的程序你会先得到一个授权地址， Air Jordan 5 将授权地址复制到浏览器打开登录微博完成授权，你将会得到一个类似下面选择部分的code将code复制到运行程序继续执行程序即可。 https://api.weibo.com/oauth2/default.html?code=058cddca3453237a3b3cad4aa3cec3569b9g9f 这样的代码段， Vanderbilt Commodores Jerseys 记住code后面的内容就行。 NIKE AIR ZOOM ELITE 9 Fjallraven Kanken Big 4.然后调用vim编辑器写入下列代码， kanken fjallraven 这段代码是实现与微博api进行验证的内容。 New Balance 997 męskie 5.再输入如下内容进行微博的发布就可以了。 Air Max 90 Femme 最后接的调用这个函数哦： 现在，微博是可以发送了， GS Air Jordan 9

  • Nike Free 5.0 Men

    • 但是如果要监控家里的小乌龟，还要将摄像头抓拍的脚本加入到计划任务，

  • Atlanta Hawks

    • 每隔5分钟拍一张照片，通过上面的函数来调用就可以了。

    Posted in 计算机网络 | Leave a comment