• 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

最初にhadoopを入れておく。

続いてhbase-0.90.2をダウンロード。

/usr/local/hbase あたりに展開し、/usr/local/hbase/bin にPATHを通す。

rootディレクトリの設定

conf/hbase-site.xmlを開いて <configuration>の中に以下を記述。

   1    <property>
   2      <name>hbase.rootdir</name>
   3      <value>hdfs://127.0.0.1/hbase</value>
   4    </property>
   5    <property>
   6      <name>hbase.cluster.distributed</name>
   7      <value>true</value>
   8    </property>
   9    <property>
  10      <name>hbase.zookeeper.quorum</name>
  11      <value>127.0.0.1</value>
  12    </property>
  13    <property>
  14      <name>hbase.zookeeper.property.clientPort</name>
  15      <value>2222</value>
  16    </property>

後は

   1  % start-hbase.sh

すると起動する。jps コマンドを実行すると以下のような感じになる。

   1  % jps
   2  21245 DataNode
   3  15141 JobTracker
   4  21615 HRegionServer
   5  21330 SecondaryNameNode
   6  22236 Jps
   7  21152 NameNode
   8  15224 TaskTracker
   9  22068 HQuorumPeer

posted by Png genki on Sat 7 May 2011 at 15:10

まずはhadoop-0.21.0をダウンロード

hadoop-envの設定

$HADOOP_HOME/conf/hadoop-env.sh を開いて JAVA_HOME/System/Library/Frameworks/JavaVM.framework/Versions/1.6/Homeあたりに設定。

$HADOOP_HOME/binにPATHを通して

   1  % start-dfs.sh
   2  % start-mapred.sh

でHadoopを起動。0.21.0ではstart-all.shはdeprecatedらしい。

停止は

   1  % stop-mapred.sh
   2  % stop-dfs.sh

注意点として、ssh で localhost にログインできるようにしておく。

"システム環境設定" -> "共有" から、"リモートログイン"にチェックでok

初期化・設定

$HADOOP_HOME/conf/hdfs-site.xmlに以下のような感じで記入

   1  <configuration>
   2    <property>
   3      <name>fs.default.name</name>
   4      <value>hdfs://127.0.0.1</value>
   5    </property>
   6    <property>
   7      <name>dfs.replication</name>
   8      <value>2</value>
   9    </property>
  10  </configuration>

hdfsを初期化。

   1  hdfs namenode -format

mapredの設定

$HADOOP_HOME/conf/mapred-site.xml<configuration>の中に以下を記入。

   1    <property>
   2      <name>mapred.job.tracker</name>
   3      <value>localhost:54311</value>
   4    </property>

あとは起動して http://localhost:50070 あたりを見ると状態を確認できます。

posted by Png genki on Sat 7 May 2011 at 10:25 with 1 comment
Contents
hbase-0.90.2をMacOSにインストールするメモ
hadoop-0.21.0インストールメモ(Mac OS X)
Comments
dsjf: https://gist.github.com/6bf1bf2c3cbb5eb6e7a7 これ... '13-1
瀧内元気: おお、チェックしてみます。thx! '11-12
overisland: Reeder for iPhone もこの UI を実装していますね。 '11-12
瀧内元気: その情報は見たのですが、以下のサイトによると、現在はまた必要になってるっぽいんですよね。 ... '11-12
tkawa: http://devcenter.heroku.com/articles/rails31_he... '11-12
Services from s21g
twpro(ツイプロ)
Twitterプロフィールを快適検索
地価2009
土地の値段を調べてみよう
MyRestaurant
自分だけのレストラン手帳
Formula
ブログに数式を埋め込める数式コミュニティ