わかった風のことを書くBLOG

仕事(IT)のはなしや、地元(沖縄)の話などなど記載してきます〜

Hadoop

Hadoop/hiveのバックアップとデータ移行

なんだか最近Hadoop周りしか記事書いてない気もしますが、誰か見てるかもしれないという希望的観測のもと、Hadoop/hive の組み合わせという多分一般的な構成の手動でのアナログ的なバックアップ手法、及びデータ移行についてメモっときます。 概要 HDFS の /…

Hadoop(CDH)をバージョン指定してインストール

yumでCDH入れるとき、clouderaのリポジトリから入れるがバージョンは固定したい時のメモ リポジトリの準備 $ wget http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/cloudera-cdh4.repo $ sudo yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64…

Hadoop/hive でお手軽機械学習ライブラリhivemall使ってみた

技術の話全然していないので、たまには書きます(汗;2013年もぼちぼち終わりますので、今年間違いなく世間を騒がせていた(気がする) BIGDATA, 統計等のお話でも。今年は、これから最もセクシーな職業はデータサイエンティストだ!、統計だ!分析だ!機械…