eclipse 3.3 ,3.7
和4.2都测试过了,Hadoop
0-21.0 ,

以下是我搭建HBase开发环境的一些心得(windows10)

 

821 cp
/data/software/hadoop-3.0.0/share/hadoop/common/hadoop-common-3.0.0.jar
./lib/
827 cp
/data/software/hadoop-3.0.0/share/hadoop/common/lib/woodstox-core-5.0.3.jar
./lib/
832 cp
/data/software/hadoop-3.0.0/share/hadoop/common/lib/stax2-api-3.1.4.jar
./lib/
836 cp
/data/software/hadoop-3.0.0/share/hadoop/common/lib/commons-configuration2-2.1.1.jar
./lib/
840 cp
/data/software/hadoop-3.0.0/share/hadoop/common/lib/hadoop-auth-3.0.0.jar
./lib/
843 cp
/data/software/hadoop-3.0.0/share/hadoop/common/lib/htrace-core4-4.1.0-incubating.jar
./lib/
856 cp
/data/software/hadoop-3.0.0/share/hadoop/hdfs/hadoop-hdfs-3.0.0.jar
./lib/
859 cp
/data/software/hadoop-3.0.0/share/hadoop/hdfs/hadoop-hdfs-client-3.0.0.jar
./lib/

拷贝hadoop-0.21.0-eclipse-plugin到eclipse的plugins中,此时启动eclipse-new
hadoop
location是没有反应的,是因为在这个插件中缺少几个jar包,并且文件MANIFEST.MF中的地址也是错误的

0.安装JDK和eclipse和一个可用的HBase。

这步是最基础的,在此就不赘述了

用Flume采集多台机器上的多种日志并存储于HDFS
http://blog.csdn.net/anonymous_cx/article/details/51811086

把缺少的文件拷入进去hadoop-common-0.21.0..jar,hadoop-hdfs-0.21.0.jar,log4j-1.2.15.jar,hadoop-mapred-0.21.0.jar

1.创建一个java项目:

基础问题,不赘述。

flume按照天进行滚动的日志采集
https://github.com/ypenglyn/locktail
上面的方式并不太好,直接增加log4j对flume的支持。
http://blog.csdn.net/jssg_tzw/article/details/78205098

修改文件:

2.导入需要的jar包

官网下载对应的二进制包,将lib文件下的jar包导入(右键–> build path
–>Libraries –>Add External JARs –> 选择lib目录下的文件)
注意:如果jar文件有所缺失会在项目的图标下有个红色的感叹号,但是找了半天并没有找到缺失了什么jar包,还好官网的lib是齐全的,有时间研究下eclipse这个工具的使用。

Bundle-ClassPath:
classes/,lib/hadoop-common-0.21.0..jar,lib/hadoop-hdfs-0.21.0.jar,lib/log4j-1.2.15.jar,lib/hadoop-mapred-0.21.0.jar

3.导入配置文件

在项目的根目录下新建conf文件夹,从生产环境(可用的hbase,一般在hbase下的conf中)拷贝hbase-site.xml到该文件夹,右键configure
build path –> Libraries –> Add Class Folder
–>选择新建的conf文件夹

重启就可以了

4.log4j配置文件:

.在项目的根目录下创建log4j.properties文件,里面写入:
========================分割线==================================
log4j.rootLogger=WARN, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.append5r.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] – %m%n
========================分割线==================================
有时间可以查查这个log4j追加器
追加器的目的只是为了,让你的异常或者错误的调试信息显示出来。

图片 1

5.补充winutils.exe文件

还有个winutils.exe文件也很重要如果缺失,也会导致报错。
通过搜索资料得知有两种办法:
但是都要首先下载:

这里的软件包解压出来

一种是在windows中的环境变量设置HADOOP_HOME
但是这种方式,我照着做了并没有成功

所以使用了第二种方法:在程序中设置,代码如下(在main方法的开始添加即可):
System.setProperty(“hadoop.home.dir”,
“D:\Data\workspace2\hadoop-common-2.2.0-bin-master”);
其中的D:\Data\workspace2\hadoop-common-2.2.0-bin-master为我下载后的解压路径,注意这里的路径要用\,要不然会报错。

 

6.其他

以上的四步是解析conf/下面的xml文件来获取到HBase集群的地址和端口。
据说还有一种直接设置静态的值方式,暂时没有成功。

7.最后

接下就可以研究下非环境搭建的问题了。

暂时先记下这么多,以后有时间再来,补充和完善。

相关文章