更新时间:2022-09-09 16:56:52
在调试环境下,咱们用hadoop提供的shell接口测试增加删除查看,但是不利于复杂的逻辑编程
查看文件内容
用python访问hdfs是个很头疼的事情。。。。
这个是pyhdfs的库
1
2
3
4
5
6
7
|
import pyhdfs
fs = pyhdfs.connect( "192.168.1.1" , 9000 )
pyhdfs. get (fs, "/rui/111" , "/var/111" )
f = pyhdfs.open(fs, "/test/xxx" , "w" )
pyhdfs.write(fs, f, "fuck\0gfw\n" )
pyhdfs.close(fs, f) pyhdfs.disconnect(fs) |
pyhdfs的安装过程很吐血
1
2
3
4
5
6
7
|
svn checkout http: //libpyhdfs.googlecode.com/svn/trunk/ libpyhdfs
cd libpyhdfs cp /usr/lib/hadoop- 0.20 /hadoop-core- 0.20 . 2 -cdh3u0.jar lib/hadoop- 0.20 . 1 -core.jar
cp /usr/lib/hadoop- 0.20 /lib/commons-logging- 1.0 . 4 .jar lib/
cp /usr/lib/libhdfs.so. 0 lib/
ln –s lib/libhdfs.so. 0 lib/libhdfs.so
python setup.py install --prefix= "/usr/local"
|
还有就是把 selinux也给关了 不然会出现莫名的问题
如果出现
/usr/lib/jvm/java-6-sun/include/jni.h:27:20: error: jni_md.h: No such file or directory
搜下find / -name jni.h
然后修改#include "jni_md.h" 为 #include "linux/jni_md.h"
这个是用pydoop的库
1
2
3
4
|
import pydoop.hdfs as hdfs
with hdfs.open( '/user/myuser/filename' ) as f:
for line in f:
print(line)
|
我现在使用的方法是用subprocess ,哈哈,方法很搓吧,主要原因是我这边没有太多的性能估计,只是单纯的把mapreduce的接口给搞出来而已。
这么简单用用也还可以的~
需要把很多自己常用的指定都封装成库
1
2
3
|
cat = subprocess.Popen([ "hadoop" , "fs" , "-cat" , "/path/to/myfile" ], stdout=subprocess.PIPE)
for line in cat.stdout:
print line
|
补充下(从视hadoop为儿戏到现在对mapreduce半斤八两,对我自己来说,还是有很大的进步的。所以关于hadoop python操作不能再用以前的方法啦。):
最近了解了更加方便的库,算是文档和利用***的了。
pyhdfs是对libhdfs的python封装库. 它提供了一些常用方法来处理HDFS上的文件和目录, 比如读写文件, 枚举目录文件, 显示HDFS可用空间, 显示文件的复制块数等。
libhdfs 是HDFS的底层C函数库, 由hadoop官方提供, pyhdfs使用swig技术, 对libhdfs提供的绝大多数函数进行了封装, 目的是提供更简单的调用方式.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
|
如何连接hadoop集群? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
fs.disconnect()
如何获取当前工作目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.getWorkingDirectory()
fs.disconnect()
如何更改当前工作目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.setWorkingDirectory( "/user/ns-lsp/logs" )
fs.disconnect()
如果目录不存在setWorkingDirectory()返回- 1 ,如果执行成功,返回 0
如果目录不存在setWorkingDirectory()返回- 1 ,如果执行成功,返回 0
如何判断某个文件/目录是否存在? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.pathExists( "/user/ns-lsp/logs" )
fs.disconnect()
文件/目录存在,返回 0 ,如果不存在,返回- 1
如何创建一个目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.createDirectory( "/user/ns-lsp/logs/cjj" )
fs.disconnect()
如果目录已经存在,则返回- 1 ,如果目录创建成功,返回 0
如何获得当前默认块大小? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.getDefaultBlockSize()
fs.disconnect()
如何获得当期目录下的文件/目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.listDirectory( "/user/ns-lsp/logs" )
fs.disconnect()
如何移动一个文件/目录? 同一HDFS内移动文件: fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.move( "/user/ns-lsp/logs/cjj" , "/user/ns-lsp/logs/cjj_new" )
fs.disconnect()
不同HDFS之间移动文件: target_fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.move( "/user/ns-lsp/logs/cjj" , "/user/ns-lsp/logs/cjj_new" ,target_fs)
fs.disconnect()
如何删除一个文件/目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs. delete ( "/user/ns-lsp/logs/cjj_new" )
fs.disconnect()
如何重命名一个文件/目录? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.rename( "/user/ns-lsp/logs/cjj" , "/user/ns-lsp/logs/cjj1" )
fs.disconnect()
如何修改一个文件/目录的权限? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.chmod( "/user/ns-lsp/logs/cjj" , 7 )
fs.disconnect()
如何文件块所在的服务器名? 有时我们需要查找某些文件块所在的服务器名是什么,可以如下使用: fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.getHosts( "/user/ns-lsp/logs/cjj/a" , 0 , 1 )
fs.disconnect()
返回包含服务器名的列表. $ python gethosts.py
[ 'xxxx' ]
如何获取一个文件/目录的信息? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
pathinfo = fs.getPathInfo( "/user/ns-lsp/logs/cjj" )
fs.disconnect()
getPathInfo()返回一个hdfsFileInfo类。 如何指定文件的备份数? fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
print fs.setReplication( "/user/ns-lsp/logs/cjj/a" , 3 )
fs.disconnect()
如何打开一个文件,并读取数据? 要操作文件,需要创建一个HadoopFile对象,并利用read()方法读取数据. fs = hadoop.HadoopDFS( "username" , "password" , "ugi" , 64310 )
fh = hadoop.HadoopFile(fs, '/user/ns-lsp/logs/cjj/a' )
print fh.read()
fh.close()
fs.disconnect()
|