博客

CDH,TDH常用命令总结

  • Post author:
  • Post category:其他


jps


j


Info pid


查看进程信息


j


stack –


F


pid


打出轨迹




free -m 只显示内存使用情况

查看文件编码

file 1.csv

对于上传文件乱码问题

iconv -f GBK -t UTF-8 1.csv -o 2.csv

ll -h 查看文件详细大小

impala-shell相关命令

invalidate metadata t_system_cpumemory;

refresh t_system_cpumemory;


常用参数

-b 以二进制方式，默认为文本方式。（Binary （tell it like it is） file transfer override.）

-e 对所有控制字符转义。（Force sender to escape all control characters; normally XON， XOFF， DLE， CR-@-CR， and Ctrl-X are escaped.）

如果要保证上传的文件内容在服务器端保存之后与原始文件一致，最好同时设置这两个标志，如下所示方式使用：


rz -be

hadoopfs



-df[-h]

• Displays


free


space.

– hadoopfs



-du[-s]



[-h]


URI


[URI


…] • Displays


sizes


of


files


and


directories


contained


in


the


given


directory


or


the


length


of


a


file


in


case


its


just


a


file.


执行命令： ll -h 查看某些文件目录的大小

这个命令散仙测，某些时候，不太好使，故使用下面命令

du -sh * 查看空间文件占用情况：


yum


install




-y lrzsz



找到文件中包含的块:

%hadoop fsck /user/term/part-001 -files -blocks -racks  选项显示机架的位置，和每个块数据节点的地址

命令行方式设定 • bin/hadoopfs-Ddfs.block.size=134217728 -put data.in /user/foo

坏块检查 – bin/hadoopfsck file -blocks -files -locations

文件合并

›hadoop fs-getmerge <src> <localdst>

使用：hadoop fs –checksum URI

功能：返回一个文件的检查值。

更多访问：http://www.cnblogs.com/xinlingyoulan/p/6019236.html

hive查表时如果字段显示比较少可以使用 !set maxWidth 2000来，然后再来查询

DataNode下线

›hadoop dfsadmin -report – 获取集群hdfs状况报告

›hadoop dfsadmin -refreshNodes – 删除节点时使用 •

<property> <name>dfs.hosts.exclude</name> <value>exclude_file</value> </property> • Exclude_file中加入要去除的节点 • 执行refreshNodes

HDFS Balance

›bin/start-balancer.sh -threshold 15

›bin/stop-balancer.sh

› 各DataNode存储不均衡时使用 – 不同机器之间 – 同机器不同磁盘之间无法通过这种方法

balance ›dfs.balance.bandwidthPerSec

transwarp -t -h localhost

beeline -u jdbc:hive2://HADOOP-01:10000/default -n hive

beeline -u ‘jdbc:inceptor2://ipaddress:10000/wahjkkkq’

hadoop fs -text numbers.seq | head   -text选项可以以文本的形式显示顺序文件

show partitions 查看有哪些分区

对文件进行存档

先列出文件

hadoop fs -lsr /my/files

再存档

hadoop archive -archiveName file.har /my/files /my

通过distcp并行复制

hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar

hadoop fs -mkdir /tmp/input              在HDFS上新建文件夹


Hadoop

fs -put input1.txt /tmp/input  把本地文件input1.txt传到HDFS的/tmp/input目录下

hadoop fs -get  input1.txt /tmp/input/input1.txt  把HDFS文件拉到本地

hadoop fs -ls /tmp/output                  列出HDFS的某目录

hadoop fs -cat /tmp/ouput/output1.txt  查看HDFS上的文件

hadoop fs -rmr /home/less/hadoop/tmp/output  删除HDFS上的目录

hadoop fs -copyFromLocal input/docs/quangle.txt /user/tom/quangle.txt

hadoop dfsadmin -report 查看HDFS状态，比如有哪些datanode，每个datanode的情况

hadoop dfsadmin -safemode leave  离开安全模式

hadoop dfsadmin -safemode enter  进入安全模式

1、把/home目录下面的mydata目录压缩为mydata.zip

zip -r mydata.zip mydata #压缩mydata目录

2、把/home目录下面的mydata.zip解压到mydatabak目录里面

unzip mydata.zip -d mydatabak

3、把/home目录下面的abc文件夹和123.txt压缩成为abc123.zip

zip -r abc123.zip abc 123.txt

4、把/home目录下面的wwwroot.zip直接解压到/home目录里面

unzip wwwroot.zip

5、把/home目录下面的abc12.zip、abc23.zip、abc34.zip同时解压到/home目录里面

unzip abc\*.zip

6、查看把/home目录下面的wwwroot.zip里面的内容

unzip -v wwwroot.zip

7、验证/home目录下面的wwwroot.zip是否完整

unzip -t wwwroot.zip

8、把/home目录下面wwwroot.zip里面的所有文件解压到第一级目录

unzip -j wwwroot.zip


主要参数

-c：将解压缩的结果

-l：显示压缩文件内所包含的文件

-p：与-c参数类似，会将解压缩的结果显示到屏幕上，但不会执行任何的转换

-t：检查压缩文件是否正确

-u：与-f参数类似，但是除了更新现有的文件外，也会将压缩文件中的其它文件解压缩到目录中

-v：执行是时显示详细的信息

-z：仅显示压缩文件的备注文字

-a：对文本文件进行必要的字符转换

-b：不要对文本文件进行字符转换

-C：压缩文件中的文件名称区分大小写

-j：不处理压缩文件中原有的目录路径

-L：将压缩文件中的全部文件名改为小写

-M：将输出结果送到more程序处理

-n：解压缩时不要覆盖原有的文件

-o：不必先询问用户，unzip执行后覆盖原有文件

-P：使用zip的密码选项

-q：执行时不显示任何信息

-s：将文件名中的空白字符转换为底线字符

-V：保留VMS的文件版本信息

-X：解压缩时同时回存文件原来的UID/GID


# tar -cvf /usr/local/auto_bak/test.tar /usr/local/test


仅打包，不压缩




# tar -zcvf /usr/local/auto_bak/test.tar.gz /usr/local/test


打包后，以gzip压缩 在参数f后面的压缩文件名是自己取的，习惯上用tar来做，如果加z参数，则以tar.gz 或tgz来代表gzip压缩过的tar file文件













解压操作:


#tar -zxvf /usr/local/test.tar.gz



在终端输入：

whereis mysql

回车，如果你安装好了Mysql，就会显示文件安装的地址，例如我的显示(安装地址可能会不同)



查询运行文件所在路径：

如果你只要查询文件的运行文件所在地址，直接用下面的命令就可以了(还是以Mysql为例)：

which mysql

结果会显示：

/usr/bin/mysql







#显示所有文件（包含隐藏文件）


ls -a


#只显示隐藏文件


ls .

或者

ls -d .*



Hadoop 基本操作命令

假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。

启动与关闭

启动Hadoop

1.         进入HADOOP_HOME目录。

2.         执行sh bin/start-all.sh

关闭Hadoop

1.         进入HADOOP_HOME目录。

2.         执行sh bin/stop-all.sh

文件操作

Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。

查看文件列表

查看hdfs中/user/admin/aaron目录下的文件。

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -ls /user/admin/aaron

这样，我们就找到了hdfs中/user/admin/aaron目录下的文件了。

我们也可以列出hdfs中/user/admin/aaron目录下的所有文件（包括子目录下的文件）。

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -lsr /user/admin/aaron

创建文件目录

查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir

删除文件

删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete

删除hdfs中/user/admin/aaron目录以及该目录下的所有文件

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs -rmr /user/admin/aaron

上传文件

上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/

下载文件

下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile

查看文件

我们可以直接在hdfs中直接查看文件，功能与类是cat类似

查看hdfs中/user/admin/aaron目录下的newFile文件

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop fs –cat /home/admin/newFile

MapReduce Job操作

提交MapReduce Job

原则上说，Hadoop所有的MapReduce Job都是一个jar包。

运行一个/home/admin/hadoop/job.jar的MapReduce Job

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的Job

假设Job_Id为：job_201005310937_0053

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop job -kill job_201005310937_0053

更多Hadoop的命令

上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多，可以按照如下的方式获取命令的说明信息。

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop

我们可以看到更多命令的说明信息：

Usage: hadoop [–config confdir] COMMAND

where COMMAND is one of:

namenode -format     format the DFS filesystem

secondarynamenode    run the DFS secondary namenode

namenode             run the DFS namenode

datanode             run a DFS datanode

dfsadmin             run a DFS admin client

fsck                 run a DFS filesystem checking utility

fs                   run a generic filesystem user client

balancer             run a cluster balancing utility

jobtracker           run the MapReduce job Tracker node

pipes                run a Pipes job

tasktracker          run a MapReduce task Tracker node

job                  manipulate MapReduce jobs

queue                get information regarding JobQueues

version              print the version

jar <jar$amp;>amp;$nbsp;           run a jar file

distcp <srcurl> <desturl> copy file or directories recursively

archive -archiveName NAME <src>* <dest> create a hadoop archive

daemonlog            get/set the log level for each daemon

or

CLASSNAME            run the class named CLASSNAME

Most commands print help when invoked w/o parameters.


8.在S-CRT下用ctrl+c 和ctrl+v：
Options—Global Options—Edit default Settings进去后点Terminal—Emulation然后点Mapped Keys，点中低部的，use

windows

copy and paste key，点确认。
9.进入vi的命令：
vi filename :打开或新建文件，并将光标置于第一行首
vi +n filename ：打开文件，并将光标置于第n行首
vi + filename ：打开文件，并将光标置于最后一行首
vi +/pattern filename：打开文件，并将光标置于第一个与pattern匹配的串处
10.移动光标类命令：
}：光标移至段落开头
{：光标移至段落结尾
nG：光标移至第n行首
n+：光标下移n行
n-：光标上移n行
n$：光标移至第n行尾
H ：光标移至屏幕顶行
M ：光标移至屏幕中间行
L ：光标移至屏幕最后行
0：（注意是数字零）光标移至当前行首
$：光标移至当前行尾

1.跳到文本的最后一行：按“G”,即“shift+g”

2.跳到最后一行的最后一个字符 ： 先重复1的操作即按“G”，之后按“$”键，即“shift+4”。

3.跳到第一行的第一个字符：先按两次“g”，

5.vi加密。进入vi，输入”:”  + “X” 之后就提示你输入两次密码。之后:wq 保存退出。再次进入时就提示你输入密码了。如果你不想要密码了，就:X 提示你输入密码时连续按两次回车，就搞定了

11.屏幕翻滚类命令：
Ctrl+u：向文件首翻半屏
Ctrl+d：向文件尾翻半屏
Ctrl+f：向文件尾翻一屏  //好像是 r
Ctrl＋b；向文件首翻一屏
12.搜索命令：
/pattern：从光标开始处向文件尾搜索pattern
?pattern：从光标开始处向文件首搜索pattern
n：在同一方向重复上一次搜索命令
N：在反方向上重复上一次搜索命令


kerberos安全方面

kinit hive

klist

kdestroy

hdfs dfs -ls /inceptorsql1/user/hive/warehouse/

hive –orcfiledump /inceptorsql1/tmp/delta_0497664_0497664

alter table tmp_test add partition (time=’xxx’) location ‘/inceptorsql1/tmp/time=xxx’;

alter table tmp_test add partition (time=’xxx’) location ‘hdfs:/inceptorsql1time=xxx’;

hdfs dfs -ls /inceptorsql1/user/hive/warehouse/

hive –orcfiledump /inceptorsql1/tmp/delta_0497664_0497664

alter table tmp_test add partition (time=’xxx’) location ‘/inceptorsql1/tmp/time=xxx’;

alter table tmp_test add partition (time=’xxx’) location ‘hdfs:/inceptorsql1time=xxx’;

kadmin.local -q “listprincs hbase*”

hdfs dfs -ls /inceptorsql1/user/hive/warehouse/

hive –orcfiledump /inceptorsql1/tmp/delta_0497664_0497664

alter table tmp_test add partition (time=’xxx’) location ‘/inceptorsql1/tmp/time=xxx’;

alter table tmp_test add partition (time=’xxx’) location ‘hdfs:/inceptorsql1time=xxx’;


版权声明：本文为sinat_29581293原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。