linux系统及shell常用命令

主机系统：

linux 乱码后解码：
echo -e '\xf'
查看占用端口:
netstat -anp |grep 9200
查看主机硬件时间：
hwclock -r
查看cpu核数：
nproc    (或 cat /proc/cpuinfo|grep processor|wc -l)
查看系统：
cat /etc/redhat-release
Red Hat Enterprise Linux Server release 7.3 (Maipo)
查看linux操作系统：
uname -a
查看内核版本：
cat /proc/version--->>>ssh登录日志：
/var/log/secure
查看ssh失败登录记录：
lastb|more
--->>>磁盘IO
查看磁盘：
iostat -x 1 2iotop
--进程号，磁盘读取量，磁盘写入量，IO百分比，涉及到的命令
命令实时监测网络的状态:
dstat -n创建软连接(/data/aaa是实际目录，/root/aaa软连接目录)：
ln -s  /data/aaa  /root/aaa

shell中常用命令

按大小排序，列出当前目录下的文件(包含隐藏文件)：ls -lart |awk '{print $5,"--文件大小:",$5/1024/1024/1024,"G", "--生成时间:",$6,$7,$8,"--文件名:" $9}'|sort -nr|less
文件转码：
iconv -f GBK -t UTF-8 1.csv -o z_1.csv
获取dasda的MD5值：
echo -n dasda | md5sum
8f4031bfc7640c5f267b11b6fe0c2507  -
sftp指定端口连接：
sftp -oPort=10022 HA@10.1.2.3:/HA
ftp方式连接：
ftp   10.1.2.3  21
zip带密码解压缩到指定目录：
unzip -P passwd123 -o aaa.zip -d /data/##############awk
查询文件的前30列：cat a.txt|awk -v FS=\| -v OFS=\| '{NF=30}1'|more按大小排序，列出当前目录下的文件(包含隐藏文件)：
ls -lart  |awk '{print $5,"--文件大小:",$5/1024/1024/1024,"G", "--生成时间:",$6,$7,$8,"--文件名:" $9}'|sort -nr|less
#awk列出文件对第一列求和
awk '{sum+=$1} END {print "Sum = ", sum/1024/1024/1024,"G"}'
#awk查询第二列内容如果是abc,输出第四列内容
cat /data/a.txt|awk -F "|" '{if ($2=="'abc'") print $4}'
cat /data/a.txt|awk -F "|" '{if ($11=="''") print $11"空"}'|wc -l  --(统计文件第11列为空的条数)
##筛选某列等于固定值时，输出所有列
cat a.csv|awk -F "\`" '{if ($1=="aa" && $2=="bb" && ($3=="bb" || $3=="dd")) { print }}'|less
截取，等于
|awk -v FS="Ж" -v OFS="Ж" '{if (substr($18,1,13)=="2023-02-09 10") $18=$18;else $18="nodata"}1'
指定文件分隔符查询和指定分隔符输出
awk -v FS="," -v OFS="@@" '{print $1,$3}' test.txt
统计文件以“|”分割有多少列：
cat a.csv | awk -v FS="|" '{print NF}'
awk根据前四列，统计文本重复行数：cat a.csv| awk -F "|" '{a[$1,$2,$3,$4]++}END{for(i in a){print i,a[i] | "sort -k 1"}}'##########find
查询log目录下60分钟前生成的文件（60分钟内的用-60）
find /data/log -type f -mmin +60
find /data/log  -type f -mtime +0|xargs /bin/rm  (查询1天前并删除)
查询/data目录下权限为640的文件，修改为644
find /data/ -perm 640 | xargs -i chmod 644 {}##############sed
对文件的添加表头：
sed -i "1i\表头内容" /data/a.txt
回车换/n :
sed -i ":a;N;s/\n/\\\n/g;ta"  a.txt

shell脚本常用代码片

######检查shell是否带入一个参数（简单的00~23点的循环）：
#!/bin/bash
if [ -z $1 ];thenecho "请输入日期参数！ eg:20230101"exit 1
elsedata_day=$1
fi
data_day=$1for hour in $(seq -w 00 23)dodata_time=${data_day}${hour}
echo "sh  /data/script/test.bash ${data_time}"done
##执行测试如下：
[root@bigdata01 script]# sh a.sh
请输入日期参数！ eg:20230101
root@bigdata01 script]# sh a.sh 20230101
sh  /data/script/test.bash 2023010100
sh  /data/script/test.bash 2023010101
sh  /data/script/test.bash 2023010102
sh  /data/script/test.bash 2023010103
sh  /data/script/test.bash 2023010104
sh  /data/script/test.bash 2023010105
sh  /data/script/test.bash 2023010106
sh  /data/script/test.bash 2023010107
sh  /data/script/test.bash 2023010108
sh  /data/script/test.bash 2023010109
sh  /data/script/test.bash 2023010110
sh  /data/script/test.bash 2023010111
sh  /data/script/test.bash 2023010112
sh  /data/script/test.bash 2023010113
sh  /data/script/test.bash 2023010114
sh  /data/script/test.bash 2023010115
sh  /data/script/test.bash 2023010116
sh  /data/script/test.bash 2023010117
sh  /data/script/test.bash 2023010118
sh  /data/script/test.bash 2023010119
sh  /data/script/test.bash 2023010120
sh  /data/script/test.bash 2023010121
sh  /data/script/test.bash 2023010122
sh  /data/script/test.bash 2023010123#############while判断文件等待
while true
do
hdfs_file_sum=`hadoop fs -ls -d ${source_data_dir}|wc -l`
# echo $hdfs_file_sum
if [ $hdfs_file_sum -eq 1 ]
thenecho "${sftp_data}数据源已经生成，开始get文件"##cmd#退出循环breakelse echo "[`date "+%Y-%m-%d %H:%M"`]数据源：${source_data_dir} 未生成，等待10分钟..."sleep 600
fi
done############定义一个sftp上传函数--(使用expect方法)
sftp_cmd_put()
{local log_file=${main_dir}/log/${sftp_data}.log/usr/bin/expect <<EOF >>${log_file}set timeout -1spawn sftp ${sftp_user}@${sftp_ip}:${sftp_dir}expect {"(yes/no)?"{send "yes\n"expect "*password:" { send "${sftp_passwd}\n"}}"*assword:"{send "${sftp_passwd}\n"}}expect "sftp>"send "lcd ${local_data_dir}\n"expect "sftp>"send "$*\n"expect "sftp>"send "exit\n"expect eof
EOF
}
#调用函数
sftp_cmd_put mput ${sftp_data}_${data_time}.csv########定义一个ftp上传函数
ftp_put_cmd(){
ftp -v -n 10.217.8.72 <<EOF
quote USER user23
quote PASS passwd123
binary
prompt
passive off
cd /data/
lcd ${data_dir}/
$*
quit
EOF
}ftp_put_cmd_ddd(){
lftp -u "user123","pass123" sftp://10.11.22.33<<EOF
cd /data1/data_dir/
$*
bye
EOF
}
##调用函数
ftp_put_cmd mput abc_${dir_time}*
ftp_put_cmd_ddd put /data/abc_${dir_time}*

hdfs
刷新分区：
msck repair table table_name;

yarn
查看某个作业的详细日志
yarn logs applicationId application_12

linux系统及shell常用命令相关推荐

linux系统下的shell是什么,Linux系统中shell各命令的区别有什么?
今天小编要跟大家分享的文章是关于Linux系统中shell各命令的区别有什么?喜欢Linux系统并对此感兴趣的小伙伴们快来一起看一看吧~希望对你有所帮助. 1.xargs作用: (1)将前一个命令的标 ...
很实用的Linux 系统运维常用命令及常识(超实用)
很实用的Linux 系统运维常用命令及常识(超实用) 作为Linux运维,需要了解Linux操作系统的基本使用和管理知识,下面脚本之家小编给大家介绍下Linux运维需要掌握的命令,想成为Linux运维 ...
Linux系统运维常用命令
Linux 系统运维常用命令 1 文件管理2 软件管理3 系统管理 4 服务管理5 网络管理6 磁盘管理 7 用户管理8 脚本相关9 服务配置 ============================ ...
Linux 系统运维常用命令
2019独角兽企业重金招聘Python工程师标准>>> 1 文件管理2 软件管理3 系统管理 4 服务管理5 网络管理6 磁盘管理 7 用户管理8 脚本相关9 服务配置 ====== ...
Linux 系统 vim 的常用命令
在命令状态下对当前行用== (连按=两次), 或对多行用n==(n是自然数)表示自动缩进从当前行起的下面n行.你可以试试把代码缩进任意打乱再用n==排版,相当于一般IDE里的code format.使 ...
linux中vim查看最后五行命令,Linux系统中Vi常用命令及高级应用
一.简介 Vi命令可以说是Unix/Linux世界里最常用的编辑文件的命令了,很多人不喜欢VI因为它的众多的命令集,但是我们只需要掌握基本的命令然后灵活地加以运用,相信你会象我一样喜欢它的. 本文旨 ...
Linux系统操作MySql常用命令
基础命令: mysql -uroot -proot:连接mysql服务,root分别为用户名和密码 use xxx:切换到 xxx 数据库,xxx为数据库名称 create database xxx; ...
linux中split分割文件打开方式,Linux系统下使用split命令分割大文件 (转载)
[小蜗牛闲情之作 ] 我想给一个朋友传一个大视频,有几百M,尝试多种传输办法失败后,最后想到的是把视频切开一片片"邮递"过去给他,让它自己组装起来吧. [root@pps publ ...
linux文件分割命令性能,Linux系统下使用split命令分割大文件 (转载)
[小蜗牛闲情之作 ] 我想给一个朋友传一个大视频,有几百M,尝试多种传输办法失败后,最后想到的是把视频切开一片片"邮递"过去给他,让它自己组装起来吧. [root@pps publ ...

linux系统及shell常用命令

linux系统及shell常用命令相关推荐

最新文章

热门文章