常用命令

  • 编辑相关

    • awk：awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

      • NF：字段总数
      • NR：第几行数据
      • FS：分隔字符

    • sed

      • -n
      • -i 直接修改
      • 4a：在第四行后添加
      • 4i：在第四行前插入
      • 1,5c sting：用sting替换1到5行的内容
      • s/要被替换的字符串/新的字符串/g

    • sort

      • -t
      • -nr sort |uniq -c |sort -nr

    • tr

      • -d：删除
      • [a-z] [A Z]：替换
  • 查看负载相关
    • top

      • load average cpu
        里面的几个数字代表什么意思，怎么衡量，为什么

        • load average 50 算高还是低？怎么计算的？
        • 系统在1，5，15分钟的平均工作负载，进程队列中的平均进程数量。
        • 一般不能大于系统逻辑CPU的个数
        • /proc/loadavg
      • 关键参数
        • Task：僵尸进程的数量
        • CPU：%wa IOwait
        • Mem：
        • Swap：要尽可能的少用
    • uptime
    • free：读取自文件：/proc/meminfo
      • buffer存放要写回到磁盘的数据
      • cache存放从磁盘上读出的数据
      • -buffers/cache，表示一个应用程序认为系统被用掉多少内存；被程序实实在在占用的内存
      • +buffers/cache，表示一个应用程序认为系统还有多少内存；可用的内存数。
    • vmstat：动态的了解系统资源运行
      • -d：磁盘
      • r：等待运行的进程数，r<5表示状态好
      • b：处于非中断睡眠状态的进程数，b≈0表示状态好
      • id：CPU闲置时间
      • 如果r经常大于3或4，且id经常小于50，表示CPU负荷很重
    • ps
      • aux
      • -l
    • lsof：列出被进程所打开的文件名
    • pwd
      • 首先获取当前目录的i节点编号，但是并不能知道当前目录的名称，我们切换到其的父目录，在里面寻找当前i节点编号对应的文件名即可。终止条件是".“和”…"指向同一个i节点，我们可以以此判断是否发到达了根目录
    • pgrep
  • 查找
    • grep

      • -n
      • -v
      • -A
      • -B
    • find
      • 时间：

        • 4：4天前的那一天
        • +4：大于等于5天之前
        • -4：小于等于4天之内
      • -exec 命令 { } ;
  • 磁盘
    • du

      • -sh /
      • du -cks * | sort -rn | head -n 10
      • 评估目录所占容量，通过将指定文件系统中所有的目录、符号链接和文件使用的块数累加得到该文件系统使用的总块数
      • du命令是用户级的程序，它不考虑Meta
        Data，而df命令则查看文件系统的磁盘分配图并考虑Meta Data。
      • du以文件名、目录名为依据计算空间使用的，而df是以硬盘块使用情况来计算空间使用的。
      • -sm 以M为单位列出文件容量
    • df
      • 列出所有文件系统的整体磁盘使用量，通过读取块位图获取
      • dumpe2fs
  • 网络配置命令
    • netstat

      • -tlnp
    • ss
    • ping
    • traceroute
    • tcpdump
      • tcpdump ip host
      • tcpdump tcp port 25 and host 210.27.48.1
    • nslookup
    • dig
    • nmap
      • tcp端口扫描：-sT、-sP
      • TCP SYN端口扫描：-sS
        • nmap -sS 192.168.137.10 -255 -p 20,21,53-110,30000 --v
      • UDP端口扫描：-sU
      • TCP ACK扫描：-sA

系统调优参数

  • /etc/sysctl.conf
    这个文件有没有改过？列举一些常见的kernel参数和作用。

    • time_wait相关

      • net.ipv4.tcp_tw_reuse =
        1：是否允许新的TCP连接重新应用处于time_wait状态的socket
      • net.ipv4.tcp_tw_recycle = 1：加速time_wait socket回收
      • net.ipv4.tcp_max_tw_buckets：time_wait套接字的最大数量，把time_wait所占用内存控制在一定范围
    • syn攻击相关
      • net.inet.tcp.syncookies =
        1：开启syncookies功能，防止dos攻击，syn攻击
      • net.ipv4.tcp_synack_retries =
        2：内核放弃连接之前发送SYN+ACK包的数量
      • net.ipv4.tcp_syn_retries =
        2：新连接，内核放弃连接之前发送SYN包的数量
      • net.ipv4.tcp_max_syn_backlog = 65536：表示SYN队列的长度
    • 缓冲区
      • net.core.rmem_default：接收套接字缓冲区大小缺省值
      • net.core.wmem_default：发送套接字缓冲区大小缺省值
      • net.core.rmem_max：最大TCP接收缓冲区大小
      • net.core.wmem_max：最大TCP发送缓冲区大小
    • kern.ipc.somaxconn ：并发连接数
    • net.core.netdev_max_backlog = 32768：进入包的最大设备队列

常见服务占用端口

  • 80 8080 443
  • 20 21 22 23 25 53
  • 135（RPC）137（NetBIOS/UDP） 138（UDP） 139 （samba）
  • 161 SNMP
  • 1080 Socket代理
  • 3306 11211 8080 jboss tomcat 50170

文件系统

  • （ext4）性能 安全性

  • 启动扇区 块组 超级块 inode表格 block 块对照表(Bitmap) inode对照表

    • 超级块

      • 记录整个文件系统的整体信息，包括inode（记录文件的权限与属性）与block（记录数据）总量、使用量、剩余量
    • inode表格 = inode + 存储block号码的block （ls -l命令）
    • inode本身不记录文件名，文件名的记录在目录的block中
    • 创建新的目录时，新目录的链接数是2（产生了/.），上层目录的链接数会增加1（产生了/…）

  • 读写文件会遇到的问题

    • 文件数据离散：文件很大、经常变动、无法写在连续的块中、机械臂移动大、

      • 复制出来、格式化、复制回去
    • 创建文件流程
      • 查询目录权限
      • 在日志记录块中记录准备写入的信息
      • 查询inode bitmap，向inode中写入权限和属性
      • 查询block bitmap，向block写入数据
      • 更新inode指向block
      • 更新inode bitmap和block bitmap 的状态，更新superblock内容
      • 在日志记录块中完成文件记录
    • 读文件失败
      • 块数据损坏
      • inode损坏：记录数据块号码的块损坏
    • 写文件失败
      • 文件描述符不够
      • 存储空间不够了（块不够、inode不够）

  • hdfs的一个block多大，为什么128M？

    • 不能远小于128M：减少硬盘寻道时间、减少Namenode内存消耗
    • 不能远大于128M：
      • Map崩溃问题 （数据块大，重新加载时间长）
      • 预设时间间隔问题（从数据块的角度大概估算，数据块越大，时间越长）
      • 问题分解问题：数据量大小和问题解决的复杂度成线性关系
      • 约束map输出：map之后的数据需要排序后再执行reduce，大文件不利于归并排序的思想

  • ext4文件系统的block多大?

    • 4k
    • HDFS的块比磁盘块大，其目的是为了最小化寻址开销

  • 索引式文件系统：ext

  • 非索引式文件系统：FAT 碎片整理

  • cp/mv/rm的区别（实现）

    • cp

      • -a（pdr：连同文件属性一起、链接文件属性、递归）
      • -u（新才复制）
      • -l -s （复制为链接）
      • -d
        复制链接文件时，默认复制的是源文件，除非加-d参数，才会复制链接文件
    • 当目标文件存在时，cp
      命令并不是先删除已经存在的目标文件，而是将原目标文件内容清空后再写入。
    • mv
      的主要功能就是检查初始文件和目标文件是否存在及是否有访问权限，之后执行
      rename 系统调用，因而，当目标文件存在时，mv 的行为由 rename()
      系统调用决定，即类似于删除文件后再重建一个同名文件。
    • 删除文件名是指在原目录下不再含有此文件名，并不一定删除磁盘上文件的内容。只有在文件的链接数为1，并且没有进程打开此文件的时候，unlink()
      才会真正删除文件内容。

  • 软硬连接（inode这块，ln / ln -s）

    • 硬链接：一个inode节点对用不同的文件名，

      • 不创建新的inode，每增加一个硬链接，inode节点链接数加一
      • rm
        硬链接：删除的只是文件名，对应的数据块只有在inode节点链接数减少为0的时候才会被系统回收。
      • 不能对目录创建硬链接，因为文件系统不能存在链接环，否则会导致文件便利操作的混乱（du，pwd等命令的运作原理就是基于文件硬链接）
      • 不能跨文件系统
      • 不能对不存在的文件创建硬链接
    • 软链接：如果目标路径名较短则直接保存在inode中，如果较长则分配一个block存储
      • 创建新的inode，指向的数据块存放着源文件的路径
      • 删除源文件，软链接失效
      • 可以对目录 创建软连接，遍历操作会忽略目录的软链接
      • 可以跨文件系统
      • 可以对不存在的文件创建软链接

开机启动过程

  • Mbr 与gpt的区别
  • BIOS、CMOS、MBR、Boot
    Loader、Grub2、Kernel、/sbin/init、/etc/init/*.conf、/ect/inittab、/etc/rc.d/rc.sysinit、/etc/rc.d/rc.$runleave
  • 双系统
    • 多重引导：MBR、各分区的启动扇区boot sector

Shell常用脚本

  • 从日志文件里面筛选出符合要求的ip或者其他信息

    • cat logname | sort | uniq -c | sort -nr | head -n 10
  • 正则表达式匹配IP地址
    • [0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1-3}\.{1,3}
    • ^((25[0-5]|2[0-4]\d|[1]{1}\d{1}\d{1}|[1-9]{1}\d{1}|\d{1})( ∣ ( ? ! . |(?!\\. ∣(?!.)\.)){4}$
    • ((25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d))).){3}(25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d)))
  • 20G大小的文件，内容都是IP，有重复的，如何找出这里面的top N ？
    • 分表、哈希
  • 统计nginx日志出现次数最多的ip
    • awk ‘{print $1}’ urllogfile | sort | uniq -c | sort -nr -k1
      | head -n 10
  • 查看Web服务器（Nginx Apache）的并发请求数及其TCP连接状态
    • netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print
      a, S[a]}’

Swap

  • swap分区是怎么设置的？

    • 使用物理分区构建swap：fdisk分区（改分区类型ID）、mkswap格式化、swapon启动、free查看、
    • 使用文件构建swap：dd、mkswap、swapon、free
  • 为什么要有swap分区，工作原理是什么？为什么云服务器上的swap没有开启？
    • 内存不足时，将内存中暂时不使用的程序与数据放置到swap中
    • 服务器休眠时，运行中的程序状态会被记录到swap
    • 某些程序运行时会利用swap的特性

Iptables

  • filter

    • INPUT
    • OUTPUT
    • FORWARD
  • nat
    • PREROUTING
    • OUTPUT
    • POSTROUTING
  • mangle
    • PREROUTING
    • INPUT
    • FORWERD
    • POSTROUTING
    • OUTPUT
  • 语法
    • iptables [-t 表名] <-A|I|D|R>链名 -i|o网卡名称 -p
      协议类型 -s源IP --sport 源端口号 -d 目标IP地址 --dport
      目标端口号 <-j 动作>
    • iptables -P INPUT DROP
    • iptables -A INPUT -m state --state NEW -j DROP
    • iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
    • iptables -A INPUT -p tcp -dport 445 -j ACCEPT
    • iptables -A INPUT -p tcp -m multiport --dports 22,80 -j ACCEPT
    • 只允许某个IP上网

Shell操作