循环执行命令

循环执行命令
批量重命名
使用grep恢复被删文件
快速删除大量文件
查看进程的起始时间
ping通主机后beep
高效使用top
删除0字节文件
查看进程
查看http的并发请求数及其TCP连接状态：
杀进程
显示运行3级别开启的服务
Bash跨行文本原样打印输出技巧
取IPv4地址
统计指定文件扩展名的磁盘空间占用
了解系统运行时状态与负载
tcpdump 抓包
正则表达式

for i in `seq 0 10`;do cat /proc/self/maps | grep stack;done

批量重命名

for i in `ls *.html`;do mv -f $i `echo $i|sed 's/html/htm/g'`;done

使用grep恢复被删文件

grep -a -B 50 -A 60 'some string in the file' /dev/sda1 > results.txt

说明：

关于grep的-a意为–binary-files=text，也就是把二进制文件当作文本文件。
-B和-A的选项就是这段字符串之前几行和之后几行。
/dev/sda1，就是硬盘设备，
> results.txt，就是把结果重定向到results.txt文件中。

快速删除大量文件

mkdir empty_dir && rsync -a --delete empty_dir/ yourdirectory/

来源于之前的一次实践教训：http://weibo.com/1651460060/yfsEJE13c

查看进程的起始时间

$ ps -ef | tail -5
$ ps ax -o pid,command,bsdstart,bsdtime | tail -5
$ ps ax -o pid,command,lstart | tail -5

ping通主机后beep

ping -a -c 1 <target_host>

PS:如果希望在没有ping通的情况下产生告警beep，可以替换-a参数为-A参数，如下：

ping -A <target_host>

高效使用top

高效使用top

批处理模式: top -b
指定执行次数：top -b -n 1
监控指定进程：top -p pid1,pid2
监控指定有效用户UID的进程：top -u UID
搜索有效的、真实的、被保存的以及文件系统的 UID 进行匹配: top -U UID

删除0字节文件

find -type f -size 0 -exec rm -rf {} \;

查看进程

按内存从大到小排列

ps -e   -o "%C   : %p : %z : %a"|sort -k5 -nr

按cpu利用率从大到小排列

ps -e   -o "%C   : %p : %z : %a"|sort   -nr

查看有多少个活动的php-fpm进程

netstat -anp | grep php-cgi | grep ^tcp | wc -l

查看http的并发请求数及其TCP连接状态：

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

杀进程

ps aux |grep mysql |grep -v grep  |awk '{print $2}' |xargs kill -9
killall -TERM mysqld
kill -9 `cat /usr/local/apache2/logs/httpd.pid`   # 试试查杀进程PID
lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh # 杀掉80端口相关的进程
ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9 # 清除僵死进程

显示运行3级别开启的服务

ls /etc/rc3.d/S* | cut -c 15-

Bash跨行文本原样打印输出技巧

cat << EOF
+--------------------------------------------------------------+
|       === Welcome to Tunoff services ===                |
+--------------------------------------------------------------+
EOF

取IPv4地址

ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6-   
ifconfig   | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{print $1}'

以上，要小心bash的locale必须是英文环境，如果是中文命令行输出就杯具了。

统计指定文件扩展名的磁盘空间占用

find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'

了解系统运行时状态与负载

CPU

cat /proc/loadavg # 检查前三个输出值是否超过了系统逻辑CPU的4倍。  
mpstat 1 1 # 检查%idle是否过低(比如小于5%)

内存空间

free # 检查free值是否过低 
cat /proc/meminfo # 和以上命令等价

swap空间

free # 检查swap used值是否过高   如果swap used值过高，进一步检查swap动作是否频繁：
vmstat 1 5  #观察si和so值是否较大

磁盘空间

df -h # 检查是否有分区使用率(Use%)过高(比如超过90%)
# 如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录：
du -cks * | sort -rn | head -n 10

磁盘I/O负载

iostat -x 1 2 # 检查I/O使用率(%util)是否超过100%

网络负载

sar -n DEV # 检查网络流量(rxbyt/s, txbyt/s)是否过高

网络错误

netstat -i  # 检查是否有网络错误(drop fifo colls carrier)
cat /proc/net/dev # 和以上命令等价

网络连接数目

netstat -an | grep -E "^(tcp)" | cut -c 68- | sort | uniq -c | sort -n

进程总数

ps aux | wc -l  # 检查进程个数是否正常 (比如超过250)

可运行进程数目

vmwtat 1 5 # 列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍

观察是否有异常进程出现

top -id 1

系统日志排错

grep -i error /var/log/messages
grep -i fail /var/log/messages

核心日志

dmesg # 检查是否有异常错误记录

系统时间

date # 检查系统时间是否正确

打开的文件描述符数目

lsof | wc -l # 检查打开文件总数是否过多

日志（ubuntu需额外安装logwatch）

logwatch –print

配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务 (sendmail或者postfix)，这样就可以每天收到日志报告了。缺省logwatch只报告昨天的日志，可以用# logwatch –print –range all 获得所有的日志分析结果。可以用# logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。

tcpdump 抓包

tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
# 然后检查IP的重复数 并从小到大排序 注意 "-t\ +0"   中间是两个空格
less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0

正则表达式

匹配中文字符的正则表达式： [\u4e00-\u9fa5] 评注：匹配中文还真是个头疼的事，有了这个表达式就好办了

匹配双字节字符(包括汉字在内)：[^\x00-\xff] 评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）

匹配空白行的正则表达式：\n\s*\r 评注：可以用来删除空白行

匹配HTML标记的正则表达式：<(\S*?)[^>]>.?</\1>|<.*? /> 评注：网上流传的版本太糟糕，上面这个也仅仅能匹配部分，对于复杂的嵌套标记依旧无能为力

匹配首尾空白字符的正则表达式：^\s*|\s*$ 评注：可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式

匹配Email地址的正则表达式：\w+([-+.]\w+)@\w+([-.]\w+)\.\w+([-.]\w+)* 评注：表单验证时很实用

匹配网址URL的正则表达式：[a-zA-z]+://[^\s]* 评注：网上流传的版本功能很有限，上面这个基本可以满足需求

匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$ 评注：表单验证时很实用

匹配国内电话号码：\d{3}-\d{8}|\d{4}-\d{7} 评注：匹配形式如 0511-4405222 或 021-87888822

匹配腾讯QQ号：[1-9][0-9]{4,} 评注：腾讯QQ号从10000开始

匹配中国邮政编码：[1-9]\d{5}(?!\d) 评注：中国邮政编码为6位数字

匹配身份证：\d{15}|\d{18} 评注：中国的身份证为15位或18位

匹配ip地址：\d+\.\d+\.\d+\.\d+

评注：提取ip地址时有用

匹配特定数字： ^[1-9]\d*$　　 //匹配正整数 ^-[1-9]\d*$ 　 //匹配负整数 ^-?[1-9]\d*$　　 //匹配整数 ^[1-9]\d*|0$　 //匹配非负整数（正整数 + 0） ^-[1-9]\d*|0$　　 //匹配非正整数（负整数 + 0） ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$　　 //匹配正浮点数 ^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$　 //匹配负浮点数 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$　 //匹配浮点数 ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$　　 //匹配非负浮点数（正浮点数 + 0） ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$　　//匹配非正浮点数（负浮点数 + 0）评注：处理大量数据时有用，具体应用时注意修正

匹配特定字符串： ^[A-Za-z]+$　　//匹配由26个英文字母组成的字符串 ^[A-Z]+$　　//匹配由26个英文字母的大写组成的字符串 ^[a-z]+$　　//匹配由26个英文字母的小写组成的字符串 ^[A-Za-z0-9]+$　　//匹配由数字和26个英文字母组成的字符串 ^\w+$　　//匹配由数字、26个英文字母或者下划线组成的字符串评注：最基本也是最常用的一些表达式