使用bash脚本分析日志
背景
线上交易程序不能轻易修改代码，以防止出现不必要的错误。
但于此同时，在进行交易信息分析时，部分需要根据原始数据计算才能得到的指标无法直接获取，而且日志信息比较杂乱，不便汇总分析，因此可以使用bash脚本对日志进行分析。
ps:经过几天时间的学习，我写了一个简单的日志分析脚本，分享一下大致思路，如果哪位同学有更好的解决方式，欢迎指教。
使用命令
for, if, sed, grep, awk, echo, date
实现过程
- 截取最近几天的日志，重新保存，对固定时间段的日志进行分析
echo $timeInterval
if [ "$timeInterval" != "" ];then
startDate=`date -d "${timeInterval} days ago" +%Y-%m-%d`
else
#startDate=`date -d "100 days ago" +%Y-%m-%d`
startDate="2018-10-01"
fi
endDate=`date -d "now" +%Y-%m-%d`
#最后一行的时间
lastLineDate=`tail -n 1 $file |awk -F '[ ]' '{print $2}'`
endDate="${endDate} ${lastLineDate}"
#echo $endDate
#截取要分析的时间段的日志
sed -n "/${startDate}/,/${endDate}/p" $file > analysistemp.log
ps:这个是截取n天前到最近的日志，但是当开始时间没有日志时，会报错，或许可以做个判断，不知道有没有更好的解决办法，苦恼。。。
- 获取每次交易开始的行号，两个相邻的开始行号之间就是一次交易的日志
grep -niR "predictOpptunity start" $file |awk -F ":20" '{print $1}'
- 使用sed命令截取两个行号之间的日志，然后截取需要的字段进行简单的计算
-
打印截取的字段和计算结果
命令使用
sed
以下是一些sed的使用示例：
1. 替换文本中的字符串：
sed ‘s/old_text/new_text/g’ input.txt > output.txt
这个命令将输入文件input.txt中所有出现的"old_text"替换为"new_text"，并将结果输出到output.txt文件中。
2. 删除文本中的某些行：
sed ‘/pattern/d’ input.txt > output.txt
这个命令将输入文件input.txt中所有匹配正则表达式"pattern"的行删除，并将结果输出到output.txt文件中。
3. 在文本中插入新的行：
sed ‘1i
new_line’ input.txt > output.txt
这个命令将输入文件input.txt的第一行之前插入一行"new_line"，并将结果输出到output.txt文件中。
4. 使用多个编辑命令：
sed -e ‘s/old_text/new_text/g’ -e ‘/pattern/d’ input.txt > output.txt
这个命令将先执行第一个编辑命令，将输入文件input.txt中所有出现的"old_text"替换为"new_text"，然后再执行第二个编辑命令，将所有匹配正则表达式"pattern"的行删除，并将结果输出到output.txt文件中。
awk
awk
是一种文本处理工具，它可以用于对文本文件进行各种操作，如查找、替换、格式化等。它是一种命令行工具，常用于Shell脚本中。
awk
命令的基本语法如下：
awk [options] 'pattern {action}' file
其中，
pattern
是用来匹配文本的模式，
action
是要执行的操作。
file
是要处理的文本文件。
以下是一些常用的
awk
命令示例：
- 输出文件中的某一列：
awk '{print $2}' file.txt
这个命令将输出file.txt文件中的第二列数据。
- 根据条件过滤输出：
awk '$1 == "John" {print $2}' file.txt
这个命令将输出file.txt文件中第一列为”John”的行的第二列数据。
- 计算文件中某一列的总和：
awk '{sum += $3} END {print sum}' file.txt
这个命令将计算file.txt文件中第三列数据的总和，并输出结果。
除了上面提到的基本用法外，
awk
命令还支持以下一些常用选项：
-
-F
：指定字段分隔符。例如，
-F':'
表示使用冒号作为字段分隔符。 -
-v
：定义变量并赋值。例如，
-v var=value
表示定义一个名为
var
的变量，并将其值设置为
value
。 -
-f
：指定
awk
脚本文件。可以将
awk
命令的操作写入一个脚本文件中，并使用该选项来指定脚本文件。 -
-i
：原地修改文件。使用该选项可以直接修改文件内容。
以下是一些示例：
- 使用冒号作为字段分隔符：
awk -F':' '{print $1, $3}' file.txt
这个命令将使用冒号作为字段分隔符，输出file.txt文件中的第一列和第三列数据。
- 定义变量并赋值：
awk -v name="John" '{if ($1 == name) print $2}' file.txt
这个命令将定义一个名为
name
的变量，并将其值设置为”John”。然后，它将输出file.txt文件中第一列为”John”的行的第二列数据。
- 使用脚本文件：
awk -f script.awk file.txt
这个命令将使用名为
script.awk
的脚本文件来处理file.txt文件。
- 原地修改文件：
awk -i inplace '{gsub("old_string", "new_string"); print}' file.txt
这个命令将在file.txt文件中进行原地修改，将所有的”old_string”替换为”new_string”，并输出修改后的内容。
awk
命令的功能非常强大，可以根据不同的需求进行灵活的处理。可以通过
man awk
命令来查看更多的选项和用法。
除了上面提到的选项和用法外，
awk
命令还支持以下一些高级用法：
- 处理多个文件
awk '{print FILENAME, $0}' file1.txt file2.txt
这个命令将输出file1.txt和file2.txt文件中的所有行，并在每行前面加上文件名。
- 使用正则表达式匹配
awk '/pattern/ {print}' file.txt
这个命令将输出file.txt文件中包含”pattern”的所有行。
- 处理行和列
awk '{for (i=1; i<=NF; i++) print NR, i, $i}' file.txt
这个命令将输出file.txt文件中每个单词所在的行号、列号和单词本身。
- 自定义输出格式
awk '{printf "%-10s %-5s %-5s\n", $1, $2, $3}' file.txt
这个命令将输出file.txt文件中的前三列数据，并使用自定义的输出格式。
awk
命令的高级用法非常丰富，可以根据不同的需求进行灵活的处理。可以通过
man awk
命令来查看更多的选项和用法。
详细代码
：https://download.csdn.net/download/zzz19920821/10746823