shell在大文件日志中按照时间段快速搜索日志
时间：2022-04-03 11:41
问题描述：
在大流量线上服务中，日志系统会产生数量庞大的日志，动辄就是几十G。在如此之大的文件中快速搜索日志是运维人员经常遇见的问题。我们经常遇见的问题是查询一段时间内的某些条日志。比如，今天有一个访问失败了，大约是在上午9点，把这条日志找出来，然后查找失败原因。
这里利用dd命令从超大文件中复制出一小块，提取出时间，也就是test_time，判断test_time是否符合条件，不符合就使size增加一个步长然后继续提取时间，直到符合条件。因为dd命令有skip选项，可以直接跳过指定大小部分截取到一段，其效率是非常高的，循环500次耗时大于1s，也就是说探针测试500次的时间是1s左右。
dd命令截取出一段日志后使用sed取出完整的一行，然后用awk取出时间戳。
注意，设定时间为09:00:00,查询结果并不是严格从09:00:00开始的，一般会往前一点，这里受step参数影响。step越小越精确，而探针尝试次数越多。
原创，转发请注明。 By
本类排行
今日推荐
-
黄瓜榴莲秋葵荔枝向日葵免费观看版
版本：v2.3.15
大小：未知
日期：2024-05-03
-
草莓丝瓜向日葵黄瓜榴莲绿巨人免费观看版
版本：v2.3.15
大小：380.37M
日期：2024-05-03
-
秋葵香蕉草莓芒果绿巨人18官方版
版本：v2.3.1
大小：未知
日期：2024-05-03
-
芒果榴莲秋葵荔枝绿巨人大全无限观看版
版本：v2.3.1
大小：190.37M
日期：2024-05-03
-
芒果榴莲秋葵荔枝绿巨人完整观看版
版本：v14.41
大小：未知
日期：2024-05-03
-
熊猫乐刷官方版
版本：v1.0.1.2023.1222.1810
大小：64.89MB
日期：2024-05-03
热门手游
-
勇夺世界杯破解版
版本：1.0.2
大小：41.08MB
日期：2024-05-02
-
有趣的棒球官方版
版本：1.132
大小：57.87MB
日期：2024-05-02
-
篮球世界模拟器手机版
版本：1.0
大小：221.18MB
日期：2024-05-02
-
点球达人2免费版
版本：0.5.3
大小：89.27MB
日期：2024-05-02
-
fifa online4手机版
版本：1.2302.0002
大小：533.58MB
日期：2024-05-02
-
晴明传官方版
版本：0.1.16
大小：1.2GB
日期：2024-05-02