Qwen2.5-Coder-1.5B应用案例自动生成Bash脚本处理日志文件1. 日志处理场景与痛点分析1.1 运维工程师的日常挑战在服务器运维工作中日志分析是最常见也最耗时的任务之一。想象一下这样的场景你需要检查10台服务器上50个不同的服务日志每个日志文件大小从几百MB到几GB不等关键错误信息被淹没在海量日志条目中手动grep不仅效率低下还容易遗漏重要信息传统解决方案通常需要编写复杂的shell脚本反复调试正则表达式处理各种边缘情况空文件、权限问题等花费数小时才能得到可靠的分析结果1.2 Qwen2.5-Coder-1.5B的解决方案优势Qwen2.5-Coder-1.5B作为专为代码生成优化的模型能够根据自然语言描述直接生成可执行的Bash脚本自动处理常见边缘情况和错误处理生成带注释的代码方便后续维护平均响应时间3秒大幅提升工作效率2. 实战案例自动生成日志分析脚本2.1 基础日志统计脚本生成需求描述 写一个Bash脚本统计/var/log目录下所有.log文件中包含ERROR的行数并按出现次数降序输出模型输入写一个Bash脚本完成以下功能 1. 遍历/var/log目录下所有.log文件 2. 统计每个文件中ERROR关键词出现的次数 3. 按出现次数从高到低排序输出 4. 输出格式为文件名 出现次数 5. 添加适当的错误处理和注释模型输出#!/bin/bash # 统计/var/log目录下所有.log文件中的ERROR出现次数并排序输出 # 检查目录是否存在 if [ ! -d /var/log ]; then echo Error: /var/log directory not found 2 exit 1 fi # 查找所有.log文件并处理 find /var/log -type f -name *.log | while read -r file; do # 统计ERROR出现次数忽略大小写 count$(grep -c -i ERROR $file 2/dev/null) # 只输出有ERROR的文件 if [ $count -gt 0 ]; then echo $file $count fi done | sort -k2 -nr # 按第二列数字降序排序关键优化点添加了目录存在性检查使用-i参数忽略大小写通过2/dev/null屏蔽错误输出只显示包含ERROR的文件清晰的注释说明2.2 进阶日志分析脚本需求升级 扩展上面的脚本增加以下功能支持自定义搜索关键词不限于ERROR输出包含时间范围的统计最早和最晚出现时间生成简明的HTML报告模型输入基于之前的脚本增加以下功能 1. 通过命令行参数接收搜索关键词默认仍为ERROR 2. 对每个匹配文件提取该关键词最早和最晚出现的时间戳 3. 生成HTML格式的报告包含表格和基本样式 4. 保持原有的排序功能模型输出#!/bin/bash # 高级日志分析脚本支持自定义关键词、时间范围统计和HTML报告生成 # 设置默认搜索词 SEARCH_TERM${1:-ERROR} REPORT_FILElog_report_$(date %Y%m%d_%H%M%S).html # HTML报告头部 cat $REPORT_FILE EOF html head title日志分析报告 - $SEARCH_TERM/title style body { font-family: Arial, sans-serif; margin: 20px; } table { border-collapse: collapse; width: 100%; } th, td { border: 1px solid #ddd; padding: 8px; text-align: left; } th { background-color: #f2f2f2; } tr:nth-child(even) { background-color: #f9f9f9; } /style /head body h1日志分析报告: $SEARCH_TERM/h1 p生成时间: $(date)/p table tr th文件名/th th出现次数/th th最早出现/th th最近出现/th /tr EOF # 处理日志文件 find /var/log -type f -name *.log | while read -r file; do # 统计出现次数 count$(grep -c -i $SEARCH_TERM $file 2/dev/null) if [ $count -gt 0 ]; then # 提取最早和最晚时间戳假设时间戳格式为YYYY-MM-DD HH:MM:SS first$(grep -i $SEARCH_TERM $file | head -1 | grep -oE [0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2} | head -1) last$(grep -i $SEARCH_TERM $file | tail -1 | grep -oE [0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2} | head -1) # 添加到HTML报告 echo trtd$file/tdtd$count/tdtd${first:-N/A}/tdtd${last:-N/A}/td/tr $REPORT_FILE fi done # HTML报告尾部 cat $REPORT_FILE EOF /table /body /html EOF echo 报告已生成: $REPORT_FILE功能亮点支持命令行参数指定搜索词自动提取时间范围信息生成专业美观的HTML报告保留原有的排序逻辑通过处理顺序实现增加了N/A处理以防时间戳缺失3. 工程实践建议3.1 脚本优化技巧对于生成的脚本可以考虑以下优化方向性能优化# 使用xargs并行处理适用于多核CPU find /var/log -type f -name *.log | xargs -P 4 -I {} sh -c file{} count$(grep -c -i $SEARCH_TERM $file 2/dev/null) # 其余处理逻辑... 日志轮转处理# 包含压缩的日志文件如.gz find /var/log -type f \( -name *.log -o -name *.log.gz \) | while read -r file; do if [[ $file *.gz ]]; then zgrep -c -i $SEARCH_TERM $file 2/dev/null else grep -c -i $SEARCH_TERM $file 2/dev/null fi done结果持久化# 将结果存入SQLite数据库 DB_FILElog_analysis.db sqlite3 $DB_FILE CREATE TABLE IF NOT EXISTS log_stats ( id INTEGER PRIMARY KEY, filename TEXT, search_term TEXT, count INTEGER, first_occurrence TEXT, last_occurrence TEXT, scan_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); # 插入数据示例 sqlite3 $DB_FILE INSERT INTO log_stats (filename, search_term, count, first_occurrence, last_occurrence) VALUES ($file, $SEARCH_TERM, $count, ${first:-NULL}, ${last:-NULL});3.2 错误处理最佳实践权限处理# 检查文件可读性 if [ ! -r $file ]; then echo 警告: 无权限读取文件 $file 2 continue fi内存管理# 处理大文件时限制内存使用 grep -i $SEARCH_TERM $file | head -1000 | awk {print $1} | \ sort | uniq -c | sort -nr超时控制# 为每个文件处理设置超时 timeout 30s grep -c -i $SEARCH_TERM $file 2/dev/null4. 总结与扩展应用4.1 方案价值总结通过Qwen2.5-Coder-1.5B生成的日志处理脚本效率提升将原本需要数小时的手动分析缩短到几分钟准确性提高避免人工检查的遗漏和错误可维护性强带注释的代码方便后续修改扩展性好基础脚本可轻松适配更多复杂需求4.2 其他应用场景扩展安全审计# 检查可疑IP访问 grep -oE \b([0-9]{1,3}\.){3}[0-9]{1,3}\b access.log | sort | uniq -c | sort -nr性能分析# 提取请求耗时大于1秒的记录 awk $NF 1 {print $0} nginx.log | sort -k10 -nr自定义报表# 生成CSV格式的日报 echo 日期,错误类型,出现次数 report.csv grep ERROR app.log | cut -d -f1,3 | sort | uniq -c | \ awk {print $2,$3,$1} report.csv获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。