go优雅读取zip压缩包

news2025/12/18 6:06:27

【需求】 读取压缩包里的指定文件内容,并输出

【解决方法】 遍历循环 -> 内存地址读取

常见方法-循环遍历


/*
*  @Description: 遍历-从压缩包中,提取指定文件的内容,效率较低,易出现内存泄露问题
*  @param archivePath 压缩包路径
*  @param fileName 文件路径 例如www/wwwxxx/11.php
*  @return []byte
*  @return error
 */
func extractFileFromArchive(archivePath, fileName string) ([]byte, error) {
    // 打开压缩文件
    archive, err := os.Open(archivePath)
    if err != nil {
       return nil, err
    }
    defer archive.Close()

    // gzip读取
    gzipReader, err := gzip.NewReader(archive)
    if err != nil {
       return nil, err
    }
    defer gzipReader.Close()

    // tar读取
    tarReader := tar.NewReader(gzipReader)

    // 修复一些读取文件内容错乱
    for {
       header, err := tarReader.Next()
       if err == io.EOF {
          break
       }
       if err != nil {
          return nil, err
       }
       if header.Name == filenameStr && (header.Typeflag == tar.TypeReg || header.Typeflag == tar.TypeRegA) {
          // 找到目标文件,读取内容
          fileContent, err := ioutil.ReadAll(tarReader)
          if err != nil {
             return nil, err
          }
          fmt.Printf("===读取到文件【%s】的内容【%s】\n", fileContent)
          return fileContent, nil
       }
    }
    // 未找到目标文件
    return nil, errors.New("文件不存在")
}

        这种会出现一个问题,如果站点文件极多的情况下,内存会溢出,而且扫描速度很慢,都是秒级的,效率太慢了。

【改进方法】采用map存储压缩包的文件内存地址,需要查询的时候,就直接定位文件内存地址即可读取相关内容

这种方法的核心逻辑如下:

  • 打开压缩包之后。把所有的内存地址丢到一个map中,只需要遍历一次,然后直接调用

var (
    FileOPen = make(map[string]*zip.File, 0)
)
func BuildIndex(zipFilename string) error {
    // Open the zip file
    r, err := zip.OpenReader(zipFilename)
    if err != nil {
       return err
    }
    for _, f := range r.File {
       FileOPen[f.Name] = f
    }
    return nil
}

func main() {
    zipFilename := "/www/wwwroot/222.zip"
    err := BuildIndex(zipFilename)
    if err != nil {
       fmt.Println("Error building index:", err)
       panic(err)
    }
    open, _ := FileOPen["xxx.com/static/app/yyy/aa/src/iiii/xx.js"].Open()
    // 读取文件内容
    rc, err := open.Open()
    if err != nil {
        return nil, err
    }
    data, err := ioutil.ReadAll(rc)
    if err != nil {
       return
    }
    fmt.Println(string(data))
}

【最终效果】 读取文件控制到ms级,相对于循环遍历来说,效率快的太多了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1542500.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

贪心算法相关题目

文章目录 1. 什么是贪心?2. 分发饼干3. 摆动序列4. 最大子数组和5. 买卖股票的最佳时机 II6. 跳跃游戏7. 跳跃游戏 II8.K 次取反后最大化的数组和9.加油站10.分发糖果11.柠檬水找零 1. 什么是贪心? 贪心的本质是选择每一阶段的局部最优,从而…

了解Spring:Java开发的利器

Spring是一款开源的轻量级Java开发框架,旨在提高开发人员的效率和系统的可维护性。本文将介绍Spring的基本概念、使用优势、设计模式以及与Spring MVC和Spring Boot的关联。 什么是Spring? Spring是一款开源的轻量级Java开发框架,它由多个模…

毕业论文降重(gpt+完美降重指令),sci论文降重gpt指令——超级好用,重复率低于4%

1. 降重方法:gpt降重指令 2. gpt网站 https://yiyan.baidu.com/ https://chat.openai.com/ 3. 降重指令——非常好用!!sci论文,本硕大论文都可使用! 请帮我把下面句子重新组织,通过调整句子逻辑&#xff0…

Java研学-SpringBoot(二)

二 Spring Boot 介绍 1 简介 Spring Boot是由Pivotal团队提供的全新框架,主要目标是简化Spring应用程序的配置和部署过程,减少开发者在项目搭建和配置上的工作量,让开发者能够更专注于业务逻辑的实现。它使用特定的方式来进行配置&#xff0…

Redis客户端和插件

系列文章目录 文章目录 系列文章目录前言 前言 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站,这篇文章男女通用,看懂了就去分享给你的码吧。 REmote DIctionary…

SpringCloudAlibaba之Nacos Config

1、服务配置中心介绍 首先我们来看一下,微服务架构下关于配置文件的一些问题: 配置文件相对分散。在一个微服务架构下,配置文件会随着微服务的增多变的越来越多,而且分散在各个微服务中,不好统一配置和管理。配置文件无法区分环境…

Linux 进程通信:命名管道、共享内存

目录 一、命名管道 1、概念 2、特点 3、原理 4、创建 5、匿名管道与命名管道的区别 6、命名管道的打开规则 二、命名管道—实现客户端和服务器之间的通信 1、Makefile 2、comm.hpp 3、Log.hpp 4、server.cxx 5、client.cxx 运行测试: 三、system V…

备战蓝桥杯Day35 - 动态规划 - 01背包问题

问题描述 隐含前提: 1.物体是不可分的,要么装,要么不装,不能只装一部分。 2.物体顶多使用一次。 动态规划思路 我在b站上看的闫氏dp分析大法的视频,他对dp问题做了总结归纳。 从集合的角度分析dp问题。求出有限集…

C语言中的联合体和枚举

联合体 联合体的创建 联合体的关键字是union union S {char a;int i; };除了关键字和结构体不一样之外,联合体的创建语法形式和结构体的很相似,如果不熟悉结构体的创建,可以看一下我上一篇的博客关于结构体知识的详解。 联合体的特点 联合…

数据库管理开发工具Navicat for MySQL Mac版下载

Navicat for MySQL(Mac版)是一款强大的数据库管理开发工具,专为MySQL设计。它提供直观的用户界面,支持数据建模、查询构建、数据传输等功能,帮助用户轻松管理数据库。其特点包括高效的数据处理能力、安全的数据传输机制…

力扣74---搜索二维矩阵

目录 题目描述: 思路: 代码: 题目描述: 给你一个满足下述两条属性的 m x n 整数矩阵: 每行中的整数从左到右按非严格递增顺序排列。 每行的第一个整数大于前一行的最后一个整数。 给你一个整数 targ…

红外遥控器的使用和详细解释

infrared.c #include "infrared.h"/* 红外 --- PA8*/void Infrared_Init(void) {GPIO_InitTypeDef GPIO_InitStruct; EXTI_InitTypeDef EXTI_InitStruct;NVIC_InitTypeDef NVIC_InitStruct;//使能SYSCFG时钟RCC_APB2PeriphClockCmd(RCC_APB2Periph_SYSCFG, E…

深入探索php中Laravel框架的技术架构

在当今Web开发领域,Laravel框架作为一款强大而受欢迎的PHP框架,以其优雅的语法、丰富的功能和高效的性能而备受开发者青睐。本文将深入探讨Laravel框架的技术架构,揭示其内部设计和工作原理,帮助读者更好地理解这个流行框架的运作…

学习vue3第十节(插槽v-slot)

本节主要介绍一下 v-slot 插槽指令&#xff0c;以及插槽相关内容 1、定义&#xff1a; 子组件给父组件提供使用的一个位置&#xff0c;使用<slot></slot>表示&#xff0c;父组件可以在这个位置填充任何代码&#xff1b; 2、默认插槽 匿名插槽&#xff1a;会自定…

Android 项目新建问题总结

title: Android 项目新建问题总结 search: 2024-03-24 tags: “#Android 项目新建问题总结” Android 项目新建问题总结 一、gradle 项目每次都自动下载依赖包到C盘 背景&#xff1a;idea 首次打开一个 gradle 项目&#xff0c;都会在 C 盘下载项目所需的依赖包&#xff0c;但…

计算机网络⑦ —— 网络层协议

1. ARP协议 在传输⼀个 IP 数据报的时候&#xff0c;确定了源 IP 地址和⽬标 IP 地址后&#xff0c;就会通过主机路由表确定 IP 数据包下⼀跳。然⽽&#xff0c;⽹络层的下⼀层是数据链路层&#xff0c;所以我们还要知道下⼀跳的 MAC 地址。由于主机的路由表中可以找到下⼀跳的…

【计算机网络】启程

&#x1f4dd;本文介绍 本文为计算机网路系列的开始篇&#xff0c;会介绍一下使用的书籍和自己做的思维导图。 &#x1f44b;作者简介&#xff1a;一个正在积极探索的本科生 &#x1f4f1;联系方式&#xff1a;943641266(QQ) &#x1f6aa;Github地址&#xff1a;https://githu…

Linux系统——硬件命令

目录 一.网卡带宽 1.查看网卡速率——ethtool 网卡名 2.查看mac地址——ethtool -P 网卡名 二、内存相关 1.显示系统中内存使用情况——free -h 2.显示内存模块的详细信息——dmidecode -t memory 三、CPU相关 1.查看CPU架构信息——lscpu 2.性能模式 四、其他硬件命…

二叉树的遍历及线索二叉树试题解析

一、单项选择题 01.在下列关于二叉树遍历的说法中&#xff0c;正确的是( C ). A.若有一个结点是二叉树中某个子树的中序遍历结果序列的最后一个结点&#xff0c;则它一定是该子树的前序遍历结果序列的最后一个结点 B.若有一个结点是二叉树中某个子树的前序遍历结果序列的最后一…

百度轨迹验证码识别代码分享

百度出了如图所示的验证码&#xff0c;需要拖动滑块&#xff0c;与如图所示的曲线轨迹进行重合。经过不断研究&#xff0c;终于解决了这个问题。我把识别代码分享给大家。 下面是使用selenium进行验证的&#xff0c;这样可以看到轨迹滑动的过程&#xff0c;如果需要使用js逆向…