JAVA 多文件边压缩边下载

最新推荐文章于 2023-08-31 13:32:39 发布
最新推荐文章于 2023-08-31 13:32:39 发布
阅读量959 收藏 4
点赞数 1
分类专栏： Java 文章标签： java spring file 多文件下载 文件压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ai_0922/article/details/106055103
版权

JAVA 多文件边压缩边下载

最近项目开发中遇到一个问题

下载文件的时候，从数据库中读取的数据太多导致直接抛异常程序错误

这个问题原因主要在我开发之前没有考虑那么多如下这种情况导致：

  • 项目在同一时刻导入了大批量的数据至数据库中，比如说1G

然后在项目导出的时候，这一时刻的数据都被一次性查询加载到内存中，直接撑爆JVM虚拟机内存，然后就出现OOM异常了

后面我就想着分批到数据库中查找，然后将查找到的数据追加到同一个文件中

实现了一半后我发现，前面想的是没啥问题，但是后面等到把服务器中加载数据库数据完的临时文件以文件流的方式加载内存中并返回给前台的时候又会发现OOM异常，JVM虚拟机内存中加载不了这么大的文件

最后我想着能不能将在生成临时文件的时候多生成几份，于是我按照我想的要求将用于保存数据库中查询数据的临时文件分成了不等份，再将这些文件返回给前台 实现的时候发现，前台只能接收一次文件下载

最终找到了比较好的一种方法，就是多文件边压缩边下载的方法：
生成多文件的思路上面已经提过了，这里我就不做过多概述，主要是怎样达到多文件边压缩边下载的效果

	/**
     * 多文件边解压边下载，并在下载完之后把服务器文件删除掉
     * @param list 文件路径列表
     */
    public static void batchDownloadFiles(List<String> list) throws Exception{
        HttpServletResponse response = WebUtils.getResponse();
        //设置浏览器返回文件信息
        String downloadName = DateUtils.getStrDate("yyyyMMddHHmmss")+".zip";
        response.setHeader("Content-Disposition", "attachment;fileName=\"" + downloadName + "\"");
        //设置压缩流：直接写入response，实现边压缩边下载
        final ZipOutputStream zipos = new ZipOutputStream(new BufferedOutputStream(response.getOutputStream()));
        zipos.setMethod(ZipOutputStream.DEFLATED); //设置压缩方法
        //循环将文件写入压缩流
        final DataOutputStream os = new DataOutputStream(zipos);
        //这里使用java8的流操作，效率更快，代码更美观
        list.stream().map(e->{
            File file = new File(e);
            try {
                //添加ZipEntry，并ZipEntry中写入文件流
                //还要防止下载的文件有重名的导致下载失败
                //这里的e表示文件路径+文件名，通过截取获取到文件名
                zipos.putNextEntry(new ZipEntry(e.substring(e.lastIndexOf("/")+1)));
                InputStream is = new FileInputStream(file);
                byte[] b = new byte[100];
                int length = 0;
                while((length = is.read(b))!= -1){
                    os.write(b, 0, length);
                }
                is.close();
                zipos.closeEntry();
            } catch (IOException e2) {
                e2.printStackTrace();
            }finally {
                //下载完之后把服务器文件删除掉
                FileUtils.delFile(file);
            }
            return null;
        }).count();
        //关闭流
        os.flush();
        os.close();
        zipos.close();
    }

将文件路径列表保存到List数组中之后，再调用此方法

本人收集整理具体工具类：
DownloadFileUtils.java
import org.springframework.http.HttpHeaders;
import org.springframework.http.HttpStatus;
import org.springframework.http.MediaType;
import org.springframework.http.ResponseEntity;

import javax.servlet.http.HttpServletResponse;
import java.io.*;
import java.util.List;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;

/**
 * 文件下载工具类
 * 
 */
public class DownloadFileUtils {


    /**
     * 把byte数组数据转换成文件
     * @param response
     * @param bytes    上传文件转换的字节数组
     * @param fileName 上传文件的文件名  格式 文件名.文件类型 ,如 abc.txt
     * @throws IOException
     */
    public static void getFileByBytes(HttpServletResponse response, byte[] bytes, String fileName) throws IOException {
        //此处需要设置ISO8859-1，application/octet-stream为未知文件类型时使用
        response.setContentType("application/octet-stream;charset=ISO8859-1");
        BufferedOutputStream output = null;
        //将文件以文件流的方式输出
        output = new BufferedOutputStream(response.getOutputStream());
        String fileNameDown = new String(fileName.getBytes(), "ISO8859-1");
        //fileNameDown上面得到的文件名
        response.setHeader("Content-Disposition", "attachment;filename=" +
                fileNameDown);
        output.write(bytes);
        response.flushBuffer();
        output.flush();
        output.close();
    }

    /**
     * 把byte数组数据转换成文件
     * @param bytes    上传文件转换的字节数组
     * @param fileName 上传文件的文件名  格式 文件名.文件类型 ,如 abc.txt
     * @throws IOException
     */
    public static void getFileByBytes(byte[] bytes, String fileName) throws IOException {
        HttpServletResponse response = WebUtils.getResponse();
        //此处需要设置ISO8859-1，application/octet-stream为未知文件类型时使用
        response.setContentType("application/octet-stream;charset=ISO8859-1");
        BufferedOutputStream output = null;
        //将文件以文件流的方式输出
        output = new BufferedOutputStream(response.getOutputStream());
        String fileNameDown = new String(fileName.getBytes(), "ISO8859-1");
        //fileNameDown上面得到的文件名
        response.setHeader("Content-Disposition", "attachment;filename=" +
                fileNameDown);
        output.write(bytes);
        output.flush();
        output.close();
    }

    /**
     * 把文件流转换成文件
     * @param in  文件流
     * @param fileName  上传文件的文件名  格式 文件名.文件类型 ,如 abc.txt
     * @throws IOException
     */
    public static void getFileByInputStream(InputStream in, String fileName) throws IOException {
        getFileByBytes(IoUtil.toByteArray(in), fileName);
    }

    /**
     * 文件下载
     * @param bytes    上传文件转换的字节数组
     * @param fileName 上传文件的文件名  格式 文件名.文件类型 ,如 abc.txt
     * @return
     */
    public static ResponseEntity<byte[]> getResponseEntityByByte(byte[] bytes, String fileName){
        HttpHeaders httpHeaders = new HttpHeaders();
        httpHeaders.setContentDispositionFormData("attachment", fileName);
        //设置MIME类型
        httpHeaders.setContentType(MediaType.APPLICATION_OCTET_STREAM);
        return new ResponseEntity<byte[]>(bytes, httpHeaders, HttpStatus.OK);
    }

    /**
     * 文件下载
     * @param in   文件流
     * @param fileName  上传文件的文件名  格式 文件名.文件类型 ,如 abc.txt
     * @return
     * @throws IOException
     */
    public static ResponseEntity<byte[]> getResponseEntityByByte(InputStream in, String fileName) throws IOException {
        return getResponseEntityByByte(IoUtil.toByteArray(in), fileName);
    }


    /**
     * 分批将数据写入到指定文件中
     * @param filePath 文件路径
     * @param fileName 文件名称
     * @param bytes 数据
     * @throws IOException
     */
    public static void putBytesToFile(String filePath, String fileName, byte[] bytes) throws IOException {
        File file = new File(filePath+fileName);
        if (!file.exists()) {
            file.createNewFile();
        }
        BufferedOutputStream output = null;
        output = new BufferedOutputStream(new FileOutputStream(file, true));
        output.write(bytes);
        output.flush();
        output.close();
    }

    /**
     * 多文件边解压边下载，并在下载完之后把服务器文件删除掉
     * @param list 文件路径列表
     */
    public static void batchDownloadFiles(List<String> list) throws Exception{
        HttpServletResponse response = WebUtils.getResponse();
        //设置浏览器返回文件信息
        String downloadName = DateUtils.getStrDate("yyyyMMddHHmmss")+".zip";
        response.setHeader("Content-Disposition", "attachment;fileName=\"" + downloadName + "\"");
        //设置压缩流：直接写入response，实现边压缩边下载
        final ZipOutputStream zipos = new ZipOutputStream(new BufferedOutputStream(response.getOutputStream()));
        zipos.setMethod(ZipOutputStream.DEFLATED); //设置压缩方法
        //循环将文件写入压缩流
        final DataOutputStream os = new DataOutputStream(zipos);
        //这里使用java8的流操作，效率更快，代码更美观
        list.stream().map(e->{
            File file = new File(e);
            try {
                //添加ZipEntry，并ZipEntry中写入文件流
                //还要防止下载的文件有重名的导致下载失败
                //这里的e表示文件路径+文件名，通过截取获取到文件名
                zipos.putNextEntry(new ZipEntry(e.substring(e.lastIndexOf("/")+1)));
                InputStream is = new FileInputStream(file);
                byte[] b = new byte[100];
                int length = 0;
                while((length = is.read(b))!= -1){
                    os.write(b, 0, length);
                }
                is.close();
                zipos.closeEntry();
            } catch (IOException e2) {
                e2.printStackTrace();
            }finally {
                //下载完之后把服务器文件删除掉
                FileUtils.delFile(file);
            }
            return null;
        }).count();
        //关闭流
        os.flush();
        os.close();
        zipos.close();
    }
}
WebUtils

import org.springframework.web.context.ContextLoader;
import org.springframework.web.context.request.RequestContextHolder;
import org.springframework.web.context.request.ServletRequestAttributes;

import javax.servlet.ServletContext;
import javax.servlet.http.Cookie;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import javax.servlet.http.HttpSession;


/**
 * 扩展 <code>org.springframework.web.util.WebUtils</code>
 * 
 * @since 1.0
 */
public abstract class WebUtils extends org.springframework.web.util.WebUtils {
	
	
	public static HttpServletRequest getRequest() {
		return ((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getRequest();
	}
	
	/**
	 * spring版本较低，不支持该方法
	 * @return
	 */
	public static HttpServletResponse getResponse() {
		return ((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getResponse();
	}
	
	
	public static HttpSession getSession() {
		return getRequest().getSession();
	}
	
	
	public static ServletContext getServletContext() {
		return ContextLoader.getCurrentWebApplicationContext().getServletContext();
	}
	
	
	public static String getContextPath() {
		return getRequest().getContextPath();
	}
	
	
	public static String getCookieValue(HttpServletRequest request, String key) {
		Cookie cookie = getCookie(request, key);
		if(cookie != null) {
			return cookie.getValue();
		}
		return "";
	}
	
	public static String getSessionIdWithCookie(HttpServletRequest request, String cookieKey) {
		String sessionId = request.getSession().getId();
		Cookie cookie = getCookie(request, cookieKey);
		if(cookie != null) {
			sessionId = cookie.getValue();
		}
		return sessionId;
	}

	/**
	 * 获取当前请求的ip地址
	 * @param request
	 * @return
	 */
	public static String getIpAddr(HttpServletRequest request){
		String ip = request.getHeader("X-Real-IP");
		if(!StringUtils.isBlank(ip)&&!"unknown".equalsIgnoreCase(ip))
		{
			return ip;
		}
		ip = request.getHeader("X-Forwarded-For");
		if(!StringUtils.isBlank(ip)&& !"unknown".equalsIgnoreCase(ip))
		{
			int index = ip.indexOf(',');
			if(index != -1){
				return ip.substring(0, index);
			}else{
				return ip;
			}
		}
		ip = request.getHeader("Proxy-Client-IP");
		if(!StringUtils.isBlank(ip)&&!"unknown".equalsIgnoreCase(ip))
		{
			return ip;
		}
		ip = request.getHeader("WL-Proxy-Client-IP");
		if(!StringUtils.isBlank(ip)&&!"unknown".equalsIgnoreCase(ip))
		{
			return ip;
		}
		ip = request.getRemoteAddr();
		if("0:0:0:0:0:0:0:1".equals(ip)){
			ip = "127.0.0.1";
		}
		return ip;
	}
}
java实现单文件、多个文件边压缩边下载
小雪的博客
03-22 1831
多个文件写入压缩流中并下载背景实现 背景 公司需要实现多视频下载，起初用的是a标签的download属性，一个video还行，多个video下载下来比较麻烦，所以我采用了将文件写入压缩文件中，然后响应给response的方式，实现边压缩边下载，这里是以流读取的方式来操作所以不会影响视频的质量，同样，多图片下载，多文件下载均可以，LZ全部都测试过。通过率100%。 实现 我写了一个工具类可以实现单文...
Java将一个文件夹下多个文件压缩并下载(工作案例)
Sang
02-02 5501
java将一个文件下多个文件压缩成zip并下载：提供完整代码，实际工作中运动
Java实现多文件边压缩边下载
小小程序猿
06-13 1620
思路：一边压缩一边下载，将多个文件逐一写入到压缩文件中@ResponseBody @GetMapping("/download") public void downloadFiles(HttpServletRequest request, HttpServletResponse response){ /* * test * */ List&lt;String&gt...
java 打包边下载_JAVA实现边下载边压缩
weixin_42113754的博客
02-13 148
@ResponseBodypublic voiddownloadUrl(HttpServletResponse response, HttpServletRequest request){String sourceFilePath=properties.getString("sourceFilePath");//要下载的文件路径eavlProName = xxx;//项目名String downl...
JavaWeb实现tar包边压缩边下载
Sheldon__Lee的博客
04-17 553
简介： 常见的文件打包是在服务器进行文件压缩打成tar包，然后再进行下载，最后还要删除掉临时的tar包，对于服务器来说会占用一定的资源。 以下代码是本人工作时项目所用到的，实现服务器文件边压缩打包边下载。 @RequestMapping(value = "tar/export/{}") public void tarExport(HttpServletRequest request, HttpS...
java实现服务器文件打包zip并下载的示例(边打包边下载)
09-04
总结来说，这个Java实现利用了HTTP的chunked传输机制和ZIP压缩功能，实现在服务器端即时打包文件并提供给客户端下载，整个过程中不依赖任何缓存，实现了真正的边打包边下载。这样的设计不仅高效，还能减少服务器资源...
Java OSS批量下载并压缩为ZIP代码实例
08-25
通过使用CheckedOutputStream和ZipOutputStream对象，开发者可以将批量下载的文件压缩为ZIP文件。 4. CheckedOutputStream和Checksum CheckedOutputStream是一个检查流对象，它可以检查输出流中的错误。Checksum是...
JavaWeb 实现多个文件压缩下载功能
08-29
JavaWeb 实现多个文件压缩下载功能是指在 Web 应用程序中，用户可以下载多个文件时，需要将这些文件打包成一个压缩文件，然后再下载。这项功能可以提高用户体验和下载效率。本文将详细介绍 JavaWeb 实现多个文件压缩...
Java实现多文件的文件的压缩和下载
04-09
如果您想从服务器端下载多个文件，若按照传统的下载方式，这下载速度是非常慢的，我这里提供一个把所有需要下载的文件先压缩，后下载的完全解决方案。在此秀一下，工大家参考之用。
Java多文件下载
tongdashan123的博客
06-11 840
java多文件下载 最近项目中需要一个多文件下载的功能，在网上搜索大部分实现方式都是打包下载，思路便是把要下载的文件复制到一个目录下，再压缩成一个zip包，然后来下载这个zip包来实现多文件下载的功能，我本身也是采用了这种方式来实现，但是当需要下载的文件特别大时，光是在压缩这一步就会耗费很久的时间，而且在压缩之前还需要把要下载的文件去复制到一个目录下，这也是很慢的，也尝试过用nio的方式去复制和压缩文件，效果是有的但是没有从根本上去解决问题，不妨去改变思路，把这耗时的操作去掉，来实现多文件下载，我的思路是在
java 多文件压缩打包zip包
sevenlxn的博客
03-15 262
采自这篇文章哈:https://blog.csdn.net/caidie_huang/article/details/85162117 但是还是原创一下 修改一点 Controller层代码 /** * 下载全部附件 */ @PostMapping(value = "/downloadAllFile") public void downloadAllF...
java 批量下载将多个文件（minio中存储）压缩成一个zip包
最新发布
weixin_41043580的博客
08-31 1万+
批量下载，zip压缩下载，minio下载文件导出
文件边压缩边下载
weixin_43053679的博客
08-24 569
@ApiOperation("文件下载") @GetMapping("/downLoad") public void downLoad(HttpServletResponse response, HttpServletRequest request, String areaCode, String accessNo, String infoId) throws IOExceptio...
利用Java实现zip压缩/解压缩
java专栏
05-21 822
google_ad_client = "pub-8800625213955058";/* 336x280, 创建于 07-11-21 */google_ad_slot = "0989131976";google_ad_width = 336;google_ad_height = 280;//<script type="text/java
java创建的zip没写入权限,如何在Java中创建未压缩的Zip存档
weixin_36088083的博客
03-21 311
我是aperkins解决方案(已删除),但我知道为什么它的工作.这条线(在他的答案中已被更正)zipOut.setLevel(ZipOutputStream.STORED); // accidentally right正在使用静态值ZipOutputStream.STORED,它巧合地等于0.所以这一行正在将默认DEFLATED方法使用的级别设置为零压缩(这显然是你想要做的,但恰好只是运气).所以...
Java压缩文件夹(层级压缩)并且下载(绝对有效!)
weixin_56911379的博客
01-29 1107
java打.zip压缩包并且发送到页面
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值