Java通過導出超大Excel文件解決內存溢出問題

更新時間：2021年09月26日 10:11:36 作者：冰子杍

導出excel是咱Java開發(fā)的必備技能,下面這篇文章主要給大家介紹了關于Java通過導出超大Excel文件解決內存溢出問題的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下

前言

將業(yè)務數據導出到Excel表中，導出任務數據量較大時，導出的項目就會內存溢出，本文通過Java操作Poi的SXSSFWorkbook類進行導出，解決內存溢出問題。

1.采用Poi中的SXSSFWorkbook

在實現excel導出時，在數據量過大的情況下，總是容易發(fā)生內存溢出的情況?？梢允褂肞OI提供的 SXSSFWorkbook 類來避免內存溢出。

2.maven中引入Poi

		<!-- poi start -->
		<dependency>
			<groupId>org.apache.poi</groupId>
			<artifactId>poi</artifactId>
			<version>4.1.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.poi</groupId>
			<artifactId>poi-ooxml</artifactId>
			<version>4.1.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.poi</groupId>
			<artifactId>poi-ooxml-schemas</artifactId>
			<version>4.1.2</version>
		</dependency>
		<!-- poi end -->

3.測試過程

先使用普通的寫法測試(XSSFWorkbook)，編寫writeNormalExcelTest測試方法，寫入的行數太多時，會報內存溢出（在設置-server -Xmx64m -Xms64m -Xmn32m的情況下）。

接著編寫SXSSFWorkbook操作excel的測試，測試方法writeHugeExcelTest（同樣在設置-server -Xmx64m -Xms64m -Xmn32m的情況下），結果證明無內存溢出，能完好的導出1000000行測試數據，整個Java類代碼如下:

4.單元測試Java代碼

package cn.gzsendi.exceltest;

import java.io.FileOutputStream;
import java.io.IOException;

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.junit.Test;

public class HugeExcelExportTest {
	
	private int totalRowNumber = 1000000; //寫入的excel數據行數
	private int totalCellNumber = 40; //excel每行共40列
	
	//普通的寫入excel的方法，會消耗內存，寫入的行數太大時，會報內存溢出
	@Test
	public void writeNormalExcelTest(){
	
	   Workbook wb = null;
	   FileOutputStream out = null;
		
	   try {

		   long startTime = System.currentTimeMillis();
	        
	       wb = new XSSFWorkbook();
	       Sheet sheet = wb.createSheet("Sheet 1");
	        
	       //定義Row和Cell變量, Rows從0開始.
	       Row row;
	       Cell cell;
	        
	       for (int rowNumber = 0; rowNumber < totalRowNumber; rowNumber++) {
	    	   row = sheet.createRow(rowNumber);
	           for (int cellNumber = 0; cellNumber < totalCellNumber; cellNumber++) {
	        	   cell = row.createCell(cellNumber);
	               cell.setCellValue(Math.random()); //寫入一個隨機數
	           }
	            
	           //打印測試，
	           if(rowNumber % 10000 ==0) {
	        	   System.out.println(rowNumber);
	           }
	       }
	
	       //Write excel to a file
	       out = new FileOutputStream("d:\\temp\\normalExcel_" + totalRowNumber + ".xlsx");
	       wb.write(out);
	       long endTime = System.currentTimeMillis();
	        
	       System.out.println("process " + totalRowNumber + " spent time:" + (endTime - startTime) + " ms.");
	
	    } catch (Exception e) {
	    	
	       e.printStackTrace();
	        
	    } finally {
	    	
	    	
	    	try {
				if(out != null) out.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
	    	
		    try {
		    	if(wb != null) wb.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
	    	
	    }
		
	}
	
	//結合臨時文件壓縮等寫入excel，默認超過100行就寫到臨時文件，不會報內存溢出
	@Test
	public void writeHugeExcelTest(){

        SXSSFWorkbook wb = null;
        FileOutputStream out = null;
        
        try {
        	
        	long startTime = System.currentTimeMillis();
        	
            wb = new SXSSFWorkbook();//默認100行，超100行將寫入臨時文件
            wb.setCompressTempFiles(false); //是否壓縮臨時文件，否則寫入速度更快，但更占磁盤，但程序最后是會將臨時文件刪掉的
            Sheet sheet = wb.createSheet("Sheet 1");
            
            //定義Row和Cell變量, Rows從0開始.
	        Row row;
	        Cell cell;
	        
	        for (int rowNumber = 0; rowNumber < totalRowNumber; rowNumber++) {
	        	
	        	row = sheet.createRow(rowNumber);
	        	for (int cellNumber = 0; cellNumber < totalCellNumber; cellNumber++) {
	                cell = row.createCell(cellNumber);
	                cell.setCellValue(Math.random()); //寫入一個隨機數
	            }
	        	
	        	
	        	//打印測試，
	            if(rowNumber % 10000 ==0) {
	            	System.out.println(rowNumber);
	            }
	        	
	        }
            
	        //Write excel to a file
	        out = new FileOutputStream("d:\\temp\\hugeExcel_" + totalRowNumber + ".xlsx");
	        wb.write(out);

	        long endTime = System.currentTimeMillis();
	        
	        System.out.println("process " + totalRowNumber + " spent time:" + (endTime - startTime) + " ms.");
            
        } catch (Exception ex) {
        	
            ex.printStackTrace();
            
        } finally {
        	
            if (wb != null) {
            	wb.dispose();// 刪除臨時文件，很重要，否則磁盤可能會被寫滿
            }
            
            try {
				if(out != null) out.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
	    	
		    try {
		    	if(wb != null) wb.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		    
        }
		
	}

}