设为首页收藏本站
开启辅助访问

在路上

 找回密码
 立即注册
在路上 › 站点首页 ›学习 › 查看内容

Java使用内存映射实现大文件的上传

2016-12-20 13:13| 发布者: zhangjf| 查看: 473| 评论: 0

摘要: 在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。package test; import java.io.Buf ...

在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。

  1. package test;
  3. import java.io.BufferedInputStream;
  4. import java.io.FileInputStream;
  5. import java.io.FileNotFoundException;
  6. import java.io.IOException;
  7. import java.io.RandomAccessFile;
  8. import java.nio.MappedByteBuffer;
  9. import java.nio.channels.FileChannel;
  11. public class Test {
  13. public static void main(String[] args) {
  14. try {
  15. FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
  16. int sum=0;
  17. int n;
  18. long t1=System.currentTimeMillis();
  19. try {
  20. while((n=fis.read())>=0){
  21. sum+=n;
  22. }
  23. } catch (IOException e) {
  24. // TODO Auto-generated catch block
  25. e.printStackTrace();
  26. }
  27. long t=System.currentTimeMillis()-t1;
  28. System.out.println("sum:"+sum+" time:"+t);
  29. } catch (FileNotFoundException e) {
  30. // TODO Auto-generated catch block
  31. e.printStackTrace();
  32. }
  34. try {
  35. FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
  36. BufferedInputStream bis=new BufferedInputStream(fis);
  37. int sum=0;
  38. int n;
  39. long t1=System.currentTimeMillis();
  40. try {
  41. while((n=bis.read())>=0){
  42. sum+=n;
  43. }
  44. } catch (IOException e) {
  45. // TODO Auto-generated catch block
  46. e.printStackTrace();
  47. }
  48. long t=System.currentTimeMillis()-t1;
  49. System.out.println("sum:"+sum+" time:"+t);
  50. } catch (FileNotFoundException e) {
  51. // TODO Auto-generated catch block
  52. e.printStackTrace();
  53. }
  55. MappedByteBuffer buffer=null;
  56. try {
  57. buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
  58. int sum=0;
  59. int n;
  60. long t1=System.currentTimeMillis();
  61. for(int i=0;i<1253244;i++){
  62. n=0x000000ff&buffer.get(i);
  63. sum+=n;
  64. }
  65. long t=System.currentTimeMillis()-t1;
  66. System.out.println("sum:"+sum+" time:"+t);
  67. } catch (FileNotFoundException e) {
  68. // TODO Auto-generated catch block
  69. e.printStackTrace();
  70. } catch (IOException e) {
  71. // TODO Auto-generated catch block
  72. e.printStackTrace();
  73. }
  75. }
  77. }
复制代码

测试文件为一个大小为1253244字节的文件。测试结果：

  1. sum:220152087 time:1464
  2. sum:220152087 time:72
  3. sum:220152087 time:25
复制代码

说明读数据无误。删去其中的数据处理部分。

  1. package test;
  3. import java.io.BufferedInputStream;
  4. import java.io.FileInputStream;
  5. import java.io.FileNotFoundException;
  6. import java.io.IOException;
  7. import java.io.RandomAccessFile;
  8. import java.nio.MappedByteBuffer;
  9. import java.nio.channels.FileChannel;
  11. public class Test {
  13. public static void main(String[] args) {
  14. try {
  15. FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
  16. int sum=0;
  17. int n;
  18. long t1=System.currentTimeMillis();
  19. try {
  20. while((n=fis.read())>=0){
  21. //sum+=n;
  22. }
  23. } catch (IOException e) {
  24. // TODO Auto-generated catch block
  25. e.printStackTrace();
  26. }
  27. long t=System.currentTimeMillis()-t1;
  28. System.out.println("sum:"+sum+" time:"+t);
  29. } catch (FileNotFoundException e) {
  30. // TODO Auto-generated catch block
  31. e.printStackTrace();
  32. }
  34. try {
  35. FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
  36. BufferedInputStream bis=new BufferedInputStream(fis);
  37. int sum=0;
  38. int n;
  39. long t1=System.currentTimeMillis();
  40. try {
  41. while((n=bis.read())>=0){
  42. //sum+=n;
  43. }
  44. } catch (IOException e) {
  45. // TODO Auto-generated catch block
  46. e.printStackTrace();
  47. }
  48. long t=System.currentTimeMillis()-t1;
  49. System.out.println("sum:"+sum+" time:"+t);
  50. } catch (FileNotFoundException e) {
  51. // TODO Auto-generated catch block
  52. e.printStackTrace();
  53. }
  55. MappedByteBuffer buffer=null;
  56. try {
  57. buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
  58. int sum=0;
  59. int n;
  60. long t1=System.currentTimeMillis();
  61. for(int i=0;i<1253244;i++){
  62. //n=0x000000ff&buffer.get(i);
  63. //sum+=n;
  64. }
  65. long t=System.currentTimeMillis()-t1;
  66. System.out.println("sum:"+sum+" time:"+t);
  67. } catch (FileNotFoundException e) {
  68. // TODO Auto-generated catch block
  69. e.printStackTrace();
  70. } catch (IOException e) {
  71. // TODO Auto-generated catch block
  72. e.printStackTrace();
  73. }
  75. }
  77. }
复制代码

测试结果：

  1. sum:0 time:1458
  2. sum:0 time:67
  3. sum:0 time:8
复制代码

由此可见，将文件部分或者全部映射到内存后进行读写，速度将提高很多。

这是因为内存映射文件首先将外存上的文件映射到内存中的一块连续区域，被当成一个字节数组进行处理，读写操作直接对内存进行操作，而后再将内存区域重新映射到外存文件，这就节省了中间频繁的对外存进行读写的时间，大大降低了读写时间。

来源：tobacco的专栏

收藏 邀请
上一篇：Java基础知识的思维导图下一篇：Java内存访问重排序的研究

最新评论

相关分类

小黑屋|在路上 ( 蜀ICP备15035742号-1 )  

;

GMT+8, 2025-7-8 02:38

Copyright 2015-2025 djqfx

返回顶部