问题描述

读取数据文件，大小为2.3G 2490930748字节 1735516 行

最后获 2432615350左右 字节的数据 1723238行左右的 数据

大致缺少了不到1%的数据，求大佬帮忙提供一下思路，到底哪里出问题了。。

问题出现的环境背景及自己尝试过哪些方法

使用过 RandomAccessFile 尝试读取，发现读取速度感人0.0（还乱码）如果可以解决读取速度问题（使用异步）就可能出现整行文件被截断和数据混乱的现象。

相关代码

// 请把代码文本粘贴到下方（请勿用图片代替代码）

protected Boolean compute() {

File file = new File(fullFileName);

BufferedReader reader = null;

List tasks = new ArrayList();

//读取的源文件大小

BigDecimal sumReadedSize = BigDecimal.ZERO;

long totalFileSize = 0;

try {

        reader = new BufferedReader( new InputStreamReader(new FileInputStream(file), "GBK"));

//用于看文件实际大小

RandomAccessFile r = new RandomAccessFile(file, “r”);

totalFileSize =r.length();

        String lineContent = "";

while (reader.ready() && (lineContent = reader.readLine()) != null) {

//if(ForkFileReadTask.getQueuedTaskCount() > 10 || ForkFileReadTask.getPool().getActiveThreadCount() > 100) {

ForkFileWriteTask fileWriteTask = this.fileSpiltter.spiltForFork(lineContent);//将任务提交pool处理，生产子文件

if(fileWriteTask != null) {

tasks.add(fileWriteTask);

fileWriteTask.fork();

BigDecimal bigDecimal = new BigDecimal(fileWriteTask.getFileSize());

sumReadedSize = sumReadedSize.add(bigDecimal);

}

}

} catch (FileNotFoundException e) {

log.error(“读取源文件错误！”);

e.printStackTrace();

} catch (IOException e) {

log.error(“读取源文件错误！”);

e.printStackTrace();

} finally {

if(reader != null) {

try {

reader.close();

} catch (IOException e) {

log.error(“关闭源文件流错误！”);

e.printStackTrace();

}

}

}

//实际写入的所有子文件大小之和

BigDecimal totalWrittenSize = BigDecimal.ZERO;

for(ForkFileWriteTask task : tasks) {

        totalWrittenSize=totalWrittenSize.add(task.join());

}

log.info("读取源文件大小为：{},实际写入文件大小为：{},总文件大小：{}",sumReadedSize.toString(),totalWrittenSize.toString(),totalFileSize);

if(sumReadedSize.equals( totalWrittenSize)) {

return true;

} else {

return false;

}

}

你期待的结果是什么？实际看到的错误信息又是什么？

结果读取的文件大小总是243200000左右与实际文件查了1%不到

读取源文件大小为：2432615350,实际写入文件大小为：2432615350,总文件大小：2490930748

做好的结果是找到问题原因，如果找不到至少找一下替代方案~~或者问题可能出在的地方