Commit Graph

23 Commits (main)

Author SHA1 Message Date
zzh eb3acb953a 添加了一些统计时间的代码
Co-authored-by: Copilot <copilot@github.com>
2026-07-06 00:06:49 +08:00
zzh 1827d89663 找到了一个bug,是循环缓冲区的skipwrite函数导致的,skip和valuesize混淆会导致pop的时候valuesize和pop出去的bam size不一致,导致bug,新增了skipped字段来解决这一问题
Co-authored-by: Copilot <copilot@github.com>
2026-07-05 23:35:33 +08:00
zzh e477905410 小数据结果差不多了,大数据还有bug,再调试一下
Co-authored-by: Copilot <copilot@github.com>
2026-07-02 03:12:05 +08:00
zzh 36d1aa43dc 解决了阶段一的一个bug,就是最后一次merge之后,如果没达到阈值,merge order不增加,导致中间文件少了一部分数据 2026-06-27 13:27:13 +08:00
zzh eb876d4fe2 解决了phase1阶段计算offset的bug,第二阶段初步完成,但是还有bug 2026-06-11 23:04:59 +08:00
zzh 06224d52bb clean了一下代码 2026-06-03 16:47:46 +08:00
zzh f5776a795a 改进了merge,开始第二阶段过程的工作,需要clean一下代码
Co-authored-by: Copilot <copilot@github.com>
2026-06-03 14:09:51 +08:00
zzh 438375572d 第一阶段基本完成,merge的时候因为拷贝了内存所以比较慢,需要改改
Co-authored-by: Copilot <copilot@github.com>
2026-06-02 15:57:24 +08:00
zzh c723476a0f 解压和内存拷贝可以并行,但是效果一般,可以调节并行和串行
Co-authored-by: Copilot <copilot@github.com>
2026-06-01 23:29:14 +08:00
zzh 86b26c9512 解决了bam和block不对齐情况的处理
Co-authored-by: Copilot <copilot@github.com>
2026-06-01 16:51:12 +08:00
zzh 00286d9899 重构代码,改变并行流水线,拼接连续的block
Co-authored-by: Copilot <copilot@github.com>
2026-05-27 20:42:59 +08:00
zzh afe6abc857 线程内排序,线程间merge,线程内压缩,还没输出 2025-12-16 23:44:49 +08:00
zzh ab7e3989d0 Merge branch 'main' of ssh://zzhict.top:6622/zzh/FastSort 2025-12-14 01:03:04 +08:00
zzh 3560b5a504 两种不同的多线程数据分配策略 2025-12-14 00:45:50 +08:00
zzh ee16392150 当前可以并行解析block,但是要求每个block必须包含整数个bam,也就是block的起始位置一定要是一个bam的起始数据 2025-04-26 19:58:07 +08:00
zzh c488d139db 刚才还有个bug,就是剩余的长度正好时18字节的时候,<改成<=就行了,bugfix 2025-04-25 15:43:37 +08:00
zzh dbe57f345c 添加了并行流水线框架 2025-04-25 15:34:49 +08:00
zzh 7ee5241029 解决了读如文件时,解析block跨buffer的bug 2025-04-25 15:34:19 +08:00
zzh 0d2c533d59 添加了串行解析线程 2025-04-23 22:08:40 +08:00
zzh 9b2c35eaeb 解析header完整了,读取文件并解析gz block的框架正确了 2025-04-22 00:38:38 +08:00
zzh bcb8b420ba 正常读完文件,然后退出 2025-04-17 18:29:12 +08:00
zzh 588abd70f2 Init 2025-04-17 16:17:44 +08:00
zzh 433c724211 Initial commit 2024-12-19 11:54:29 +08:00