问题场景描述

将一个sql的查询结果集导出为文件，由于一次查询结果集可能上百万条，在开发环境和测试环境均造成了内存溢出的问题。因此改为分页查询数据的方式，虽然慢点，但是规避了内存溢出的问题。
但是，在这一百多万条导出的数据中，发现导出的文件中的数据与数据库直接查询出的数据不一致。偶发性的部分数据缺失，部分数据有重复，但是总条数一致。

问题分析

最早怀疑是程序问题，但是最后发现程序没问题，然后就把目光聚焦到了一直以为没问题的sql上面。由于我的查询sql最后是用时间来排序的，也就是：order by create_date desc。刚开始，我认为通过时间排序了，已经能保证数据的顺序。但是，当我用了其他几个字段和事件一起做排序，保证每次查询结果集的顺序强一致性，就没有发生过数据丢失或数据重复的问题。

结论

在使用limit进行分页时，一定要保证当前每次查询结果集的顺序一致性。不然可能会出现分页数据顺序不一致，导致分页查询的结果集和期望的结果集不一致。