flask-sqlalchemy中使用cursor游标 flask-sqlalchemy中使用cursor游标

游标的作用 【flask-sqlalchemy中使用cursor游标】现在经过层层封装的web端业务系统，游标已经不太使用了，不过在处理大规模数据的时候，还是用游标速度快，省内存，可以大幅提升查询效率。
假设某数据表有1亿条记录，都需要导出，或者做业务数据处理，用OR Mapping一次性读入内存显然是不可能的，那么显然要分段处理。常见的分段方式，是通过offset+limit来指定返回的记录窗口（flask-sqlalchemy直接提供了paginate对象实现分页，应该是对offset+limit的封装）。
这种方式很直观，但缺点也很明显：每一段的都重新执行了一遍庞大的查询，只返回其中很小一部分数据集，对数据库性能是巨大的浪费。
此时就应该是游标发挥作用的时候：Cursor的价值在于，可以只执行一次查询，缓存结果位置索引，cursor记录当前位置，之后每次通过fetch获取n条记录，cursor就移动n个位置，从而节省大量磁盘IO。
在实现原理上，Cursor又分为服务器端游标和客户端游标，区别在于在哪里缓存结果集索引，服务器端缓存可以让多个连接共享结果集，而且数据库的内存配置往往很高；不过呢，现在的数据库客户端，通常也是应用服务器，内存配置也不低，做客户端缓存，有助于分担服务器的压力。Sqlalchemy的缺省连接，都是客户端缓存。
Sqlalchemy获取游标从网上搜索的话，通常搜出来的代码都是这样的：

engine = create_engine('sqlite:///file.db') connection = engine.connect() try: cursor_obj = connection.cursor() cursor_obj.execute("select * from table1") results_one = cursor_obj.fetchall() cursor_obj.close() finally: connection.close()

或者用raw_connection代替connection，但如果我们是在一个web环境中，使用类似flask-sqlalchemy环境，显然不能这样自己管理数据库连接，而且所有的transaction也要统一管理，所以要从session中获取连接：

db = SQLAlchemy() db.init_app(app)session = db.session() cursor = session.execute('select * from user limit 10').cursor result = cursor.fetchall() print(result)

使用游标获取数据得到游标以后，就可以用游标来获取数据了，注意游标只能从前往后顺序移动，不可能倒回去重新获取了，所以fetch的动作，即是获取数据，又是移动游标。一共有三个fetch方法：fetchone(), fetchmany(size) 和 fetchall()，顾名思义，分别为获取一条记录，多条记录和全部记录。
fetchmany和fetchall获取的结果集为嵌套的tuple，第一层是行，第二层是列；而fetchone因为摆明了只有1条记录，结果集就是单层tuple。例如假设user表有四个字段
id | account | name | comment
下面这段代码：

cursor = session.execute('select * from user limit 10').cursor result = cursor.fetchmany(2) print(result) result = cursor.fetchmany(2) print(result) result = cursor.fetchone() print(result) result = cursor.fetchall()

输出内容类似下面的样子：

((1, 'acc1', 'acc1', None), (2, 'acc2', 'acc2', None)) ((3, 'acc3', 'acc3', None), (4, 'acc4', 'acc4', None)) (5, 'acc6', 'acc6', None) ((6, 'acc7', 'acc7', None), (7, 'acc8', 'acc8', None), (8, 'acc9', 'acc9', None), (9, 'acc10', 'acc10', None), (10, 'acc11', 'acc11', None))