我必须多久提交一次？

Question

for 循环正在使用我编写的 SQLite 管理器类对数据库进行许多更改，但我不确定必须提交的频率。

for i in list:
    c.execute('UPDATE table x=y WHERE foo=bar')
    conn.commit()
    c.execute('UPDATE table x=z+y WHERE foo=bar')
    conn.commit()

我是否必须在那里调用 commit 两次，或者我可以在进行两次更改后调用它一次吗？

Answer 1

是否在每次数据库更改后的过程结束时调用

conn.commit()

一次取决于几个因素。

并发读者看到了什么

这是每个人第一眼想到的：当提交对数据库的更改时，它对其他连接变得可见。除非已提交，否则它仅对于已完成更改的连接在本地保持可见。由于

sqlite

的并发特性有限，只能在事务打开时读取数据库。

您可以通过运行以下脚本并调查其输出来调查发生的情况：

import os
import sqlite3

_DBPATH = "./q6996603.sqlite"

def fresh_db():
    if os.path.isfile(_DBPATH):
        os.remove(_DBPATH)
    with sqlite3.connect(_DBPATH) as conn:
        cur = conn.cursor().executescript("""
            CREATE TABLE "mytable" (
                "id" INTEGER PRIMARY KEY AUTOINCREMENT, -- rowid
                "data" INTEGER
            );
            """)
    print "created %s" % _DBPATH

# functions are syntactic sugar only and use global conn, cur, rowid

def select():
    sql = 'select * from "mytable"'
    rows = cur.execute(sql).fetchall()
    print "   same connection sees", rows
    # simulate another script accessing tha database concurrently
    with sqlite3.connect(_DBPATH) as conn2:
        rows = conn2.cursor().execute(sql).fetchall()
    print "   other connection sees", rows

def count():
    print "counting up"
    cur.execute('update "mytable" set data = data + 1 where "id" = ?', (rowid,))

def commit():
    print "commit"
    conn.commit()

# now the script
fresh_db()
with sqlite3.connect(_DBPATH) as conn:
    print "--- prepare test case"
    sql = 'insert into "mytable"(data) values(17)'
    print sql
    cur = conn.cursor().execute(sql)
    rowid = cur.lastrowid
    print "rowid =", rowid
    commit()
    select()
    print "--- two consecutive w/o commit"
    count()
    select()
    count()
    select()
    commit()
    select()
    print "--- two consecutive with commit"
    count()
    select()
    commit()
    select()
    count()
    select()
    commit()
    select()

输出：

$ python try.py 

created ./q6996603.sqlite
--- prepare test case
insert into "mytable"(data) values(17)
rowid = 1
commit
   same connection sees [(1, 17)]
   other connection sees [(1, 17)]
--- two consecutive w/o commit
counting up
   same connection sees [(1, 18)]
   other connection sees [(1, 17)]
counting up
   same connection sees [(1, 19)]
   other connection sees [(1, 17)]
commit
   same connection sees [(1, 19)]
   other connection sees [(1, 19)]
--- two consecutive with commit
counting up
   same connection sees [(1, 20)]
   other connection sees [(1, 19)]
commit
   same connection sees [(1, 20)]
   other connection sees [(1, 20)]
counting up
   same connection sees [(1, 21)]
   other connection sees [(1, 20)]
commit
   same connection sees [(1, 21)]
   other connection sees [(1, 21)]

$

因此，这取决于您是否可以忍受并发读取器（无论是在同一个脚本中还是在另一个程序中）有时会出现两个偏差的情况。

当需要进行大量更改时，另外两个方面就需要考虑：

性能

数据库的性能变化很大程度上取决于您的操作方式。它已被标记为FAQ：

实际上，SQLite 在普通台式计算机上每秒可以轻松执行 50,000 条或更多 INSERT 语句。但它每秒只能进行几十笔交易。 [...]

理解这里的细节绝对有帮助，所以不要犹豫，点击链接并深入了解。另请参阅这个很棒的分析。它是用 C 编写的，但如果用 Python 做同样的事情，结果会相似。

注意：虽然两个资源都引用

INSERT

，但对于相同的参数，

UPDATE

的情况将非常相似。

独占锁定数据库

如上所述，开放（未提交）事务将阻止并发连接的更改。因此，通过执行这些更改并联合提交全部更改，将对数据库的许多更改捆绑到单个事务中是有意义的。

不幸的是，有时计算更改可能需要一些时间。当并发访问成为问题时，您不会希望锁定数据库那么长时间。因为以某种方式收集挂起的

UPDATE

和

INSERT

语句可能会变得相当棘手，所以这通常会让您在性能和独占锁定之间进行权衡。