外观
23 - 数据库连接突然耗尽:从连接池排到慢 SQL
摘要
接口因获取数据库连接超时而失败,可能是应用连接池没有可借的连接,也可能是数据库拒绝建立新连接。即使成功借到连接,SQL 仍可能因数据库过载而变慢。这三种情况的原因和处置不同:先定位等待发生在哪一层,再决定缩短连接持有时间、修复资源释放路径,还是调整容量。
数据库命令以 MySQL 8.0 / 8.4 为基础;应用部分以常见 JDBC(Java 数据库访问接口)连接池、Spring 命令式本地事务为例,不直接套用到响应式连接管理。请求到数据库的完整路径见 01 SQL 请求与连接路径,实例过载的诊断见 24 数据库性能瓶颈判断。
阅读入口:先判断在哪一层拿不到资源
假设连接池最多提供 2 个连接。请求 A、B 已各借走一个且尚未归还,请求 C 就只能在应用侧等待,即使数据库总共只有这 2 个连接,远没达到实例上限。A 归还后,C 才有机会借到连接继续执行。
如果 A、B 因慢 SQL、锁等待或远程调用迟迟不归还,而新请求继续到来,等待者就会积累,最终可能超过获取连接的等待期限。这个例子是状态推演,不是实测,也不能据此确定生产池大小。下面先解释连接的借用过程,再讨论诊断、容量和超时。
1. 一个连接到底是什么
物理连接是应用与数据库之间实际建立的网络连接;数据库会为它维护会话状态,例如当前事务和会话配置。建立连接通常涉及网络连接、认证和会话初始化。每次请求都重新建立会增加开销,所以连接池负责提前或按需建立连接,供请求重复借用。
借用时,应用取得连接的使用权;归还后,其他请求可以复用它。池的上限限制可提供的连接数量,因此也限制通过该池同时持有连接的任务数量。这是保护数据库的一道并发边界,调大上限并不会自动提高数据库处理 SQL 的能力。
观察连接池时,需要区分两类连接和一类任务:
- 使用中:已经借出,尚未归还。可能执行 SQL,也可能在等锁、读结果或调用其他服务。
- 空闲:可以借用,不代表物理连接已经断开。
- 等待者:应用任务想借连接,但暂时拿不到。等待者不是新的数据库会话。
请求结束、事务结束、连接归还和物理连接断开,是四件不同的事。例如请求已经超时,下游任务仍可能继续持有连接;连接归还后,物理连接也可能继续留在池中。仅看请求是否结束或数据库连接数是否下降,无法判断资源是否正确释放。
2. 从时间线理解“SQL 很快,连接却占很久”
连接持有时间是从借到连接到归还的时长。一次使用显式事务的访问可能经历:
text
等待连接 → 借到连接 → SQL 执行与结果消费 → 提交/回滚 → 归还连接锁等待发生在数据库执行语句的过程中,不是执行完成后的独立固定阶段;驱动可能在执行方法返回前就接收或缓冲结果。这里只划分借用边界,不保证各客户端 API 耗时能直接与服务端执行相加。01解释首行、缓冲和消费时间。
以下是合成时间线,用于说明边界,不是压测结果:
| 阶段 | 耗时 | 是否已经占用池连接 |
|---|---|---|
| 等待连接 | 100 ms | 否 |
| 写入订单 | 10 ms | 是 |
| 在事务方法中调用远程服务 | 900 ms | 常见本地 JDBC 事务中是 |
| 提交并清理 | 5 ms | 归还前是 |
SQL 只执行 10 ms,连接持有时间却约 915 ms。请求总耗时约 1015 ms,不能用 SQL 时长替代连接持有时长,也不能把池等待算进“已借出”时间。
@Transactional 用于声明 Spring 的事务边界。事务管理器负责协调事务的开始、提交、回滚及资源清理;数据源负责提供连接。Spring 事务什么时候实际取得物理连接,取决于事务管理器、数据源和是否采用延迟获取。不能只看到进入 @Transactional 方法就认定物理连接已取得;但第一次数据库访问后,参与事务的连接通常会保留至事务结束。
将远程调用放在这之后,即使数据库此刻没有执行 SQL,连接也可能无法归还,事务已取得的锁也可能继续被持有。下游越慢,连接和锁被占用的时间就越长,其他请求越容易排队。
3. 三种“满”,证据与处置不同
| 现象 | 需要一起看的证据 | 不能直接得出的结论 |
|---|---|---|
| 本地连接池满 | 使用中接近上限、空闲少、等待者和获取超时增加 | 数据库连接总数必然到上限 |
| 数据库拒绝新连接 | 客户端建连错误、连接数、上限拒绝累计计数的增量 | 调大上限就有处理能力 |
| 能连接但执行过载 | SQL/锁等待变长,同窗口 CPU、I/O、吞吐与池持有时长 | 每个使用中连接都在消耗 CPU |
下面的 MySQL 查询用于观察实例身份、连接上限和连接状态。它们不修改配置,也不终止会话;输出随实例和采样时刻变化:
sql
SELECT VERSION(), @@hostname, @@port, @@server_uuid;
SHOW GLOBAL VARIABLES LIKE 'max_connections';
SHOW GLOBAL STATUS LIKE 'Threads_connected';
SHOW GLOBAL STATUS LIKE 'Max_used_connections';
SHOW GLOBAL STATUS LIKE 'Connection_errors_max_connections';
SHOW GLOBAL STATUS LIKE 'Threads_running';Threads_connected 是当前连接数;Max_used_connections 是统计生命周期内的峰值,不是当前值;Connection_errors_max_connections 是因达到连接上限而拒绝建连的累计次数,需比较两次采样差值。Threads_running 是非睡眠线程数,不等于 CPU 正在执行的并发数。实例重启或统计重置后,前后窗口不能直接相减。
数据库未到连接上限,某个应用池仍可能排队:每个池有自己的上限,其他应用池的空闲连接不能直接借给它;即使该池尚未达到上限,也可能无法及时创建新连接。后者需要检查建连耗时、认证、网络和服务端错误,而不是只查慢 SQL。
4. 一张联合排查表,比单边截图更有用
只看应用侧,知道连接被占用了,却不知道为何没有归还;只看数据库侧,又可能看不到应用正在调用远程服务。需要对齐同一时间窗口、同一数据库实例和同一应用来源的信息,才能把等待与具体任务关联起来:
| 应用侧 | 数据库侧 | 优先验证的方向 |
|---|---|---|
| 使用中与持有时长同时上升 | 多会话等待同一事务 | 找共同阻塞者,见 19 SELECT 与锁 |
| 使用中上升,线程停在远程调用 | 相关连接空闲但事务未结束 | 事务边界过大,连接被业务代码占住 |
| 等待者增加,创建连接耗时上升 | 建连失败或认证异常 | 新物理连接建立受阻 |
| SQL 返回行多,线程在读取结果 | 查询尚在发送结果或等待客户端 | 大结果集、慢消费、驱动读取方式 |
| 请求已结束,借出连接长期未归还 | 对应会话可能空闲 | 检查资源释放路径,才有依据怀疑泄漏 |
| 所有池持有时长上升 | 实例资源或大量语句一起变慢 | 实例级过载,进入 24 资源分诊 |
数据库正在等客户端时,也不能仅凭某个 Sending data 状态名判定网络问题:状态名覆盖范围和执行阶段需要结合版本、重复采样与客户端栈解释。
记录连接的借出时间、归还时间、业务入口、事务开始时间和数据库连接身份。线程栈用于查看应用线程当前停在哪个方法;连接 ID 用于把这次借用与数据库会话对应起来。不必给所有 SQL 永久输出完整参数;敏感信息应脱敏,诊断采样也要控制开销。
Sleep 为什么不等于泄漏
服务端 Sleep 表示此刻没有执行客户端命令。它可能是健康空闲池连接,也可能是应用借走后没有归还,甚至可能持有未提交事务及其锁。
sql
SELECT trx_mysql_thread_id, trx_started, trx_state,
trx_rows_locked, trx_rows_modified, trx_query
FROM information_schema.innodb_trx
ORDER BY trx_started;把 trx_mysql_thread_id 与会话连接 ID 对上,再核对应用使用中/空闲状态。trx_query 为 NULL 不代表没有事务;该视图也不是所有连接活动的完整清单。完整关联命令见 26 DBA 诊断命令。
5. 怎样确认连接泄漏,而不是误判慢任务
泄漏指应该归还的资源没有归还。持续使用中的长任务可能很糟糕,却不一定是泄漏。
HikariCP 是一种 JDBC 连接池实现。当连接借出时间超过 leakDetectionThreshold 阈值时,它记录的是可能泄漏的提示,不是自动确认泄漏,也不是自动回收连接;合法长事务也可能触发。仍需查对应借用是否最终归还,不能看到一条提示就强行断开业务事务。
按这条证据链查:
- 找到异常连接借用的业务入口和时间。
- 检查同一次借用是否有归还记录,排除任务仍正常运行。
- 看线程栈和异常/提前返回路径,确认卡在何处。
- 在小规模受控环境复现该路径,检查请求结束后池使用中数量是否恢复。
对于自行管理、非 Spring 事务托管的 JDBC 查询,可以用 try-with-resources 管理资源。这种 Java 语法会在退出代码块时自动调用资源的 close(),即使发生异常或提前返回,也会按创建的逆序释放结果集、语句和连接:
java
try (Connection connection = dataSource.getConnection();
PreparedStatement statement = connection.prepareStatement(
"SELECT total_amount FROM kb04_order WHERE id = ?")) {
statement.setLong(1, orderId);
try (ResultSet result = statement.executeQuery()) {
if (result.next()) {
return result.getBigDecimal("total_amount");
}
return null;
}
}这是已有数据源和 orderId 上下文中的代码片段,不是可独立运行的类。表结构见 04。池包装连接的 close() 通常表示逻辑归还,而不是立即断开物理连接;资源是否可复用还取决于池的健康检查与清理。
Spring 托管事务中,应使用框架认可的资源访问方式,例如 JdbcTemplate。它封装 JDBC 操作,并配合 Spring 管理连接资源;不要对事务绑定的底层连接自行提交、回滚或绕开管理器关闭。流式结果是边读取边处理结果,懒加载则把访问推迟到实际需要数据时;这两种方式以及跨线程使用,都要明确资源由谁关闭,不能把事务连接当普通上下文复制给新线程。
配置 HikariCP 时,maximumPoolSize 控制池的最大连接数,connectionTimeout 控制获取连接的等待期限,leakDetectionThreshold 控制可疑超长借用的报告阈值。配置的单位、默认值和允许范围应以项目实际使用版本的文档为准。
6. 容量估算:先看占多久,再看有多少
借用速率表示每秒有多少次连接借用完成。相同速率下,每次持有得越久,同时被占用的连接就越多。稳定运行、统计边界一致时,可以使用 Little's Law(利特尔定律)描述这个平均关系:
text
平均已借出连接数 ≈ 每秒完成的连接借用次数 × 平均持有时间(秒)例如每秒完成 500 次借用,平均持有 40 ms,平均约有 20 个连接被占用。持有时间变成 400 ms,相同完成速率需要平均 200 个。它解释了为什么一次慢下游会耗尽池,却不能据此直接把池大小设为 200。
公式要求稳定窗口;积压持续增长时不能套用稳态假设。一次请求可能借多次连接,也可能根本不借连接,因此不能未经确认就把请求 QPS(每秒请求数)当借用速率。平均值也不能保证峰值或 P99(约 99% 样本不超过的时长)。扩池会允许更多任务同时进入数据库;如果它们争用同一把锁或已经紧张的 CPU、I/O 资源,执行和等待可能更慢,连接也会被占用更久。
6.1 物理连接预算和执行能力预算分开
假设业务有 20 个应用实例,每个实例只有一个连接到同一数据库的池,每池最多 50 个,配置上限合计 1000。滚动发布时若额外保留 5 个旧实例,上限合计会变成 1250。这里算的是配置允许的最大数量,不是当前已建立的连接数。自动扩容的最大实例数、多数据源、读写两套池和批任务都要计入对应数据库的预算。
text
所有连接到同一数据库的池上限之和
+ 运维、报表、同步与任务预留
≤ 已验证可接受的物理连接预算还要另行控制同时执行的数据库工作量。这不是同一个上限:空闲连接也占会话资源,活跃语句则争用 CPU、I/O 和锁。如果各应用池都扩大,却不核对数据库的总预算和执行能力,就可能让过多任务同时进入数据库。
实际定值应在代表性负载下逐步改变并发,比较完成吞吐(单位时间完成的工作量)、尾延迟(较慢一端请求的耗时)、池等待、锁等待和资源使用。超过某个并发后,吞吐不再增加而延迟明显上升,就不能以“数据库还能建连接”为继续扩池的依据。
7. 超时必须分层,不能以为一个配置包办
| 超时 | 主要约束 | 不保证什么 |
|---|---|---|
| 获取连接超时 | 在本地池等多久 | 不约束已经借出的连接持有时间 |
| 建连超时 | 网络/认证建连阶段 | 不约束后续 SQL 和总请求时长 |
| 读取或网络超时 | 驱动等待网络响应 | 不证明服务端事务已回滚 |
| SQL 执行超时 | 驱动/数据库支持的语句执行限制 | 不一定覆盖全部阶段,取消还可能失败 |
| 事务超时 | 框架或事务管理器限定的事务边界 | 不一定立即中断远程调用或所有阻塞 |
| 请求总截止时间 | 调用方愿意等到何时 | 不会天然终止所有下游工作 |
超时后要知道连接是否仍可用、事务是否结束、结果是否未知。特别是提交时断线,不能直接重试扣款;见 20 死锁与重试边界。
事务传播规定方法被调用时,是参与已有事务、开启新事务,还是不使用事务。Spring 的 REQUIRES_NEW 表示开启独立新事务,并挂起已有事务;它可能在外层事务仍占连接时再借一个。若多个外层事务已经占满池,又都等待内层事务取得连接,就可能无法继续推进。因此,把事务拆开不一定省连接。详见 Spring 12 事务传播行为,资源绑定与清理见 Spring 11。
8. 止损到修复的顺序
- 保存指标、错误、线程栈和会话证据,确认环境与来源。
- 限制高成本入口,暂停异常批任务,减少自动重试;先减进入数据库的工作量。
- 区分共同锁阻塞、慢语句、连接创建失败和应用持有问题。
- 对明确有害会话,由授权人员评估回滚代价后处置,按 26复核身份。
- 观察持有时间、等待者、完成吞吐和业务错误一起恢复,而不只看连接数下降。
- 修复索引、事务边界或释放路径,再用相同负载验证。扩池只能在预算与容量证据允许时受控进行。
不要批量断开所有 Sleep 会话,不要靠服务重启掩盖长期泄漏,也不要让所有应用同步快速重试。线程池排队与数据库池排队会互相放大,跨专题 并发 15解释这条故障链。
9. 名词解释
| 名词 | 含义 |
|---|---|
| 物理连接 / 逻辑归还 | 网络会话 / 把使用权交还连接池,通常不立即断网 |
| Active、Idle、Pending | 常见监控中的使用中、空闲、等待获取;名称按集成版本核验 |
| 持有时间 | 从借到连接到归还之间的时长,不只是 SQL 时长 |
| 连接泄漏 | 应归还却没有归还连接的资源管理错误 |
| P99 | 统计窗口内约 99% 样本不超过的时长,不是最大值 |
| Little's Law | 稳定系统中平均数量、速率与停留时间的关系 |
| 事务传播 | 调用进入已有事务、新事务或无事务的规则 |
10. 参考资料与适用条件
MySQL 8.4 官方手册的 Server Status Variables、threads Table、INNODB_TRX Table 说明连接计数和会话、事务之间的关系。HikariCP 官方配置说明 涵盖连接获取等待、池容量与泄漏检测配置。该链接是可变化的开发分支,不代表业务已部署版本;调整参数前,应查阅项目锁定版本的配置文档,确认默认值、阈值合法范围与监控集成方式,不应直接照搬开发分支的说明。
总结:连接耗尽是借用速度、持有时间、服务能力和资源管理共同作用的结果。先定位在哪一层等待,再决定减少工作量、缩短持有还是修复泄漏。