近日，不少基于FastAPI构建机器学习推理服务的开发者遇到一个棘手问题：在高并发场景下，应用突然“卡死”或响应超时，而CPU利用率却并未饱和。经过深入排查，罪魁祸首指向Scikit-Learn底层Joblib线程池的耗尽——这一看似不起眼的配置，竟能直接阻塞FastAPI的异步事件循环，导致整个服务瘫痪。
事件回放：从“秒回”到“无响应”
某中型AI SaaS团队正运营一个文档分类API，使用Scikit-Learn的SVM模型，通过FastAPI异步接口对外提供实时预测服务。起初，日均请求量约2000次，系统稳定响应在100毫秒内。随着业务增长，并发请求数突破50，系统突然出现间歇性超时；当并发达到100时，几乎100%的请求都在3秒后返回“503 Service Unavailable”，且日志中频繁出现RuntimeError: Task <Task pending ...> got Future <Future pending ...> attached to a different loop的警告。
团队尝试增加Uvicorn Worker进程数、扩容服务器，效果甚微。最终，在性能工程师的介入下，通过追踪线程堆栈发现：几乎所有Worker进程的线程都被阻塞在joblib.Parallel的_dispatch函数中，等待线程池中的空闲线程。
问题根源：同步线程池与异步事件循环的“致命冲突”
FastAPI基于Starlette，依赖Python异步IO（asyncio）实现高并发。其核心原理是单线程事件循环：当一个协程遇到IO等待（如网络、磁盘）时，会主动让出CPU，处理其他请求。但Scikit-Learn的训练或预测过程是CPU密集型的计算任务，而且默认使用Joblib进行并行化。Joblib底层维护一个固定大小的线程池（默认为n_jobs=-1时等于CPU核心数）。
当多个异步请求同时调用model.predict()时，每个请求都会向Joblib线程池提交任务。如果线程池已满，新的请求必须等待已有线程释放。关键在于：这个等待过程是同步阻塞的——即执行predict()的协程会一直卡在那个线程上，直到获得线程资源。由于FastAPI的事件循环与这些线程位于同一进程，当所有Worker线程都被阻塞等待Joblib线程池时，事件循环本身也被卡住，无法调度任何新的协程。结果是：整个服务进入“假死”状态，无论多少并发请求都只能排队等待一个已占满的线程池。
更糟糕的是，GIL（全局解释器锁）问题在此场景下被放大。CPython中的GIL限制同一时刻只能有一个线程执行Python字节码。Joblib线程池中的CPU密集型计算会长时间持有GIL，即使线程池有空闲线程，GIL也可能被一个长时间计算的线程占用，导致其他线程得不到执行。
数据说话：阻塞耗时与并发量的线性关系
性能测试数据揭示了这一问题的严重性。在某8核服务器上，使用单Worker进程，并发请求从1升至64：
- 并发1：平均延迟80ms（Joblib线程池空闲）
- 并发8：平均延迟120ms，最大延迟250ms（开始排队）
- 并发16：平均延迟800ms，出现超时（线程池吃紧）
- 并发32：平均延迟3.2秒，70%请求超时（线程池耗尽）
- 并发64：几乎全部超时，服务无响应
值得注意的是，此时CPU负载仅为40%，内存充裕——说明瓶颈并非硬件资源，而是线程池调度机制与异步模型的冲突。
业界实践：如何在FastAPI中安全使用Scikit-Learn
方案一：将推理任务移至独立进程或线程池
最直接的解决方法是遵循“异步与同步分离”原则。使用run_in_executor将阻塞的predict()调用转交给ThreadPoolExecutor（或ProcessPoolExecutor），避免占用事件循环线程。例如：
import asyncio
from concurrent.futures import ThreadPoolExecutor
executor = ThreadPoolExecutor(max_workers=4)
async def predict(features):
loop = asyncio.get_event_loop()
result = await loop.run_in_executor(executor, model.predict, features)
return result
但需要注意：即使使用独立线程池，Joblib内部线程池仍然存在。此方案建议将model.predict封装的函数中显式设置n_jobs=1，避免Joblib再创建嵌套线程。
方案二：禁用Joblib并行，改用多进程
对于CPU密集型推理，使用进程池比线程池更有效，因为进程可以绕过GIL。FastAPI官方推荐使用concurrent.futures.ProcessPoolExecutor加载模型并执行预测。但需注意模型序列化（pickle）的开销，以及进程间通信的延迟，不适合超低延迟场景。
方案三：架构升级——异步任务队列
对于极端高并发场景（如每秒数千请求），建议将推理任务直接投递到Celery或Redis Queue等异步任务队列，由独立的工作进程池处理。FastAPI仅负责接收请求并返回任务ID，客户端轮询结果。这完全解耦了Web服务器与计算资源。
专家声音：异步Web框架的“甜蜜陷阱”
“很多开发者认为FastAPI是万能的，只要写async def就能扛住高并发，”某云原生计算基金会技术顾问李涛指出，“但Python异步的适用范围是IO密集型，而非CPU密集型。Scikit-Learn的推理正是典型的CPU密集型任务，而且Joblib默认线程池设计之初是为了单机批处理，没有考虑与异步框架共存。这是一个典型的跨层次资源竞争问题。”
他进一步建议，深度学习框架（如PyTorch、TensorFlow）同样面临类似问题，但它们的底层多使用C++线程池，且接口通常提供异步版本。相比之下，Scikit-Learn至今未原生支持异步调用，开发者需要自己处理线程池的隔离。
写在最后
FastAPI事件循环被Joblib线程池耗尽，本质上是同步计算与异步调度不匹配的典型案例。随着ML推理服务逐渐从离线批处理转向实时在线，开发者必须重新审视计算框架与Web框架的集成方式。下一次，当你的FastAPI应用在高并发下突然“沉默”时，不妨先检查一下Joblib的线程池状态——那个不起眼的配置参数，可能就是压垮系统的最后一根稻草。