FastAPI + Celery + React：重计算任务的异步解耦实践

在设计一个集成 GIS (GDAL) 和 AI (YOLO/LLM) 的全栈系统时，如何让 Web 服务在处理 GB 级数据时不阻塞是一个核心痛点。本文将介绍一个基于 FastAPI、Celery 和 React 的异步生产者-消费者模型，实现重计算任务的异步解耦，从而提升系统性能和用户体验。

标准的异步生产者-消费者模型

1. 彻底的读写分离

上层（提交链路）

FastAPI 作为前端接口，只负责接收请求和校验参数。一旦参数校验通过，FastAPI 立即将任务信息发送到 Redis Broker，从而实现毫秒级的响应时间。这种设计使得前端用户几乎可以立即得到反馈，而不需要等待后台处理过程完成。

下层（反馈链路）

后台的 Worker 进程负责实际的数据处理任务。这些 Worker 通过 Redis State 暂存处理状态，前端可以通过 WebSocket 或轮询机制实时获取任务进度。这种实时反馈机制不仅提升了用户体验，还允许用户对长时间运行的任务进行有效的监控和管理。

2. 资源物理隔离

Web 服务不加载任何 AI 模型

Web 服务端不加载 AI 模型，以避免 GIL（Global Interpreter Lock）锁死或显存冲突。这样可以确保 Web 服务保持高性能和稳定性，同时将计算密集型的任务交给专门的计算层处理。

计算层 (Celery) 才是真正的资源消耗者

在计算层，CPU 任务和 GPU 任务可以各行其道，分别使用各自的资源。这种设计不仅提高了资源利用率，还允许系统根据不同的任务需求动态分配资源，从而实现更高的性能和效率。

总结

通过 FastAPI、Celery 和 React 的组合，可以有效地实现重计算任务的异步解耦，从而提升系统性能和用户体验。彻底的读写分离和资源物理隔离是关键的设计策略，它们确保了系统的高性能和高可用性。建议在实际开发中深入理解和应用这些设计原则，以构建高性能的 Web 应用。