本地文档RAG工具开发需求与改进建议

在开发本地文档RAG工具的过程中，考虑到现有技术的局限性，特别是对于包含表格、图像等多模态文档的处理能力不足，我提出了一些改进的需求和想法。首先，为了提高效率，减少Token的使用，我建议探索新的Pipeline，避免对每个文档块进行实体的提取和关系的构建，从而减少构建时间和Token消耗。其次，为了提升用户体验，实时性也是一个关键因素，因此，应尽量减少中间调用LLM进行评估的操作，确保用户在查询后能快速得到反馈。最后，覆盖场景的全面性也是至关重要的。除了常规的文档内容查询，还应考虑用户可能直接查询文档中的图像信息，或者进行两种信息的并行检索，以及支持本地深度研究等高级功能。这些改进和功能将有助于提升本地文档RAG工具的实用性和用户满意度。期待更多有创意的想法和建议，共同推动这个项目的发展。