优化策略

运维

优化策略

> 最后更新: 2026-06-07

---

一、性能优化

1.1 标准视图 → 物化视图（优先级：🔴 高）

问题：当前24个MySQL标准视图，每次查询全量重算

方案：迁移到PostgreSQL，用物化视图替代

性能提升：10-30秒 → < 50ms

1.2 建唯一索引（优先级：🔴 高）

问题：物化视图 CONCURRENTLY 刷新需要 UNIQUE INDEX

规则：每个物化视图必须先建唯一索引

1.3 SQLite → PostgreSQL（优先级：🟡 中）

问题：Hermes state.db 使用 SQLite（jxc已达58MB），不支持并发写

方案：Phase 3 评估迁移必要性

---

二、架构优化

2.1 三层数据架构（优先级：🔴 高）

详见 02_架构设计/01_[[三层数据架构总览]].md

| 阶段 | 内容 | 时间 |

|------|------|------|

| 2A | PostgreSQL 建库 + DWD 层（6个） | 半天 |

| 2B | DWS + ADS 层（14个） | 半天 |

| 2C | 展示层配置（Dify + BI） | 需用户配合 |

2.2 Dify Plugin Daemon（优先级：🟡 中）

现状：Mock daemon 已在 port 5002 运行，插件市场 knowledge_pro、database、chartgen 等可用

操作：通过 Dify Web UI 安装所需插件

---

三、流程优化

3.1 ETL 流程

| 步骤 | 当前 | 优化后 |

|------|------|--------|

| 远程数据同步 | 每日9:00 | 保持在3:00-4:00窗口内 |

| 数据清洗 | 无 | DWD层自动清洗 |

| 物化视图刷新 | 无 | 每日4:00-5:00自动 |

| 报表生成 | 手动查视图 | Dify AI问答 + 定时推送 |

3.2 手册更新流程

每次变更必须：

  • 更新 光合盐BI数据系统管理手册/ 对应文档
  • 追加 06_更新日志/CHANGELOG.md
  • 重新导入 Dify 知识库（或等自动索引）

---

四、工具链优化

4.1 数据查询工具

| 场景 | 工具 | 状态 |

|------|------|------|

| 管理层问数 | Dify + database 插件 | ⏳ 待配置 |

| 固定仪表盘 | Dify 内置 / Metabase | ⏳ 待选型 |

| 报表导出 | Python脚本 + crontab | ⏳ 待开发 |

| 日报推送 | Dify + wecom-bot/dingtalk | ⏳ 待配置 |

4.2 监控告警

| 场景 | 方案 | 优先级 |

|------|------|--------|

| ETL 失败告警 | crontab 输出检测 | 🟡 中 |

| 物化视图刷新失败 | 脚本返回码检测 | 🟡 中 |

| 磁盘空间告警 | df + 邮件通知 | 🟡 中 |

| 服务宕机检测 | systemd 自动重启已有 | ✅ 已配置 |

最后更新: 2026/6/16 18:51:38