优化策略

09_IT运维与系统

优化策略

最后更新: 2026-06-07




一、性能优化


1.1 标准视图 → 物化视图(优先级:🔴 高)


问题:当前24个MySQL标准视图,每次查询全量重算

方案:迁移到PostgreSQL,用物化视图替代

性能提升:10-30秒 → < 50ms


1.2 建唯一索引(优先级:🔴 高)


问题:物化视图 CONCURRENTLY 刷新需要 UNIQUE[[ INDEX]]

规则:每个物化视图必须先建唯一索引


1.3 SQLite → PostgreSQL(优先级:🟡 中)


问题:Hermes state.db 使用 SQLite(jxc已达58MB),不支持并发写

方案:Phase 3 评估迁移必要性




二、架构优化


2.1 三层数据架构(优先级:🔴 高)


详见 02_架构设计/01_[[三层数据架构总览]].md


阶段内容时间
2APostgreSQL 建库 + DWD 层(6个)半天
2BDWS + ADS 层(14个)半天
2C展示层配置(Di[[f]]y + BI)需用户配合

2.2 Dify Plugin Daemon(优先级:🟡 中)

现状:Mock daemon 已在 port 5002 运行,插件市场 knowledge_prodatabasechartgen 等可用

操作:通过 Di[[f]]y Web UI 安装所需插件


三、流程优化

3.1 ETL 流程

步骤当前优化后
远程数据同步每日9:00保持在3:00-4:00窗口内
数据清洗DWD层自动清洗
物化视图刷新每日4:00-5:00自动
报表生成手动查视图Di[[f]]y AI问答 + 定时推送

3.2 手册更新流程

每次变更必须:

  1. 更新 光合盐BI数据系统管理手册/ 对应文档
  2. 追加 06_更新日志/CHANGELOG.md
  3. 重新导入 Di[[f]]y 知识库(或等自动索引)

四、工具链优化

4.1 数据查询工具

场景工具状态
管理层问数Di[[f]]y + database 插件⏳ 待配置
固定仪表盘Di[[f]]y 内置 / Metabase⏳ 待选型
报表导出Python脚本 + crontab⏳ 待开发
日报推送Di[[f]]y + wecom-bot/dingtalk⏳ 待配置

4.2 监控告警

场景方案优先级
ETL 失败告警crontab 输出检测🟡 中
物化视图刷新失败脚本返回码检测🟡 中
磁盘空间告警d[[f]] + 邮件通知🟡 中
服务宕机检测systemd 自动重启已有✅ 已配置

最后更新: 2026/6/18 00:00:05