把「谁可能要用人、要买什么」从公开信息里挖出来,逐层加工、每层可核对 —— 这套架构就是为「提前发现」搭的。
每一层只干一件事,层与层之间靠数据交接 —— 所以「加一个信息源」只要改最上面那层的配置,下面七层都不用动。图中蓝点=数据在层间流动。
小屏幕:这张图可以左右滑动看全。
配置驱动的通用采集器 + 专用采集器,已接 — 个在线源(招投标、环评受理公示、发改委、上市公司公告、官网变化监测、公开检索…)。加源=改配置,不改代码。
统一落库:标题 / 摘要 / 原文链接 / 发布时间 / 来源,批内去重、每条独立事务。抓取失败必须抛错并留痕 —— 绝不把「抓不到」伪装成「今天没有新变化」。
由词表(配置)把事实归到统一事件类型,并标注分层(前置 / 已发生)与证据强度;例行文件(法律意见书、工作制度、股东会通知)先剔除,不占销售注意力。
三层键:我卖什么 × 事件 × 客户类型,算出最佳 / 最晚窗口、强信号(90 天内同类变化 ≥3 次)、变化包合并。规则全部是配置数据,按每个人的卖方包选。
接口服务:事件流 / 客户 / 行业 / 画像 / 候选 / 额度 / 账号 / 档案 / 线索。数据域按域名解析,解析不出来就返回空域,绝不回落到别人家的数据。
只做「表达与推理」,不产生事实:画像生成、事件分析、提问式启发、多维档案抽取。输出做逐数字溯源校验,材料里找不到的数字自动改写为「待核实」。
手机端 H5 已上线(浏览器直接打开,不用装 App);规划走一套代码同出微信小程序 + H5,小程序待微信 AppID。
nginx + systemd 托管服务,HTTPS 证书自动续期;采集与批处理串行执行(低配机器不打爆);巡检接口需令牌才能看。
采集层的家底 —— 有哪些源、能采到什么、检索通道用了多少额度,全部实时取自系统接口(/api/sources · /api/search-usage),页面不写死任何一个数字;加一个源=加一条配置,不改代码。
| 源 | 类型 | 频率 | 能采到什么 | 最近状态 | 累计 |
|---|---|---|---|---|---|
| 正在读取采集源… | |||||
正在读取检索通道用量…
| 采集器 | 类型 | 怎么工作 |
|---|---|---|
| 接口型 | 结构化接口 | 吃 JSON 接口(如上市公司公告),字段映射写在配置里 |
| 列表页型 | 列表页解析 | 解析静态列表页 + 翻页(政府采购、公共资源交易、环评、发改委) |
| 盯页面型 | 页面变化监测 | 盯页面指纹:页面没变就不产出(客户官网动态) |
| 订阅型 | 订阅源 | 标准 RSS / Atom(为公众号 feed 预留) |
| 公开检索 | 公众号检索 | 公众号文章检索;遇验证码立即停,不绕过 |
| 关键词检索 | 检索 API | 博查官方 API 定向检索公众号 / 抖音;额度用尽自动降级到网关 |
| 网关检索 | 检索网关 | 走钉钉 MCP 网关按站点检索(微博);也是博查的兜底通道 |
站点、字段映射、正则、关键词、频率全在配置里;加源=加配置,不改代码。抓失败必须抛错并标「本次无新内容 / 抓取失败」,绝不把「抓不到」伪装成「今天没有新变化」。
UA / 超时 / 请求间隔可配、不并发轰站;按源间隔串行跑、断点续抓、批内去重;每轮采集写批次留痕,异常可见。
.gov.cn 站点、工信部、信用中国、四川 / 成都各站 —— 本机网络层不通,需代理或官方数据 APItenant_id 列 + 行级安全,租户之间强隔离| 层 | 表 | 说明 |
|---|---|---|
| 租户与账号 | tenant user_account login_session activity_log | 数据域 / 账号(口令加盐不可逆)/ 登录会话 / 全程使用留痕(登录、看事件、钉客户、记录动作) |
| 采集 | source raw_item collect_run | 源配置(站点规则全在配置文件里)/ 原始信息 / 采集批次留痕(抓取异常可见) |
| 事实与判断 | company signal event rule_pack copy_mark | 企业主档 / 变化信号 / 机会事件(窗口 · 强信号 · 按卖方包变化的规则变体)/ 规则包 / 可复制性标记 |
| 客户与档案 | customer_profile customer_fact pin action_log user_profile candidate | 画像(带依据)/ 11 维档案事实(每条带出处) / 钉住与额度 / 动作记录 / 引导问卷 / 候选名单(匹配度可解释) |
| 行业 | industry_watch industry_news | 关注行业(地区 + 行业 + 频次)/ 每日行业信息 + AI 机会分析 + 关联企业 |
表名在此列出只为说明「数据怎么分家」;业务界面上不会出现这些名字,客户看到的是事件、客户、行业这些词。
当前跑在 2 核 / 1.6G 单机上(同机还有别的业务)。重活(拉镜像 / 浏览器渲染 / 批量脚本)已约定串行执行,先看内存再开跑,避免把机器打爆。
| 方向 | 内容 | 状态 |
|---|---|---|
| 信息源 | ①钉钉网关搜索接入 → 微博 / 小红书 / 抖音 / 公众号定向检索;②官网变化监测铺开到更多目标客户;③前置信号源(环评受理已接,招标预告 / 招聘 / 项目备案待找可用通道) | ①已接入 ②进行中 ③受网络限制 |
| 客户档案 | 关键词抽取 → LLM 抽取(带反幻觉校验),维度可配置增减 | v2 待做 |
| 内部知识 | 上传产品资料 / 报价 / 案例 / 异议话术,AI 回答只用「内部知识 + 公开信息」,没依据就写「待核实」 | 待实现 |
| 客户端 | H5(已上线)→ 一套代码同出微信小程序(需 AppID) | 小程序待 AppID |
| 数据库 | SQLite → PostgreSQL(多租户行级安全、分区、连接池、备份) | 待实现 |
| 多租户 | 第二家客户开通(渠道配置 + 独立机器人 + 数据域隔离),当前只有一家在用 | 待实现 |
| 付费 | 个人版免费额度 → 付费版本(额度、团队版、管理视图) | 待实现 |
| 质量工程 | 模拟人测试常态化(4 类角色 26 项检查);真实历史回放(川渝样本 24 家 / 16,162 条 / 2022-01 起,另有全国与单行业对照样本);规则由资深销售校准 | 持续 |