AI 调研员

定向数据采集,整理汇总入库

产品概述

AI 调研员能不断调研收集某个方向的数据,并整理汇总在数据库里。支持网页/社交媒体/行业报告/API 多源采集,自动清洗、去重、质量评分,定时更新,增量入库。为其他 Agent 产品提供数据基础。

核心能力

  • 多源采集 — 网页/社交媒体/行业报告/API/数据库,统一采集框架
  • 智能清洗 — 去重、格式标准化、质量评分、异常检测
  • 结构化 — 非结构化数据 → 结构化(NER/关系抽取/分类)
  • 增量入库 — 定时更新,只采集新数据,避免重复
  • 数据质量 — 完整性/一致性/准确性/时效性四维评分
  • 数据目录 — 自动生成数据目录,元数据管理
  • API 服务 — 为其他 Agent 提供数据查询 API

典型应用场景

行业情报监控:某新能源企业需要持续跟踪竞争对手的动态(新产品发布、价格调整、专利申请、产能变化)。AI 调研员 7×24 自动监控指定网站、社交媒体、行业报告、新闻源,每天自动采集、去重、结构化,生成日报推送到管理层。原来需要 2 个分析师每天花 4 小时手动收集整理,现在完全自动化,信息覆盖范围扩大 5 倍。

训练数据管道:某公司要训练一个客服机器人,需要大量高质量的对话数据。AI 调研员自动从公开渠道(客服论坛、行业社区、公开数据集)采集相关数据,自动清洗(去噪、去重、脱敏)、分类(按意图、情绪、场景)、质量评分,整理成结构化训练集。从"找数据"到"可训练数据"的周期从 1 个月缩短到 3 天。

预期效果

数据覆盖:信息源从人工可触达的 10-20 个扩展到 100+ 个,信息盲区大幅减少。
时效性:从"周报/月报"变为"实时/日级",决策基于最新信息。
数据质量:自动清洗去重 + 质量评分,训练数据/分析数据质量一致、可追溯。

技术规格

采集框架Playwright/Scrapy/API 多引擎,统一调度
清洗管道去重/标准化/评分/异常检测,可配置
结构化NER/关系抽取/分类,支持自定义 schema
存储PostgreSQL + pgvector + MinIO(文件)
调度Cron/事件驱动,增量更新
APIRESTful API,支持批量查询/订阅