Neolix · Big Data Process

RaaS Agent
Data Platform

车端 raas agent 上报数据的全链路采集、存储、查询与异常回收平台。 从 Kafka 原始流到故障可检索仓库,再到高危停留 case 的自动回收,一套数据底座覆盖完整闭环。

查看服务 → 技术栈

三个核心服务

从原始数据落盘到结构化查询,再到异常 case 主动回收,各司其职、独立部署。

📡
Kafka Consumer

raas_agent_kafka

消费 Volcengine Kafka cdc_raas_agent_data_process 原始流,落盘 JSONL,并提供离线采样分析脚本。

  • SASL_PLAINTEXT + lz4 压缩
  • 原始 JSONL dump 到 /data/raas-agent-data/
  • ~8% 采样离线分析
🛰️
Fault Store · API

raas_fault_store

消费车端 orin_warning_event 遥测,解析入 SQLite WAL,提供 FastAPI 查询 API 与登录页。

  • 30 天滚动窗口 + 死信队列
  • 查询 API 端口 8700,relay-token 鉴权
  • 支持车号 / VIN / case_id / 时间 / 状态检索
🚨
Case · Recovery

agent_case_service

高危异常停留 case 上报:多 caller AK/SK 鉴权 → SQLite WAL → WayPulse SDK 全量回收任务。

  • FastAPI POST /api/v1/cases,SK sha256 存储
  • case_id == task_id,5 分钟北京窗幂等
  • web 查看端 + relay device-flow 登录

技术栈

统一 Python 3.10,uv 依赖管理,SQLite WAL 轻量存储,FastAPI 暴露服务。

Python 3.10 uv kafka-python FastAPI SQLite WAL WayPulse SDK Nginx Let's Encrypt systemd