Agent skill · data analytics · aiskillstore
data-engineer
数据工程师 Agent — 覆盖数据管道开发、数据仓库/数据湖建设、ETL/ELT 开发、实时流处理、数据质量保障、数据治理、大数据框架运维等全领域数据工程工作。能动手搭建数据基础设施，不只是出方案。
Why this skill is useful
Adds executable scripts for data pipeline automation and integration patterns that are not commonly known.
What it needs
Requires airflow, apache-flink, apache-kafka, apache-spark, dbt installed locally. About 11k tokens when loaded. Last updated 2026-08-07. 405 stars on the source repository.
What this skill does
数据工程师 Agent 概述 本技能定义了一个能动手干活的数据工程师 Agent，覆盖数据工程师的完整工作范围：数据管道开发（ETL/ELT）、数据仓库与数据湖建设、实时流处理、数据质量保障、数据治理、大数据框架运维、数据编排与调度、性能优化。核心定位是能搭建、能排障、能优化——不只是出方案，而是真正把数据管道跑通、跑稳、跑快。 触发条件 当用户提出以下类型的问题时，应加载本技能： "帮我搭建一个数据管道 / ETL 流程" "帮我设计数据仓库模型" "数据同步/迁移/集成" "帮我写 Spark / Flink 作业" "帮我配置 Airflow / Dagster 调度" "数据质量有问题，帮我排查" "查询太慢，帮我优化" "帮我搭建实时流处理管道（Kafka + Flink/Spark Streaming）" "数据湖/数据中台方案设计" "帮我写 dbt 模型 / SQL 转换" "数据治理、血缘追踪、元数据管理" "大数据集群排障（Spark OOM、HDFS 空间不足等）" 任何需要动手搭建数据基础设施的任务 核心能力 1. 数据管道开发（ETL/ELT） 设计并实现批处理与流处理数据管道 从多种数据源（RDBMS、API、日志文件、消息队列、对象存储）抽取数据 数据清洗、转换、标准化、去重、类型转换 增量/全量同步策略设计（CDC、时间戳增量、全量快照） 数据加载到目标系统（数据仓库、数据湖、搜索引擎） 2. 数据仓库与数据湖 数据建模（星型模型、雪花模型、Data Vault、OneData） 分层设计（ODS → DWD → DWS → ADS） 分区策略（时间分区、桶分区、动态分区） 存储格式选择（Parquet / ORC / Avro） 表格式管理（Delta Lake / Apache Iceberg / Apache Hudi） 查询优化（物化视图、预聚合、CBO 优化） 3. 实时流处理 Kafka 生产/消费、Topic 设计、分区策略 Flink / Spark Streaming 作业开发 流表关联（Stream-Table Join）、窗口聚合 状态管理与容错（Checkpoint、Savepoint） 精确一次语义（Exactly-Once Semantics） 4. 数据编排与调度 Airflow DAG 编写（PythonOperator、BashOperator、Sensor） Dagster / Prefect 工作流定义 任务依赖管理、重试策略、告警配置 数据管道监控与可观测性 5. 数据质量与治理 数据质量检查规则（完整性、准确性、一致性、及时性） Great Expectations / dbt test 数据质量测试 数据血缘追踪（OpenLineage / Atlas / DataHub） 元数据管理（表结构、字段注释、数据字典） 数据脱敏与权限管理 6. 性能优化 SQL 查询优化（执行计划分析、索引优化、分区裁剪） Spark 作业调优（shuffle 优化、内存管理、并行度设置） 存储格式优化（Parquet 列裁剪、压缩算法选择） 数据倾斜处理（salting、repartition、broadcast join） 连接池与并发控制 7. 数据编排与调度 Airflow DAG 设计（任务依赖、重试策略、超时控制、告警） 传感器（Sensor）使用（文件到达、分区就绪、外部任务完成） 动态 DAG 生成（根据配置生成不同数据源的任务） 任务优先级与资源池管理 8. 数据质量与测试 Great Expectations 数据质量验证套件 dbt test 数据转换测试 数据血缘追踪（OpenLineage / DataHub / Apache Atlas） 数据对账（源端 vs 目标端数据一致性校验） 工作流 用户："帮我搭建一个从 MySQL 到 ClickHouse 的 ETL 管道，每天增量同步" │ ▼ 1. 需求确认 ├─ 数据源：MySQL 表结构、数据量、增量字段（updatetime / id） ├─ 目标：ClickHouse 表结构、分区键、排序键 ├─ 时效性：T+1 天级 / 小时级 └─ 数据量：日增多少行、总数据量 │ ▼ 2. 方案设计 ├─ 架构：MySQL CDC (Canal) → Kafka → Flink → ClickHouse │ 或：Airflow 调度 → Spark/Python ETL → ClickHouse ├─ 增量策略：时间戳增量 / Binlog CDC ├─ 数据模型：ODS → DWD → DWS → ADS 分层 └─ 容错：断点续传、幂等写入 │ ▼ 3. …
How to use it
Reference it in AdaL, Claude Code, Cursor or any coding agent — nothing to install:
@skills aiskillstore/data-engineer--042306