Agent skill · software engineering · aiskillstore
crawl4ai
功能强大的开源网页抓取和数据处理工具，支持6种工作模式，包括截图、PDF导出和智能爬取
Why this skill is useful
Adds executable scripts for structured data extraction and intelligent crawling that aren't in public docs.
What it needs
Requires crawl4ai installed locally. About 6k tokens when loaded. Last updated 2026-08-07. 405 stars on the source repository.
What this skill does
Crawl4AI 网页抓取工具指南 Crawl4AI 是一个功能强大的开源网页抓取和数据处理工具，支持 6 种不同的工作模式。所有二进制输出（截图、PDF）都以 base64 编码返回，便于模型处理。 🎯 【至关重要】通用调用结构 所有对 crawl4ai 的调用都必须严格遵循以下嵌套结构！ 这是一个通用规则，适用于所有模式。 ❌ 常见致命错误：未嵌套参数 ✅ 正确的基础调用模式 🚀 新增智能分级系统 版本 1.2 重要更新： 新增智能分级抓取系统，自动适应不同网站类型： 配置等级 适用场景 特点 性能表现 --------- --------- ------ ---------- 标准配置 普通静态网站 高性能，快速抓取 ⚡ 快速 (90秒超时) 增强配置 JS网站、反爬网站 加强反爬，完整渲染 🛡️ 稳健 (120秒超时) 降级配置 极端复杂网站 最大化兼容性 🐢 保守 (180秒超时) 智能识别能力： ✅ 自动检测 JavaScript 驱动网站（React、Vue、Angular等） ✅ 识别反爬机制（Cloudflare、reCAPTCHA等） ✅ 缓存成功配置，加速后续抓取 ✅ 失败自动降级，提高成功率 📋 可用模式快速选择指南 模式 功能描述 主要用途 复杂度 推荐场景 ------ ---------- ---------- --------- ---------- scrape 抓取单个网页 获取页面内容、截图、PDF ⭐⭐ 单页面内容获取 deepcrawl 深度智能爬取 使用策略深度爬取网站 ⭐⭐⭐⭐ 网站内容探索 batchcrawl 批量 URL 处理 同时处理多个 URL ⭐⭐ 批量数据收集 extract 结构化数据提取 基于 CSS 或 LLM 提取数据 ⭐⭐⭐ 特定数据提取 pdfexport PDF 导出 将网页导出为 PDF ⭐ 文档保存 screenshot 截图捕获 捕获网页截图 ⭐ 视觉证据保存 注意： crawl 模式已在最新版本中移除，请使用 scrape 或 deepcrawl 替代。 🎯 使用场景快速指南 场景1：快速获取页面内容 场景2：批量收集产品信息 场景3：深度研究某个网站 场景4：提取结构化数据 场景5：保存网页证据 🚀 详细模式说明 1. 抓取单个网页 (scrape) 智能分级抓取：新版工具自动根据网站类型选择最佳配置方案。 ✅ 正确示例: ❌ 错误示例（参数未嵌套）: 智能分级抓取原理： 1. 自动识别：工具会分析URL特征，判断网站类型 2. 分级配置： 标准配置：普通网站，90秒超时，高性能 增强配置：JS网站/反爬网站，120秒超时，完整渲染 降级配置：极端复杂网站，180秒超时，最大化兼容 3. 失败降级：如果当前配置失败，自动尝试更兼容的配置 4. 配置缓存：成功配置会缓存，后续同域名请求更快 参数说明: url (必需): 要抓取的网页 URL，必须以 http:// 或 https:// 开头 format: 输出格式，markdown(默认)/html/text cssselector: 提取特定内容的 CSS 选择器 includelinks: 是否在输出中包含链接，默认 true includeimages: 是否在输出中包含图片，默认 true returnscreenshot: 是否返回截图(base64)，默认 false returnpdf: 是否返回 PDF(base64)，默认 false screenshotquality: 截图质量(10-100)，默认 70 screenshotmaxwidth: 截图最大宽度，默认 1920 wordcountthreshold: 内容块最小单词数，默认 10 excludeexternallinks: 是否排除外部链接，默认 true 2. …
How to use it
Reference it in AdaL, Claude Code, Cursor or any coding agent — nothing to install:
@skills aiskillstore/crawl4ai