Agent skill · data analytics · affaan-m
data-scraper-agent
任意のパブリックソース（ジョブボード、価格、ニュース、GitHub、スポーツなど）用の完全自動化されたAI搭載データ収集エージェントを構築します。スケジュールでスクレイプし、無料LLM（Gemini Flash）でデータを豊かにし、Notion/Sheets/Supabaseに結果を保存し、ユーザーフィードバックから学習します。GitHub Actions上で100％無料で実行。ユーザーがパブリックデータを自動的に監視、収集、または追跡したい場合に使用します。
Why this skill is useful
Provides specific workflows and integration patterns for scraping, enriching, and storing data from public sources that the AI wouldn't reliably generate on its own.
What it needs
Requires beautifulsoup, playwright, python installed locally. Requires github, supabase account access. About 1k tokens when loaded. Last updated 2026-08-06. 238,342 stars on the source repository.
What this skill does
データスクレイパーエージェント 任意のパブリックデータソース用の本番環境対応、AI搭載データ収集エージェントを構築。 スケジュールで実行され、無料LLMで結果を豊かにし、データベースに保存し、時間とともに改善されます。 スタック：Python · Gemini Flash（無料） · GitHub Actions（無料） · Notion / Sheets / Supabase アクティベーション時期 ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合 ユーザーが「チェックするボットを構築」「Xを監視」「データを収集」と言う ユーザーがジョブ、価格、ニュース、リポ、スポーツスコア、イベント、リストを追跡したい場合 ユーザーがホスティング用に支払わずにデータ収集を自動化する方法を尋ねる ユーザーが決定に基づいて時間とともにより スマートになるエージェントを望む コアコンセプト 3つのレイヤー すべてのデータスクレイパーエージェントには3つのレイヤーがあります： 無料スタック Layer Tool Why --- --- --- COLLECT Playwright/BeautifulSoup 無料のオープンソーススクレイピング ENRICH Gemini Flash 無料で高速LLM STORE Supabase / Sheets 無料データベースとスプレッドシート SCHEDULE GitHub Actions 無料クロンジョブ ワークフロー 1. ソースを定義 - どこからスクレイプするか、何を抽出するか 2. スクレイパーを構築 - BeautifulSoup または Playwright ベースのコレクタ 3. LLMを構成 - Gemini Flash でテキストをスコア付け/要約/分類 4. ストレージを設定 - Notion、Sheets、Supabase のいずれか 5. GitHub Actions を設定 - 毎日/毎週実行するスケジュール 6. フィードバックループを追加 - ユーザーの判断から学習 例 ジョブボード監視：新しい公開
How to use it
Reference it in AdaL, Claude Code, Cursor or any coding agent — nothing to install:
@skills affaan-m/data-scraper-agent