⚙️

Scrapling

🏆VÀNG
@D4Vinci >

Scrapling: Web Scraping bằng Python với khả năng Vượt Anti-Bot

★ 11,9272,4270Cập nhật 2 tháng trước
Trung cấp⏱ 15 phút triển khaiHiệu suất⏱ Tiết kiệm ~40 phút mỗi lần dùng
Hoạt động với:
GitHub Copilot

Cài đặt nhanh

Terminal
claude install D4Vinci/Scrapling
Xem trên GitHub

Mục lục

🔥

@D4Vinci

Cần hỗ trợ?

Chúng tôi xây dựng các kỹ năng và quy trình tự động hóa AI tùy chỉnh cho doanh nghiệp B2B.

Liên hệ ngay →

Đang dùng kỹ năng này?

Khám phá xem các công cụ khác trong hệ thống của bạn kết nối với AI như thế nào.

Tổng quan

Về kỹ năng này

Sử dụng Scrapling để scrape các trang thương mại điện tử được Cloudflare bảo vệ nhằm theo dõi giá cả Xây dựng các pipeline Scrapling để trích xuất dữ liệu sản phẩm quy mô lớn với tính năng proxy rotation tự động Triển khai các script Scrapling bất đồng bộ (async) để trích xuất nội dung render bằng JavaScript mà không cần Selenium Tích hợp Scrapling để tổng hợp tin đăng bất động sản trên các trang web có cơ chế bảo vệ anti-bot

Trường hợp sử dụng

🎯

Thu thập dữ liệu

Thu thập dữ liệu văn bản sạch từ các cổng thông tin để huấn luyện các mô hình LLM tùy chỉnh.

🎯

Tạo báo cáo tự động

Tóm tắt các trang web đối thủ để tự động biên soạn báo cáo phân tích thị trường.

🎯

Tìm kiếm khách hàng

Phân tích danh sách thư mục công khai để trích xuất thông tin liên hệ cho cơ sở dữ liệu tiếp cận khách hàng.

🎯

Tự động hóa luồng dữ liệu

Kết nối các điểm dữ liệu trực tuyến rời rạc thành các luồng dữ liệu có cấu trúc, cập nhật hàng ngày.

Phù hợp nhất cho

Hiệu suấtVận hành

Thẻ

#automation#web scraping#data extraction#crawler#Python

Cài đặt & Cấu hình

Cài đặt nhanh

Sao chép lệnh cài đặt bên dưới và chạy trong terminal của bạn.

Terminal
claude install D4Vinci/Scrapling

Cài đặt thay thế (Git Clone)

Terminal
git clone https://github.com/D4Vinci/Scrapling

Yêu cầu hệ thống

  • ✓ Claude Code hoặc AI Agent tương thích
  • ✓ Hoạt động với: GitHub Copilot

Hướng dẫn nhanh

1

Cài đặt kỹ năng

Sao chép lệnh cài đặt ở trên và chạy trong terminal của bạn.

2

Mở AI Agent của bạn

Mở Claude Code, Cursor hoặc AI agent lập trình mà bạn muốn sử dụng.

3

Chạy thử

Sử dụng mẫu prompt hoặc ví dụ bên dưới để chạy thử kỹ năng.

4

Tùy biến

Tùy biến cấu hình kỹ năng phù hợp với quy trình làm việc của bạn.

Ví dụ sử dụng

Mẫu Prompt & Hướng dẫn

Hướng dẫn & Kịch bản
```
Sử dụng Scrapling để trích xuất dữ liệu giá sản phẩm từ [ECOMMERCE_SITE] cho danh mục [PRODUCT_CATEGORY]. Thiết lập một scraper chạy hàng ngày vào lúc [TIME] và lưu kết quả vào file CSV tại [CLOUD_STORAGE_PATH]. Tích hợp cơ chế xử lý lỗi cho CAPTCHA và rate limiting. Sử dụng proxy rotation để tránh bị chặn IP.
```
Sao chép

```
Hoàn tất setup scraper để trích xuất dữ liệu giá sản phẩm từ Amazon cho 'Smart Home Devices'. Scraper sẽ chạy hàng ngày vào lúc 2:00 AM và lưu kết quả vào 'gs://my-bucket/scraping-results/'. Hệ thống đã tích hợp sẵn tính năng tự động giải CAPTCHA và proxy rotation. Lần chạy thử nghiệm đầu tiên đã thu thập thành công 1.243 danh sách sản phẩm bao gồm giá cả, mô tả và tình trạng còn hàng. Lượng bộ nhớ sử dụng thấp hơn 68% so với Selenium. Scraper sẽ tự động thử lại các request bị lỗi tối đa 3 lần trước khi đánh dấu là thất bại. Cảnh báo sẽ được gửi đến [EMAIL] nếu tỷ lệ lỗi vượt quá 10% trong một lần chạy.
```

Công cụ tương thích

Kỹ năng này tương thích hoàn toàn với các trợ lý lập trình AI và môi trường sau:

🤖

Claude Code

Môi trường thực thi gốc

💻

Cursor & Windsurf

Tích hợp Agent biên tập

Máy chủ MCP

Kỹ năng này hỗ trợ Model Context Protocol (MCP), cho phép tích hợp trực tiếp như một dịch vụ MCP mở rộng tính năng cho AI Agent.

# Đăng ký trong cấu hình Claude Desktop của bạn:

{
  "mcpServers": {
    "scrapling": {
      "command": "npx",
      "args": ["-y", "@modelcontextprotocol/server-scrapling"]
    }
  }
}