Master Web Scraping: Tự Động Hóa Thu Thập Dữ Liệu Bằng AI

Thay vì phải copy-paste thủ công tốn hàng giờ đồng hồ để thu thập dữ liệu từ các website, khóa học "Master Web Scraping" sẽ hướng dẫn bạn cách ứng dụng trí tuệ nhân tạo (thông qua Claude Code Desktop và giao thức MCP) để tự động hóa hoàn toàn quy trình cào dữ liệu (scraping).

Khóa học tập trung vào việc kết hợp Claude Code Desktop với 3 bộ công cụ MCP mạnh mẽ gồm Apify, Scraping và Patchright để giúp AI thay bạn xử lý các tác vụ phức tạp, bao gồm cả việc vượt qua các rào cản kỹ thuật như tường lửa chống bot (anti-bot).

Điểm khác biệt của khóa học là tính thực chiến cao; bạn sẽ không chỉ học lý thuyết mà còn trực tiếp dùng lệnh (prompt) để cào dữ liệu từ các nền tảng thực tế như Google Maps, Batdongsan và Shopee, sau đó tổng hợp, phân tích và xuất dữ liệu ra định dạng chuẩn (CSV, Excel) phục vụ công việc.

Khóa học này dành cho ai?

Khóa học phù hợp với:

• Người đi làm muốn tự động hóa công việc thu thập dữ liệu (data) từ Internet để phục vụ nghiên cứu, phân tích hoặc kinh doanh.

• Học viên đã biết sử dụng ứng dụng Claude Code Desktop ở mức cơ bản, đã cài đặt môi trường Node.js 18+ và Python 3.11+, muốn nâng cấp kỹ năng lên mức trung cấp (Intermediate).

• Nhân sự cần lấy dữ liệu hàng loạt từ các sàn thương mại điện tử, bản đồ, trang bất động sản thông qua cấu hình .mcp.json mà không cần phải tự tay viết mã nguồn phức tạp từ đầu.

Học viên sẽ học được gì?

Sau khóa học, học viên có thể:

1. Hiểu rõ khái niệm, các ứng dụng thực tế và các vấn đề pháp lý liên quan đến kỹ thuật Web Scraping.

2. Nắm vững kiến trúc hoạt động của Claude Code Desktop khi kết hợp với 3 công cụ MCP và biết cách xác minh (verify) môi trường làm việc.

3. Đăng ký tài khoản, lấy API token của Apify và cấu hình kết nối MCP qua tệp .mcp.json.

4. Sử dụng câu lệnh để AI cào dữ liệu địa điểm (ví dụ: 30 quán cà phê tại Hà Nội) từ Google Maps qua Apify MCP và xuất ra tệp CSV.

5. Ứng dụng Scrapling MCP với 3 cơ chế linh hoạt (Fetcher, StealthyFetcher, DynamicFetcher) và tính năng adaptive để cào dữ liệu bất động sản (ví dụ: 30 căn hộ) xuất ra Excel.

6. Sử dụng Patchright để vượt qua 3 lớp bảo mật Anti-Bot khắt khe của Shopee, kết hợp với tiện ích EditThisCookie để xuất dữ liệu cookie.

7. Đưa ra chỉ thị để Claude tự động cài đặt Patchright và tự động viết mã nguồn (script) Python cào dữ liệu.

8. Sử dụng prompt để gộp 3 tệp dữ liệu đã thu thập thành một tệp Excel "master" hoàn chỉnh bao gồm 4 sheet riêng biệt.

9. Phân tích dữ liệu tổng hợp để rút ra 3 insight cụ thể, xây dựng ma trận quyết định (decision matrix) và hoàn thành thử thách cuối khóa (capstone challenge).