đứng đầu  

FlareSolverr: Hướng Dẫn Chi Tiết [2024]

Bản Audio (Nhấn Play & Cuộn Liền Mạch Đến Hết Bài Viết ▶️🎶)

Về bản chất, FlareSolverr là một máy chủ proxy giúp vượt qua sự bảo vệ của Cloudflare. Nó đóng vai trò là cầu nối giữa các biện pháp chống bot của Cloudflare và nhu cầu truy xuất dữ liệu hiệu quả. Bằng cách tận dụng sức mạnh của Python, Selenium và ChromeDriver, FlareSolverr cho phép bạn vượt qua các rào cản của Cloudflare và truy cập nội dung trang web được bảo vệ một cách trơn tru.

Hướng dẫn này đưa ra cái nhìn tổng quan về FlareSolverr trong năm 2024. Chúng ta sẽ cùng xem làm thế nào cài đặt nó trên Linux, Docker và Windows. Cùng với đó, ta cũng sẽ tìm hiểu về cấu hình của nó, từ cách đặt biến đến định cấu hình cho Plex, Prometheus và các ứng dụng khác như Jackett và Prowlarr. 

FlareSolverr Guide

Tuyên bố miễn trừ trách nhiệm: Tài liệu này đã được phát triển nghiêm ngặt cho mục đích thông tin. Nó không cấu thành sự chứng thực cho bất kỳ hoạt động nào (bao gồm cả các hoạt động bất hợp pháp), sản phẩm hoặc dịch vụ. Bạn hoàn toàn chịu trách nhiệm tuân thủ luật hiện hành, bao gồm luật sở hữu trí tuệ, khi sử dụng dịch vụ của chúng tôi hoặc dựa vào bất kỳ thông tin nào ở đây. Chúng tôi không chấp nhận bất kỳ trách nhiệm pháp lý nào đối với thiệt hại phát sinh từ việc sử dụng các dịch vụ hoặc thông tin của chúng tôi ở đây dưới bất kỳ hình thức nào, trừ khi luật pháp yêu cầu rõ ràng.

Mục lục. 

  1. Giới thiệu về Flaresolverr
    • Flaresolverr là gì?
    • FlareSolverr hoạt động như thế nào?
    • Ưu điểm và nhược điểm của việc sử dụng FlareSolverr
  2. Cài đặt Flaresolverr.
    • Cài đặt Flaresolverr trên Linux (thông qua thiết bị đầu cuối)
    • Cài đặt Flaresolverr trên Docker
    • Cài đặt FlareSolverr trên Windows
  3. Định cấu hình Flaresolverr
    • Thay đổi các biến môi trường.
    • Định cấu hình FlareSolverr cho Cloudflare.
    • Định cấu hình FlareSolverr cho Plex.
    • Định cấu hình FlareSolverr cho Prometheus
    • Định cấu hình FlareSolverr cho các ứng dụng khác. 
  4. Sử dụng Flaresolverr
    • Sử dụng FlareSolverr với lệnh “curl” trên Linux.
    • Sử dụng FlareSolverr với thư viện Python Requests. 
  5. Kết luận. 

1. Introduction to Flaresolverr.

a. Flaresolverr là gì và mối quan hệ của nó với Cloudflare như thế nào?

Cloudflare cung cấp các công cụ bảo vệ chống bot để cơ bản duy trì bảo mật trang web (tránh các cuộc tấn công DDoS), hiệu suất và bảo vệ dữ liệu người dùng.

Để đối phó với bot và nhận dạng con người, CloudFlare đưa ra các chướng ngại vật (đối với trình duyệt) liên quan đến mã JavaScript với các thử thách toán học. Việc truy cập truyền thống vào các trang web được bảo vệ bởi Cloudflare sẽ phải trải qua nhiều chướng ngại vật khác nhau như yêu cầu lấy dấu vân tay, CAPTCHA và các thử nghiệm khác để chứng minh sự tương tác của con người. Những chướng ngại như vậy về cơ bản được tạo ra để ngăn chặn các hành vi độc hại của bot. 

FlareSolverr là một máy chủ proxy nguồn mở được xây dựng để giải quyết (hoặc vượt qua) những thách thức này bằng các biện pháp chống bot của Cloudflare.

FlareSolverr
Ảnh chụp bởi FlareSolverr

Lưu ý: Không phải tất cả các bot đều được tạo ra cho các hành vi độc hại! Bot đơn giản là các chương trình tự động thực hiện các nhiệm vụ. Mặc dù chắc chắn có những bot được thiết kế cho mục đích bất chính, chẳng hạn như gửi thư rác, hack và lừa đảo, nhưng cũng có những bot được tạo ra cho các trường hợp sử dụng hợp pháp. Ví dụ như trình thu thập thông tin của công cụ tìm kiếm, chatbot, bot truyền thông xã hội, trình quét web, bot giám sát và cảnh báo, hỗ trợ ảo, v.v. 

b. FlareSolverr hoạt động như thế nào?

FlareSolverr hoạt động như một máy chủ proxy được thiết kế để tránh các giao thức chống bot của Cloudflare. Nó mô phỏng hành vi của trình duyệt thực tế để có thể giải quyết các chướng ngại, điều hướng các bước kiểm tra bảo mật và hiển thị nội dung trang web. 

Tham khảo hình ảnh dưới đây.

  • Một người dùng (tức là Python HTTP Client) bắt đầu một yêu cầu
  • FlareSolverr chờ yêu cầu của người dùng (ở trạng thái không hoạt động) và sau đó sử dụng Python SeleniumUndetected ChromeDriverđể tạo một phiên bản trình duyệt web (Chrome). 
  • Sau đó, yêu cầu được chuyển tiếp đến trang web (được CloudFlare bảo vệ). Nó chờ chướng ngại Cloudflare được giải quyết. 
  • Trang web mục tiêu đáp ứng yêu cầu như bình thường. Và Cloudflare cũng đáp ứng yêu cầu vì chướng ngại của nó đã được giải quyết mà không gặp vấn đề gì.
  • Mã HTML được loại bỏ và cookie được gửi lại cho người dùng.
  • Máy khách có thể truy cập mã HTML và cookie kết quả để sử dụng với các máy khách HTTP khác như Python Requests.
How FlareSolverr works

c. Ưu điểm và nhược điểm.

FlareSolverr có thể là một công cụ hữu ích để vượt qua cơ chế chống bot của Cloudflare. Người dùng muốn truy cập nội dung được bảo vệ bởi CloudFlare sẽ được hưởng lợi từ FlareSolverr. Tuy nhiên, nó cũng có một số nhược điểm và những điều cần lưu ý khi sử dụng.

Ưu điểm.

  • Bỏ qua tự động: Cách tiếp cận tự động của FlareSolverr giúp bạn không phải giải quyết các chướng ngại của Cloudflare theo cách thủ công.
  • Quét hiệu quả: Với FlareSolverr, bạn có thể trích xuất dữ liệu một cách hiệu quả từ các trang web được lưu trữ trên CDN của Cloudflare.
  • Khả năng truy cập nâng cao: Nó cho phép truy cập dễ dàng vào nội dung được bảo vệ bởi Cloudflare bằng cách mạo danh thành công trình duyệt web thực.
  • Tích hợp liền mạch: FlareSolverr sử dụng Python SeleniumUndetected ChromeDriver. Việc tích hợp này đảm bảo rằng giải pháp này có thể dễ dàng được tích hợp vào quy trình xử lý dữ liệu hiện có của bạn.
  • Tính linh hoạt: Bạn có thể sử dụng mã HTML và cookie thu được từ giải pháp của FlareSolverr với các ứng dụng khách HTTP khác như Python Requests. 

Tìm hiểu cách trích xuất web bằng thư viện Python và Requests đồng thời kết hợp FlareSolverr trong dự án của bạn. 

Nhược điểm.

  • Lo ngại về pháp lý và đạo đức: Một trong những mối lo ngại hàng đầu khi sử dụng FlareSolverr là pháp lý và đạo đức. Việc bỏ qua các cơ chế bảo vệ chống bot có thể vi phạm điều khoản sử dụng của một số trang web hoặc dịch vụ nhất định. 
  • Tính ổn định của trang web: Việc sử dụng FlareSolverr hoặc các công cụ tương tự để vượt qua các biện pháp bảo vệ có thể gây thêm tải cho máy chủ của trang web mục tiêu.
  • Tiêu thụ tài nguyên: Vượt qua các chướng ngại của Cloudflare yêu cầu khởi chạy một phiên bản trình duyệt bổ sung và giải các câu đố JavaScript. Cả hai nhiệm vụ này đều tiêu tốn nhiều tài nguyên tính toán hơn.
  • Phụ thuộc vào dịch vụ của bên thứ ba: FlareSolverr dựa vào Selenium, ChromeDriver và các công cụ của bên thứ ba khác. Vì vậy, nếu những công cụ này không được cập nhật hoặc không hoạt động thì FlareSolverr cũng sẽ bị ảnh hưởng. 
  • Chướng ngại Captcha: Mặc dù FlareSolverr có thể xử lý nhiều cơ chế chống bot nhưng có thể có những trường hợp CAPTCHA được hiển thị. CAPTCHA được thiết kế có chủ đích để gây khó khăn cho các hệ thống tự động giải. Cập nhật! Kể từ tháng 8 năm 2023, không có trình giải mã xác thực (captcha) nào của FlareSolverr hoạt động 

2. Cài đặt Flaresolverr.

Trong phần này, chúng tôi sẽ cung cấp cho bạn hướng dẫn chi tiết để cài đặt FlareSolverr trên các hệ điều hành khác nhau. Chúng tôi sẽ cài đặt FlareSolverr trên Linux (thông qua thiết bị đầu cuối và trình duyệt không có giao diện người dùng), trên Docker và cuối cùng là trên Windows. 

Tuyên bố miễn trừ trách nhiệm: Tài liệu này đã được phát triển nghiêm ngặt cho mục đích thông tin. Nó không cấu thành sự chứng thực cho bất kỳ hoạt động nào (bao gồm cả các hoạt động bất hợp pháp), sản phẩm hoặc dịch vụ. Bạn hoàn toàn chịu trách nhiệm tuân thủ luật hiện hành, bao gồm luật sở hữu trí tuệ, khi sử dụng dịch vụ của chúng tôi hoặc dựa vào bất kỳ thông tin nào ở đây. Chúng tôi không chấp nhận bất kỳ trách nhiệm pháp lý nào đối với thiệt hại phát sinh từ việc sử dụng các dịch vụ hoặc thông tin của chúng tôi ở đây dưới bất kỳ hình thức nào, trừ khi luật pháp yêu cầu rõ ràng.

a. Cài đặt FlareSolverr trên Linux (thông qua thiết bị đầu cuối)

Cài đặt Flaresolverr trên Linux là một quá trình đơn giản và hướng dẫn này sẽ chỉ cho bạn các bước để thiết lập và chạy nó trên hệ thống của mình. Chúng tôi sẽ cài đặt FlareSolverr trên Ubuntu 22.04.

Điều kiện tiên quyết:

Trước khi bắt đầu quá trình cài đặt, hãy đảm bảo rằng bạn có Python và Trình Quản lý Gói Python (pip). Bạn sẽ cần pip để cài đặt và quản lý các phần phụ thuộc của Flaresolverr.

Các bước Cài đặt:

Thực hiện theo các bước sau để cài đặt Flaresolverr (nhị phân được biên dịch sẵn) trên hệ thống Linux của bạn:

  • Khởi chạy một cửa sổ đầu cuối trên máy Linux của bạn. 
  • Tạo một thư mục nơi bạn sẽ lưu bản tải xuống FlareSolverr. 

Ví dụ:

  • Tải xuống mã nhị phân: Bạn có thể sử dụng lệnh wget để tải xuống nhị phân trực tiếp từ URL chính thức của Flaresolverr (Xem bản phát hành mới nhất và sao chép liên kết)
installing FlareSolverr
  • Giải nén kho lưu trữ: Sử dụng lệnh tar để trích xuất nội dung của kho lưu trữ đã tải xuống:
  • Thay đổi sang thư mục giải nén.
  • Bây giờ bạn có thể khởi chạy FlareSolverr bằng lệnh ./flaresolverr:
FlareSolverr start

Xin chúc mừng! Nếu bạn thấy thông báo tương tự như trên, điều đó có nghĩa FlareSolverr của bạn đã hoạt động. Kết quả đầu ra cho biết quá trình kiểm tra cài đặt trình duyệt web đã thành công và dịch vụ FlareSolverr hiện đang chạy trên http://0.0.0.0:8191.

Truy cập FlareSolverr!

FlareSolverr hiện giờ sẽ chạy trên nền máy Linux của bạn. Địa chỉ 0.0.0.0 chỉ ra rằng Flaresolverr đang liên kết với tất cả các giao diện mạng có sẵn trên máy chủ. Điều này có nghĩa là bạn có thể truy cập Flaresolverr bằng địa chỉ IP hoặc tên máy chủ của máy từ bất kỳ thiết bị nào trên cùng một mạng.

Xử lý sự cố! 

Chúng tôi đang chạy FlareSolverr từ một máy ảo (không có GUI), vì vậy chúng tôi gặp phải các lỗi sau.

  1. “Nếu bạn gặp lỗi sau: “error while loading shared libraries: libatk-1.0.so.0: cannot open shared object file: No such file or directory” —- LỖI không tìm thấy phiên bản Chrome / Chromium!” bạn sẽ cần cài đặt các phần phụ thuộc cần thiết cho trình duyệt Chrome hoặc Chromium. 

Sử dụng các lệnh sau:

FlareSolverr troubleshooting
  1. If you see the error: “OSError: Can not find Xvfb. Please install it and try again.,” it means that Flaresolverr, cannot find Xvfb, which is required to launch the web browser for FlareSolverr’s functionality. Xvfb is a virtual framebuffer X server that allows applications to run graphical interfaces without a physical display. Xvfb is used to simulate a display environment for the headless browser. It is required for the headless browser to operate properly even when there is no physical display available.

Cài đặt Xvfb bằng lệnh sau: 

Troubleshooting FlareSolverr

Ngoài ra, nếu bạn đang sử dụng trình duyệt không có giao diện người dùng, bạn sẽ cần xác định nó trong các biến môi trường của FlareSolverr. Thông tin về điều này nằm trong phần tiếp theo.

b. Cài đặt Flaresolverr trên Docker

Sau đây là hướng dẫn chi tiết về cách cài đặt FlareSolverr trên Docker. Coi như bạn đã cài đặt Docker trên máy tính của mình.

Chúng tôi sẽ hướng dẫn dựa trên Docker phiên bản 24.0.5, chạy trên Ubuntu 22.04 Jammy. Để biết thêm thông tin về cách cài đặt Docker, hãy tham khảo hướng dẫn chính thức sau

  • Tìm hình ảnh FlareSolverr Docker trong DockerHub. Hình ảnh được hỗ trợ trên các kiến trúc khác nhau, bao gồm x86: linux/386, x86-64: linux/amd64, ARM32: linux/arm/v7, và ARM64: linux/arm64.
  • Khởi động vùng chứa FlareSolverr. Use either Docker Compose or the Docker CLI. FlareSolverr provides a docker-compose.yml configuration file— which is much easier than CLI (if you have Docker Compose installed). Also, pulling the image is unnecessary, as this is already referenced in the compose file.
    • Sao chép kho lưu trữ chứa tệp cấu hình docker-compose.yml :
  • Điều hướng đến thư mục kho lưu trữ:
  • Khởi động vùng chứa bằng Docker Compose (đảm bảo bạn có quyền quản trị viên để chạy lệnh này hoặc sử dụng sudo)
Docker FlareSolverr

Xác minh cài đặt.

Kiểm tra xem vùng chứa FlareSolverr có đang chạy không bằng cách:

  • Bạn sẽ thấy vùng chứa flaresolverr trong danh sách.
FlareSolverr Docker

Truy cập FlareSolverr

FlareSolverr bây giờ sẽ chạy trong vùng chứa Docker. Bạn có thể truy cập nó bằng lệnh ‘http://localhost:8191’ trong trình duyệt web của mình.

Và như vậy bạn đã cài đặt thành công FlareSolverr bằng cách sử dụng vùng chứa Docker. Bây giờ bạn có thể sử dụng nó để vượt qua các chướng ngại từ các trang web được Cloudflare bảo vệ.

c. Cài đặt FlareSolverr trên Windows

Bạn nên cài đặt FlareSolverr trên Windows bằng cách sử dụng các tệp nhị phân được biên dịch sẵn— chỉ có sẵn cho kiến trúc x64 trên Windows. Mặc dù ta có thể cài đặt từ nguồn nhưng điều đó không được khuyến khích cho Windows do những hạn chế về kiến trúc. Ngoài ra, 'hình ảnh' vùng chứa FlareSolverr Docker được thiết kế chủ yếu để chạy trên máy chủ dựa trên Linux (không phải Windows).

Để cài đặt FlareSolverr trên Windows, bạn có thể làm theo các bước sau:

  • Tải xuống tệp nhị phân FlareSolverr: Truy cập trang FlareSolverr Releases trên GitHub. Tìm bản phát hành mới nhất trong phần “Assets” và tìm bản tải xuống thích hợp cho Windows. Nó phải là một tệp zip. Tải xuống tệp nén FlareSolverr cho Windows x64.
  • Giải nén và chạy tệp nhị phân FlareSolverr: Chạy tệp FlareSolverr.exe đã tải xuống. Khi bạn chạy nó, thiết bị đầu cuối sẽ mở, cho bạn biết rằng Tác nhân Người dùng FlareSolverr đã chạy thành công.
  • Cho phép truy cập vào ứng dụng này từ tường lửa Windows của bạn. 
FlareSolverr on Windows

Và như vậy bạn đã cài đặt và chạy thành công FlareSolverr trên Windows bằng cách sử dụng tệp nhị phân được biên dịch trước.

3. Configuring Flaresolverr.

Bây giờ bạn đã cài đặt thành công Flaresolverr, đã đến lúc định cấu hình nó.

Định cấu hình FlareSolverr cho các ứng dụng và dịch vụ web như Cloudflare và Plex liên quan đến việc định cấu hình các biến môi trường cần thiết. Vì vậy, nếu bạn đã cài đặt FlareSolverr thành công, bây giờ bạn có thể sửa đổi các biến môi trường của nó. 

FlareSolverr cung cấp các biến môi trường mà bạn có thể sử dụng để định cấu hình hành vi của nó. Bạn có thể tìm thấy thông tin về các biến này trong tài liệu của Kho lưu trữ GitHub của FlareSolverr..

Ever Feel Like Cloudflare is a Tough Nut to Crack? 🌐

Take your FlareSolverr experience to the next level with high-speed proxies from RapidSeedbox. Enjoy secure, efficient data scraping and bypassing Cloudflare with ease.

a. Thay đổi các biến môi trường.

Thiết lập các biến trong Linux. 

Thay đổi các biến môi trường của FlareSolverr trong Linux, bằng cách đặt chúng bằng lệnh “export”, trước khi bắt đầu quy trình FlareSolverr trong thiết bị đầu cuối. Sau đây là cách thực hiện:

  • Xuất (các) biến môi trường bạn muốn thay đổi.
  • Ví dụ: Để thay đổi LOG_LEVEL thành sửa lỗi (debug) và thay đổi múi giờ bạn sẽ chạy: 
testing FlareSolverr

Thay đổi biến trong Docker.

Để thay đổi các biến FlareSolverr trong Docker, bạn cần mở và sửa đổi tệp docker-compose.yml trong trình soạn thảo văn bản.

  • Tìm phần dịch vụ tương ứng với dịch vụ FlareSolverr của bạn— trong trường hợp của chúng tôi, nó có tên là flamesolverr. Trong định nghĩa dịch vụ Flaresolverr, bạn sẽ thấy phần môi trường (environment). Đây là nơi bạn có thể cập nhật các biến môi trường của mình. 
  • Ví dụ: Bạn có thể thay đổi biến môi trường LOG_LEVEL thành sửa lỗi (debug), TimeZone, cổng mặc định, chạy trình duyệt web ở chế độ không đầu, v.v.
FlareSolverr Docker

Dưới đây là các bước để định cấu hình FlareSolverr cho từng trường hợp:

Định cấu hình các biến trong Windows. 

Để thay đổi các biến trong Windows: Trước tiên, hãy chuyển đến thư mục cài đặt FlareSolverr, sau đó chạy lệnh “set” theo sau là biến mà bạn muốn thay đổi. 

FlareSolverr on Windows

Bây giờ, bạn đã biết cách thiết lập các biến của FlareSolverr, hãy cùng xem cách thay đổi chúng cho các ứng dụng web cụ thể. 

b. Định cấu hình FlareSolverr cho Cloudflare: 

Bạn có thể định cấu hình cách FlareSolverr vượt qua các chướng ngại của Cloudflare bằng cách điều chỉnh các biến môi trường của nó. Chủ yếu là các biến CAPTCHA_SOLVER và LOG_LEVEL.

  • Thay đổi sau đây sẽ đặt bộ giải CAPTCHA thành “hcaptcha” và tăng mức ghi nhật ký để sửa lỗi.
  • Bắt đầu FlareSolverr:
  • FlareSolverr bây giờ sẽ được định cấu hình để xử lý các chướng ngại của Cloudflare một cách hiệu quả.
FlareSolverr variables

Lưu ý: Tính đến tháng 9 năm 2023, không có máy giải captcha nào hoạt động. Các chướng ngại của CloudFlare có thể không chỉ liên quan đến các nhiệm vụ toán học và kiểm tra trình duyệt; hình ảnh xác thực cũng có thể yêu cầu sự can thiệp của con người. Trong trường hợp xảy ra chướng ngại hình ảnh xác thực, FlareSolverr sẽ chỉ ra lỗi "Captcha detected but no automatic solver is configured".

c. Định cấu hình FlareSolverr cho Plex:

Việc định cấu hình FlareSolverr cho Plex có thể cần thiết trong trường hợp Plex Media Server của bạn được bảo vệ bằng Cloudflare. Như chúng ta đã biết, các biện pháp bảo mật của Cloudflare có thể dẫn đến những thách thức khi truy cập nội dung Plex. 

Bằng cách tích hợp FlareSolverr với Plex, bạn có thể cải thiện độ tin cậy của Máy chủ Plex Media. Thiết lập này đảm bảo rằng người dùng được ủy quyền có thể dễ dàng truy cập nội dung phương tiện của bạn mà không gặp phải trở ngại liên quan đến Cloudflare.

Làm thế nào để tích hợp?

  • Thiết lập biến môi trường: Đối với Plex, thông thường bạn sẽ cần đặt biến môi trường PROXY. Biến proxy này sẽ định tuyến lưu lượng truy cập của Plex thông qua máy chủ proxy. Ngoài ra, hãy đảm bảo điều chỉnh các biến môi trường có liên quan khác như LOG_LEVEL (nếu cần).
  • Thay thế “http://proxy-server-address:proxy-port” bằng địa chỉ và cổng thực của máy chủ proxy của bạn.
  • Bắt đầu FlareSolverr:
  • Điều này sẽ định cấu hình FlareSolverr hoạt động như một proxy cho lưu lượng truy cập Plex.

d. Định cấu hình FlareSolverr cho Prometheus. 

FlareSolverr khá hữu ích nếu bạn đang sử dụng Prometheus (công cụ giám sát nguồn mở) để theo dõi các dịch vụ web hoặc API được Cloudflare bảo vệ. Nếu đang sử dụng Prometheus, bạn có thể gặp khó khăn khi truy cập điểm cuối do cơ chế bảo vệ của Cloudflare. Khi tích hợp FlareSolverr với Prometheus, bạn có thể định cấu hình Prometheus để thực hiện yêu cầu thông qua proxy FlareSolverr. 

Để tích hợp Prometheus với FlareSolverr, hãy làm theo các bước sau:

  • Kích hoạt Trình xuất Prometheus:
    • Đặt biến môi trường PROMETHEUS_ENABLED thành true trong FlareSolverr.
    • Nếu sử dụng Docker, hãy cho cổng xuất Prometheus (PROMETHEUS_PORT) hiển thị trong cấu hình Docker của bạn.
  • Định cấu hình Cổng xuất Prometheus:
    • Đặt biến môi trường PROMETHEUS_PORT để chỉ định cổng nghe của máy xuất.
  • Chạy FlareSolverr với các biến môi trường đã được cấu hình. Nếu sử dụng Docker, hãy đảm bảo cổng xuất Prometheus được hiển thị.
  • Mở tệp cấu hình Prometheus của bạn (prometheus.yml) và thêm phần Scrape_config để chỉ định các dữ liệu trích xuất từ FlareSolverr. Để biết thêm về cách định cấu hình Prometheus, hãy xem hướng dẫn chính thức

e. Định cấu hình FlareSolverr cho các ứng dụng khác: 

Hai trình quản lý/proxy lập chỉ mục tốt nhất bao gồm Prowlarr và Jackett dường như bị ảnh hưởng bởi những chướng ngại của CloudFlare. Vì một số công cụ lập chỉ mục torrent và Usenet sử dụng tính năng bảo vệ Cloudflare để tránh bị tấn công DDoS nhắm tới nên những công cụ này không thể chạy chương trình truy cập vào một số trang web. 

Trong FlareSolverr, đặt các biến môi trường CAPTCHA_SOLVER thích hợp (nếu có). Bạn cũng có thể cần thêm IP hoặc tên máy chủ của FlareSolverr trên ứng dụng đích. Dưới đây là một vài ví dụ: 

  • Jackett. Để cho phép Jackett giao tiếp thành công với trình theo dõi torrent và trình lập chỉ mục Usenet, hãy đảm bảo những điều sau:
    • Đảm bảo Jackett luôn hoạt động. Định cấu hình URL FlareSolverr (ví dụ: flamesolverr:8191) và áp dụng các thay đổi. Nếu bạn muốn sử dụng cấu hình này lâu dài, hãy tắt Cập nhật. 
    • Xem hướng dẫn chi tiết của Jackett để tìm hiểu cách cài đặt, định cấu hình và sử dụng Jackett. 
  • Prowlarr. Để cho phép Prowlarr giao tiếp thành công với các trang torrent và Usenet, nó cần phải vượt qua các chướng ngại CAPTCHA do Cloudflare đặt ra.
    • Chuyển đến cài đặt của Prowlarr. Vào “Add an Indexer Proxy” và chọn FlareSolverr.
    • Nhập máy chủ. Nó giống như http://flaresolverr:8191. Hãy xem hướng dẫn về Prowlarr của chúng tôi để tìm hiểu cách sử dụng và định cấu hình công cụ này. 

Ngoài ra, các công cụ tự động hóa PVR như Sonarr, Radarrhoặc Bazarr truy cập thông tin đa phương tiện và phụ đề từ một số trang này cũng bị ảnh hưởng gián tiếp. Họ sử dụng cả Jackett và Prowlarr để truy cập thông tin của trang web và nhanh chóng bị thuật toán của Cloudflare chặn lại. 

4. Using FlareSolverr.

Bạn có thể sử dụng FlareSolverr bằng lệnh “curl” trong Linux hoặc sử dụng Python Rrequests. 

a. Sử dụng FlareSolverr với lệnh “curl” trên Linux.

Với lệnh “curl” trên Linux, bạn có thể tương tác với API của FlareSolverr để thực hiện nhiều hành động khác nhau. Lệnh Curl giúp thực hiện các yêu cầu HTTP từ dòng lệnh. Nó rất hữu ích cho các yêu cầu nhanh chóng và đơn giản, vì vậy đây là lựa chọn tốt nhất nếu bạn đang thử nghiệm điểm cuối API của FlareSolverr. Nhưng hãy nhớ rằng “curl” có thể trở nên phức tạp hơn khi xử lý các tương tác phức tạp hơn, như xử lý dữ liệu và tự động hóa.

i. Tạo một phiên mới

Để khởi chạy một phiên bản trình duyệt mới và tạo một phiên:

curl -L -X POST ‘http://localhost:8191/v1’ \
-H ‘Content-Type: application/json’ \
–data-raw ‘{
  “cmd”: “sessions.create”
}’

ii. Liệt kê các phiên hoạt động

Để có danh sách tất cả các phiên hoạt động, hãy đưa ra bộ lệnh sau:

curl -L -X POST ‘http://localhost:8191/v1’ \
-H ‘Content-Type: application/json’ \
–data-raw ‘{
  “cmd”: “sessions.list”
}’

iii. Hủy một phiên

Để hủy một phiên hiện có, hãy dùng lệnh sau.

curl -L -X POST ‘http://localhost:8191/v1’ \
-H ‘Content-Type: application/json’ \
–data-raw ‘{
  “cmd”: “sessions.destroy”,
  “session”: “session_id_here”
}’
Đừng quên thay thế “session_id_here” bằng phiên bạn muốn hủy. Nếu bạn không biết id phiên, hãy quay lại lệnh trước đó. 

iv. Thực hiện yêu cầu GET

Để thực hiện yêu cầu GET bằng một phiên cụ thể.

curl -L -X POST ‘http://localhost:8191/v1’ \
-H ‘Content-Type: application/json’ \
–data-raw ‘{
  “cmd”: “request.get”,
  “url”: “http://www.example.com”,
  “maxTimeout”: 60000
}’
Đừng quên thay thế url như “http://www.example.com/” bằng trang web bạn đang thử nghiệm. 

Một ví dụ về cách sử dụng lệnh curl cho lệnh yêu cầu GET:

Using FlareSolverr with curl

b. Sử dụng FlareSolverr với thư viện Python Requests. 

Python cung cấp nhiều thư viện và công cụ mở rộng để làm việc với API web (hoàn hảo cho FlareSolverr). Với Python, bạn có thể tạo các tập lệnh phức tạp hơn để tương tác với FlareSolverr. Cách tiếp cận này lý tưởng cho việc tự động hóa và tạo các tập lệnh tùy chỉnh. Tất nhiên, để sử dụng Python, bạn sẽ cần phát triển một tập lệnh, việc này có thể tốn nhiều thời gian và khó khăn hơn so với việc sử dụng lệnh 'curl'.

Để sử dụng Python, bạn sẽ cần 

  • Đảm bảo bạn đã cài đặt Python trên hệ thống của mình.
  • Cài đặt Thư viện Requests: Sử dụng thư viện requests (yêu cầu) này để thực hiện các yêu cầu HTTP. 
  • Đảm bảo FlareSolverr được thiết lập và chạy trước khi thực thi tập lệnh.
  • Đảm bảo rằng FlareSolverr được định cấu hình chính xác và lắng nghe trên cổng dự kiến (ví dụ: 8191). 
  • Hệ thống của bạn phải có kết nối mạng để truy cập địa chỉ http://localhost:8191.

Dưới đây là ví dụ về tập lệnh Python sử dụng thư viện request. 

Lưu ý: Chúng tôi đang sử dụng URL riêng của mình (rapidseedbox.com) để thực hiện bài kiểm tra này. Bạn có thể thay thế trang web trên bằng trang web mục tiêu của mình một cách dễ dàng.


import requests

post_body = {
“cmd”: “request.get”,
“url”:”https://www.rapidseedbox.com/”,
“maxTimeout”: 60000
}

response = requests.post(‘http://localhost:8191/v1’, headers={‘Content-Type’: ‘application/json’}, json=post_body)

print(response.json())

  • Bạn có thể sao chép tập lệnh trên và lưu nó dưới dạng .py. Sau đó chạy nó trong môi trường Python của mình.
FlareSolverr Python
  • Kết quả sẽ trả về mã HTML cùng với cookie (từ phiên).
  • Từ mô-đun tập lệnh chạy trên IDLE Shell (như được hiển thị trong hình bên dưới), bạn sẽ thấy trên dòng đầu tiên rằng trang web cụ thể này không đưa ra chướng ngại Cloudflare.
  • Bạn có thể thử tập lệnh với các trang web đứng sau Cloudflare, điều này sẽ đưa ra một chướng ngại. 
FlareSolverr Python Script

5. Kết Luận.

FlareSolverr là một công cụ vô giá để tăng cường khả năng truy xuất dữ liệu và trích xuất web. Nó cũng là một công cụ quan trọng nếu bạn đang sử dụng Prometheus để giám sát các dịch vụ web hoặc API được Cloudflare bảo vệ. Ngoài ra, FlareSolverr còn kết hợp với các công cụ như Jackett và Prowlarr, giúp thiết lập liên lạc với các trang web torrent và Usenet (đằng sau CDN của Cloudflare).

Trong hướng dẫn về FlareSolverr này, chúng ta đã đi qua hướng dẫn cài đặt FlareSolverr trên Linux, Docker hoặc Windows. Ta cũng học cách định cấu hình nó cho các dịch vụ khác nhau như Prometheus, Plex và các ứng dụng khác. Ngoài ra, ta cũng đã tìm hiểu sơ lược về cách sử dụng nó với lệnh curl và thư viện Python Requests. 

Chúng tôi hy vọng hướng dẫn này hữu ích cho bạn. Nếu có bất kỳ câu hỏi và đề xuất nào về FlareSolverr, đừng ngần ngại ghi lại chúng trong phần bình luận bên dưới. 

Ever Feel Like Cloudflare is a Tough Nut to Crack? 🌐

Take your FlareSolverr experience to the next level with high-speed proxies from RapidSeedbox. Enjoy secure, efficient data scraping and bypassing Cloudflare with ease.

About author Diego Asturias

Hình đại diện của Diego Asturias

Diego Asturias là một nhà báo công nghệ, người dịch các thuật ngữ công nghệ phức tạp sang nội dung hấp dẫn. Anh có bằng về Công nghệ Internetworking từ Washington DC, Hoa Kỳ và các chứng chỉ công nghệ của Cisco, McAfee và Wireshark. Diego có kinh nghiệm thực tế làm việc tại châu Mỹ Latinh, Hàn Quốc và Tây Phi. Anh đã xuất hiện trên SiliconANGLE Media, Cloudbric, Pcwdld, Hackernoon, ITT Systems, SecurityGladiators, Rapidseedbox, và nhiều trang thông tin khác.

Join 40K+ Newsletter Subscribers

Get regular updates regarding Seedbox use-cases, technical guides, proxies as well as privacy/security tips.

  1. maybe correct the first line of code so it acoustically works. Kind of embarrassing don’t you think. At least give it one proof read ffs

    1. Thank you for the kind reminder. For some reason the double-dashes are not appearing correctly. We will resolve this as soon as possible.

  2. Oi ,

    Uma parte que ficou claro foi a nota de sobre o CAPTCHA da cloudflare onde você deu export de variável de ambiente para hcaptcha, isso vai fazer os CAPTCHAs serem resolvidos ou somente ativa para um tipo de CAPTCHA?

    1. Hi Renato, Definir a variável de ambiente hCaptcha otimiza o FlareSolverr para desafios hCaptcha. Isso não limita o FlareSolverr a resolver apenas o hCaptcha. Seu objetivo é melhorar o desempenho e a taxa de sucesso na resolução específica do hCaptcha, ao mesmo tempo em que tenta resolver outros tipos de CAPTCHA.

Nói lên suy nghĩ của bạn

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *