Наверх  

FlareSolverr: Пошаговое руководство [2024]

По сути, FlareSolverr - это прокси-сервер для обхода защиты Cloudflare. Он служит связующим звеном между мерами Cloudflare по борьбе с ботами и необходимостью эффективного поиска данных. Используя возможности Python, Selenium и ChromeDriver, FlareSolverr позволяет преодолеть проблемы Cloudflare и получить беспрепятственный доступ к защищенному веб-контенту.

В этом руководстве представлен полный обзор FlareSolverr в 2024 году. Мы подробно рассмотрим его установку в Linux, Docker и Windows. Мы также рассмотрим его конфигурацию, начиная с установки переменных и заканчивая настройкой для Plex, Prometheus и других приложений, таких как Jackett и Prowlarr. 

Руководство по FlareSolverr

Предупреждение: Отказ от ответственности: Данный материал разработан строго в ознакомительных целях. Это не является одобрением какой-либо деятельности (включая незаконную деятельность), продуктов или услуг. Вы несете единоличную ответственность за соблюдение применимых законов, включая законы об интеллектуальной собственности, при использовании наших услуг или использовании любой информации, содержащейся в настоящем документе. Мы не несем никакой ответственности за ущерб, возникший в результате использования наших услуг или информации, содержащейся в настоящем документе, каким бы то ни было образом, за исключением случаев, когда это прямо требуется по закону.

Содержание 

  1. Введение в Flaresolverr
    • Что такое Flaresolverr?
    • Как работает FlareSolverr?
    • Преимущества и недостатки использования FlareSolverr
  2. Установка Flaresolverr.
    • Установка Flaresolverr в Linux (через терминал)
    • Установка Flaresolverr на Docker
    • Установка FlareSolverr в Windows
  3. Настройка Flaresolverr
    • Изменение переменных окружения.
    • Настройка FlareSolverr для Cloudflare.
    • Настройка FlareSolverr для Plex.
    • Настройка FlareSolverr для Prometheus
    • Настройка FlareSolverr для других приложений. 
  4. Использование Flaresolverr
    • Использование FlareSolverr с командой "curl" в Linux.
    • Использование FlareSolverr с библиотекой Python Requests. 
  5. Заключение 

1. Введение в Flaresolverr

a. Что такое Flaresolverr и каковы его отношения с Cloudflare?

Cloudflare предоставляет средства защиты от ботов, в основном для обеспечения безопасности сайта (предотвращения DDoS-атак), производительности и защиты пользовательских данных.

Чтобы бороться с ботами и идентифицировать людей, CloudFlare создает препятствия (для браузера), включающие код JavaScript с математическими задачами. Традиционный доступ к защищенным Cloudflare сайтам предполагает прохождение различных препятствий, таких как отпечатки пальцев, CAPTCHA и другие тесты для подтверждения взаимодействия с человеком. Такие препятствия в основном созданы для того, чтобы пресечь поведение вредоносных ботов. 

FlareSolverr это прокси-сервер с открытым исходным кодом, созданный для решения (или обхода) этих проблем, связанных с мерами Cloudflare по борьбе с ботами.

FlareSolverr
Изображение от FlareSolverr

Примечание: Не все боты созданы для вредоносного поведения! Боты - это просто автоматизированные программы, выполняющие задания. Конечно, существуют боты, созданные для вредоносных целей, таких как рассылка спама, взлом и мошенничество, но есть и боты, созданные для законных целей. В качестве примера можно привести поисковые системы, чат-боты, боты социальных сетей, веб-скреперы, боты для мониторинга и оповещения, виртуальные помощники и т. д. 

b. Как работает FlareSolverr?

FlareSolverr работает как прокси-сервер, предназначенный для обхода протоколов Cloudflare, защищающих от ботов. Он имитирует работу реального браузера, что позволяет ему решать задачи, проходить проверки безопасности и отображать содержимое веб-страниц. 

См. рисунок ниже.

  • Пользователь (т.е. HTTP-клиент Python) инициирует запрос
  • FlareSolverr ожидает запросов пользователей (в состоянии простоя), а затем использует Python Selenium и Необнаруженный хромeDriver, чтобы создать экземпляр веб-браузера (Chrome). 
  • Затем он пересылает запрос на сайт (который защищен CloudFlare). Он ожидает решения задачи Cloudflare. 
  • Целевой сайт отвечает на запрос как обычно. Cloudflare также отвечает на запрос, поскольку его задача была решена без проблем.
  • HTML-код соскабливается, а файлы cookie отправляются обратно пользователю.
  • Полученный HTML-код и cookies доступны клиентам для использования с другими HTTP-клиентами, например Python Requests.
Как работает FlareSolverr

c. Преимущества и недостатки.

FlareSolverr может стать ценным инструментом для обхода механизмов защиты от ботов Cloudflare. Пользователям, которые хотят получить доступ к защищенному CloudFlare контенту, FlareSolverr будет полезен. Однако есть и некоторые недостатки, о которых следует помнить при его использовании.

Преимущества.

  • Автоматизированный обход: Автоматизированный подход FlareSolverr избавит вас от необходимости вручную решать проблемы Cloudflare.
  • Эффективное соскабливание: С помощью FlareSolverr вы можете эффективно собирать данные с веб-сайтов, размещенных на CDN Cloudflare.
  • Улучшенная доступность: Он обеспечивает беспрепятственный доступ к защищенному контенту Cloudflare, успешно выдавая себя за настоящий веб-браузер.
  • Бесшовная интеграция: FlareSolverr использует Python Selenium и Незамеченный драйвер ChromeDriver. Такая интеграция гарантирует, что это решение может быть легко включено в существующие рабочие процессы скрапинга.
  • Универсальность: Вы можете использовать HTML-код и файлы cookie, полученные от решения FlareSolverr, с другими HTTP-клиентами, например Python Requests. 

Узнайте, как Веб-скрап с помощью Python и библиотеки Requests и включите FlareSolverr в свой проект. 

Недостатки.

  • Правовые и этические проблемы: Наиболее значительное использование FlareSolverr связано с юридическими и этическими аспектами. Обход механизмов защиты от ботов может нарушать условия использования некоторых сайтов или сервисов. 
  • Стабильность сайта: Использование FlareSolverr или аналогичных инструментов для обхода защиты может создать дополнительную нагрузку на сервер целевого сайта.
  • Потребление ресурсов: Для обхода проблем Cloudflare требуется запуск дополнительного экземпляра браузера и решение головоломок JavaScript. Обе эти задачи потребляют больше вычислительных ресурсов.
  • Зависимость от сторонних сервисов: FlareSolverr полагается на Selenium, ChromeDriver и другие инструменты сторонних разработчиков. Если эти инструменты не обновляются или не работают, FlareSolverr также будет затронут. 
  • Проблемы с капчей: Хотя FlareSolverr может работать со многими механизмами защиты от ботов, могут возникнуть ситуации, когда будут представлены CAPTCHA. CAPTCHA намеренно разработаны таким образом, чтобы их было сложно решить автоматическим системам. Обновление! По состоянию на август 2023 года ни один из решателей капчи FlareSolverr не работает. 

2. Установка Flaresolverr.

В этом разделе мы предоставим вам пошаговые инструкции по установке FlareSolverr на различные операционные системы. Мы установим FlareSolverr в Linux (через терминал и headless-браузер), в Docker и, наконец, в Windows. 

Предупреждение: Информация в данном руководстве представлена исключительно для общих целей и не гарантирует точности, полноты или актуальности. Мы не несем ответственности за любые потери или убытки, связанные с использованием этой информации. Ссылки на внешние веб-сайты не означают их одобрения, и мы не несем ответственности за их содержание. Использование FlareSolverr может иметь юридические последствия, поэтому убедитесь в соблюдении соответствующих законов и условий использования. Данное руководство не является заменой профессиональной консультации. Используя данное руководство, вы соглашаетесь с этими условиями.

a. Установка FlareSolverr в Linux (через терминал)

Установка Flaresolverr в Linux - несложный процесс, и в этом руководстве вы пройдете через все шаги, чтобы запустить его в вашей системе. Мы установим FlareSolverr на Ubuntu 22.04.

Пререквизиты:

Прежде чем начать процесс установки, убедитесь, что у вас есть Python и менеджер пакетов Python (pip). Вам понадобится pip для установки и управления зависимостями Flaresolverr.

Этапы установки:

Выполните следующие шаги, чтобы установить Flaresolverr (предварительно скомпилированный двоичный файл) на вашу систему Linux:

  • Запустите окно терминала на компьютере Linux. 
  • Создайте каталог где вы сохраните загруженный файл FlareSolverr. 

Например:

  • Загрузите двоичный файл: Вы можете использовать команду wget для загрузки бинарных файлов непосредственно с официального URL Flaresolverr (проверьте последний релиз и скопируйте ссылку)
установка FlareSolverr
  • Извлеките архив: С помощью команды tar извлеките содержимое загруженного архива:
  • Перейдите в распакованный каталог.
  • Теперь вы можете запустить FlareSolverr с помощью команды ./flaresolverr:
Запуск FlareSolverr

Поздравляю! Если вы видите сообщение, похожее на приведенное выше, это означает, что ваш FlareSolverr запущен. Вывод показывает, что проверка установки веб-браузера прошла успешно, и служба FlareSolverr теперь работает на сайте http://0.0.0.0:8191.

Получить доступ Доступ к управлению информацией о компании FlareSolverr!

Теперь FlareSolverr должен работать в фоновом режиме на вашей машине Linux. Адрес 0.0.0.0 означает, что Flaresolverr привязан ко всем доступным сетевым интерфейсам на хост-машине. Это означает, что вы можете получить доступ к Flaresolverr, используя IP-адрес или имя хоста машины, с любого устройства в той же сети.

Устранение неполадок! 

Мы запускаем FlareSolverr с виртуальной машины (без графического интерфейса), поэтому получаем следующие ошибки.

  1. "Если вы видите следующую ошибку: "error while loading shared libraries: libatk-1.0.so.0: cannot open shared object file: No such file or directory" -- ERROR Chrome / Chromium version not detected!", вам нужно установить необходимые зависимости для браузера Chrome или Chromium. 

Выполните следующие команды:

Устранение неисправностей FlareSolverr
  1. Если вы видите ошибку: "OSError: Не удается найти Xvfb. Пожалуйста, установите его и попробуйте снова.", это означает, что Flaresolverr не может найти Xvfb, который необходим для запуска веб-браузера для функциональности FlareSolverr. Xvfb - это виртуальный фреймбуферный X-сервер, который позволяет приложениям запускать графические интерфейсы без физического дисплея. Xvfb используется для имитации среды отображения для безголового браузера. Он необходим для корректной работы безголового браузера даже при отсутствии физического дисплея.

Установите Xvfb с помощью следующей команды: 

Устранение неполадок FlareSolverr

Кроме того, если вы используете безголовый браузер, вам нужно будет позже определить его в переменных окружения FlareSolverr. Подробнее об этом в следующем разделе.

b. Установка Flaresolverr на Docker

Ниже приведено пошаговое руководство по установке FlareSolverr в Docker. Мы предполагаем, что на вашем компьютере уже установлен Docker.

Мы покажем это пошаговое руководство, используя Docker версии 24.0.5, работающий на Ubuntu 22.04 Jammy. Для получения дополнительной информации о том, как установить Docker, обратитесь к следующему официальному сайту путеводитель

  • Найдите Docker-образы FlareSolverr в DockerHub. Образ поддерживается на различных архитектурах, включая x86: linux/386, x86-64: linux/amd64, ARM32: linux/arm/v7, и ARM64: linux/arm64.
  • Запустите контейнер FlareSolverr. Используйте либо Docker Compose, либо Docker CLI. FlareSolverr предоставляет конфигурационный файл docker-compose.yml - это гораздо проще, чем CLI (если у вас установлен Docker Compose). Кроме того, нет необходимости извлекать образ, поскольку на него уже есть ссылка в файле compose.
    • Клонируйте репозиторий, содержащий docker-compose.yml файл конфигурации:
  • Перейдите в каталог репозитория:
  • Запустите контейнер с помощью Docker Compose (убедитесь, что у вас есть права администратора для выполнения этой команды или используйте sudo):
Docker FlareSolverr

Проверьте установку.

Проверьте, запущен ли контейнер FlareSolverr, выполнив команду:

  • Вы должны увидеть flaresolverr контейнер в списке.
FlareSolverr Docker

Доступ к FlareSolverr

Теперь FlareSolverr должен быть запущен в контейнере Docker. Вы можете получить к нему доступ, перейдя по ссылке 'http://localhost:8191' в веб-браузере.

Вот и все! Вы успешно установили FlareSolverr с помощью контейнеров Docker. Теперь вы можете использовать его для обхода вызовов с сайтов, защищенных Cloudflare.

c. Установка FlareSolverr в Windows

Рекомендуется устанавливать FlareSolverr под Windows, используя предварительно скомпилированные двоичные файлы, которые доступны только для архитектуры x64 в Windows. Хотя можно установить и из исходных текстов, это не рекомендуется для Windows из-за ограничений архитектуры. Кроме того, "образ" контейнера FlareSolverr Docker предназначен в первую очередь для запуска на хост-машине под управлением Linux (не Windows).

Чтобы установить FlareSolverr на Windows, выполните следующие действия:

  • Загрузите двоичный файл FlareSolverr: Перейдите к Релизы FlareSolverr страницу на GitHub. Найдите последний выпуск в разделе "Assets" и найдите подходящую загрузку для Windows. Это должен быть zip-файл. Загрузите заархивированный файл FlareSolverr для Windows x64.
  • Распакуйте и выполните двоичный файл FlareSolverr: Запустите загруженный исполняемый файл FlareSolverr.exe. После запуска откроется терминал, в котором вы узнаете, что FlareSolverr User-Agent уже успешно запущен.
  • Разрешите доступ к этому приложению с помощью брандмауэра Windows. 
FlareSolverr в Windows

Вот и все! Вы успешно установили и запустили FlareSolverr под Windows, используя предварительно скомпилированный двоичный файл.

3. Настройка Flaresolverr

Теперь, когда вам удалось успешно установить Flaresolverr, пришло время его настроить.

Настройка FlareSolverr для веб-приложений и сервисов, таких как Cloudflare и Plex, включает в себя настройку необходимых переменных окружения. Итак, если вы успешно установили FlareSolverr, теперь вы должны иметь возможность изменять его переменные окружения. 

FlareSolverr предоставляет переменные окружения, которые можно использовать для настройки его поведения. Информацию об этих переменных можно найти в документации к Репозиторий FlareSolverr на GitHub.

a. Изменение переменных среды.

Настройка переменных в Linux. 

Измените переменные окружения FlareSolverr в Linux, установив их с помощью команды "export", перед запуском процесса FlareSolverr в терминале. Вот как:

  • Экспортируйте переменную(ые) окружения, которую(ые) нужно изменить.
  • Например, чтобы изменить значение LOG_LEVEL на debug и изменить часовой пояс, выполните следующие действия: 
тестирование FlareSolverr

Изменение переменных в Docker.

Чтобы изменить переменные FlareSolverr в Docker, вам нужно открыть и изменить файл docker-compose.yml в текстовом редакторе.

  • Найдите раздел services, соответствующий вашему сервису FlareSolverr - в нашем случае он называется flaresolverr. В определении службы flaresolverr вы увидите раздел окружения. Здесь вы можете обновить переменные окружения. 
  • Например, вы можете изменить переменную окружения LOG_LEVEL на debug, TimeZone, порты по умолчанию, запустить веб-браузер в режиме headless и т.д.
FlareSolverr Docker

Ниже описаны шаги по настройке FlareSolverr для каждого из этих сценариев:

Настройка переменных в Windows. 

Чтобы изменить переменные в Windows: Сначала перейдите в каталог, где установлен FlareSolverr, затем выполните команду "set", за которой следует переменная, которую вы хотите изменить. 

FlareSolverr в Windows

Теперь, когда вы знаете, как настроить переменные FlareSolverr, давайте посмотрим, как изменить их для конкретных веб-приложений. 

b. Настройка FlareSolverr для Cloudflare: 

Вы можете настроить, как FlareSolverr обходит проблемы Cloudflare, изменив переменные окружения. Ключевыми из них являются переменные CAPTCHA_SOLVER и LOG_LEVEL.

  • Следующее изменение установит для решателя CAPTCHA значение "hcaptcha" и повысит уровень регистрации до отладки.
  • Запустите FlareSolverr:
  • Теперь FlareSolverr должен быть настроен на эффективную обработку проблем Cloudflare.
Переменные FlareSolverr

Примечание: По состоянию на сентябрь 2023 года ни один из решателей капчи не работает. Задачи CloudFlare могут включать в себя не только математические задачи и тесты браузера; капчи также могут требовать вмешательства человека. В случае возникновения проблемы с капчей FlareSolverr выдаст ошибку "Captcha обнаружена, но автоматический решатель не настроен".

c. Настройка FlareSolverr для Plex:

Настройка FlareSolverr для Plex может потребоваться в ситуациях, когда ваш Plex Media Server находится под защитой Cloudflare. Как вы уже, наверное, знаете, меры безопасности Cloudflare могут привести к проблемам с доступом к содержимому Plex. 

Интеграция FlareSolverr с Plex позволяет повысить надежность медиасервера Plex. Такая настройка гарантирует, что ваш медиаконтент будет легко доступен для авторизованных пользователей, не сталкиваясь с препятствиями, связанными с Cloudflare.

Как это сделать?

  • Настройка переменных окружения: Для Plex обычно требуется установить переменную окружения PROXY. Эта прокси-переменная будет направлять трафик Plex через прокси-сервер. Также необходимо настроить другие соответствующие переменные окружения, такие как LOG_LEVEL (при необходимости).
  • Замените "http://proxy-server-address:proxy-port" на фактический адрес и порт вашего прокси-сервера.
  • Запустите FlareSolverr:
  • Это настроит FlareSolverr на работу в качестве прокси для трафика Plex.

d. Настройка FlareSolverr для Prometheus. 

FlareSolverr очень полезен, если вы используете Прометей (инструмент мониторинга с открытым исходным кодом) для отслеживания веб-служб или API, защищенных Cloudflare. Если вы используете Prometheus, то, скорее всего, столкнетесь с проблемами при доступе к конечным точкам из-за защитных механизмов Cloudflare. При интеграции FlareSolverr с Prometheus вы можете настроить Prometheus на выполнение запросов через прокси FlareSolverr. 

Чтобы интегрировать Prometheus с FlareSolverr, выполните следующие действия:

  • Включите Prometheus Exporter:
    • Установите переменную окружения PROMETHEUS_ENABLED на true в FlareSolverr.
    • Если вы используете Docker, пропишите порт экспортера Prometheus (PROMETHEUS_PORT) в конфигурации Docker.
  • Настройте порт экспортера Prometheus:
    • Установите переменную окружения PROMETHEUS_PORT, чтобы указать порт прослушивания экспортера.
  • Запустите FlareSolverr с настроенными переменными окружения. При использовании Docker убедитесь, что порт экспортера Prometheus открыт.
  • Откройте конфигурационный файл Prometheus (prometheus.yml) и добавьте секцию scrape_config, чтобы указать получение метрик из FlareSolverr. Подробнее о том, как настроить Prometheus, ознакомьтесь с официальным руководством

e. Настройка FlareSolverr для других приложений: 

Два замечательных менеджера/прокси индексаторов, включая Prowlarr и Jackett, похоже, пострадали от проблем CloudFlare. Поскольку некоторые индексаторы торрентов и Usenet используют защиту Cloudflare, чтобы избежать DDoS-атак, эти инструменты не могут программно получить доступ к некоторым сайтам. 

В FlareSolverr установите соответствующие переменные окружения CAPTCHA_SOLVER (если они есть). Также может потребоваться добавить IP-адрес или имя хоста FlareSolverr в целевое приложение. Ниже приведено несколько примеров: 

  • Джекетт. Чтобы Jackett мог успешно взаимодействовать с торрент-трекерами и индексаторами Usenet, убедитесь в следующем:
    • Убедитесь, что Jackett запущен и работает. Настройте URL-адрес FlareSolverr (например, flaresolverr:8191) и примените изменения. Если вы хотите использовать эту конфигурацию длительное время, отключите обновления. 
    • Проверить Полное руководство Джеккета чтобы узнать, как установить, настроить и использовать Jackett. 
  • Провалр. Чтобы Prowlarr мог успешно общаться с торрент- и Usenet-сайтами, ему необходимо преодолеть трудности с CAPTCHA, создаваемые Cloudflare.
    • Перейдите к настройкам Prowlarr. Перейдите в раздел "Добавить прокси-индексатор" и выберите FlareSolverr.
    • Введите имя хоста. Это должно быть что-то вроде http://flaresolverr:8191. Проверьте наш Путеводитель по Проуларру чтобы узнать, как использовать и настраивать этот инструмент. 

Кроме того, инструменты автоматизации PVR, такие как Sonarr, Радарр, или Базарр которые получают доступ к информации о медиа и субтитрах с некоторых из этих сайтов, также косвенно затронуты. Они используют Jackett и Prowlarr для доступа к информации сайта, и алгоритмы Cloudflare быстро ставят их под сомнение и останавливают. 

4. Использование FlareSolverr

Вы можете использовать FlareSolverr с помощью команды "curl" в Linux или с помощью Python Requests. 

a. Использование FlareSolverr с командой "curl" в Linux.

С помощью команды "curl" в Linux можно взаимодействовать с API FlareSolverr для выполнения различных действий. Команда curl помогает выполнять HTTP-запросы из командной строки. Она полезна для быстрых и простых запросов, поэтому это лучший вариант, если вы тестируете конечную точку API FlareSolverr. Но знайте, что "curl" может стать более сложным, когда речь идет о более сложных взаимодействиях, таких как обработка данных и автоматизация.

i. Создание новой сессии

Чтобы запустить новый экземпляр браузера и создать сеанс:

curl -L -X POST 'http://localhost:8191/v1' \
-H 'Content-Type: application/json' \
-data-raw '{
  "cmd": "sessions.create"
}’

ii. Вывод списка активных сессий

Чтобы получить список всех активных сессий, выполните следующий набор команд:

curl -L -X POST 'http://localhost:8191/v1' \
-H 'Content-Type: application/json' \
-data-raw '{
  "cmd": "sessions.list"
}’

iii. Уничтожение сеанса

Чтобы уничтожить существующую сессию, выполните следующую команду.

curl -L -X POST 'http://localhost:8191/v1' \
-H 'Content-Type: application/json' \
-data-raw '{
  "cmd": "sessions.destroy",
  "session": "session_id_here".
}’
Не забудьте заменить "session_id_here" на сессию, которую вы хотите уничтожить. Если вы не знаете идентификатор сессии, вернитесь к предыдущей команде. 

iv. Выполнение GET-запроса

Чтобы выполнить GET-запрос, используя определенную сессию.

curl -L -X POST 'http://localhost:8191/v1' \
-H 'Content-Type: application/json' \
-data-raw '{
  "cmd": "request.get",
  "url": "http://www.example.com",
  "maxTimeout": 60000
}’
Не забудьте заменить в примере url "http://www.example.com/" на тестируемый сайт. 

Пример использования команды curl для команды GET-запроса:

Использование FlareSolverr с curl

b. Использование FlareSolverr с библиотекой Python Requests. 

Python предоставляет множество обширных библиотек и инструментов для работы с веб-интерфейсами (что идеально подходит для FlareSolverr). С помощью Python можно создавать более сложные сценарии для взаимодействия с FlareSolverr. Такой подход идеально подходит для автоматизации и создания пользовательских сценариев. Конечно, чтобы использовать Python, вам придется разработать сценарий, что может занять больше времени и быть сложнее, чем использование команды 'curl'.

Для использования Python вам понадобится следующее: 

  • Убедитесь, что в вашей системе установлен Python.
  • Установите библиотеку Requests: Используйте эту библиотеку запросов для выполнения HTTP-запросов. 
  • Перед выполнением сценария убедитесь, что FlareSolverr запущен и работает.
  • Убедитесь, что FlareSolverr настроен правильно и прослушивает ожидаемый порт (например, 8191). 
  • Чтобы получить доступ к адресу http://localhost:8191, ваша система должна иметь подключение к сети.

Ниже приведен пример сценария на Python, использующего библиотеку requests. 

Примечание: Для этого теста мы используем наш собственный URL (rapidseedbox.com). Но вы можете просто заменить сайт с вашим собственным целевым сайтом.


запросы на импорт

post_body = {
"cmd": "request.get",
"url": "https://www.rapidseedbox.com/",
"maxTimeout": 60000
}

response = requests.post('http://localhost:8191/v1', headers={'Content-Type': 'application/json'}, json=post_body)

print(response.json())

  • Вы можете скопировать приведенный выше сценарий и сохранить его как .py. Затем запустите его в среде Python.
FlareSolverr Python
  • Результат должен вернуть HTML-код с файлами cookie (из сессии).
  • Из модуля скрипта, запущенного в IDLE Shell (как показано на рисунке ниже), вы увидите в первой строке, что этот конкретный сайт не выдает вызов Cloudflare.
  • Вы можете попробовать скрипт на сайтах, которые находятся за Cloudflare и представляют собой проблему. 
Python-скрипт FlareSolverr

5. Выводы. 

FlareSolverr - это бесценный инструмент для расширения возможностей веб-скреппинга и получения данных. Это также важный инструмент, если вы используете Prometheus для мониторинга веб-сервисов или API, защищенных Cloudflare. Кроме того, FlareSolverr работает в паре с такими инструментами, как Jackett и Prowlarr, помогая установить связь с торрент- и Usenet-сайтами (за CDN Cloudflare).

В этом руководстве по FlareSolverr мы рассмотрели установку FlareSolverr в Linux, Docker или Windows. Мы узнали, как настроить его для различных сервисов, таких как Prometheus, Plex и других приложений. Кроме того, мы вкратце узнали, как использовать его с помощью команды curl и библиотеки Python Requests. 

Мы надеемся, что это руководство было для вас информативным. Если у вас есть вопросы или предложения по FlareSolverr, не стесняйтесь оставлять их в разделе комментариев ниже. 

Об авторе Диего Астуриас

Аватар для Диего Астуриаса

Диего Астуриас - технический журналист, который переводит сложный технический жаргон в привлекательный контент. Он получил образование в области технологий работы с интернетом в Вашингтоне, США, и технические сертификаты Cisco, McAfee и Wireshark. У него есть практический опыт работы в Латинской Америке, Южной Корее и Западной Африке. Он был упомянут в SiliconANGLE Media, Cloudbric, Pcwdld, Hacker noob, ITT Systems, SecurityGladiators, Rapidseedbox и других.

Присоединяйтесь к 40 000 с лишним подписчиков новостной рассылки

Получайте регулярные обновления, касающиеся примеров использования Seedbox, технических руководств, прокси-серверов, а также советы по конфиденциальности/безопасности.

  1. Спасибо за руководство! Способ обновления докера будет отличным дополнением к руководству

    1. Спасибо, Норин!

      Мы учтем ваше предложение в следующем обновлении!

  2. может быть, исправить первую строчку кода, чтобы он работал акустически. Как-то неловко, вам не кажется. По крайней мере, дайте ему хотя бы одно пробное чтение.

    1. Спасибо за напоминание. По какой-то причине двойные тире отображаются некорректно. Мы решим эту проблему как можно скорее.

Поделитесь своим мнением

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *