Mitmproxy: Полное руководство.

Вы когда-нибудь чувствовали, что вам нужно увеличительное стекло для сетевого трафика?

Познакомьтесь с Mitmproxy. 

Эта мощная программа с открытым исходным кодом позволяет перехватывать, изменять и анализировать трафик HTTP/1, HTTP/2 и WebSocket. Он идеально подходит для веб-разработчиков, сетевых администраторов и специалистов по безопасности. 

В этой статье описано все, что вам нужно знать о Mitmproxy (если вы новичок). В нем вы найдете обзор сервиса, его плюсы и минусы, шаги по установке, основные способы использования и расширенные возможности, такие как настройка SSL/TLS, автоматизация на Python и интеграция с Docker.

Отказ от ответственности: Данный материал разработан строго в ознакомительных целях. Это не является одобрением какой-либо деятельности (включая незаконную деятельность), продуктов или услуг. Вы несете единоличную ответственность за соблюдение применимых законов, включая законы об интеллектуальной собственности, при использовании наших услуг или использовании любой информации, содержащейся в настоящем материале. Мы не несем никакой ответственности за ущерб, возникший в результате использования наших услуг или информации, содержащейся в настоящем материале, каким бы то ни было образом, за исключением случаев, когда это прямо требуется по закону.

Содержание

1. Обзор Mitmproxy
   • Что это.
   • Плюсы и минусы
   • Примеры использования Mitmproxy
2. Как установить Mitmproxy (пошаговое руководство)
   • Windows
   • Linux
   • macOS
3. Начало работы с Mitmproxy
   • Запустите Mitmproxy
   • Настройка браузера или устройства
   • Проверка конфигурации
4. Как использовать Mitmproxy
5. Больше вещей, которые можно сделать с помощью Mitmproxy
   • Использование веб-интерфейса
   • Используйте Mitmdump
   • Настройка сертификатов SSL/TLS
   • Автоматизация задач с помощью Python
   • Запуск Mitmproxy в Docker
6. Раздел часто задаваемых вопросов
7. Заключение

1. Обзор Mitmproxy

Mitmproxy is an open-source powerful toolset for intercepting, modifying, and analyzing network traffic (specifically HTTP/1, HTTP/2, and WebSockets). It’s an SSL/TLS-capable intercepting proxy. It is perfect for debugging, testing, and security assessments. Он выпускается с тремя вкусами, чтобы удовлетворить все ваши потребности:

• Mitmproxy: Интерактивная консоль, позволяющая детально изучить перехват трафика.
• Митмвеб: Простой в использовании веб-интерфейс, который выглядит и ощущается как DevTools в Chrome.
• Mitmdump: Инструмент командной строки, работающий подобно tcpdump, для создания сценариев и автоматизации.

Что означает Mitmproxy? 

Первая часть слова -> MitM (Man-in-the-Middle) - это термин кибербезопасности, обозначающий тип атаки или технику. Здесь злоумышленник тайно перехватывает и, возможно, изменяет обмен данными между двумя сторонами, которые думают, что общаются друг с другом напрямую. Другая сторона слова "прокси" (или middleman) относится к посреднику между клиентом и сервером. Он позволяет пользователям перехватывать, проверять и изменять сетевой трафик. Mitmproxy использует эту концепцию, но контролируемым и этичным образом.

Mitmproxy Плюсы и минусы

У каждого инструмента есть свои плюсы и минусы, и этот - не исключение. В этом разделе мы рассмотрим основные преимущества и возможные подводные камни его использования. Это поможет вам определить, подходит ли он для ваших нужд. 

Для чего мы его рекомендуем? Примеры использования Mitmproxy

• Отладка приложений. Используйте Mitmproxy для захвата и анализа HTTP-запросов и ответов. Это поможет выявить медленные ответы или чрезмерно большую полезную нагрузку для устранения задержек. Перехват трафика, чтобы увидеть, какие данные отправляются и принимаются, также помогает отладить проблемы, связанные с данными. Кроме того, это помогает смоделировать различные ответы сервера, чтобы увидеть, как ваше приложение справляется с ошибками.
• Тестирование на проникновение. С помощью Mitmproxy вы можете перехватывать и настраивать HTTP/HTTPS-трафик для имитации атак (например, SQL-инъекций, XSS) и выявления уязвимостей. Кроме того, вы можете записывать и подстраивать легитимный трафик, чтобы проверить его на наличие таких слабых мест, как атаки повторного воспроизведения и фиксация сеанса. В этой области Mitmproxy также помогает перехватывать зашифрованный трафик для проверки работы с сертификатами, стандартов шифрования и общей безопасности HTTPS.
• Измерения конфиденциальности. Mitmproxy полезен для перехвата и проверки трафика, чтобы убедиться в отсутствии утечки конфиденциальной информации. Вы также можете использовать его для проверки соответствия обработки и передачи данных нормам конфиденциальности, таким как GDPR. Люди также используют его для анализа сторонних сервисов. Анализируйте трафик между вашим приложением и сторонними сервисами, чтобы убедиться, что они не собирают ненужные данные.

2. Как установить Mitmproxy (пошаговое руководство)

a. Windows: Пошаговое руководство по установке

• Загрузите программу установки: Загрузите программу установки для Windows с сайта официальный сайт.
• Запустите программу установки: Запустите загруженный файл и следуйте инструкциям на экране, чтобы завершить установку.

• Проверьте установку: Откройте командную строку и введите mitmproxy, mitmweb или mitmdump, чтобы проверить установку. Если инструменты запускаются корректно, это означает, что установка прошла успешно. Но все равно никаких потоков трафика не перехватывается.

b. Linux: Использование менеджеров пакетов и установка исходных текстов

Чтобы установить Mitmproxy на Linux, вы можете воспользоваться менеджерами пакетов или установить из исходников. 

Использование менеджеров пакетов:

Вы можете загрузить отдельные двоичные файлы для вашего конкретного дистрибутива (посетите официальный сайт чтобы найти эти двоичные файлы) или использовать менеджеры пакетов, соответствующие каждому дистрибутиву. Оба метода предоставляют предварительно скомпилированные двоичные файлы, которые упрощают установку mitmproxy. Тем не менее, менеджеры пакетов предлагают автоматическое управление зависимостями и обновлениями.

Arch Linux:

Fedora:

Debian/Ubuntu:

Установка источника:

При желании вы можете установить его из исходного кода. Все инструкции приведены ниже. 

Установите зависимости и выполните сборку:

Использование pipx для управления пакетами Python:

Установите pipx:

Установите mitmproxy:

c. macOS: установка через Homebrew

Необходимые условия: Установите Homebrew: Если вы еще не установили Homebrew, следуйте инструкциям на Официальный сайт Homebrew.

Установите mitmproxy:

Проверьте установку: 

Откройте терминал и введите mitmproxy, mitmweb или mitmdump, чтобы проверить установку.

Пользователи Mitmproxy, стремящиеся к масштабируемости и производительности? 

Чем может помочь Rapidseedbox?

Работа с большими объемами трафика
Гарантированное время безотказной работы
Глобальный охват
Повышенная анонимность
---

3. Начало работы с Mitmproxy.

Как только он установлен на вашей платформе, настает время его использовать. В этом разделе мы узнаем о базовой конфигурации и настройке, основных командах, а также о том, как настроить его на различных устройствах и браузерах. 

Примечание: По умолчанию Mitmproxy запускает Proxy HTTP. Он также слушает http://localhost:8080.

a. Запустите Mitmproxy:

• (Как показано в предыдущем разделе) Откройте терминал и введите "mitmproxy", чтобы запустить интерфейс командной строки. Интерфейс mitmproxy должен выглядеть так, как показано на следующем скриншоте:

• Введите "mitmweb", чтобы запустить веб-интерфейс. Он запустится автоматически (как показано на следующем снимке экрана). 
• Если он не запускается, откройте браузер и перейдите на сайт http://localhost:8081.

• Mitmdump: Введите mitmdump, чтобы использовать инструмент командной строки для написания сценариев.

Устраните неполадки!

Если вы видите следующую строку: "[12:10:38.265] Срок действия сертификата mitmproxy истек! сделайте следующее...

Это сообщение об ошибке указывает на то, что срок действия центра сертификации (ЦС) Mitmproxy истек. Чтобы исправить это, удалите файлы, связанные с ЦС, в папке .mitmproxy, чтобы можно было сгенерировать новый ЦС. После удаления файлов с истекшим сроком действия CA инструмент автоматически сгенерирует новый CA при перезапуске. 

Вот шаги для решения этой проблемы:

Удалите файлы, связанные с CA:

Перезапустите Mitmproxy:

b. Настройте браузер или устройство.

Чтобы воспользоваться им, настройте браузер или устройство так, чтобы весь трафик проходил через Mitmproxy. Вы можете настроить прокси на Google Chrome, Mozilla Firefox, Microsoft Edge, а также на таких устройствах, как iOS (iPhone / iPad) или Android. Но имейте в виду, что конфигурация прокси меняется от браузера к браузеру и от устройства к устройству. 

Установите HTTP-прокси:

• Откройте настройки браузера или сети устройства. Не знаете, что такое HTTP-прокси? Узнайте больше здесь (HTTP-прокси) и узнайте, чем они отличаются от Прокси-серверы SOCKS5.
• Найдите настройки прокси-сервера (обычно они находятся в разделе дополнительных настроек или настроек подключения).
• Установите веб-прокси HTTP (1) на http://localhost:8080 или 127.0.0.1:8080 (2), а затем нажмите OK (3). 

Установка Mitmproxy CA.

• Откройте браузер и перейдите по ссылке http://mitm.it. Вы увидите страницу с предложением установить Mitmproxy Certificate Authority (CA).
• Найдите соответствующую платформу и загрузите сертификат. Если загрузка не происходит... следуйте инструкциям, приведенным там же  http://mitm.it страница.

• Вы можете убедиться в том, что сертификат ЦС mtimproxy установлен, проверив сертификаты в вашей системе.
• Для macOS перейдите в раздел Доступ к связке ключей > Сертификаты. Убедитесь, что для SSL установлено значение "Всегда доверять".

Невозможно направить веб-трафик через Mitmproxy? 

• Если при открытии веб-страницы (http://mitm.it) вы увидите следующее сообщение "Если вы видите это, трафик не проходит через mitmproxy", это означает, что ваш веб-трафик не перехватывается mitmproxy.
• Скорее всего, это связано с тем, что вы неправильно настроили конфигурацию прокси-сервера (в браузере или на устройстве). Также убедитесь, что mitmproxy настроен правильно и запущен. А затем попробуйте еще раз. 

c. Проверить конфигурацию.

• Откройте терминал и запустите службу следующей командой: 'mitmproxy'
• После запуска (если он правильно настроен) вы увидите, что терминал получает потоки HTTP и WSS. 

4. Как использовать Mitmproxy.

В интерфейсе отображается следующая информация. 

• Секция "Потоки": В основной части экрана отображается список перехваченных потоков HTTP и WebSocket. Каждая строка представляет собой один HTTP/WebSocket-запрос и ответ.
• Колонки:
  • Время: показывает время, когда был захвачен запрос.
  • Протокол: Указывает используемый протокол (например, HTTP, WS для WebSocket).
  • Метод: Используемый метод HTTP (например, GET).
  • Хост и путь: Целевой хост и путь запроса.
  • Код состояния: Код состояния HTTP, возвращаемый сервером.
  • Содержание: Показывает, есть ли в ответе содержимое или нет.
  • Длительность: Время обработки запроса в миллисекундах.

Подробная информация о потоке

• Избранный поток: Внизу отображается количество выбранных потоков и небольшое меню
  • Поток: Указывает количество выбранных потоков.
  • Доверенное лицо: Показывает конфигурацию активного прокси.
  • Другие варианты: Для взаимодействия с потоками вы можете использовать такие клавиши, как o для опций, e для событий, q для выхода, а также различные другие команды. (подробнее об этом ниже)

• Осмотр потока:
  • Используйте клавиши со стрелками для перемещения по списку потоков. Вы увидите символ ">>", перемещающийся вверх и вниз по потокам. 
  • Нажмите Enter, чтобы детально изучить конкретный поток. Это позволит вам увидеть заголовки, содержимое и другую информацию о запросе и ответе.
  • Для примера мы выбрали поток с хостом mitm.it. В этом разделе вы увидите всю информацию о заголовке. Кроме того, вы можете перемещаться по вкладкам: Запрос, Ответ и Другие детали.

• Фильтрация потоков: Вы можете отфильтровать потоки, нажав f и введя критерии фильтрации, например, определенные имена хостов или типы запросов.
• Например, мы набрали "mitm.it", используя фильтр, и теперь можем видеть только хосты mitm.it. 

• Опции и конфигурация: Нажмите кнопку o, чтобы открыть меню опций, где вы можете настроить различные параметры Mitmproxy. Это такие параметры, как метод, размер, время и url.

Опции нижнего меню в Mitmproxy

• В интерфейсе нижнее меню предоставляет различные опции для взаимодействия с захваченными потоками и настройки параметров Mitmproxy.

Здесь подробно описаны все опции, отображаемые в нижнем меню:

• Поток: Выберите текущий выделенный поток для детального осмотра или манипулирования.
• Выберите: Позволяет выбрать несколько потоков для пакетных операций.
• Помогите: Получите доступ к справке и документации по использованию Mitmproxy.
• q Выйти: Выйдите из сеанса.
• r Replay: Воспроизведение выбранного HTTP-запроса.
• E События: Просмотрите журнал событий для Mitmproxy, в котором содержатся важные сообщения и ошибки.
• Экспорт: Экспортируйте выбранные потоки в файл для последующего анализа или обмена.
• Варианты: Откройте меню параметров, чтобы настроить параметры.
• d Удалить: Удалить выбранный поток из списка.
• i Перехват: Перехватывайте запросы, чтобы изменить или проверить их перед передачей на сервер.
• Марк: Отметьте потоки для выполнения пакетных операций, таких как удаление или экспорт.
• Фильтр: Применяйте фильтры для просмотра только определенных потоков на основе таких критериев, как хост, метод или код состояния.
• e Редактировать: Редактирование запроса или ответа выбранного потока.
• b Сохраните тело: Сохраните тело выбранного потока в файл.
• z Очистить список: Очистите все потоки из списка.
• Сохранить потоки: Сохраните все захваченные потоки в файл.
• Изменить макет: Переключение между различными режимами компоновки в интерфейсе.
• Ctrl+F Выполнить новую: Автоматически отслеживайте и выделяйте новые потоки по мере их захвата.

Хотите получить дополнительную помощь по работе с Mitmproxy? 

Просмотр справки: Нажмите '?' в интерфейсе mitmproxy для получения контекстно-зависимой справки.

Что дальше? 

Теперь вы обладаете всеми необходимыми знаниями, чтобы начать использовать Mitmproxy. И что же дальше? 

• Начните снимать: По мере прохождения трафика через Mitmproxy вы будете видеть HTTP (или WSS) запросы и ответы в реальном времени. Используйте интерфейс, чтобы проверять и изменять их на лету.
• Анализируйте трафик: Ищите закономерности, аномалии или конкретные данные в перехваченном трафике. Инструмент позволяет препарировать каждый запрос и ответ до мельчайших деталей.

5. Другие возможности, которые вы можете сделать с помощью Mitmproxy

Mitmproxy - это не просто простой перехватчик веб-трафика; с помощью этого фантастического инструмента вы можете делать гораздо больше. Ниже приведены еще пять классных вещей, которые вы можете сделать с помощью этого инструмента.

a. Используйте веб-интерфейс.

Используйте встроенный веб-интерфейс с графическим интерфейсом для более удобного анализа трафика и манипулирования им. Как запустить? 

• Запустите mitmweb: 'mitmweb'
• Откройте веб-интерфейс: Перейдите на сайт http://localhost:8081 в вашем браузере.

b. Используйте Mitmdump.

Mitmdump поставляется вместе с установкой Mitmproxy. Это неинтерактивный инструмент командной строки, предназначенный для написания сценариев и автоматизации.

• Запустите mitmdump: mitmdump
• Сохраните трафик в файл: mitmdump -w outfile
• Фильтрация и воспроизведение трафика: mitmdump -nr infile -w outfile "~m post"

c. Настройка сертификатов SSL/TLS

Перехват трафика невозможен без работы с зашифрованным трафиком. Mitmproxy упрощает настройку SSL/TLS сертификатов, чтобы вы могли беспрепятственно подглядывать за HTTPS-трафиком. Как это сделать? 

• Служба создает сертификат ЦС, который вы будете использовать для подписи перехваченного трафика.
• Перейдите на сайт http://mitm.it в браузере и следуйте инструкциям, чтобы установить сертификат ЦС на устройство. 
• После установки сертификата CA Mitmproxy расшифровывает HTTPS-трафик, позволяя вам проверять, изменять и анализировать защищенные соединения так же, как и незашифрованный HTTP-трафик.

d. Автоматизация задач с помощью Python

Давайте поднимем анализ трафика на новый уровень. Python API Mitmproxy позволяет автоматизировать задачи и настраивать обработку трафика.

• Используйте Python для написания собственных аддонов, расширяющих функциональность инструмента. Например, вы можете автоматически изменять запросы или регистрировать определенные шаблоны трафика.
• С помощью Python API вы получаете полный контроль над перехваченным трафиком. Модифицируйте заголовки, изменяйте пути запросов или даже блокируйте определенные запросы на основе пользовательской логики.

e. Запуск Mitmproxy в Docker

Вы будете рады узнать, что Mimtproxy поддерживается в Docker (если вы предпочитаете контейнерные среды). Mitmproxy в Docker хорошо интегрируется в современные рабочие процессы разработки.

• Извлеките образ Docker: Загрузите официальный образ с DockerHub: docker pull mitmproxy/mitmproxy
• Запустите его в контейнере: docker run -rm -it -p 8080:8080 mitmproxy/mitmproxy

6. Раздел часто задаваемых вопросов.

1. Как я могу перехватывать HTTP/HTTPS запросы с помощью Mitmproxy? 

Чтобы перехватывать HTTP/HTTPS-запросы, настройте браузер или устройство на использование Mitmproxy в качестве прокси-сервера. Запустите его в терминале, и он начнет перехватывать весь проходящий через него трафик. Затем вы сможете проверять и изменять эти запросы на лету. Более подробная информация в предыдущих разделах статьи. 

2. Может ли Mitmproxy справиться с большим объемом сетевого трафика? 

Да, Mitmproxy разработан для обработки значительных объемов сетевого трафика. Однако при очень больших объемах мы рекомендуем убедиться, что ваше оборудование выдержит нагрузку. Инструмент предоставляет различные опции для оптимизации производительности и эффективного управления трафиком.

3. Как Mitmproxy управляет сертификатами SSL/TLS? 

Mitmproxy генерирует сертификат центра сертификации (ЦС), который необходимо установить на ваше устройство. Это позволит Mitmproxy перехватывать и расшифровывать HTTPS-трафик. Сертификат ЦС используется для подписи других сертификатов "на лету". Благодаря этому перехваченный трафик кажется браузеру или приложению доверенным.

4. Безопасно ли использование Mitmproxy? 

Mitmproxy безопасен (если вы правильно его используете). В качестве лучшей практики убедитесь, что сгенерированный сертификат ЦС используется только на доверенных устройствах и в доверенных средах. Всегда обновляйте Mitmproxy до последней версии, чтобы воспользоваться исправлениями и улучшениями безопасности. Самое главное - всегда помните, что перехват трафика должен осуществляться только на этической и законной основе.

5. Можно ли использовать Mitmproxy в различных хостинговых средах и серверах? 

Абсолютно. Mitmproxy совместим с различными хостинговыми средами и серверами. Вы можете установить его на локальных серверах, в облачных средах и даже в контейнерах Docker. 

6. Как запустить Mitmproxy в контейнере Docker? 

Чтобы запустить Mitmproxy в Docker, извлеките официальный образ Mitmproxy из DockerHub с помощью команды "docker pull mitmproxy/mitmproxy". Затем запустите контейнер командой docker run -rm -it -p 8080:8080 mitmproxy/mitmproxy. Такая настройка позволяет перехватывать трафик в контейнерной среде. Это идеально подходит для интеграции с современными рабочими процессами DevOps.

7. Как я могу использовать Mitmproxy API для работы с трафиком? 

Mitmproxy предоставляет мощный Python API, который позволяет писать пользовательские скрипты для манипулирования трафиком. С помощью этого API вы можете автоматизировать задачи, изменять запросы и ответы, а также реализовывать сложную логику. Чтобы начать работу, напишите свой скрипт и запустите Mitmproxy с флагом -s, за которым следует путь к вашему скрипту.

8. Можно ли использовать Mitmproxy для веб-скрапинга? 

Да, Mitmproxy - идеальный инструмент для веб-скрапинга. Он позволяет перехватывать и изменять веб-трафик, облегчая извлечение данных с веб-страниц. Анализируя HTTP-запросы и ответы, вы можете более эффективно автоматизировать сбор данных.

9. Каков процесс настройки TLS/SSL в Mitmproxy? 

Чтобы настроить TLS/SSL в Mitmproxy, вам нужно запустить сертификат CA на вашем устройстве. Это позволит Mitmproxy расшифровывать HTTPS-трафик. Настройте свой клиент на доверие к сертификату ЦС, обеспечив безопасный и беспрепятственный перехват зашифрованного трафика.

10. Какие есть альтернативы или аналогичные инструменты Mitmproxy?

Если вы изучаете альтернативы (или аналогичные инструменты) Mitmproxy, обратите внимание на следующее: 

• Fiddler благодаря удобному интерфейсу и мощным возможностям отладки веб-сессий
• Чарльз Прокси благодаря своим функциям SSL-проксирования и дросселирования полосы пропускания.
• Burp Suite для комплексного тестирования безопасности веб-приложений. 
• OWASP ZAP предоставляет инструменты тестирования безопасности с открытым исходным кодом
• Wireshark предлагает подробный анализ сетевых протоколов
• Proxyman предоставляет современный интерфейс для отладки веб-трафика
• HTTP Toolkit упрощает перехват и отладку HTTP(S) трафика с помощью управляемых настроек.

7. Заключительные слова.

Мы "поверхностно" изучили функции и возможности Mitmproxy. Эта статья-руководство охватывает лишь верхушку айсберга того, что может сделать этот удивительный инструмент. 

В этом руководстве мы рассмотрели шаги по установке для различных операционных систем, базовую настройку и использование. Кроме того, мы рассмотрели такие расширенные функции, как перехват SSL/TLS, автоматизация с помощью Python и интеграция с Docker. 

Мы надеемся, что благодаря этим знаниям вы сможете максимально эффективно использовать Mitmproxy для анализа и манипулирования сетевым трафиком.

Думаете, вы разбираетесь в организации дорожного движения? 

Но пробовали ли вы сделать это с RapidSeedbox? 

Высокая скорость и стабильность.
Работа с большими объемами трафика
Гарантированное время безотказной работы
Географический охват
Безопасность и анонимность
---