Mitmproxy: Повний посібник.

Ви коли-небудь відчували, що для перегляду мережевого трафіку вам потрібне збільшувальне скло?

Зустрічайте Mitmproxy. 

Цей потужний інструмент з відкритим вихідним кодом дозволяє перехоплювати, модифікувати та аналізувати трафік HTTP/1, HTTP/2 і WebSocket. Він ідеально підходить для веб-розробників, мережевих адміністраторів та ідеальних фахівців з безпеки. 

Ця стаття охоплює все, що вам потрібно знати про Mitmproxy (якщо ви новачок). Він містить огляд сервісу, його плюси та мінуси, кроки встановлення, базове використання та розширені можливості, такі як налаштування SSL/TLS, автоматизація Python та інтеграція з Docker.

Застереження. Цей матеріал був розроблений виключно в інформаційних цілях. Він не є схваленням будь-якої діяльності (в тому числі незаконної), продуктів або послуг. Ви несете повну відповідальність за дотримання чинного законодавства, включаючи закони про інтелектуальну власність, під час використання наших послуг або покладаючись на будь-яку інформацію, що міститься тут. Ми не несемо жодної відповідальності за шкоду, що виникла внаслідок використання наших послуг або інформації, що міститься тут, у будь-який спосіб, за винятком випадків, коли це прямо передбачено законодавством.

Зміст

1. Огляд Mitmproxy
   • Що це таке.
   • Плюси і мінуси
   • Варіанти використання Mitmproxy
2. Як встановити Mitmproxy (покрокова інструкція)
   • Windows
   • Linux
   • macOS
3. Початок роботи з Mitmproxy
   • Запустити Mitmproxy
   • Налаштуйте браузер або пристрій
   • Перевірити конфігурацію
4. Як використовувати Mitmproxy
5. Більше речей, які можна зробити за допомогою Mitmproxy
   • Використання веб-інтерфейсу
   • Використовуйте Mitmdump
   • Налаштування сертифікатів SSL/TLS
   • Автоматизуйте завдання за допомогою Python
   • Запуск Mitmproxy в Docker
6. Розділ поширених запитань
7. Висновок.

1. Огляд Mitmproxy

Mitmproxy is an open-source powerful toolset for intercepting, modifying, and analyzing network traffic (specifically HTTP/1, HTTP/2, and WebSockets). It’s an SSL/TLS-capable intercepting proxy. It is perfect for debugging, testing, and security assessments. Він випускається в трьох смаках, щоб задовольнити всі ваші потреби:

• Mitmproxy: Інтерактивна консоль, яка дозволяє детально вивчити перехоплення трафіку.
• Mitmweb: Простий у використанні веб-інтерфейс, який виглядає і відчувається як DevTools у Chrome.
• Mitmdump: Інструмент командного рядка, який працює подібно до tcpdump для написання сценаріїв і автоматизації.

Що означає Mitmproxy? 

Перша частина слова - MitM (Man-in-the-Middle) - це термін з кібербезпеки, який позначає тип атаки або техніку. Тут зловмисник таємно перехоплює і, можливо, змінює комунікацію між двома сторонами, які думають, що спілкуються безпосередньо одна з одною. Інша сторона слова "проксі" (або посередник) означає посередника між клієнтом і сервером. Він дозволяє користувачам перехоплювати, перевіряти і змінювати мережевий трафік. Mitmproxy використовує цю концепцію, але в контрольованій та етичній формі.

Mitmproxy Плюси і мінуси

Кожен інструмент має свої переваги та недоліки, і цей - не виняток. У цьому розділі ми зануримося в основні переваги та можливі підводні камені його використання. Це допоможе вам визначити, чи ідеально він підходить для ваших потреб. 

Для чого ми рекомендуємо його? Приклади використання Mitmproxy

• Налагодження додатків. Використовуйте Mitmproxy для перехоплення та аналізу HTTP-запитів і відповідей. Це допомагає виявити повільні відповіді або надмірно велике корисне навантаження, щоб виправити затримки. Перехоплення трафіку, щоб побачити, які дані надсилаються та отримуються, також допомагає налагодити проблеми, пов'язані з даними. Крім того, він допомагає імітувати різні відповіді сервера, щоб побачити, як ваш додаток обробляє помилки.
• Тестування на проникнення. За допомогою Mitmproxy ви можете перехоплювати і налаштовувати HTTP/HTTPS трафік для імітації атак (наприклад, SQL-ін'єкції, XSS) і виявлення вразливостей. Крім того, ви також можете записувати і налаштовувати легальний трафік, щоб перевірити його на наявність вразливостей, таких як атаки повторного відтворення і фіксація сеансу. У цій області Mitmproxy також допомагає перехоплювати зашифрований трафік для перевірки обробки сертифікатів, стандартів шифрування і загальної безпеки HTTPS.
• Вимірювання конфіденційності. Mitmproxy корисний для перехоплення та перевірки трафіку, щоб переконатися, що не відбувається витоку конфіденційної інформації. Ви також можете використовувати його для перевірки відповідності обробки та передачі даних правилам конфіденційності, таким як GDPR. Люди також використовують його для аналізу сторонніх сервісів. Аналізуйте трафік між вашим додатком і сторонніми сервісами, щоб переконатися, що вони не збирають непотрібні дані.

2. Як встановити Mitmproxy (покрокова інструкція)

a. Windows: Покрокове керівництво з встановлення

• Завантажте інсталятор: Завантажте інсталятор Windows зі сторінки офіційний сайт.
• Запустіть інсталятор: Запустіть завантажений файл і дотримуйтесь інструкцій на екрані, щоб завершити встановлення.

• Підтвердити встановлення: Відкрийте командний рядок і введіть mitmproxy, mitmweb або mitmdump, щоб перевірити встановлення. Якщо інструменти запускаються коректно, це означає, що встановлення пройшло успішно. Але все одно ніяких потоків трафіку не перехоплюється.

b. Linux: Використання менеджерів пакунків та встановлення вихідного коду

Щоб встановити Mitmproxy на Linux, ви можете скористатися менеджерами пакетів або встановити з вихідного коду. 

За допомогою менеджерів пакетів:

Ви можете завантажити окремі двійкові файли для вашого дистрибутива (відвідайте офіційний сайт щоб знайти ці двійкові файли) або скористайтеся менеджерами пакунків, відповідними для кожного дистрибутива. Обидва методи надають попередньо скомпільовані двійкові файли, які спрощують встановлення mitmproxy. Проте, менеджери пакунків пропонують автоматизоване керування залежностями та оновлення.

Arch Linux:

Федора:

Debian/Ubuntu:

Вихідна інсталяція:

Якщо бажаєте, ви також можете встановити його з вихідного коду. Всі інструкції нижче. 

Встановіть залежності та збирайте:

Використання pipx для керування пакетами Python:

Встановіть pipx:

Встановіть mitmproxy:

c. macOS: встановлення за допомогою Homebrew

Необхідна умова: Встановити Homebrew: Якщо ви не встановили Homebrew, дотримуйтесь інструкцій на сторінці Офіційний сайт Homebrew.

Встановіть mitmproxy:

Підтвердити встановлення: 

Відкрийте термінал і введіть mitmproxy, mitmweb або mitmdump, щоб перевірити встановлення.

Користувачі Mitmproxy, які шукають масштабованість і продуктивність? 

Як Rapidseedbox може допомогти?

Обслуговування великого потоку транспорту
Гарантований час безвідмовної роботи
Глобальне охоплення
Покращена анонімність
---

3. Початок роботи з Mitmproxy.

Після того, як він встановлений на вашій платформі, настав час його використовувати. У цьому розділі ми дізнаємося про базову конфігурацію та налаштування, основні команди, а також про те, як налаштувати його на різних пристроях і браузерах. 

Примітка. За замовчуванням, Mitmproxy запускає Proxy HTTP. Він також слухає http://localhost:8080.

a. Запустіть Mitmproxy:

• (Як показано в попередньому розділі) Відкрийте термінал і введіть "mitmproxy", щоб запустити інтерфейс командного рядка. Інтерфейс mitmproxy має виглядати, як показано на наступному знімку екрана:

• Введіть "mitmweb", щоб запустити веб-інтерфейс. Він запуститься автоматично (як показано на наступному скріншоті). 
• Якщо він не запускається, відкрийте браузер і перейдіть за адресою http://localhost:8081.

• Mitmdump: Введіть mitmdump, щоб скористатися інструментом командного рядка для написання скриптів.

Вирішити проблему!

Якщо ви бачите наступний рядок: "[12:10:38.265] Термін дії центру сертифікації mitmproxy закінчився! зробіть наступне...

Це повідомлення про помилку вказує на те, що термін дії центру сертифікації Mitmproxy закінчився. Щоб виправити це, видаліть файли, пов'язані з ЦС, у вашій папці .mitmproxy, щоб можна було згенерувати новий ЦС. Після видалення файлів простроченого ЦС інструмент автоматично створить новий ЦС під час перезапуску. 

Ось кроки для вирішення цієї проблеми:

Видалити файли, пов'язані з ЦС:

Перезапустіть Mitmproxy:

b. Налаштуйте свій браузер або пристрій.

Щоб використовувати його, налаштуйте ваш браузер або пристрій так, щоб весь трафік проходив через Mitmproxy. Ви можете налаштувати проксі в Google Chrome, Mozilla Firefox, Microsoft Edge або на таких пристроях, як iOS (iPhone / iPad) або Android. Але майте на увазі, що конфігурації проксі змінюються від браузера до браузера і від пристрою до пристрою. 

Встановіть HTTP-проксі:

• Відкрийте браузер або мережеві налаштування пристрою. Не знаєте, що таке HTTP-проксі? Дізнайтеся більше тут (HTTP-проксі) і дізнатися відмінності від Проксі-сервери SOCKS5.
• Знайдіть налаштування проксі-сервера (зазвичай їх можна знайти в додаткових налаштуваннях або налаштуваннях з'єднання).
• Встановіть веб-проксі HTTP (1) на http://localhost:8080 або 127.0.0.1:8080 (2), а потім натисніть кнопку "ОК" (3). 

Встановлення Mitmproxy CA.

• Відкрийте браузер і перейдіть на сторінку http://mitm.it. Ви побачите сторінку, на якій вам буде запропоновано встановити центр сертифікації Mitmproxy.
• Знайдіть відповідну платформу та завантажте сертифікат. Якщо завантаження не відбувається... дотримуйтесь інструкцій, наведених на цьому ж сайті.  http://mitm.it сторінка.

• Ви можете перевірити, чи встановлено сертифікат mtimproxy CA, перейшовши до перевірки сертифікатів вашої системи.
• У macOS перейдіть до "Доступ до зв'язки ключів" > "Сертифікати". Переконайтеся, що для SSL встановлено значення "Завжди довіряти"

Не вдається маршрутизувати веб-трафік через Mitmproxy? 

• Якщо при відкритті веб-сторінки (http://mitm.it) ви побачите наступне повідомлення "If you can see this, traffic is not passing through mitmproxy", це означає, що ваш веб-трафік не перехоплюється mitmproxy.
• Швидше за все, це пов'язано з тим, що ви неправильно налаштували проксі-сервер (у вашому браузері або пристрої). Також переконайтеся, що mitmproxy налаштовано правильно і запущено. А потім спробуйте ще раз. 

c. Перевірити конфігурацію.

• Відкрийте термінал і запустіть службу наступною командою: 'mitmproxy'
• Після запуску (якщо все правильно налаштовано) ви побачите, що термінал приймає HTTP і WSS потоки. 

4. Як використовувати Mitmproxy.

Інтерфейс показує наступну інформацію. 

• Секція потоків: Основна частина екрана показує список перехоплених потоків HTTP і WebSocket. Кожен рядок представляє один HTTP/WebSocket запит і відповідь.
• Колони:
  • Час: Показує час перехоплення запиту.
  • Протокол: Вказує на використовуваний протокол (наприклад, HTTP, WS для WebSocket).
  • Метод: Використовуваний HTTP-метод (наприклад, GET).
  • Хост і шлях: Цільовий хост і шлях запиту.
  • Код статусу: Код статусу HTTP, повернутий сервером.
  • Вміст: Показує, чи є у відповіді вміст чи ні.
  • Тривалість: Час, необхідний для обробки запиту в мілісекундах.

Детальна інформація про потоки

• Вибраний потік: Внизу ви бачите кількість обраних потоків і невелике меню
  • Потік: Показує кількість вибраних потоків.
  • Довірена особа: Показує конфігурацію активного проксі.
  • Інші варіанти: Для взаємодії з потоками ви можете використовувати такі клавіші, як o для параметрів, e для подій, q для виходу та інші команди. (докладніше про це нижче)

• Перевірка потоку:
  • Використовуйте клавіші зі стрілками для навігації по списку потоків. Ви побачите символ ">>", який переміщується вгору і вниз по потоках. 
  • Натисніть Enter, щоб детально переглянути певний потік. Це дозволить вам побачити заголовки, вміст та іншу інформацію про запит і відповідь.
  • Наприклад, ми вибрали потік з хостом mitm.it. У цьому розділі ви побачите всю інформацію про потік. Крім того, ви можете переміщатися по вкладках: Запит, Відповідь та інші деталі.

• Фільтрування потоків: Ви можете відфільтрувати потоки, натиснувши f і ввівши критерії фільтрації, наприклад, конкретні імена хостів або типи запитів.
• Наприклад, ми набрали "mitm.it" за допомогою фільтра і тепер бачимо тільки хости mitm.it. 

• Параметри та конфігурація: Натисніть o, щоб відкрити меню параметрів, де ви можете налаштувати різні параметри Mitmproxy. Це такі параметри, як метод, розмір, час і url.

Опції нижнього меню в Mitmproxy

• В інтерфейсі нижнє меню надає різні опції для взаємодії з перехопленими потоками і налаштування параметрів Mitmproxy.

Нижче наведено детальне пояснення всіх опцій, показаних у нижньому меню:

• Потік: Виберіть поточний виділений потік для детального огляду або маніпуляцій.
• Обирай: Дозволяє вибрати кілька потоків для пакетних операцій.
• Допоможіть: Доступ до довідки та документації по використанню Mitmproxy.
• Звільнися: Вийдіть із сеансу.
• r Повтор: Відтворіть вибраний HTTP-запит.
• "Івентс": Перегляньте журнал подій для Mitmproxy, який містить важливі повідомлення і помилки.
• Експорт: Експортуйте вибрані потоки у файл для подальшого аналізу або спільного використання.
• Варіанти: Відкрийте меню параметрів, щоб налаштувати параметри.
• d Видалити: Видаліть вибраний потік зі списку.
• Перехоплення: Перехоплюйте запити, щоб змінити або перевірити їх перед відправленням на сервер.
• Марк: Позначте потоки для виконання пакетних операцій, таких як видалення або експорт.
• Фільтр: Застосовуйте фільтри, щоб переглядати лише певні потоки на основі таких критеріїв, як хост, метод або код стану.
• e Редагувати: Відредагуйте запит або відповідь вибраного потоку.
• Врятувати тіло: Збережіть тіло вибраного потоку у файл.
• z Очистити список: Видаліть усі потоки зі списку.
• Зберегти потоки: Збережіть всі захоплені потоки у файл.
• Змінити макет: Перемикайтеся між різними режимами макетів в інтерфейсі.
• Ctrl+F Стежити за новинами: Автоматично відстежуйте та виділяйте нові потоки в міру їх надходження.

Хочете більше інформації про Mitmproxy? 

Перегляд довідки: Натисніть '?' в інтерфейсі mitmproxy для отримання контекстно-залежної допомоги.

Що далі? 

Тепер ви озброєні знаннями, щоб почати використовувати Mitmproxy. І що ж далі? 

• Починайте зйомку: Коли трафік проходить через Mitmproxy, ви будете бачити HTTP (або WSS) запити і відповіді в режимі реального часу. Використовуйте інтерфейс, щоб перевіряти і змінювати їх на льоту.
• Аналізуйте трафік: Шукайте закономірності, аномалії або специфічні дані в захопленому трафіку. Інструмент дозволяє аналізувати кожен запит і відповідь до найдрібніших деталей.

5. Більше речей, які можна зробити за допомогою Mitmproxy

Mitmproxy - це більше, ніж просто перехоплювач веб-трафіку; ви можете робити набагато більше за допомогою цього фантастичного інструменту. Нижче наведено ще п'ять цікавих речей, які ви можете зробити за допомогою цього інструменту.

a. Використовуйте веб-інтерфейс.

Використовуйте вбудований веб-інтерфейс з графічним інтерфейсом для полегшення аналізу трафіку та маніпуляцій. Як його запустити? 

• Почніть mitmweb: "mitmweb
• Відкрийте веб-інтерфейс: Перейдіть за посиланням http://localhost:8081 у своєму браузері.

b. Використовуйте Mitmdump.

Mitmdump постачається разом з установкою Mitmproxy. Це неінтерактивний інструмент командного рядка, призначений для написання сценаріїв і автоматизації.

• Запустити mitmdump: mitmdump
• Зберегти трафік у файл: mitmdump -w outfile
• Фільтрування та відтворення трафіку: mitmdump -nr infile -w outfile "~m post"

c. Налаштування сертифікатів SSL/TLS

Перехоплення трафіку не є повним без обробки зашифрованого трафіку. Mitmproxy спрощує налаштування SSL/TLS сертифікатів, щоб ви могли легко підглядати HTTPS трафік. Як це зробити? 

• Сервіс створює сертифікат ЦС, який ви будете використовувати для підпису перехопленого трафіку.
• Перейдіть на http://mitm.it у вашому браузері та дотримуйтесь інструкцій, щоб встановити сертифікат ЦС на ваш пристрій. 
• З встановленим сертифікатом центру сертифікації Mitmproxy буде розшифровувати HTTPS-трафік, дозволяючи вам перевіряти, змінювати і аналізувати безпечний зв'язок так само, як і незашифрований HTTP-трафік.

d. Автоматизація завдань за допомогою Python

Давайте піднімемо ваш аналіз трафіку на новий рівень. Python API Mitmproxy дозволяє вам автоматизувати завдання і налаштовувати обробку трафіку.

• Використовуйте Python для написання користувацьких доповнень, які розширюють функціональність інструменту. Наприклад, ви можете автоматично змінювати запити або реєструвати певні шаблони трафіку.
• За допомогою Python API ви маєте повний контроль над перехопленим трафіком. Модифікуйте заголовки, змінюйте шляхи запитів або навіть блокуйте певні запити на основі власної логіки.

e. Запуск Mitmproxy в Docker

Ви будете раді дізнатися, що Mimtproxy підтримується Docker (якщо ви віддаєте перевагу контейнерним середовищам). Mitmproxy в Docker добре інтегрується в сучасні робочі процеси розробки.

• Витягніть образ докера: Завантажте офіційний образ з DockerHub: docker pull mitmproxy/mitmproxy
• Запустіть його в контейнері: docker run -rm -it -p 8080:8080 mitmproxy/mitmproxy

6. Розділ поширених запитань.

1. Як я можу перехоплювати HTTP/HTTPS запити за допомогою Mitmproxy? 

Щоб перехоплювати HTTP/HTTPS запити, налаштуйте ваш браузер або пристрій на використання Mitmproxy в якості проксі-сервера. Запустіть його у вашому терміналі, і він почне перехоплювати весь трафік, що проходить через нього. Після цього ви зможете перевіряти і змінювати ці запити на льоту. Більше інформації в попередніх розділах статті. 

2. Чи може Mitmproxy обробляти великі обсяги мережевого трафіку? 

Так, Mitmproxy призначений для обробки значних обсягів мережевого трафіку. Однак для дуже великих обсягів ми рекомендуємо переконатися, що ваше обладнання витримує навантаження. Інструмент надає різні опції для оптимізації продуктивності та ефективного управління трафіком.

3. Як Mitmproxy управляє SSL/TLS сертифікатами? 

Mitmproxy генерує сертифікат центру сертифікації (ЦС), який потрібно встановити на вашому пристрої. Це дозволяє Mitmproxy перехоплювати і розшифровувати HTTPS-трафік. Сертифікат ЦС використовується для підписання інших сертифікатів на льоту. Таким чином, перехоплений трафік виглядає довіреним для вашого браузера або програми.

4. Чи безпечно використовувати Mitmproxy? 

Mitmproxy безпечний (якщо ви використовуєте його правильно). Як найкраща практика, переконайтеся, що згенерований сертифікат ЦС використовується тільки на довірених пристроях і середовищах. Завжди оновлюйте Mitmproxy до останньої версії, щоб отримати доступ до виправлень і поліпшень безпеки. Найголовніше, завжди пам'ятайте, що перехоплення трафіку повинно здійснюватися тільки етично і легально.

5. Чи можна використовувати Mitmproxy з різними хостинговими середовищами та серверами? 

Безумовно. Mitmproxy сумісний з різними хостинговими середовищами і серверами. Ви можете встановити його на локальних серверах, хмарних середовищах і навіть в контейнерах Docker. 

6. Як запустити Mitmproxy в контейнері Docker? 

Щоб запустити Mitmproxy в Docker, витягніть офіційний образ Mitmproxy з DockerHub за допомогою команди "docker pull mitmproxy/mitmproxy". Потім запустіть контейнер з docker run -rm -it -p 8080:8080 mitmproxy/mitmproxy. Таке налаштування дозволяє перехоплювати трафік в контейнерному середовищі. Це ідеально підходить для інтеграції з сучасними робочими процесами DevOps.

7. Як я можу використовувати Mitmproxy API для маніпуляцій з трафіком? 

Mitmproxy надає потужний Python API, який дозволяє писати власні скрипти для маніпулювання трафіком. За допомогою цього API ви можете автоматизувати завдання, змінювати запити і відповіді, а також реалізовувати складну логіку. Щоб почати, напишіть свій скрипт і запустіть Mitmproxy з прапором -s, за яким слідує шлях до вашого скрипта.

8. Чи можна використовувати Mitmproxy для веб-скрепінгу? 

Так, Mitmproxy - ідеальний інструмент для веб-скрепінгу. Він дозволяє перехоплювати і модифікувати веб-трафік, полегшуючи вилучення даних з веб-сторінок. Аналізуючи HTTP-запити і відповіді, ви можете більш ефективно автоматизувати збір даних.

9. Як відбувається процес налаштування TLS/SSL в Mitmproxy? 

Щоб налаштувати TLS/SSL в Mitmproxy, вам потрібно запустити сертифікат ЦС на вашому пристрої. Це дозволить Mitmproxy розшифровувати HTTPS-трафік. Налаштуйте, щоб ваш клієнт довіряв сертифікату ЦС, що забезпечить безпечне і безперешкодне перехоплення зашифрованого трафіку.

10. Які є альтернативи або схожі інструменти для Mitmproxy?

Якщо ви вивчаєте альтернативи (або подібні інструменти) Mitmproxy, зверніть увагу на наступне: 

• Fiddler за зручний інтерфейс та потужні можливості налагодження веб-сесій
• Чарльз Проксі за функції SSL-проксінгу та регулювання пропускної здатності
• Burp Suite для комплексного тестування безпеки веб-додатків. 
• OWASP ZAP надає інструменти тестування безпеки з відкритим кодом
• Wireshark пропонує детальний аналіз мережевих протоколів
• Proxyman надає сучасний інтерфейс для налагодження веб-трафіку
• HTTP Toolkit спрощує перехоплення та налагодження HTTP(S) трафіку за допомогою керованого налаштування.

7. Заключні слова.

Ми "поверхнево" розглянули функції та можливості Mitmproxy. Ця стаття дійсно охоплює лише верхівку айсберга того, що може зробити цей дивовижний інструмент. 

У цьому посібнику ми розглянули кроки встановлення для різних операційних систем, базове налаштування та використання. Крім того, ми заглибилися в розширені функції, такі як перехоплення SSL/TLS, автоматизація за допомогою Python та інтеграція з Docker. 

Ми сподіваємося, що з цими знаннями ви зможете максимально ефективно використовувати Mitmproxy для аналізу та маніпулювання мережевим трафіком.

Думаєте, що знаєтесь на управлінні дорожнім рухом? 

Але чи пробували ви це робити з RapidSeedbox? 

Висока швидкість і стабільність.
Обслуговування великого потоку транспорту
Гарантований час безвідмовної роботи
Географічне покриття
Безпека та анонімність
---