АВТОР:
З 666 мільйонами активних користувачів станом на 2023 рік, перший Twitter, або новий бренд Xодна з найпопулярніших платформ соціальних мереж і цінне джерело інформації для бізнесу, дослідників та приватних осіб. Однак вилучення та фільтрація даних вручну серед величезного масиву даних Twitter є надто складним і нефункціональним процесом.
Скрейпінг Twitter передбачає використання програмного забезпечення або скриптів для збору даних з платформи. Ви можете проаналізувати ці дані, щоб отримати безцінну інформацію про трендові теми та хештеги, розмови, взаємодії, що відбуваються на платформі, та поведінку користувачів.
Зібрана інформація може бути ретельно проаналізована для різних цілей, таких як аналіз настроїв, дослідження ринку та моніторинг соціальних мереж. У цій статті ми зануримося в різні аспекти вишкрібання Дані Twitter за допомогою існуючих методів, від скриптів до програмного забезпечення без коду, пов'язані з цим витрати, а також умови законності та етики.
Зміст
Які типи даних можна отримати з Twitter?
Ви можете витягувати різні типи даних Twitter. Ось три основні типи даних для вилучення з Twitter:
- Твіти: Ви можете збирати конкретні дані з відфільтрованих твітів на основі профілів, наприклад, їхні вподобання, відповіді, ретвіти та вказані URL-адреси.
- Профілі користувачів: Будь-яка інформація з публічного профілю користувача може бути зібрана, наприклад, біографія користувача, опис профілю, кількість твітів, ретвітів, кількість підписників/підписниць та зображення профілю.
- Ключові слова / хештеги: Ви можете збирати твіти, що містять певні ключові слова, хештеги або їх комбінації. Ви також можете уточнити пошук за кількістю вподобань або за конкретними датами і часом.
Законність та етичні умови використання
Занурюючись у світ скрапінгу даних, важливо розуміти правові та етичні межі.
За даними Правила та положення Twitter (Угода та політика розробника), вилучення даних без явного дозволу заборонено, про що заявлено в політиці Twitter: "Вилучення даних із Сервісів без попередньої згоди Twitter категорично заборонено.
Будь-яке зловживання API Twitter для цих цілей буде предметом примусових заходів, які можуть включати призупинення або припинення доступу.
Загальний посібник зі скрапінгу Twitter
Після короткого вступу до скрапінгу Твіттера настав час вивчити процес вилучення даних з Твіттера. Тому ми підготували для вас простий і вичерпний посібник зі скрапінгу Twitter. Будь ласка, дотримуйтесь наведених нижче кроків:
- По-перше, вам потрібно мати правильні інструменти для скрапінгу. Існує безліч варіантів на вибір. Отже, визначте, який варіант відповідає вашому бюджету та вподобанням.
- Завантажте та встановіть інструмент скрапінгу у вашій системі.
- Переконайтеся, що на вашому пристрої достатньо місця для зберігання даних і що у вас є надійне підключення до Інтернету.
- Після встановлення увійдіть, використовуючи дані свого облікового запису Twitter.
- Налаштування параметрів для вилучення даних з Twitter є важливим кроком, який дозволяє витягувати дані на основі ключових слів, хештегів, дат і часу, місцезнаходження, URL-адрес тощо.
- Після запуску інструменту скрейдера залишиться велика кількість даних. Ви можете експортувати дані в різні формати файлів (xlsx, CSV, JSON тощо).
- На останньому етапі ви повинні проаналізувати експортовані дані, щоб отримати уявлення про тему, яка вас цікавить.
Інструменти та методи вилучення даних з Twitter
Ми розглянули деякі доступні в Інтернеті інструменти для скрепінгу, від офіційного скреппера Twitter до сторонніх сервісів і навіть бібліотек Python з відкритим вихідним кодом, і перерахували їх нижче.
4.1. Скрепери Twitter на основі API
Перший метод, який ми розглянемо, - це скрепери Twitter на основі API, до яких належать Twitter API V2, Apify, Brightdata і Scrapingdog.
4.1.1. Twitter API V2
Twitter API v2 - це остання версія API Twitter, офіційного та одного з найпоширеніших API для розробників, які створюють додатки з соціальною взаємодією, або дослідників/осіб, які збирають дані для своїх конкретних цілей. Використання нових API дозволяє без особливих зусиль відстежувати та аналізувати живі розмови в соціальних мережах.
Нещодавно Twitter додав деякі нові функції, такі як кінцеві точки, параметри корисного навантаження для твітів, набори ідентифікаторів розмов та анотації. Ці зміни є досить вражаючими. Однак нова структура ціноутворення викликає серйозні занепокоєння у розробників і сторонніх додатків. З новою структурою ціноутворення доступ до послуг різко скоротився, а ціни на них різко зросли.
Тарифні плани Twitter/X API v2 мають три рівні: Безкоштовний, базовий та корпоративний.
- На безкоштовному рівні розробники можуть розміщувати до 1500 твітів на місяцьпризначений тільки для запису і тестування API Twitter.
- Базовий рівень витрат $100 на місяць і дозволяє розробникам публікувати до 3 000 твітів на місяць на рівні користувача та 50 000 твітів (з лімітом читання 10 000) на рівні додатків.
- Шина Enterprise включає більш розширені функції, призначені для бізнесу. Однак, тарифний план Enterprise вимагатиме від розробників/підприємств непомірно високу ціну, а саме майже 42000$ на місяць.
4.1.2. Apify
За допомогою Twitter Scraper від Apify ви можете витягувати інформацію з загальнодоступних даних Twitter, таких як хештеги, теми, відповіді, зображення тощо. Нещодавні зміни в Twitter наклали нові обмеження на перегляд і вилучення твітів на цій платформі, оскільки користувачі зможуть витягувати публічну інформацію лише до 100 твітів з одного профілю. Цей скрепер не може витягувати найновіші твіти, але може витягувати найбільш вподобані. Витягнуті дані доступні у форматах HTML, JSON, Excel та CSV.
Наступний малюнок ілюструє щомісячну вартість послуг Apify. Він також пропонує знижку 10% на річний план. Для отримання додаткової інформації відвідайте Апіфікувати ціноутворення.
4.1.3. Brightdata
Bright Data - це платформа для збору даних, яка пропонує інструменти для веб-скрепінгу, такі як проксі-сервери, API та рішення без коду. Веб-скрепер Bright Data надає користувачам можливість витягувати дані з публічних профілів Twitter, включаючи зображення, відео, твіти, хештеги тощо.
Ціни починаються з щомісячного 500$ на 151000 сторінок. Bright Data Twitter скрейсер для збору даних сумісний з усіма веб-сервісами і виводить свої дані у форматі Excel. Він також пропонує 7-денну пробну версію, і ви можете протестувати платформу, перш ніж заплатити 500 баксів.
Готові підняти свій скрейпер Twitter на новий рівень?
Спробуйте проксі-сервери IPv6 для розширеного та анонімного вилучення.
4.1.4. Собака-скребок
Scrapingdog - це API для веб-скрепінгу, який допомагає вам сканувати будь-який веб-сайт, включаючи Twitter. Він дозволяє сканувати твіти, використовуючи ідентифікатори твітів, або сканувати публічні сторінки, щоб витягти такі дані, як кількість підписників, кількість фоловерів і посилання на веб-сайти.
Зіскрібати Twitter коштує 0.0009$ за сторінку у стандартному плані, що є одним з найкращих співвідношень ціни та якості порівняно з іншими провідними скребками для Твіттера. Вони також надають безкоштовну пробну версію; ви можете скасувати підписку в будь-який час і легко повернути свої гроші. Щоб дізнатися більше про те, як вилучати дані за допомогою Scrapingdog, ви можете відвідати Документація API скрепінгу Twitter Scraping.
4.2. Бібліотеки та пакети Python для скрапінгу Twitter
Тепер, коли ви знайомі з API Twitter і такими програмами, як Apify, настав час поглянути на бібліотеки та пакети Python для скрепінгу Twitter.
4.2.1. Твіпі.
Tweepy - це пакет Python з відкритим вихідним кодом, який дозволяє розробникам безперешкодно та прозоро отримувати доступ до кінцевих точок Twitter. Однак, ви повинні знати, що Twitter наклав обмеження на кількість запитів, що надсилаються до X/Twitter API, де 900 запитів дозволяється кожні 15 хвилин. У цьому розділі ми розглянемо функціональність Tweepy і наведемо простий приклад.
Для початку встановіть пакет Tweepy за допомогою команди "pip install Tweepy" у вашому середовищі розробки Python, а потім імпортуйте Tweepy. Наступним кроком буде реєстрація вашого клієнтського додатку у Twitter. Створіть новий додаток. Після завершення ви отримаєте токен на пред'явника.
|
1 2 |
піп install твіппі. імпорт твіппі. |
Далі ви повинні створити екземпляр "Клієнт", щоб передати токен пред'явника споживача, який ви отримали з API Twitter.
У змінній запиту ми вказали поле, згадку та хештег, як показано на прикладі.
|
1 2 3 |
клієнт = твіппі..Клієнт(bearer_token='bearer_token') запит = 'query @mentions #hashtags' |
Для пошуку твітів за останні сім днів ви можете скористатися функцією search_recent_tweets, доступною в Tweepy. Щоб вказати дані, які ви шукаєте, вам потрібно задати пошуковий запит.
|
1 2 |
recent_tweets = клієнт.search_recent_tweets(запит=запит, tweet_fields=['tweet_field_1', 'tweet_field_2'], max_results=100) |
Якщо у вас є доступ до треку продуктів академічних досліджень, ви можете отримати твіти, старші за 7 днів. З повного архіву загальнодоступних твітів.
|
1 2 |
твіти = клієнт.пошук_всіх_твітів(запит=запит, tweet_fields=['tweet_field_1', 'tweet_field_2'], max_results=100) |
Ви можете експортувати результати за допомогою наступного коду.
|
1 2 3 4 5 |
за твітнути в твіти.дані: друк(твітнути.текст) якщо Лен(твітнути.context_annotations) > 0: друк(твітнути.context_annotations) |
У Tweepy також є безліч функцій, здатних виконувати різні завдання в більш складних і специфічних випадках.
4.2.2. Snscratch
Ще один спосіб отримати інформацію з Twitter, не покладаючись на API, - це Snscrape. Він дозволяє отримувати основну інформацію, таку як профілі користувачів, вміст твітів, джерела тощо. На відміну від Tweepy, немає обмежень на кількість твітів, які ви можете вилучити, або на дати твітів, і ви можете вилучати старі дані з Twitter. Оскільки Snscrape не підключений до API Twitter, йому не вистачає функціональності на рівні Tweepy. Перегляньте наш повний посібник з Snscratch.
У цьому розділі ми також розглянемо базовий приклад вилучення деяких даних з Twitter за допомогою Snscrape у Python.
По-перше, вам слід встановити Snscrape. Зверніть увагу, що для його роботи у вас має бути встановлений Python 3.8 або новішої версії.
|
1 2 |
піп install зішкріб |
На наступному кроці встановіть наступні бібліотеки.
|
1 2 3 |
імпорт зішкріб.модулі.твіттер як sntwitter імпорт панди як pd |
Ми надсилаємо запит (у нашому випадку "query") за допомогою функції "TwitterSearchScraper(query).get_items" і отримуємо елементи з пошуку так само, як і результати з пошукового рядка Twitter.
|
1 2 3 4 5 6 |
запит = "query" за твітнути в sntwitter.TwitterSearchScraper(запит).get_items(): друк(вари(твітнути)) перерва |
Існують й інші методи, які можна використовувати для вилучення даних з Twitter, наприклад: TwitterSearchScraper, TwitterUserScraper, TwitterProfileScraper, TwitterHashtagScraper, TwitterTweetScraperMode, TwitterTweetScraper, TwitterListPostsScraper, TwitterTrendsScraper.
Висновок
Twitter є цінним джерелом соціологічної інформації в Інтернеті. Використовуючи інформацію, отриману з Twitter, ви можете адаптувати свої плани для збільшення продажів і вдосконалення маркетингових стратегій. У цій статті ми представили детальний огляд різних аспектів і методів вилучення даних з Твіттера для вилучення даних, які можуть бути цінними для бізнесу або досліджень.
Підводячи підсумок, відповідно до нових обмежень, накладених на Twitter API v2, а також високої вартості, вибір найкращого скремблера буде складним завданням. Ви можете скористатися більш розширеними можливостями Twitter API або сторонніх додатків і бібліотек Python (Tweepy), які безпосередньо підключаються до Twitter API. Але кількість запитів, які ви можете зробити, суворо обмежена. З іншого боку, якщо ви прагнете вилучити загальнодоступні дані, і базові функції задовольняють ваші потреби, такі варіанти, як бібліотека Snscrape Python, можуть бути чудовим вибором.
Готові підняти свій скрейпер Twitter на новий рівень?
Спробуйте проксі-сервери IPv6 для розширеного та анонімного вилучення.
Застереження. Цей матеріал був розроблений виключно в інформаційних цілях. Він не є схваленням будь-якої діяльності (в тому числі незаконної), продуктів або послуг. Ви несете повну відповідальність за дотримання чинного законодавства, включаючи закони про інтелектуальну власність, під час використання наших послуг або покладаючись на будь-яку інформацію, що міститься тут. Ми не несемо жодної відповідальності за шкоду, що виникла внаслідок використання наших послуг або інформації, що міститься тут, у будь-який спосіб, за винятком випадків, коли це прямо передбачено законодавством.
0Коментарі