Cara Scraping Twitter (X): Tools dan Langkah Terbaik di 2024

Dengan 666 juta pengguna aktif pada tahun 2023, Media sosial yang awalnya dikenal dengan Twitter, yang kini berganti menjadi X, adalah salah satu platform media sosial paling populer dan menjadi sumber informasi yang berharga bagi bisnis, peneliti, dan individu. Namun, mengekstrak dan menyaring data secara manual di Twitter yang memiliki data yang sangat besar akan sangat melelahkan dan tidak efisien, 

Untuk melakukan scraping pada Twitter, kamu perlu melibatkan penggunaan software atau script untuk mengumpulkan data dari platform tersebut. Kamu dapat menganalisis data ini untuk mendapatkan berbagai insight terkait topik dan hashtags yang sedang tren, juga obrolan, interaksi, dan perilaku pengguna.

Informasi yang terkumpul dapat dianalisis dengan cermat untuk berbagai tujuan, seperti analisis sentimen, riset pasar, dan pemantauan media sosial. Artikel ini akan membahas berbagai aspek dari scraping data Twitter menggunakan metode yang ada, mulai dari script hingga software tanpa coding, biaya yang akan kamu keluarkan, hingga legalitas dan etika

Daftar Isi

Jenis Data Apa yang Dapat Diekstrak dari Twitter?

Kamu dapat mengekstrak berbagai jenis data Twitter. Berikut ini tiga jenis data yang banyak di-scrape dari Twitter:

• Tweet: Kamu dapat mengambil data spesifik dari tweet yang difilter berdasarkan profil, seperti like, reply, retweet, dan URL tertentu.
• Profil Pengguna: Apapun yang ada di profil pengguna publik dapat kamu kumpulkan, seperti bio pengguna, deskripsi profil, jumlah tweet, retweet, jumlah pengikut/pengikut, dan foto profil.
• Keywords/Hashtags: Kamu dapat mengumpulkan kata kunci, hashtag, atau kombinasi dari keduanya. Kamu juga dapat mempersempit pencarian berdasarkan jumlah like atau dengan mencari tanggal dan waktu tertentu.

Ketentuan Legalitas dan Etika Penggunaan

Ketika mendalami data scraping, kamu harus memahami batasan hukum dan etika yang berlaku.

Menurut Persyaratan dan peraturan Twitter (Developer Agreement and Policy), scraping data tanpa izin eksplisit dilarang dan dinyatakan dalam kebijakan Twitter: "Scraping tanpa persetujuan sebelumnya dari Twitter secara tegas dilarang.

Setiap penyalahgunaan API Twitter untuk tujuan ini akan dikenakan tindakan penegakan hukum, yang mungkin termasuk penangguhan dan penghentian akses.

Panduan Umum untuk Scraping Twitter

Setelah pengenalan singkat tentang scraping Twitter, sekarang saatnya untuk menjelajahi proses scraping melalui data Twitter. Kami telah menyusun panduan sederhana dan komprehensif untuk scraping Twitter. Yuk, ikuti langkah-langkahnya berikut ini:

1. Pertama, kamu harus memiliki scraping tools yang tepat. Ada banyak opsi yang bisa dipilih. Jadi, tentukan opsi mana yang sesuai dengan anggaran dan preferensimu.
2. Unduh dan instal scraping tools.
3. Pastikan ada banyak ruang penyimpanan yang tersedia di perangkatmu dan pastikan juga kamu memiliki koneksi internet yang baik.
4. Setelah menginstal, masuk menggunakan detail akun Twitter.
5. Menyesuaikan parameter untuk scraping data dari Twitter adalah langkah penting agar kamu bisa mengekstrak data berdasarkan keyword, hashtag, tanggal dan waktu, lokasi, URL, dll.
6. Setelah menjalankan scraping tools, kamu dapat mengekspor data ke berbagai format file (xlsx, CSV, JSON, dll.).
7. Pada langkah terakhir, kamu harus menganalisis data yang telah diekspor untuk mendapatkan insight tentang topik yang kamu cari.

Tools dan Metode Scraping Twitter

Kami telah meninjau beberapa alat scraping yang tersedia di internet, mulai dari scraper Twitter resmi hingga layanan pihak ketiga dan bahkan open-source Python library, berikut detailnya:

4.1. Twitter Scraper Berbasis API

Metode pertama yang akan kita lihat adalah scraper Twitter berbasis API, yang meliputi Twitter API V2, Apify, Brightdata, dan Scrapingdog.

4.1.1. API Twitter V2

Twitter API v2 adalah versi terbaru dari API Twitter, API resmi dan salah satu API yang paling sering digunakan oleh para developer yang membuat aplikasi dengan interaksi sosial atau peneliti/individu yang mengumpulkan data untuk tujuan tertentu. Penggunaan API ini memungkinkan pemantauan dan analisis percakapan langsung di jejaring sosial dengan mudah.

Baru-baru ini, Twitter telah menambahkan beberapa fitur baru, seperti endpoints, payload options untuk tweet post, conversation identifier sets, dan anotasi. Update ini sangatlah bagus dan membantu. Namun, harga yang baru justu membuat banyak developer dan aplikasi pihak ketiga jadi khawatir. Hal ini karena harga yang baru ini membuat akses ke layanan menurun jauh, sedangkan harga meningkat secara drastis.

Paket harga Twitter/X API v2 memiliki tiga tingkatan: Free, basic, dan enterprise.

• Di pilihan free, pengembang dapat memposting hingga 1500 tweet per bulan, yang dirancang untuk menulis dan menguji API Twitter.
• Pada opsi Basic, pengembang harus membayar $100 per bulan untuk mendapatkan hingga 3.000 tweet per bulan di tingkat pengguna dan 50.000 tweet (dengan batas baca 10.000) di tingkat aplikasi.
• Opsi pembayaran Enterprise memiliki fitur-fitur yang lebih canggih dan dirancang untuk kebutuhan bisnis. Namun, paket enterprise ini membebani developers/bisnis karena harganya yang sangat tinggi, yaitu hampir 42000$ per bulan.

4.1.2. Apify

Melalui Twitter Scraper dari Apify, kamu dapat mengekstrak informasi dari data Twitter yang tersedia untuk umum seperti hashtag, threads, reply, gambar, dan banyak lagi. Perubahan terbaru pada Twitter memberikan batasan baru dalam melihat dan scraping tweet di platform ini, karena pengguna hanya akan mengekstrak informasi publik hingga 100 tweet per profil. Scraper ini tidak dapat mengikis tweet terbaru tetapi dapat mengambil tweet yang paling disukai. Data yang diekstrak dapat diakses dalam format HTML, JSON, Excel, dan CSV.

Gambar berikut ini mengilustrasikan biaya layanan bulanan dari Apify. Layanan ini juga menawarkan diskon 10% untuk paket tahunan. Untuk informasi lebih lanjut, kunjungi Penetapan harga Apify.

4.1.3. Brightdata

Bright Data adalah platform pengumpulan data yang menawarkan web scraping tools, seperti server proxy, API, dan no-code solutions. Web Scraper Bright Data memberikan pengguna kemampuan untuk mengekstrak data dari profil Twitter publik, termasuk gambar, video, tweet, hashtags, dan banyak lagi.

Harga mulai dari 500$ bulanan untuk 15.000 halaman. Bright Data Twitter scraper data collector kompatibel dengan semua layanan web dan hasil datanya berformat Excel. Layanan ini juga menawarkan uji coba 7 hari, dan kamu bisa mencoba gratis platform ini sebelum membayar 500 dolar.

Siap tingkatkan kemampuan Twitter Scraper?
Coba proxy IPv6 untuk scraping canggih dan tentunya anonim.

4.1.4. Scrapingdog

Scrapingdog adalah API web scraping yang membantumu untuk scraping situs web apapun, termasuk Twitter. API ini dapat melakukan scraping tweet menggunakan ID tweet atau scraping berbagai laman publik untuk mengekstrak detail seperti follower, jumlah follower, dan website links.

Kamu akan dikenakan biaya 0,0009$ per halaman untuk scraping Twitter dalam paket standarnya saja sudah merupakan salah satu paket terbaik dari segi harga dibandingkan dengan Twitter scraper lainnya. Tool ini juga menyediakan uji coba gratis; kamu juga bisa membatalkan langgananmu kapan saja dan uangmu akan kembali dengan mudah. Untuk informasi lebih lanjut tentang cara scraping data menggunakan Scrapingdog, kamu dapat mengunjungi Dokumentasi Twitter Scraping API.

4.2. Python Libraries dan Packages untuk Scraping Twitter

Kamu sudah semakin mengenal API Twitter dan aplikasi seperti Apify, nah sekarang saatnya untuk melihat Python libraries dan packages untuk Twitter scraping.

4.2.1. Tweepy

Tweepy adalah open-source Python package yang memungkinkan developer untuk mengakses endpoint Twitter dengan lancar dan transparan. Namun, perlu kamu ketahui bahwa Twitter telah memberlakukan batasan pada jumlah permintaan yang dikirim ke API X/Twitter, di mana hanya 900 permintaan diperbolehkan setiap 15 menit. Pada bagian ini, kami bertujuan untuk melihat fungsionalitas Tweepy dan memberikan contoh sederhana. 

Untuk memulai, instal paket Tweepy menggunakan perintah "pip install Tweepy" pada IDE Python dan kemudian impor Tweepy juga. Lalu, daftarkan aplikasi klienmu ke Twitter. Buatlah sebuah aplikasi baru. Setelah selesai, kamu akan menerima bearer token.

Selanjutnya, kamu harus membuat instance "Client" untuk meneruskan bearer token yang telah kamu dapatkan dari API Twitter.

Dalam variabel query, kami menentukan sebuah field, mention, dan hashtag seperti yang ditunjukkan.

Untuk mencari tweet dari tujuh hari terakhir, kamu dapat menggunakan fitur search_recent_tweets yang tersedia di Tweepy. Untuk menentukan data yang kamu cari, kamu harus memasukkan query pencarian.

Jika kamu memiliki akses ke produk penelitian akademis, kamu dapat mengambil tweet yang berusia lebih dari 7 hari dari arsip lengkap tweet yang tersedia untuk umum.

Kamu dapat mengekspor hasilnya menggunakan kode berikut.

Ada juga banyak fungsi di Tweepy yang mampu melakukan berbagai tugas dalam kasus yang lebih kompleks dan spesifik.

4.2.2. Snscrape

Cara lain untuk mendapatkan informasi dari Twitter tanpa bergantung pada API adalah melalui Snscrape. Snscrape dapat mengambil informasi dasar seperti profil pengguna, konten tweet, sumber, dll. Tidak seperti Tweepy, tidak ada batasan jumlah tweet yang dapat kamu scrape atau tanggal tweet, dan kamu dapat mengekstrak data Twitter lama. Karena Snscrape tidak terhubung ke API Twitter, maka Snscrape tidak memiliki fungsionalitas seperti Tweepy.

Pada bagian ini, kami juga mengulas contoh dasar untuk mengikis beberapa data dari Twitter menggunakan Snscrape di Python.

Pertama, kamu harus menginstal Snscrape. Perhatikan bahwa kamu harus menginstal Python 3.8 atau lebih tinggi.

Pada langkah berikutnya, instal library berikut ini.

Kami mengirim query (dalam contoh ini, "query") menggunakan fungsi "TwitterSearchScraper (query).get_items" dan mendapatkan elemen dari pencarian seperti halnya hasil dari kolom pencarian Twitter.

Ada metode lain yang dapat digunakan untuk melakukan data scraping dari Twitter, seperti: TwitterSearchScraper, TwitterUserScraper, TwitterProfileScraper, TwitterHashtagScraper, TwitterTweetScraperMode, TwitterTweetScraper, TwitterListPostsScraper, TwitterTrendsScraper.

5. Kesimpulan

Twitter adalah sumber informasi sosiologis yang berharga di dunia maya. Dengan memanfaatkan informasi dari hasil scraping Twitter, kamu dapat merancang strategi penjualan dan meningkatkan pemasaran produkmu. Dalam artikel ini, kami telah menyajikan gambaran mendalam tentang berbagai aspek dan metode penguraian Twitter untuk mengekstraksi data yang dapat bermanfaat bagi bisnis atau penelitian.

Singkatnya, menurut batasan baru yang diberlakukan pada Twitter API v2 serta biaya yang tinggi, memilih scraper terbaik akan menjadi tantangan tersendiri. Kamu bisa mendapatkan keuntungan dari fitur-fitur yang lebih canggih pada API Twitter atau aplikasi pihak ketiga dan pustaka Python (Tweepy) yang terhubung langsung ke API Twitter. Tetapi, jumlah permintaan yang bisa kamu buat sangat terbatas. Di sisi lain, jika kamu ingin mengikis data yang tersedia untuk umum dan fitur-fitur dasar sudah memenuhi kebutuhanmu, opsi seperti Python Library Snscrape bisa menjadi pilihan tepat.

Siap tingkatkan kemampuan Twitter Scraper?
Coba proxy IPv6 untuk scraping canggih dan tentunya anonim.

Disclaimer: Materi ini dikembangkan secara khusus untuk tujuan informasional semata. Panduan ini tidak menyiratkan dukungan terhadap aktivitas (termasuk aktivitas ilegal), produk, atau layanan apapun. Kamu sepenuhnya bertanggung jawab untuk mematuhi hukum yang berlaku, termasuk hukum kekayaan intelektual saat menggunakan layanan kami atau mengandalkan informasi di sini. Kami tidak menerima tanggung jawab atas kerusakan yang timbul dari penggunaan layanan kami atau informasi yang terkandung di sini dengan cara apapun, kecuali jika secara tegas diwajibkan oleh hukum.