Mengikis: Apa itu, Bagaimana Cara Menggunakannya, & Lainnya!

Jika Anda pernah bermain-main dengan data media sosial, Anda mungkin pernah menemukan alat yang disebut "snscrape."

Sebagai seseorang yang sering menggunakan berbagai alat perangkat lunak, saya menemukan snscrape sebagai alat yang hebat untuk beberapa tugas, terutama ketika dikombinasikan dengan proxy.

Jadi, mari kita uraikan apa itu snscrape, bagaimana cara kerjanya, dan mengapa snscrape dapat menjadi pengubah permainan untuk alur kerja pengumpulan data Anda.

TL; DR:

• Snscrape adalah alat Python untuk mengikis media sosial tanpa menggunakan API.  
• Ini bekerja dengan Twitter/X, Facebook, Instagram, Redditdan banyak lagi.  
• Anda dapat mengekstrak tweet, profil pengguna, hashtag, dan menyimpannya ke CSV.  
• Untuk penggosokan skala besar, gunakan proksi untuk menghindari blokir dan batas laju.

Daftar Isi

1. Apa itu Snscrape?
2. Bagaimana Cara Kerja Snscrape?
3. Cara Menggunakan Snscrape
4. Data Apa Saja yang Bisa Anda Kikis dari Twitter dengan Snscrape?
5. Kasus Penggunaan Snscrape
6. Cara Menambahkan Proksi ke Snscrape
7. Mengapa Anda Harus Menggunakan Proksi dengan Snscrape
8. Alternatif untuk Snscrape
9. Apakah Snscrape Legal?
10. Pertanyaan yang Sering Diajukan di Snscrape
11. Kesimpulan.

1. Apa yang dimaksud dengan Snscrape?

Snscrape adalah sebuah pustaka Python yang memungkinkan Anda untuk mengikis data dari platform media sosial seperti X (Twitter), Facebook, dan Instagram.

Tidak seperti banyak alat scraping lainnya, snscrape tidak memerlukan kunci API, yang membuatnya dapat digunakan oleh pengguna yang lebih luas, termasuk mereka yang mungkin tidak memiliki pengetahuan teknis untuk menggunakan API.

Manfaat Snscrape

Snscrape hadir dengan beberapa keunggulan yang patut dicatat:

1. Tidak diperlukan Kunci API: Ini adalah keuntungan yang signifikan. Sebagian besar platform media sosial memerlukan kunci API untuk pengikisan data, yang dapat menjadi masalah bagi banyak pengguna. Ini adalah salah satu alasan mengapa banyak orang lebih memilih Snscrape.
2. Fleksibilitas: Anda dapat menyesuaikan permintaan pencarian Anda seluas atau sespesifik yang Anda butuhkan. Fleksibilitas ini sangat penting untuk penelitian yang membutuhkan pengumpulan data yang bernuansa.
3. Kemudahan penggunaan: Bagi mereka yang sudah terbiasa dengan Python, snscrape sangat mudah digunakan. Perintah dan strukturnya yang sederhana membuatnya mudah diintegrasikan ke dalam alur kerja pengumpulan data Anda.

2. Bagaimana Cara Kerja Snscrape?

Menggunakan snscrape relatif mudah, terutama jika Anda memiliki pemahaman dasar tentang Python.

Alat ini bekerja dengan mengikis situs web media sosial untuk mendapatkan data yang tersedia secara publik. Misalnya, Anda dapat menggunakannya untuk mengumpulkan tweet yang mengandung kata kunci tertentu, hashtag, atau dari pengguna tertentu.

Berikut ini contoh sederhananya:

Jika Anda ingin kikis tweet yang mengandung hashtag #technology, Anda akan menulis skrip Python menggunakan snscrape untuk mencari hashtag ini dan kemudian mengekstrak tweet yang relevan.

Berikut ini cara kerja Snscrape:

• Mengikis: Anda menjalankan Snscrape di komputer Anda untuk mengumpulkan postingan publik dari platform seperti X (Twitter).
• Proxy: Proxy menyembunyikan IP Anda dan membantu menghindari pemblokiran saat melakukan scraping.
• Web: Snscrape mengirimkan permintaan ke situs web dan memuat data publik, seperti tweet.
• Data: Kemudian mengubah data tersebut menjadi format yang bersih dan mudah dibaca-seperti JSON atau CSV-untuk Anda gunakan.

3. Cara Menggunakan Snscrape

Untuk memulai, Anda memerlukan pengaturan dasar yang mencakup Python yang terinstal di komputer Anda. Kemudian, Anda dapat menginstal snscrape menggunakan pip, penginstal paket Python. Setelah terinstal, Anda bisa mulai menulis skrip untuk mengikis data yang Anda butuhkan.

Berikut adalah panduan sederhana untuk membantu Anda memulai dengan alat canggih ini.

a. Instalasi

Pertama, Anda perlu menginstal snscrape. Buka command prompt atau terminal Anda dan ketik perintah berikut:

bashCopy kode

pip install snscrape

Perintah ini menggunakan manajer paket Python, pip, untuk mengunduh dan menginstal scraper.

b. Menulis Naskah Dasar

Setelah Anda menginstalnya, Anda bisa mulai menulis skrip Python untuk mengikis data. Katakanlah Anda ingin mengumpulkan tweet dengan hashtag tertentu. Berikut ini contoh dasarnya:

import snscrape.modules.twitter as sntwitter # Tentukan jumlah tweet yang akan di-scrape max_tweets = 100 # Menggunakan TwitterSearchScraper untuk mengikis data dan menambahkan tweet ke dalam daftar for i, tweet in enumerate(sntwitter.TwitterSearchScraper ('#technology').get_items()): if i > max_tweets: break print(tweet.content)

Skrip ini akan mengikis 100 tweet terbaru yang mengandung hashtag #technology.

c. Jalankan Skrip Anda

Simpan skrip Anda sebagai file .py dan jalankan menggunakan Python. Skrip akan dijalankan, dan Anda akan mulai melihat tweet yang dicetak di command prompt atau terminal Anda.

d. Cara Menyesuaikan Kueri Anda

Anda dapat mengubah kueri pencarian dengan mudah. Misalnya, jika Anda ingin mengikis tweet dari pengguna tertentu, Anda dapat mengubah kueri di bagian TwitterSearchScraper metode:

sntwitter.TwitterSearchScraper('from:username')

Menggantikan nama pengguna dengan pegangan Twitter pengguna yang tweet-nya ingin Anda kikis.

e. Menangani Data

Data yang Anda kikis dapat disimpan dalam berbagai format. Misalnya, Anda mungkin ingin menyimpan tweet dalam file CSV untuk memudahkan analisis. Anda dapat memodifikasi skrip Anda untuk menulis data yang dikeruk ke dalam file:

import csv # ... [kode sebelumnya] # Buka/buat file untuk menambahkan data csvFile = open('scraped_tweets.csv', 'a', newline='', encoding='utf8') # Gunakan penulis csv csvWriter = csv.writer(csvFile) csvWriter.writerow(['id', 'date', 'tweet']) for i, tweet in enumerate(sntwitter.TwitterSearchScraper('#technology').get_items()): if i > max_tweets: break csvWriter.writerow([tweet.id, tweet.date, tweet.content]) csvFile.close()

Skrip ini akan menyimpan ID tweet, tanggal, dan konten ke dalam file CSV bernama scraped_tweets.csv.

4. Data Apa yang Dapat Anda Kikis dari Twitter Dengan Snscrape?

Snscrape dapat membantu Anda mengekstrak berbagai macam data dari X (Twitter). Berikut ini adalah rincian berbagai titik data yang dapat Anda kikis dengan snscrape:

a. Tweet

Penggunaan utama snscrape adalah untuk mengumpulkan tweet. Ini termasuk:

• Konten Tweet: Teks aktual dari tweet.
• ID Tweet: Pengenal unik untuk setiap tweet.
• Tanggal dan waktu: Saat tweet diposting.
• URL: Tautan apa pun yang disertakan dalam tweet.

b. Informasi Pengguna

Snscrape memungkinkan Anda mengumpulkan informasi tentang pengguna Twitter, seperti:

• Nama pengguna: Pegangan Twitter pengguna.
• ID Pengguna: Pengenal unik untuk setiap pengguna.
• Deskripsi profil: Bio atau deskripsi profil pengguna.
• Lokasi: Lokasi yang disediakan oleh pengguna di profil mereka (jika tersedia).

c. Metrik Keterlibatan

Meskipun snscrape tidak secara langsung mengambil metrik keterlibatan seperti suka atau retweet, Anda masih bisa mengumpulkannya:

• Jumlah Retweet: Jumlah kali sebuah tweet di-retweet (untuk beberapa tweet).
• Jumlah balasan: Jumlah balasan ke sebuah tweet (untuk beberapa tweet).

d. Tagar dan Sebutan

Snscrape dapat mengekstrak elemen tertentu di dalam tweet, termasuk:

• Hashtag: Tagar apa pun yang digunakan dalam tweet.
• Menyebutkan: Nama pengguna akun X (Twitter) lain yang disebutkan dalam tweet.

e. Konten Media

Jika sebuah tweet berisi media, snscrape dapat membantu Anda mengidentifikasi:

• URL Media: Tautan ke gambar atau video yang dilampirkan pada tweet.

f. Kueri Pencarian Lanjutan

Snscrape mampu menangani kueri pencarian tingkat lanjut, sehingga Anda dapat mengikis tweet berdasarkan:

• Kata kunci: Tweet yang berisi kata atau frasa tertentu.
• Rentang Tanggal: Tweet yang diposting dalam jangka waktu tertentu.
• Lokasi Geografis: Tweet dari lokasi geografis tertentu (jika data lokasi tersedia).

Setiap tweet akan menyertakan kolom seperti:

• id: ID tweet unik
• tanggal: Saat tweet diposting
• konten: Teks tweet lengkap
• user.username: Siapa yang mempostingnya
• retweetCount, likeCountdll.

g. Data Utas dan Percakapan

Anda juga dapat menggunakan snscrape untuk mengikuti utas percakapan, mengekstraksi:

• Tweet percakapan: Membalas dan mengutip tweet, memungkinkan Anda melacak percakapan.

5. Kasus Penggunaan Snscrape: Dari yang sederhana hingga yang canggih

Snscrape memiliki berbagai macam aplikasi. Berikut ini adalah cara orang-orang memanfaatkannya-mulai dari pengikisan sehari-hari hingga pengaturan otomatis yang lebih canggih.

a. Kasus Penggunaan Snscrape Sehari-hari

Berikut ini adalah cara yang paling umum digunakan pengguna untuk memanfaatkan snscrape untuk tugas sekali pakai atau proyek berskala kecil:

• Riset pasar: Mengikis penyebutan produk, merek, atau tren untuk memahami bagaimana orang membicarakannya secara real time.
• Penelitian akademis: Mengumpulkan set data untuk studi tentang wacana politik, perilaku online, atau opini publik.

Anda tidak memerlukan penyiapan besar-besaran-hanya skrip Python dan permintaan pencarian yang jelas.

b. Mengotomatiskan Goresan dengan Cronjobs

Jika Anda ingin mengumpulkan data secara terus menerus - harian, per jam, atau mingguan - Anda dapat menjadwalkan skrip snscrape Anda menggunakan cronjobs (Linux/macOS) atau Windows Task Scheduler.

Ini sangat ideal untuk menangkap mention harian atau per jam atau untuk membangun data deret waktu untuk tren atau sentimen.

c. Penggalian dengan Target Geografis untuk Wawasan Lokal

Butuh data berbasis lokasi? Snscrape mendukung filter geografis menggunakan "dekat:" dan "di dalam:" dalam kueri Anda.

Contoh:

Gunakan ini untuk hal-hal seperti: pemantauan tanggap bencana regional atau sentimen atau penyebutan merek tertentu di kota.

Anda bahkan dapat menggabungkan ini dengan sejak: dan sampai: untuk data spesifik tanggal.

d. Pelacakan Utas & Jalur Sains Data

Untuk analisis yang lebih kompleks, snscrape sering digunakan:

• Mengikis seluruh utas percakapan (termasuk balasan dan kutipan)
• Membangun set data berlabel untuk NLP, pemodelan topik, atau pembelajaran mesin
• Menyederhanakan ekstraksi tweet ke dalam DataFrame pandas untuk preprocessing

Contoh:

Dari klasifikasi sentimen hingga pengelompokan percakapan berdasarkan tema, Snscrape adalah favorit di ilmu data dan komunitas penelitian.

6. Cara Menambahkan Proksi ke Snscrape

Menambahkan proxy untuk snscrape dapat meningkatkan kemampuan scraping Anda sepuluh kali lipat. Aplikasi ini memberikan anonimitas dan melewati batas kecepatan serta konten yang diblokir secara geografis.

Berikut adalah panduan langkah demi langkah tentang cara mengintegrasikan proxy dengan snscrape:

a. Memilih Layanan Proxy

Pilih layanan proxy yang andal. Ada berbagai macam jenis-jenis proxy tersedia, termasuk layanan gratis dan berbayar. Layanan yang terakhir umumnya menawarkan keandalan dan kecepatan yang lebih baik. Saya menyarankan jenis proxy berikut ini untuk digunakan bersama Snscrap.

• Hunian berputar untuk siluman
• Proksi pusat data untuk kecepatan
• Proksi seluler untuk pengikisan Instagram

b. Dapatkan Informasi Proxy Anda

Setelah Anda memilih layanan proxy, kumpulkan informasi yang diperlukan: alamat server proxy, nomor port, dan, jika ada, nama pengguna dan kata sandi.

c. Konfigurasi Skrip Python Anda

Selanjutnya, Anda perlu memodifikasi skrip Python Anda untuk merutekan permintaan snscrape melalui proksi.

Berikut ini contoh cara melakukan ini:

import snscrape.modules.twitter as sntwitter import requests # Konfigurasi proxy proxy = { 'http': 'http://username:password@proxyserver:port', 'https': 'https://username:password@proxyserver:port', } # Buat sesi dan konfigurasikan untuk menggunakan proksi session = requests.Session() session.proxies.update(proxies) # Gunakan snscrape dengan sesi untuk tweet di sntwitter.TwitterSearchScraper ('keyword', session=session).get_items(): print(tweet.content)

Menggantikan nama pengguna, kata sandi, proxyserver, dan pelabuhan dengan detail proxy Anda. The kata kunci harus diganti dengan istilah pencarian Anda.

7. Mengapa Anda Harus Menggunakan Proksi dengan Snscrape

1. Melewati batas kecepatan: Proksi dapat membantu menghindari batas kecepatan X (Twitter) dengan mendistribusikan permintaan di berbagai alamat IP.
2. Hindari larangan IP: Pengikisan reguler dari IP yang sama dapat menyebabkan pemblokiran. Proxy mengurangi risiko ini dengan memutar alamat IP Anda.
3. Mengakses konten yang dibatasi secara geografis: Proksi dapat memberikan alamat IP dari lokasi yang berbeda, sehingga memungkinkan akses ke konten khusus wilayah.
4. Anonimitas dan privasi: Menggunakan proxy menyembunyikan alamat IP asli Anda, meningkatkan privasi Anda dan mengurangi risiko dilacak.
5. Peningkatan kinerja: Proksi dapat menghasilkan pengambilan data yang lebih cepat dan mengurangi risiko kelebihan beban server dengan mendistribusikan beban.

8. Alternatif untuk Snscrape

Meskipun snscrape adalah alat yang tangguh untuk scraping data media sosial, ada beberapa situasi di mana Anda mungkin memerlukan alternatif (alat scraping web terbaik). Entah itu karena persyaratan fitur yang berbeda, dukungan platform, atau kemudahan penggunaan, memeriksa alat lain mungkin bisa membantu. Berikut adalah beberapa alternatif penting untuk snscrape:

a. Twint

Twint adalah pustaka Python populer lainnya untuk menggores Twitter data. Twint dikenal karena kemampuannya untuk mengikis sejumlah besar tweet tanpa memerlukan API Twitter atau otentikasi apa pun. Twint dapat mengambil berbagai informasi, termasuk tweet, pengikut, suka, dan banyak lagi. Ini sangat berguna bagi mereka yang perlu mengumpulkan kumpulan data besar dari Twitter.

b. Scrapy

Scrapy adalah yang lebih umum web scraping kerangka kerja di Python. Meskipun tidak dirancang khusus untuk media sosial, ini sangat kuat untuk mengekstrak data dari situs web apa pun. Scrapy cocok untuk tugas-tugas scraping yang kompleks, dan menawarkan kustomisasi yang luas serta kontrol atas pekerjaan scraping Anda. Ini ideal untuk pengguna yang memiliki keterampilan pemrograman yang lebih maju dan perlu mengikis data dari berbagai sumber.

c. BeautifulSoup

BeautifulSoup adalah pustaka Python untuk mengurai dokumen HTML dan XML. Ini sering digunakan dalam kombinasi dengan pustaka permintaan untuk mengikis data dari halaman web. Meskipun membutuhkan lebih banyak pengaturan dibandingkan dengan snscrape, BeautifulSoup menawarkan fleksibilitas yang tinggi dan kuat dalam mengekstraksi data dari halaman web yang belum tentu merupakan platform media sosial.

d. Octoparse

Octoparse adalah alat ekstraksi data tunjuk-dan-klik yang mudah digunakan dan tidak memerlukan keahlian pengkodean. Ini cocok untuk non-programmer atau mereka yang lebih memilih antarmuka grafis untuk tugas-tugas scraping. Octoparse dapat menangani ekstraksi data yang sederhana dan kompleks dari berbagai jenis halaman web, termasuk situs media sosial.

e. Data Miner

Data Miner adalah ekstensi peramban Chrome dan Edge yang memungkinkan Anda mengikis data dari halaman web dan masuk ke berbagai format file, termasuk Excel dan Google Spreadsheet. Ekstensi ini sangat ramah pengguna dan cocok bagi mereka yang perlu mengikis data dengan cepat tanpa menulis kode apa pun.

f. ParseHub

ParseHub adalah alat ekstraksi data visual yang dilengkapi dengan teknologi pembelajaran mesin untuk mengidentifikasi, mengekstrak, dan mentransformasi data dari halaman web. Periksa halaman kami ParseHub Ulasan. Ini adalah alat yang ampuh untuk mengikis situs web yang kompleks dan dapat menangani situs web dengan JavaScript dan AJAX.

9. Apakah Snscrape legal?

Ya-snscrape hanya mengikis data yang dapat dilihat oleh publikseperti tweet, nama pengguna, hashtag, dan stempel waktu. Hal ini dilakukan tidak mengakses pesan pribadi atau konten yang dilindungi login.

Meskipun begitu, legalitas tidak selalu hitam dan putih. Sementara mengorek data publik pada umumnya legal, platform seperti Twitter/X dan Instagram memiliki persyaratan layanan yang mungkin melarang akses otomatis.

🛡️ Cara menggunakan snscrape secara bertanggung jawab:

• Jangan mengorek di balik paywall atau login
• Menghormati batas tarif dan integritas situs
• Selalu periksa kebijakan terbaru platform

Pelajari lebih lanjut di dalam: Apakah web scraping legal?

10. Pertanyaan yang Sering Diajukan di Snscrape

11. Kata Penutup

Snscrape adalah alat yang hebat untuk ekstraksi data media sosial. Dengan kemampuan dasar Python, Anda dapat menyesuaikan pengikisan data agar sesuai dengan berbagai macam kebutuhan.

Pastikan Anda menggunakan snscrape dengan benar dan etis untuk menghindari masalah.

Sekarang, mari kita bersenang-senang!

Apakah Anda seorang Dewa Pengikis atau seorang Noob?

Ikuti kuis seru berikut ini dan pelajari tentang kepribadian Anda