4.8 素晴らしい

Scrapyのプロキシ設定 - クリーンローテーションと大規模クローリング

世界100カ国以上、690万以上の回転住宅用IPにアクセス可能

プランの選択

10GB/月

30ユーロ/月 $30/月

€3/GB

$3/GB

特徴
  • 無制限スレッド
  • IPプールサイズ 6,900万IP
  • 100カ国以上
特徴
  • 無制限スレッド
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
  • IPプールサイズ 6,900万IP
  • 100カ国以上
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
人気のある

50GB/月

125ユーロ/月 $125/月

€2.5/GB

$2.5/GB

特徴
  • 無制限スレッド
  • IPプールサイズ 6,900万IP
  • 100カ国以上
特徴
  • 無制限スレッド
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
  • IPプールサイズ 6,900万IP
  • 100カ国以上
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
人気のある

100GB/月

225ユーロ/月 $225/月

€2.25/GB

$2.25/GB

特徴
  • 無制限スレッド
  • IPプールサイズ 6,900万IP
  • 100カ国以上
特徴
  • 無制限スレッド
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
  • IPプールサイズ 6,900万IP
  • 100カ国以上
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
人気のある

500GB/月

1000ユーロ/月 $1000/月

€2/GB

$2/GB

特徴
  • 無制限スレッド
  • IPプールサイズ 6,900万IP
  • 100カ国以上
特徴
  • 無制限スレッド
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
  • IPプールサイズ 6,900万IP
  • 100カ国以上
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
人気のある
GB数を選択
トータル： $0
GB数を選択
トータル： $0
1
100+
$5 /GB
  • 無制限スレッド
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
  • IPプールサイズ 6,900万IP
  • 100カ国以上
  • 無制限スレッド
  • ユーザー/パス認証
  • ローテーション／スティッキーセッション
  • 256ビットSSL暗号化
  • 速度 100+ Mbps
  • IPプールサイズ 6,900万IP
  • 100カ国以上
24時間返金 14日間返金保証 返金保証

99.9%

平均成功率

24/7

カスタマーサポート

100+

対象国

Scrapyでプロキシを使う理由

静的ISP-バージンIP

回転プロキシでブロックやキャプチャを回避

Scrapyでは、リクエストごとにプロキシをローテーションさせることができるため、クロールを遅くすることなく、IPレート制限やスクレイピング防止防御を回避しやすくなります。

静的ISP-バージンIP

地域別SERPまたはジオフェンスコンテンツをターゲットにする

地域固有のプロキシを持つScrapyは、地域のコンテンツをテストし、国際価格を収集し、地域の競合他社を追跡することができます。

静的ISP-バージンIP

IPv6プロキシプールでスピードとスケールを維持

IPv6プロキシは、Scrapyに巨大なIP範囲へのアクセスを与え、典型的なIPv4の希少性の問題なしに、大量の並列スクレイピングを可能にする。

Scrapyでプロキシを使う方法

1.middlewares.py または settings でプロキシを設定する。

ダウンローダミドルウェアを追加または変更します： クラス ProxyMiddleware： def process_request(self, request, spider)： request.meta['proxy'] = 'http://ip:port' DOWNLOADER_MIDDLEWARESでアクティベートする。

2.認証されたプロキシを使用する

HTTP Basic Auth ヘッダを手動で追加する： import base64 class ProxyAuthMiddleware： def process_request(self, request, spider)： request.meta['proxy'] = 'http://ip:port' user_pass = base64.b64encode(b'user:pass').decode('utf-8') request.headers['Proxy-Authorization'] = '基本' + user_pass

3.プロキシを動的に回転させる

プロキシリストを使い、リクエスト毎にプロキシを割り当てる： インポートランダム クラス RotateProxyMiddleware： def __init__(self, proxies)： self.proxies = proxies クラスメソッド def from_crawler(cls, crawler)： return cls(proxies=crawler.settings.getlist('PROXY_LIST')) def process_request(self, request, spider)： request.meta['proxy'] = random.choice(self.proxies)

なぜ
プロキシ？

プロキシの信頼性️
プロキシの信頼性
99%のアップタイムで、当社の家庭用プロキシネットワークは、お客様が中断やダウンタイムを経験することがないことを保証します。
グローバルなアクセス
グローバルなアクセス
Rapidseedboxプロキシサービスは、100カ国以上のIPアドレスへのアクセスを提供し、正確なグローバルオペレーションを可能にします。
膨大なIPプール
膨大なIPプール
当社のネットワークには690万を超えるホームIPアドレスがあります。この広範な地域カバーにより、他の追随を許さないサービス品質とブラウジング速度が保証されています。
自動IPローテーション
自動IPローテーション
当社のレジデンシャルプロキシは、IPアドレスを自動的にローテーションするように設計されており、シームレスなスクレイピングをお楽しみいただけます。
クリーンなプロキシ
クリーンなプロキシ
99.9%の成功率を誇る当社のIPレンジは、クリーンかつ倫理的に調達されており、スクレイピング作業に必要なプロキシを提供します。

よくある質問

ほとんどのご質問にはお答えしました。

ScrapyはSOCKS5プロキシをサポートしていますか？

ただし、PySocksがインストールされている必要があります。request.meta['proxy']でプロキシをsocks5://ip:portに設定します。

スパイダーやドメインごとにプロキシを割り当てることはできますか？

ミドルウェアにロジックを設定し、スパイダーやドメインをマッチさせ、条件付きで異なるプロキシを割り当てることができます。

Scrapyでプロキシチェーンはサポートされていますか？

ネイティブではない。マルチホップのプロキシには、ProxyChainsのような外部トンネリングツールを使うか、Scrapyの外部でカスタムVPNルーティングを行ってください。

Scrapyはプロキシが失敗したかどうかを検出できますか？

はい。HttpErrorMiddlewareを使用するか、response.statusコードをチェックして、タイムアウト、禁止、リダイレクトを検出します。

Scrapyでプロキシ認証情報を安全に保存するには？

ハードコーディングは避けてください。環境変数や暗号化された設定ファイルを使用し、設定やミドルウェアで読み込んでください。

100カ国以上対応

プロキシの主要ロケーション：
フラグ 米国 米国
英国旗 英国 イギリス
ドイツ国旗 ドイツ
フランス国旗 フランス
メキシコ国旗 メキシコ
カナダ国旗 カナダ
イタリア国旗 イタリア
ブラジル国旗 ブラジル