Puppeteerで無料プロキシを使用する方法

Puppeteer のコンテキストにおけるプロキシの理解

Chrome用のマリオネットツールキット、パペティアは、デジタルステージを優雅に舞い踊る。しかし、その舞いには時として外套、つまり仮面をまとう必要がある。それがプロキシだ。ウェブ上に散りばめられた、はかない幻影のような無料プロキシは、あなたのIPアドレスを隠したり、地域制限のあるコンテンツをアンロックしたりできる。しかし、インターネットの宝庫から得られるあらゆる贈り物と同様に、プロキシは諸刃の剣だ。壊れやすく、しばしば信頼性が低く、そして時には不注意な者にとっては悪魔の歌となることもある。

表1: 無料プロキシの種類とその長所と短所

プロキシタイプ	説明	長所	短所
ウェブ	HTTPトラフィックのみをルーティングします	シンプルで広くサポートされている	HTTPSが使えないので安全性が低い
HTTPS/SSL	SSL/TLS で HTTP トラフィックを保護します	安全で暗号化された	時には遅く、より稀に
SOCKS4/5	HTTPだけでなく、あらゆるトラフィック（TCP）をルーティングします	多用途、匿名	Puppeteerには追加の設定が必要です
透明	宛先サーバーにIPアドレスを公開します	簡単に見つけられる	匿名性なし
匿名	IPアドレスを隠しますが、プロキシとして識別されます	基本的なプライバシー	まだブロックされている可能性があります
エリート/ハイアノン	IPを隠し、プロキシとして識別されない	最高のプライバシー	見つけるのが最も難しい

ステップ1：無料プロキシの収集

まずは、プロキシのリストをキュレーションするということから始めましょう。多くのオンラインアグリゲーター、例えば 無料プロキシリスト次のように、IP とポートのテーブルが出力されます。

IPアドレス ポート プロトコル 匿名 国 195.154.161.130 8080 HTTP Elite FR 103.216.82.198 6667 HTTPS Anonymous IN

大胆な人には、プロキシの取得と検証を自動化することをお勧めします。そうしないと、スクリプトが無効なアドレスに遭遇し、デジタル絶望に陥ってしまいます。

ステップ2: プロキシを使用するようにPuppeteerを構成する

呪文はシンプルだが、魔法は精密だ。操り人形師は --プロキシサーバー ブラウザ起動時の引数:

const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch({ args: ['--proxy-server=195.154.161.130:8080'] // プロキシに置き換えてください }); const page = await browser.newPage(); await page.goto('https://httpbin.org/ip'); console.log(await page.content()); await browser.close(); })();

これにより、マリオネットは新しいマスクの後ろで踊ります。

ステップ3: 認証 - プロキシ認証の儀式

一部のプロキシはユーザー名とパスワードを要求する。親切な指揮者であるPuppeteerは、これらの情報を以下の方法で提供できる。 ページ認証:

const browser = await puppeteer.launch({ args: ['--proxy-server=proxy.example.com:3128'] }); const page = await browser.newPage(); await page.authenticate({ username: 'myuser', password: 'mypassword' }); await page.goto('https://httpbin.org/ip');

最初のナビゲーションの前にこれを呼び出してください。そうしないと、ゲートキーパーがあなたの入場を阻止することになります。

ステップ4：影を回転させる - 複数のプロキシを使用する

単独のプロキシに頼るのは傲慢です。賢明な人はローテーションを調整します。ここでは、複数のプロキシを循環させる最小限の振り付けをご紹介します。

const proxies = [ '195.154.161.130:8080', '103.216.82.198:6667', // ... その他のプロキシ ]; for (const proxy of proxies) { const browser = await puppeteer.launch({ args: [`--proxy-server=${proxy}`] }); const page = await browser.newPage(); await page.goto('https://httpbin.org/ip'); console.log(`Proxy ${proxy}:`, await page.content()); await browser.close(); }

より洗練されたバレエの場合は、ランダム化、ヘルスチェック、エラー回復を検討してください。

ステップ5：プロキシの有効性のテストと検証

プロキシの約束は真夏の夢のようにはかないものです。信頼する前に必ずテストしてください。

• 次のようなエンドポイントを使用する https://httpbin.org/ip または https://api.ipify.org IP クロークを確認します。
• 応答時間を観察します。無料のプロキシは遅くなったり不安定になったりすることがよくあります。
• スクリプトにタイムアウトと再試行を実装します。

表2: プロキシ検証チェックリスト

テスト	Puppeteerの実装例
IP変更	訪問 https://httpbin.org/ip 応答を解析する
HTTP(S) サポート	HTTP URLとHTTPS URLの両方を試してください
レイテンシー	測定 Date.now() ナビゲーションの前後
ブロック検出	応答内のHTTP 403/429またはCAPTCHAを確認する
プロキシ認証	必要に応じて資格情報の有無にかかわらずテストします

ステップ6: プロキシ障害の処理とエラー回復

この道は危険に満ちています。スクリプトは弾力性のあるものでなければなりません。

try { await page.goto('https://example.com', {timeout: 30000}); } catch (error) { console.log('Proxy failed:', proxy, error.message); // オプションで、新しいプロキシで再試行します }

無限ループを回避するために、繰り返し失敗する場合は、プールからプロキシを自動的に削除することを検討してください。

セキュリティと倫理的考察

無料プロキシは野花のようなものです。美しい花ですが、毒が混じっていることもあります。信頼できないプロキシ経由で機密データを送信しないでください。相手側にはスニファーが潜んでいる可能性があります。公共の場や機密情報を含まないブラウジングにのみ使用してください。そして、フランスの哲学者たちの精神に則り、robots.txtとデジタルコモンズを常に尊重してください。

表3: 無料プロキシと有料プロキシ

側面	無料プロキシ	有料プロキシ
信頼性	低い、オフラインが多い	高い稼働率を保証
スピード	変動性があり、遅いことが多い	高速、一貫性
匿名	疑わしい	強力で構成可能
安全	信頼できない、危険	信頼できるサポート
料金	無料	サブスクリプションまたは従量課金制
長寿	短命	長期的、安定的

付録: プロキシリストの取得の自動化

自動化のための詩的なタッチ：シンプルな方法で毎日新しいプロキシを取得します アクシオス リクエストして解析する さようなら:

const axios = require('axios'); const cheerio = require('cheerio'); async function fetchProxies() { const res = await axios.get('https://free-proxy-list.net/'); const $ = cheerio.load(res.data); const proxies = []; $('#proxylisttable tbody tr').each((i, row) => { const cols = $(row).find('td'); const ip = $(cols[0]).text(); const port = $(cols[1]).text(); const https = $(cols[6]).text() === 'yes'; proxies.push(`${ip}:${port}`); }); return proxies; }

スクリプトが毎朝プロキシ牧草地から新鮮な空気を吸い込み、Web 自動化を繊細かつ活発に吐き出すようにしましょう。