博客
关于我
JAVA使用爬虫代理的方案
阅读量:721 次
发布时间:2019-03-21

本文共 2906 字,大约阅读时间需要 9 分钟。

如何通过代理隧道实现IP转换技术作为开发人员,在进行网络调试或需要隐藏真实IP地址时,有时候需要通过代理隧道的方式来实现IP地址的转换。以下是一段示范代码,展示了如何在Java中使用代理服务器来访问外部URL。代码解析: Maven中可以通过添加依赖来实现:```xml
org.apache.http
httpcomponents-client
4.0.2

示范代码如下:

import java.io.ByteArrayOutputStream;import java.io.InputStream;import java.net.Authenticator;import java.net.HttpURLConnection;import java.net.InetSocketAddress;import java.net.PasswordAuthentication;import java.net Proxy;import java.net.URL;import java.util.Random;public class Demo {    public static void main(String[] args) throws Exception {        // 要访问的目标页面        String targetUrl = "http://httpbin.org/ip";        // 代理服务器        String proxyServer = "t.16yun.cn";        int proxyPort = 31111;        // 代理隧道验证信息        String proxyUser = "username";        String proxyPass = "password";        try {            URL url = new URL(targetUrl);            Authenticator.setDefault(new ProxyAuthenticator(proxyUser, proxyPass));            // 创建代理服务器地址对象            InetSocketAddress addr = new InetSocketAddress(proxyServer, proxyPort);            // 创建HTTP类型代理对象            Proxy proxy = new Proxy(Proxy.Type.HTTP, addr);            // 设置通过代理访问目标页面            HttpURLConnection connection = (HttpURLConnection) url.openConnection(proxy);            // 解析返回数据            byte[] response = readStream(connection.getInputStream());            System.out.println(new String(response));        } catch (Exception e) {            System.out.println(e.getLocalizedMessage());        }    }    public static byte[] readStream(InputStream inStream) throws Exception {        ByteArrayOutputStream outSteam = new ByteArrayOutputStream();        byte[] buffer = new byte[1024];        int len = -1;        while ((len = inStream.read(buffer)) != -1) {            outSteam.write(buffer, 0, len);        }        outSteam.close();        inStream.close();        return outSteam.toByteArray();    }}

默认代理认证实现类:

class ProxyAuthenticator extends Authenticator {    private String user, password;    public ProxyAuthenticator(String user, String password) {        this.user = user;        this.password = password;    }    protected PasswordAuthentication getPasswordAuthentication() {        return new PasswordAuthentication(user, password.toCharArray());    }}

代码说明:

  • imports部分包含了所有所需的网络相关类
  • 主方法中定义了目标访问地址,代理服务器信息以及相应的验证用户信息
  • 使用默认的ProxyAuthenticator设置代理认证信息
  • 通过InetSocketAddress创建代理服务器地址)
  • 创建Proxy对象并设置访问模式为HTTP
  • 使用HttpsURLConnection通过代理服务器打开目标URL
  • 通过readStream方法读取并转化返回数据
  • 核心技术点解释:

    本实现采用的是Proxy类的代理隧道功能(Proxy.class),通过在请求头中添加Proxy-Tunnel来启用隧道代理功能。默认的Authenticator实现可以通过自定义的ProxyAuthenticator来配置代理服务器的认证信息。

    对于一些网络调试场景,使用代理隧道方式可以有效隐藏真实IP地址,同时也方便在局域网中测试外部访问的服务。相比普通的翻墙或代理服务器,本质上这个实现只是简单地进行了IP转换,通过Proxy-Tunnel头字段让服务器لیمood diywanglian proxiesConnell毫不客气地 available。

    建议:

    在生产环境中使用这种方式需要注意IP地址的使用限制。多线程访问时,可以通过声明static变量或通过ThreadLocal来保证每个线程使用独立的代理IP信息。具体实现需要根据业务需求进行调优和合理控制。

    转载地址:http://xmoez.baihongyu.com/

    你可能感兴趣的文章
    NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
    查看>>
    NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
    查看>>
    NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
    查看>>
    NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
    查看>>
    NIFI大数据进阶_外部ZK模式集群1_实际操作搭建NIFI外部ZK模式集群---大数据之Nifi工作笔记0017
    查看>>
    NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
    查看>>
    NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
    查看>>
    NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
    查看>>
    NIFI大数据进阶_离线同步MySql数据到HDFS_说明操作步骤---大数据之Nifi工作笔记0028
    查看>>
    NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
    查看>>
    NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
    查看>>
    NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
    查看>>
    NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南002---大数据之Nifi工作笔记0069
    查看>>
    NIFI集群_内存溢出_CPU占用100%修复_GC overhead limit exceeded_NIFI: out of memory error ---大数据之Nifi工作笔记0017
    查看>>
    NIFI集群_队列Queue中数据无法清空_清除队列数据报错_无法删除queue_解决_集群中机器交替重启删除---大数据之Nifi工作笔记0061
    查看>>
    NIH发布包含10600张CT图像数据库 为AI算法测试铺路
    查看>>
    Nim教程【十二】
    查看>>
    Nim游戏
    查看>>
    NIO ByteBuffer实现原理
    查看>>
    Nio ByteBuffer组件读写指针切换原理与常用方法
    查看>>