高效率使用隧道转发爬虫代理

大数据互联网时代，得网络爬虫得天下，网络爬虫采集数据的工作越来越重要。但大数据技术上存留的数据信息十分极大，只靠人力资源管理进行数据采集已远不能满足需求，因此效率高、降低成本的网络爬虫、变为爬取网站一种新方式。

隧道转发爬虫代理加强版爬虫代理IP是网络爬虫的必不可少常用工具，可以让数据采集效率高。那么如何使用代理IP，才能够保证 爬虫技术效率高、快速、精准地采集数据呢？

如何效率高运用爬虫技术IP代理？

一、高效率爬虫

高效率的数据采集工作离不开高效率的网络爬虫，要想网页爬虫稳定运行，就必须使用高匿爬虫代理IP。由于运用了代理网站服务器，得到了代理网站服务器的可信性，网页爬虫就可以利用大量的代理IP去访问。当然，要想一切正常爬取还务必一个功能齐全的变换分布式系统，那般才能够确保操作程序爬取到的数据信息能够一切正常存储运用。

二、使用爬虫代理

一般情况下，一个网站辨别爬虫采集最重要的依据就是IP地址。如果网站服务器检测到同一个IP地址多次大量发出请求，那这个IP肯定会被限制，将这一IP地址进行禁封。所以就需要运用代理IP，再度进行网络爬虫采集工作。而运用代理IP可以迅速变换IP，使大家无需惧怕反爬防范措施。

    import okhttp3.*;

    import java.io.IOException;
    import java.net.InetSocketAddress;
    import java.net.Proxy;
    import java.util.concurrent.TimeUnit;

    public class OkHttp {

        // 代理服务器(产品官网 www.16yun.cn)
        final static String proxyHost = "t.16yun.cn";
        final static Integer proxyPort = 31111;

        // 代理验证信息
        final static String proxyUser = "USERNAME";
        final static String proxyPass = "PASSWORD";

        static OkHttpClient client = null;

        static {
            Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));

            Authenticator proxyAuthenticator = new Authenticator() {
                public Request authenticate(Route route, Response response) {
                    String credential = Credentials.basic(proxyUser, proxyPass);
                    return response.request().newBuilder()
                            .header("Proxy-Authorization", credential)
                            .build();
                }
            };

            client = new OkHttpClient().newBuilder()
                    .connectTimeout(5, TimeUnit.SECONDS)
                    .readTimeout(5, TimeUnit.SECONDS)
                    .proxy(proxy)
                    .proxyAuthenticator(proxyAuthenticator)
                    .connectionPool(new ConnectionPool(5, 1, TimeUnit.SECONDS))
                    .build();
        }

        public static Response doGet() throws IOException {
            // 要访问的目标页面
            String targetUrl = "http://httpbin.org/ip";

            Request request = new Request.Builder()
                    .url(targetUrl)
                    .build();
            Response response = client.newCall(request).execute();
            return response;
        }

        public static void main(String[] args) throws IOException {
            Response response1 = doGet();
            System.out.println("GET请求返回结果：");
            System.out.println(response1.body().string());
        }

    }