如何用爬虫制作网站（python网页爬虫教程）？如果你对这个不了解，来看看！
一起学爬虫——一步一步打造爬虫代理池，下面是IT技术之家给大家的分享，一起来看看。
如何用爬虫制作网站
最近在使用爬虫爬取数据时，经常会返回403代码，大致意思是该IP访问过于频繁，被限制访问。限制IP访问网站最常用的反爬手段了，其实破解也很容易，就是在爬取网站是使用代理即可，这个IP被限制了，就使用其他的IP。对于高大上的公司来说，他们基本都使用收费的代理，基本不会有什么问题，比较稳定。像我这样的矮矬穷，肯定是用不起收费的代理。一般都是使用国内免费的代理，网上也有很多提供免费的代理。
很多人都是从网上爬取一批免费的代理IP，存放在存储媒介中，例如excel文件或者数据库。定时维护代理，保证代理可用。这个做法有个缺点，有些机器上并没有装有excel或者mysql、redis等数据库，这就导致了的代理池无法正常使用。
我之前是做java开发的，经常会把一些常用的数据放在ArrayList中，使用起来非常方便，效率高，因此借鉴之前在java方面的经验，将代理IP爬取下来存放在list列表中中，将list列表当做一个代理池，经常维护这个池里的代理。
我经常爬取免费代理的网站xicidaili
swei360等，这些免费的代理足够我使用了，能够应付大多数的爬虫工作。爬取过程需要用到requests和pyquery库，没有安装的同学自行安装。
首先介绍下爬取xicidaili网站的过程，
要先定义一个方法用于抓取xicidaili网站的，参数有两个，一个是url，另外一个是要爬取代理网页的页数，也就是要爬几页，方法如下：
def get_xicidaili_proxy(url,page): for i in range(1,page): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"} response = requests.get(url + str(i), headers=headers) html = response.text doc = pq(html) ip_list = doc('#ip_list')('tr:gt(0)').items() for item in ip_list: ip = item.find('td:nth-child(2)').text() port = item.find('td:nth-child(3)').text() http_type = item.find('td:nth-child(6)').text() proxy_ip = http_type + "://" + ip + ":" + port if http_type == 'HTTP': http_proxy_pool.append(proxy_ip) elif http_type == 'HTTPS': https_proxy_pool.append(proxy_ip) # print(proxy_ip)定义了http_proxy_pool和https_proxy_pool两个list变量，用于存储http类型和https类型的代理。 使用PyQuery根据css伪选择器提取出ip，端口和http类型信息，并按照http:// + ip+port的方式组合成一个字符串，存储在已经定义好的http_proxy_tool和https_proxy_pool变量中。
爬取swei360网站代理的方法就不贴出来了，原理和爬取xicidaili网站是一样的。
一个代理在使用之前要判断是否可用，我们使用request的get请求的返回代码判断代理是否可用，返回200，就说明代理可用，返回其他的代码就表示代理不可用，代码如下：
def detect_proxy(test_url,http_type,proxy): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"} proxy={ http_type : proxy } try: response = requests.get(test_url,proxies=proxy,headers=headers) if response.status_code in [200]: print('代理可用',proxy) return True else: print('代理不可用', proxy); delete_proxy(http_type,proxy) return False except(requests.exceptions.ProxyError,RequestException): print('代理不可用', proxy) delete_proxy(http_type, proxy) return False定义了detect_proxy方法用于检测代理是否可用，有三个参数，分别是测试网址，代理类型(http和https)和代理IP。当requests的请求返回200代码时，就表示该代理可用，返回True，否则就是不可用，返回False。当遇到request异常或者其他的错误也认为代理不可用，返回False。对于不可用的代理，要从代理池中删除。
从代理池中获取代理时，我们使用的是从代理池中随机返回一个代理，这样就避免经常使用一个代理，从而遭到拒绝访问。代码如下：
def get_https_proxy(): proxy_ip = random.choice(https_proxy_pool) return proxy_ipdef get_http_proxy(): proxy_ip = random.choice(http_proxy_pool) return proxy_ip为了保证代理的可用，当检测到一个代理不可用时，要及时的清理掉。就是从http_proxy_pool和https_proxy_pool列表中删除。
一个简单的爬虫代理池已经搭建好,总结下爬虫代理池搭建的过程：
从免费的代理网站上爬取代理信息，存放在列表中。提供从代理池中随机获取代理的方法。http类型的网站要使用http类型的代理，https类型的网站要使用https类型的代理，因此分别提供获取http和https类型代理的方法。提供检测代理是否可用的方法，代理可用返回True，不可用返回False。提供删除代理的方法。这个代理池其实相当的简单，有一个弊端就是在检测代理是否可用时，如果返回的不是200代码就认为代理不可用，返回其他代码的情况有很多，例如网络不可用、测试网站不可访问等。比较好的做法是给每个代理设置一个分值，例如10分，如果检测到不可用就减1，当分数为0时，就确定该代理不可用，直接从代理池中移除。检测到代理可用，就将分数设为10分。这种做法给每个检测到不可用代理一个改邪归正的机会，不至于一刀切的抛弃掉。
作者：Summer哥
出处：www.bigdata17.com
python网页爬虫教程
Python是一种简单易学，功能强大的编程语言，它有高效率的高层数据结构，简单而有效地实现面向对象编程。Python简洁的语法和对动态输入的支持，再加上解释性语言的本质，使得它在大多数编程语言的使用场景中都堪称最优解。
成熟的Python工程师在自己的工作中会使用不同的工具，也因此产生不同见解，有人爱Django，有人爱Numpy，有人爱Tensorflow，甚至有些程序员会自己创造工具。不过对于初学者而言，答案可能只有一个：爬虫。
那么什么是爬虫？互联网上有着无数的网页，包含着海量的信息，无孔不入、森罗万象。但很多时候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，那么我们如何去提取？难道还是要靠传统模式去粘贴和复制吗？在当今大数据时代，显然这种模式已经不适用，所以我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序。这就是爬虫！
特别的Python爬虫入门到实战课程，从最基础的爬虫分类讲起，用史上最详细的视频教程帮助你快速入门爬虫。只需要10个小时，你就能从新手完成进阶！
这是一门什么样的课程？
这是一门面向Python初学者和爬虫爱好者，提供爬虫知识入门和进阶的课程，可以帮助你快速入门。
这门课程有什么特点？
这门课程为零基础人士进行了特别优化。我们将从爬虫基础开始讲起，视频教程内容十分详细，涵盖几乎所有初学者必备知识点。可以帮你实现从零到进阶的过程。
在这门课程里，你将学到：
爬虫分类和ROBOTS协议爬虫URLLIB使用和进阶爬虫URL编码和GETPOST请求爬虫AJAX数据爬取和HTTPS访问爬虫实现URLLIB3和REQUESTS使用爬虫XPATH和LXML实战说了这么多，需要这个教程的小伙伴，转发文章私信小编“资料”