如何用代码进入程序（如何调出应用的程序代码）？如果你对这个不了解，来看看！
如何阅读代码？，下面是码农的小时代给大家的分享，一起来看看。
如何用代码进入程序
试着回想一下，当你在学校就读期间，学习新的编程语言时，学习的基本情况是：从语法开始，学习程序的选择、循环结构，再编写类似"Hello World"的小程序。而类似经历在学校学习C、C++、C#的过程中不断地重复着，但却有一个残酷的现实：实践不多，读别人的代码太少。
到公司工作后，新发起一个项目，通常要选择编程语言、框架与架构，然后根据业务进行编码、测试、发布等。这是一个从需求到实现的正向构建过程。
但大多数都是老项目，你进入的角色是修补工，为现有的代码添砖加瓦。而现在要阅读历经几代码农写的代码并向他人讲述，这就需要读懂源码，并逐层抽象，这是一个反向工程的问题。
那么，现在你就遇到这样的情况：编程语言你不了解，业务流程你也不熟悉。而你又需要阅读代码并向其他人讲述，你会怎样做？
说白了，程序代码实现的是业务逻辑，有了业务，才谈要选用什么样的技术，什么样的语言，所以阅读代码逃脱不了如下几个步骤：
1 了解业务，大致了解业务的流程，知道业务是什么，需要哪些环节。
2 安装部署、调测流程，看整体运效果。
3 理流程看交互：组件及其之间的关系。
4 使用IDE工具，快速理清你重点关注的业务逻辑及代码组织方式。
了解了大致的步骤后，我再谈谈前段时间阅读一个小项目的体会，很不幸地，在这个小项目中我遇到了魔鬼数字的问题，函数的实参用了数字，形参词不达意，更为不幸的是，该函数调用了第三方代码库，如果想知道就得不得不去阅读第三方代码，代码的可读性极不友好；另外，遇到的一个问题是代码的组织极为混乱，函数调用绕来绕去，一会就晕头转向。我最终不得不，一边阅读代码，一边画逻辑架构，写流程图，关键调用处一点一点地记录。此时，一定要憋着一股劲，一定要逼自已，浑身发热，快要爆粗口时，再请教人。因为此时你可以真正遇到问题了，而这个问题是你在短时间内无法超越的？对于魔鬼数字之类，没有现成的资料说明这些到底代表什么含义，那么投降吧，向知道的人请教。
如何调出应用的程序代码
了解了爬虫原理和网页构造后，我们知道了爬虫的任务就是两件事情：请求网页和解析提取信息。本章就从这两个方面入手，首先安装请求和解析网页的Python第三方库，之后将手把手教读者编写一个简单的爬虫程序。
本章涉及的主要知识点如下。
·Python第三方库：学会Python第三方库的概念及安装方法。
·Requests库：学会Requests库的使用原理和方法。
·BeautifulSoup库：学会BeautifulSoup库的使用原理和方法。
·Requests和BeautifulSoup库组合应用：通过本章最后给出的实例，演示如何利用这两大库进行爬虫的方法和技巧。
3.1 Python第三方库本节主要介绍Python第三方库的基本概念和安装方法，通过第三库的使用，才能让爬虫起到事半功倍的效果。
3.1.1 Python第三方库的概念
Python之所以强大并逐渐流行起来，一部分原因要归功于Python强大的第三方库。这样用户就不用了解底层的思想，用最少的代码写出最多的功能。就像制造自行车一样，需要：
·铁矿石；
·橡胶；
·扳手等工具。
如果没使用第三库的话，就需要从原始材料开始，一步步制造下去，一个车轮子都不知道要造多久呢！而使用第三方库就不一样了，车轮子和车身都已经制造好了，拼接一下就可以使用了（有些车直接就可以用了）。这种拿来即用的就是Python第三方库。
3.1.2 Python第三方库的安装方法
既然Python第三方库如此好用，那么本节就介绍如何安装这些方便的第三方库。
注意：安装步骤以Windows 7系统为准。
1.在PyCharm中安装
（1）打开PyCharm，在菜单栏中选择File∣Defalut Settings命令。
（2）在弹出的对话框中选择左侧的Project Interpreter选项，在窗口右方选择Python环境。
（3）单击加号按钮添加第三方库。
（4）然后输入第三方库名称，选中需下载的库。
（5）勾选Install to users site复选框，然后单击Install Package按钮。操作过程如图3.1和图3.2所示。
图3.1 PyCharm中安装第三库步骤1
图3.2 PyCharm中安装第三库步骤2
在安装完成后，PyCharm会有成功提示。读者也可以通过展开Project Interpreter选项查看已经安装的库，单击减号按钮可以卸载不需要的库。
2.在PIP中安装
在安装Python后，PIP也会同时进行安装，我们可以在命令行cmd中输入：
pip --version如果出现下面提示，则表示PIP成功安装。
pip 9.0.1 from D:\anaconda\lib\site-packages (python 3.6)在PIP成功安装之后，在命令行cmd中输入以下代码即可下载第三方库：
pip3 install packagename#packagename为安装库的名称，在这里输入pip3 install beautifulsoup4即可下载beautifulsoup4库了。注意：如果为Python 2，PIP 3改为PIP。
安装完后有提示：
Successfully installed packagename3.下载whl文件
有时候前面的两种方法安装会出现问题，可能是由于网络原因，也可能是包的依赖关系而引起的，这时候就需要手动安装，这种方法最稳妥。
（1）进入http://www.lfd.uci.edu/~gohlke/pythonlibs/，搜索lxml库，然后单击下载到本地，如图3.3所示。
图3.3 下载whl文件
（2）然后在命令行输入：
pip3 install wheel（3）等待执行，执行成功后在命令行输入：
cd D:\python\ku#后面为下载whl 文件的路径（4）最后在命令行输入：
pip3 install lxml-3.7.2-cp35-cp35m-win_amd64.whl# lxml-3.7.2-cp35-cp35m-win_amd64.whl 是你下载的文件的完整路径名这样就可以下载库到本地了，通过whl文件，可以自动安装依赖的包。
注意：推荐第2种和第3种安装第三方库的方法，当第2种方法报错时可选择第3种方法。
3.1.3 Python第三方库的使用方法
当成功安装Python第三方库后，就可通过下面的方法导入并使用第三方库了：
import xxxx#xxxx 为导入的库名，例如import requests注意：导入BeautifulSoup库的写法为from bs4import BeautifulSoup。
讲过了Requests、Lxml和BeautifulSoup库的安装后，本节将依次讲解各个库的说明和使用方法，然后一起完成读者的第一个爬虫小程序。
3.2.1 Requests库
Requests库的官方文档指出：让HTTP服务人类。细心的读者会发现，Requests库的作用就是请求网站获取网页数据的。让我们从简单的实例开始，讲解Requests库的使用方法。
import requestsres = requests.get('http://bj.xiaozhu.com/')#网站为小猪短租网北京地区网址print(res)#pycharm中返回结果为<Response [200]>，说明请求网址成功，若为404,400则请求网址失败print(res.text)#pycharm部分结果如图3.4所示图3.4 打印网页源代码
这时打开Chrome浏览器，进入http://bj.xiaozhu.com/，在空白处右击，在弹出的快捷菜单中选择“查看网页源代码”命令，可以看到代码返回的结果就是网页的源代码。
有时爬虫需要加入请求头来伪装成浏览器，以便更好地抓取数据。在Chrome浏览器中按F12键打开Chrome开发者工具，刷新网页后找到User-Agent进行复制，如图3.5所示。
图3.5 复制请求头
请求头的使用方法：
import requestsheaders = { User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}res = requests.get('http://bj.xiaozhu.com/',headers=headers) #get方法加入请求头print(res.text)Requests库不仅有get（）方法，还有post（）等方法。post（）方法用于提交表单来爬取需要登录才能获得数据的网站，这部分内容会在后面章节中学习，这里不再赘述。学习get（）方法足够我们爬取大部分的网站了。
Requests库请求并不会“一帆风顺”，当遇到一些情况时，Requests库会抛出错误或者异常，Requests库的错误和异常主要有以下4种。
·Requests抛出一个ConnectionError异常，原因为网络问题（如DNS查询失败、拒绝连接等）。
·Response.raise_for_status（）抛出一个HTTPError异常，原因为HTTP请求返回了不成功的状态码（如网页不存在，返回404错误）。
·Requests抛出一个Timeout异常，原因为请求超时。
·Requests抛出一个TooManyRedirects异常，原因为请求超过了设定的最大重定向次数。
所有Requests显式抛出的异常都继承自requests.exceptions.RequestException，当发现这些错误或异常进行代码修改重新再来时，爬虫的程序又开始重新运行了，爬取到的数据又会重新爬取一次，这对于爬虫的效率和质量来说都是不利的。这时，便可通过Python中的try来避免异常了，具体使用方法如下：
import requestsheaders = { User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}res = requests.get('http://bj.xiaozhu.com/',headers=headers)try: print(res.text)except ConnectionError: #出现错误会执行下面的操作 print('拒绝连接')通过try和except，如果请求成功了，会打印网页的源代码。如果请求出现了ConnectionError异常，则会打印“拒绝连接”，这样程序就不会报错，而是给编程者一个提示，不会影响下面代码的运行。
3.2.2 BeautifulSoup库
BeautifulSoup库是一个非常流行的Python模块。通过BeautifulSoup库可以轻松地解析Requests库请求的网页，并把网页源代码解析为Soup文档，以便过滤提取数据。
import requestsfrom bs4 import BeautifulSoupheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}res = requests.get('http://bj.xiaozhu.com/',headers=headers)soup = BeautifulSoup(res.text,'html.parser') #对返回的结果进行解析print(soup.prettify())输出的结果如图3.6所示，看上去与Requests库请求返回的网页源代码类似，但通过BeautifulSoup库解析得到的Soup文档按照标准缩进格式的结构输出，为结构化的数据，为数据的过滤提取做好准备。
图3.6 解析Soup文档
BeautifulSoup库除了支持Python标准库中的HTML解析器外，还支持一些第三方的解析器。如表3.1中列出了BeautifulSoup库的主要解析器及相应的优缺点。
表3.1 BeautifulSoup库解析器
注意：BeautifulSoup库官方推荐使用lxml作为解析器，因为效率更高。
解析得到的Soup文档可以使用find（）和find_all（）方法及selector（）方法定位需要的元素了。find（）和find_all（）两个方法用法相似，BeautifulSoup文档中对这两个方法的定义是这样的：
find_all(tag, attibutes, recursive, text, limit, keywords)find(tag, attibutes, recursive, text, keywords)常用的是前两个参数，熟练运用这两个参数，就可以提取出想要的网页信息。
1．find_all()方法
soup.find_all('p', "item") ##查找p标签，class="item"soup.find_all('p', class='item') soup.find_all('p', attrs={"class": "item"}) # attrs 参数定义一个字典参数来搜索包含特殊属性的tag2.find（）方法
find（）方法与find_all（）方法类似，只是find_all（）方法返回的是文档中符合条件的所有tag，是一个集合（class'bs4.element.ResultSet'），find（）方法返回的一个Tag（class'bs4.element.Tag'）。
3.selector（）方法
soup.selector(p.item > a > h1) #括号内容通过Chrome复制得到该方法类似于中国>湖南省>长沙市，从大到小，提取需要的信息，这种方式可以通过Chrome复制得到，如图3.7所示。
图3.7 复制selector（）方法
（1）鼠标定位到想要提取的数据位置，右击，在弹出的快捷菜单中选择“检查”命令。
（2）在网页源代码中右击所选元素。
（3）在弹出的快捷菜单中选择Copy selector。这时便能得到：
#page_list > ul > li:nth-child(1) > p.result_btm_con.lodgeunitname > span.result_price > i通过代码即可得到房子价格：import requestsfrom bs4 import BeautifulSoup #导入相应的库文件headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'} #请求头res = requests.get('http://bj.xiaozhu.com/',headers=headers) #请求网页soup = BeautifulSoup(res.text,'html.parser') #解析数据price = soup.select('#page_list > ul > li:nth-of-type(1) > p.result_btm_con. lodgeunitname > span.result_price > i') #定位元素位置并通过selector方法提取print(price)结果是会在屏幕上打印[<i>898</i>]标签。
注意：li：nth-child（1）在Python中运行会报错，需改为li：nth-of-type（1）。
此时的li：nth-of-type（1）为选择的一个价格，为了做短租房的平均价格分析，当然是要把所有的房租价格全部提取出来。把selector改为：
#page_list > ul > li > p.result_btm_con.lodgeunitname > span.result_price > i就可以得到整个页面的所有价格，这样提取的信息为列表，可以通过循环分别打印出来也可以存储起来。
import requestsfrom bs4 import BeautifulSoupheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}res = requests.get('http://bj.xiaozhu.com/',headers=headers)soup = BeautifulSoup(res.text,'html.parser')prices = soup.select('#page_list > ul > li > p.result_btm_con. lodgeunitname > span.result_price > i') #此时prices为列表，需循环遍历for price in prices: print(price)代码运行的结果如图3.8所示。
细心的读者会发现，提取的信息为[<i>898</i>]这种标签，而读者只需要其中的数据，这时用get_text（）方法即可获得中间的文字信息。
import requestsfrom bs4 import BeautifulSoupheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}res = requests.get('http://bj.xiaozhu.com/',headers=headers)soup = BeautifulSoup(res.text,'html.parser')prices = soup.select('#page_list > ul > li > p.result_btm_con. lodgeunitname > span.result_price > i')for price in prices: print(price.get_text()) 通过get_text()方法获取文字信息代码运行的结果如图3.9所示。
图3.8 提取多个元素
图3.9 提取标签文本
这时程序就已经爬取了一页中所有的房价信息，但该网站有多个网页，这时就需要构造URL列表，详细方法见本章中的综合实例。
3.2.3 Lxml库
Lxml库是基于libxm12这一个XML解析库的Python封装。该模块使用C语言编写，解析速度比BeautifulSoup更快，具体的使用方法将在之后的章节中讲解。
3.3 综合案例1——爬取北京地区短租房信息本节将利用Requests和BeautifulSoup第三方库，爬取小猪短租网北京地区短租房的信息。
3.3.1 爬虫思路分析
（1）本节爬取小猪短租网北京地区短租房13页的信息。通过手动浏览，以下为前4页的网址：
http://bj.xiaozhu.com/http://bj.xiaozhu.com/search-duanzufang-p2-0/http://bj.xiaozhu.com/search-duanzufang-p3-0/http://bj.xiaozhu.com/search-duanzufang-p4-0/然后把第一页的网址改为http://bj.xiaozhu.com/search-duanzufang-p1-0/后也能正常浏览，因此只需更改p后面的数字即可，以此来构造出13页的网址。
（2）本次爬虫在详细页面中进行，因此先需爬取进入详细页面的网址链接，进而爬取数据。
（3）需要爬取的信息有：标题、地址、价格、房东名称、房东性别和房东头像的链接，如图3.10所示。
图3.10 需获取的网页信息
3.3.2 爬虫代码及分析
爬虫代码如下：
01 from bs4 import BeautifulSoup02 import requests03 import time #导入相应的库文件04 05 headers = {06 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.3607 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'08 } #加入请求头09 10 def judgment_sex(class_name): #定义判断用户性别的函数11 if class_name == ['member_ico1']:12 return '女'13 else:14 return '男'15 16 def get_links(url): #定义获取详细页URL的函数17 wb_data = requests.get(url,headers=headers)18 soup = BeautifulSoup(wb_data.text,'lxml')19 links = soup.select('#page_list > ul > li > a') #links为URL列表20 for link in links:21 href = link.get("href")22 get_info(href) #循环出的URL，依次调用get_info()函数23 24 def get_info(url): #定义获取网页信息的函数25 wb_data = requests.get(url,headers=headers)26 soup = BeautifulSoup(wb_data.text,'lxml')27 tittles = soup.select('p.pho_info > h4')28 addresses = soup.select('span.pr5')29 prices = soup.select('#pricePart > p.day_l > span')30 imgs = soup.select('#floatRightBox > p.js_box.clearfix > p.member_ pic > a > img')31 names = soup.select('#floatRightBox > p.js_box.clearfix > p.w_ 240 > h6 > a')32 sexs = soup.select('#floatRightBox > p.js_box.clearfix > p.member_ pic > p')33 for tittle, address, price, img, name, sex in zip(tittles,addresses, prices,imgs,names,sexs):34 data = {35 'tittle':tittle.get_text().strip(),36 'address':address.get_text().strip(),37 'price':price.get_text(),38 'img':img.get("src"),39 'name':name.get_text(),40 'sex':judgment_sex(sex.get("class"))41 }42 print(data) #获取信息并通过字典的信息打印43 44 if __name__ == '__main__': #为程序的主入口45 urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format (number) for number in46 range(1,14)] #构造多页URL47 for single_url in urls:48 get_links(single_url) #循环调用get_links()函数49 time.sleep(2) #睡眠2秒程序运行的部分结果如图3.11所示。
图3.11 程序运行结果
代码分析：
（1）第1~3行导入程序需要的库，Requests库用于请求网页获取网页数据。BeautifulSoup用于解析网页数据。time库的sleep（）方法可以让程序暂停。
（2）第5~8行通过Chrome浏览器的开发者工具，复制User-Agent，用于伪装为浏览器，便于爬虫的稳定性。
（3）第16~22行定义了get_links（）函数，用于获取进入详细页的链接。
传入URL后，进行请求和解析。通过Chrome浏览器的“检查”并“Copy selector”，可以找到进入详细页的URL链接，但URL链接并不是嵌套在标签中，而是在标签的属性信息中，如图3.12所示。
图3.12 URL链接位置
前面说到可用get_text（）方法获取标签中的文本信息，但标签中的属性信息需要通过get（'attr'）方法获取得到，如图3.12所示，URL链接在href中，这时用get（'href'）便可得到网页的URL。
最后调用get_info（）函数，转入的参数为获取到的网页详细页的链接。
（4）第24~42行定义get_info（）函数，用于获取网页信息并输出信息。
传入URL后，进行请求和解析。通过Chrome浏览器的“检查”并“Copy selector”，获取相应的信息，由于信息数据为列表数据结构，可以通过多重循环，构造出字典数据结构，输出并打印出来。
注意：字典中的sex调用了judgment_sex（）函数。
（5）第10~14行定义judgment_sex（）函数，用于判断房东的性别。
10 def judgment_sex(class_name):11 if class_name == ['member_ico1']:12 return '女'13 else:14 return '男'如图3.13所示，可以看出房东的性别区分。
图3.13 房东性别判断
在图中所示区域通过Chrome浏览器的“检查”可以发现，女房东的信息为<p class="member_ico1"></p>，男房东的信息为<p class="member_ico"></p>，这时就可以通过class属性来判断房东的性别。
（6）第44~49行为程序的主入口，通过对网页URL的观察，利用列表的推导式构造13个URL，并依次调用get_links（）函数，time.sleep（2）的意思是每循环一次，让程序暂停2秒，防止请求网页频率过快而导致爬虫失败。
3.4 综合案例2——爬取酷狗TOP500的数据本节将利用Requests和BeautifulSoup第三方库，爬取酷狗网榜单中酷狗TOP500的信息。
3.4.1 爬虫思路分析
（1）本节爬取的内容为酷狗榜单中酷狗TOP500的音乐信息，如图3.14所示。
图3.14 酷狗TOP500界面
（2）网页版酷狗不能手动翻页进行下一步的浏览，但通过观察第一页的URL：
http://www.kugou.com/yy/rank/home/1-8888.html这里尝试把数字1换为数字2，再进行浏览，恰好返回的是第2页的信息（如图3.15所示）。进行多次尝试后，发现更换不同数字即为不同页面，因此只需更改home/后面的数字即可。由于每页显示的为22首歌曲，所以总共需要23个URL。
图3.15 第2页URL
（3）需要爬取的信息有排名情况、歌手、歌曲名和歌曲时间，如图3.16所示。
图3.16 需获取的网页信息
3.4.2 爬虫代码及分析
爬虫代码如下：
01 import requests02 from bs4 import BeautifulSoup03 import time #导入相应的库文件04 05 headers = {06 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.3607 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'08 } #加入请求头09 10 def get_info(url): #定义获取信息的函数11 wb_data = requests.get(url,headers=headers)12 soup = BeautifulSoup(wb_data.text,'lxml')13 ranks = soup.select('span.pc_temp_num')14 titles = soup.select('p.pc_temp_songlist > ul > li > a')15 times = soup.select('span.pc_temp_tips_r > span')16 for rank,title,time in zip(ranks,titles,times):17 data = {18 'rank':rank.get_text().strip(),19 'singer':title.get_text().split('-')[0],20 'song':title.get_text().split('-')[0], #通过split获取歌手 和歌曲信息21 'time':time.get_text().strip()22 }23 print(data) 获取爬虫信息并按字典格式打印24 25 if __name__ == '__main__': #程序主入口26 urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html'.format (str(i)) for i in 27 range(1,24)] #构造多页URL28 for url in urls:29 get_info(url) #循环调用get_info()函数 time.sleep(1) #睡眠1秒程序运行的部分结果如图3.17所示。
代码分析：
（1）第1~3行导入程序需要的库，Requests库用于请求网页获取网页数据，BeautifulSoup用于解析网页数据，time库的sleep（）方法可以让程序暂停。
（2）第5~8行通过Chrome浏览器的开发者工具，复制User-Agent，用于伪装为浏览器，便于爬虫的稳定性。
（3）第10~23行定义get_info（）函数，用于获取网页信息并输出信息。
传入URL后，进行请求和解析。通过Chrome浏览器的“检查”并“Copy selector”，获取相应的信息，由于信息数据为列表数据结构，因此可以通过多重循环，构造出字典数据结构，输出并打印出来。
图3.17 程序运行结果
注意：本案例并未完全使用“Copy selector”的全部信息，由于有些标签是固定的，因此选用部分路径即可。
（4）第25~29行为程序的主入口。通过对网页URL的观察，利用列表的推导式构造23个URL，并依次调用get_info（）函数，time.sleep（1）的意思是每循环一次，让程序暂停1秒，防止请求网页频率过快而导致爬虫失败。