如何用python做招聘(北京python招聘)?如果你对这个不了解,来看看!
大数据python(scrapy)爬虫爬取招聘网站数据并存入mysql后分析,下面是菜鸟观数据给大家的分享,一起来看看。
如何用python做招聘
基于Scrapy的爬虫爬取腾讯招聘网站岗位数据视频(见本头条号视频)
根据TIOBE语言排行榜更新的最新程序语言使用排行榜显示,python位居第三,同比增加2.39%,为什么会越来越火,越来越受欢迎呢,背后折射出的是人工智能、机器学习和大数据的普及程度和使用频率,首先python可以做web开发语言,可以做运维,可以做数据分析,可以做爬虫,可以做机器学习,可谓是万金油语言,今天给大家带来一个基于scrapy的爬虫和数据分析。
本文将从以下三个方面进行介绍:
1、 what 基于python的scrapy是什么?
2、 How 如何安装scrapy?
3、 Where 在哪里使用,爬取过程
对于普通工薪族来说进入腾讯工作是他们毕生的梦想,那它的工作jd是怎么样的,要找什么样的人呢,薪资待遇是怎样的呢,带着这几个问题我们通过scrapy来爬取腾讯招聘网站的数据来了解吧。
1、 what 基于python的scrapy是什么?
Scrapy 是一个爬虫框架,为了爬取网站数据,提取结构性数据而编写。 可应用在包括数据挖掘,深度学习或存储历史数据等领域。
Scrapy,即Scraping data with Python。Scrapy 使用异步网络库Twisted来处理网络通讯,架构清晰,并且包含了各种中间件接口,满足不同年龄段不同人群的个性化需求。Scrapy 架构。
引擎(Scrapy Engine)
负责组件之间数据的流转,它实现了并行化,类似于管道系统;
调度器(Scheduler)
接收requests,让它们老实在这里排队,以便后面下载器处理,requests中大部分都是url,体积较小,可想,即使有很多请求,也是没有关系的哈
下载器(Downloader)
下载器负责处理requests,抓取网页,并传递给引擎,之后抓取结果返回给spider;下载器是scrapy框架性能的中最重要的一环,机制复杂,总之,它限制了并发数,有管道长度的延迟;下载器的能力受限于CONCURRENT_REQUESTS*设置。
爬虫中间件(Spider Middlewares)
位于引擎和Spider之间,处理抓取器的输入和输出;当你想在spiders产生的Items到达Item Pipeline之前或response到达spider之前做一些处理,就用它;
爬虫(Spiders)
这部分是用户编写的可定制化的部分,负责解析response,产生items和url;它对Scrapy框架性能没啥影响,不是瓶颈哈;
项目管道(Item Pipeline)
负责处理spider产生的item;典型用途:清洗,验证,持久化等;Spider对每个Request可能产生几百个items,只有CONCURRENT_ITEMS会被并行处理;注意,当使用pipelines连接数据库时,pipelines的默认值是100,此时向数据库导入数据就会造成瓶颈问题了,因为items太多啊
下载器中间件(Downloader Middlewares)
位于下载器和引擎之间,处理传送到下载器的requests和传送到引擎的response;可以想象,当你要在requests到达下载器之前,或者,responses到达爬虫之前做一些预处理,那就要用这个玩意了;
2、 How 如何安装scrapy?
安装的方式有很多,这里提供比较简洁的安装方式。
(1)安装anaconda3.6,这里就不详细说它的安装步骤,读者可以自行百度安装即可,很简单,为啥安装它呢,因为它有很多安装好了的包,可以自己安装环境变量,又可以做数据分析,把爬来的数据,用它来进行分析一举两得,这也是很多数据工程师常用的方式。
下载地址:https://www.anaconda.com/distribution/
(2)打开终端,输入命令
conda list
查看当前anaconda里已经存在的包
没有安装过scrapy,那么可以现在进行安装。
输入命令conda install scrappy
anaconda就会自动帮你下载包
完成后,再输入命令:
conda install service_identity
(2)在pycharm里配置anaconda
File-》Settings-》Project interpreter-》找到你anaconda的安装路径下的python.exe添加进去即可
随便新建一个文件 import scrappy 运行不报错,即配置成功。
3、 Where 在哪里使用,爬取过程
把编写好的代码运行一下
运行方式既可以是在cmd 运行命令scrapy crawl tencent_jobs
也可以像下图一样运行
核心代码如下图:
代码架构
我们还需要在mysql表 创建jobs表
sql_create_table = '''
create table jobs(job_name varchar (100),
location varchar (40),
type varchar (40),
needed_people_num varchar (5),
duty varchar (400),
requirement varchar (500)
)
执行代码:
查询结果:
总结:基于scrapy的爬虫操作简单,容易学习,如需更进一步,需要弄懂它的原理和方法,做到知其然知其所以然,才能真正进步,存入mysql后的数据用anaconda进行分析,将在下一次进行分享。欢迎各位朋友批评指正,如果想要详细代码的可以私信我。
北京python招聘
每经记者:李玉雯 廖丹 每经实习记者:赵景致
三月还未到来,春招的号角已然吹响。
无论是即将初入职场的应届毕业生,还是意图换个工作的 “老职场人”,这个“金三银四”都值得期待。作为“高大上”行业的代表,银行每年的招聘情况愈发受到求职者的关注。
而如今的银行业,“数字化转型”始终是绕不开的话题。而各家银行在数字化领域的激烈角逐也在另一个方面得到充分反映——招聘。
近期,每经记者了解到,已有农业银行、交通银行、招商银行、光大银行、南京银行等多家国有大行、股份行、城商行都拉开了新一年的招聘序幕。
在行业整体呈现“缩员”的态势之下,今年银行招聘依然延续“科技人才热”的趋势,不少岗位更是热衷于“复合型背景人才”。但有差异的是,不管是在招的国有大行还是股份行,亦或是城商行,今年对信息技术类人才的需求都主要集中在总行层面。
春招启幕
各大银行广发“求贤贴”
都说“一年之计在于春”。如今,春招还没大面积进行,银行便开始为新一年的人才队伍早早地招兵买马了,其中,国有大行的招聘尤为引人注目。
早在2月7日,承载农业银行信息化建设、金融科技创新和数字化转型重任的总行直属部门——研发中心便发布了2022年校园招聘公告,招聘包括软件研发岗、测试开发岗、产品研发岗等七大岗位。随后,农银理财、农银金融科技作为农业银行的全资子公司,也跟随发布2022年校园招聘启事。
2月下旬,邮储银行总行专门就信息科技类岗位开展招聘,因此,其岗位也很具有针对性,仅包括信息技术、金融经济共两大类。
若说目前已开展春季校招的国有大行中谁的岗位最多,还得看交通银行。交行总行本次春招面向十个岗位招聘,除了软件开发工程师(派驻雄安)限定招聘人数为30人以外,其余均标注若干。
而在国有大行之外,股份行的春招也在有条不紊地进行。
招商银行总行虽还未透露春招信息,但其广州分行、合肥分行、哈尔滨分行及西安分行等多家分行早已闻风而动,FinTech定向培训生、信息技术岗、运营支持岗等岗位设置不一而足。
浙商银行2022春季校招中,其总行金融科技部招聘包括应用研发和测试类、系统运维类和信息安全类,且这部分岗位均未设定限定人数。而与之形成对比的,则是该行的大多分行招聘人数限定在3人以下,如无锡分行营销岗招聘1人、东莞分行岗位招聘2人等。
城商行中,江苏银行于1月18日正式启动春季校园招聘,该行总行信息科技部、分行及子公司均有岗位在招。
1月26日,南京银行发布2022届春季全球校园招聘信息,其总行、分行、投资控股机构均有岗位在招,共计划招聘1100人。具体来看,其总行岗位集中在信息技术部与数字银行管理部;南京分行等16家分行机构招聘本科生、研究生、法律专业定向培训生、信息科技定向培训生;投资控股机构鑫元基金则仅招聘信息科技定向培训生。
此外上海银行也在1月下旬着手春季校园招聘事宜,据悉,该行总行只招聘金融科技培训生、科技及大数据岗(内设多个细分方向)、信用卡业务岗人员。
北京银行总行本部与境内分支机构也均有岗位在招。
“复合背景优先”
总行青睐金融科技人才
人勤春来早,银行招聘忙。
在行业“数字化转型”浪潮中,不难发现,今年银行的春季校招尤其青睐金融科技人才,其中总行尤甚。
就交行总行在招的十大岗位来看,除了博士后研究人员没有对应聘者专业背景作出明确限定外,其余九个岗位的职位要求中,其专业背景均涉及计算机类、软件工程、电子信息类、信息安全类中的一个或多个。
而在这九个岗位中,除了计量与统计、数据规划与安全研究两个岗位外,其余七个岗位均对应聘者的计算机操作水平有不同程度的要求。
例如:
软件开发工程师要求“扎实的计算机专业基础,熟练掌握JAVA、C、C++、C#、SQL、PYTHON、COBOL等某一种或几种语言;了解主流计算机操作系统、中间件产品、分布式框架、网络基本原理、相关网络产品者优先”。
邮储银行总行此次参与招聘的五大部门中,只有总行金融科技创新部招聘岗位有两个。
一是信息技术类,其优先专业包括信息安全类、软件工程类、电子信息类、计算机科学与技术、信息与通信工程自动化;
二是金融经济类,不限专业。除此之外,其余四个部门均只有信息技术类岗位在招。
浙商银行总行本次校园招聘所有岗位中,均涵盖计算机、软件工程、物联网等相关专业背景。
此外,北京银行总行在招岗位为信息科技岗,具体分为软件开发岗和系统运营岗,专业范围为计算机、软件工程、电子信息、大数据、信息安全、数学、统计等相关专业。
南京银行总行仅两个岗位在招,分别是信息科技岗和数字银行岗,分别招聘40人、10人。而这两大岗位专业要求均为计算机科学与技术、软件工程等相关专业。
本次招聘江苏银行总行仅信息科技部有一个岗位在招,为“FinTech培养生”(即金融科技培养生),其专业要求为计算机科学与技术、软件工程、电子信息与通信、信息管理、物联网工程、控制科学与工程、数学、大数据、人工智能、金融工程等IT相关专业。相比之下,其分行的岗位则为综合类或定向类,专业要求为经济学、法学、理学、工学、管理学等各类专业。
值得注意的是,具有复合型专业背景的应聘者更“吃香”。
交行业务分析师(BA)岗在职位要求中明确提及,“较好的计算机专业基础,具备计算机和金融等复合型专业背景者优先”。
农银理财在基本应聘条件中也明确“具备经济金融与信息科技等复合专业背景者优先”。
上海银行本次招聘的总行金融科技培训生,要求硕士及以上学历,其培养方向为“既熟悉银行业务又精通IT技术的金融科技复合型专业人才”,因而,在基本要求一栏,上海银行明确“信息科技、数理统计、经济金融、财务会计、管理及其他理工科专业,具备信息科技与经济金融等复合专业背景者优先”。
南京银行总行两大在招岗位,其分别“重点培养既精通IT技术又熟悉银行经营管理的复合型专业人才”,“打造既精通数据又精通技术,更熟悉银行业务的复合型专业人才”。
银行业员工规模整体收缩
多家银行信息科技人才占比逆势提升
易观高级分析师苏筱芮分析:
“伴随着银行数字化转型的不断深入,一些效率较低或是重复性较高的工作内容逐渐被智能化手段所取代,银行业岗位呈现出向‘高精尖’聚拢的趋势。水涨船高,技术性人员也成为了银行校招的主要招聘对象。”
她表示,营销获客、用户运营、风险管理、贷后管理等各类业务流程都在向智能化转型,而科技是其中的关键驱动因素,能够助力金融业务提质增效,穿透科技的比拼,最终则是科技类人才的比拼。
平安证券研究报告提及,从大中型银行的实践来看,为了压缩获客成本,从信贷工厂的半自动化,到线上模式的全自动化,再到供应链模式的智能化,科技与服务不断创新结合应用始终贯穿其中。从行业金融科技发展水平来看,银行业对大数据、云计算、人工智能等技术的应用十分广泛,整体数字化程度较高,离柜率超过 90%,同时各家银行大力进行科技投入,2020年末银行业科技人员占比接近 10%。
诚然,数字化转型背景下,各家银行早已在为角逐金融科技而储备“生力军”。
有数据显示,2020年银行保险机构信息科技资金投入超过2400亿元,同比增长21%,信息科技人员数量接近15万人,同比增长超过17%。同时,银行系金融科技公司相继设立,目前已有14家。
具体到银行,就“宇宙行”工商银行来看,该行金融科技人员数量在不断上升,2019年为3.48万人,占全行员工7.8%;2020年为3.54万人,占全行员工8.1%,上升0.3个百分点。但值得注意的是,工行总员工人数最近三年都在不断下降,2018-2020年分别为44.9万人、44.5万人和44万人。
与之相仿的还有农业银行,数据显示,该行科技人员人数逐年上升,两年内从6190人升至8056人,占比从1.31%升至1.8%。但与之成鲜明对比的,却是该行总人数已从2018年的47.37万人降至45.9万人。
技术人员占比逐年增长的还有交通银行、招商银行和南京银行。数据显示2018-2020年,交通银行信息技术人员(境内行)占比分别为2.8%、3.05%和3.31%;招商银行研发人员数量2年增长了3倍,从2018年的2003人增长至2020年的8882人;南京银行技术人员占比从2018年末的3%增长至2020年末的5%。
此外,江苏银行在2020年年报中也表示,报告期内,全行科技人员增长超过 15%,科技投入进一步加大。
实际上,近年来,银行整体员工规模呈现紧缩态势。Wind数据显示,截至去年6月末,42家A股上市银行中至少有21家的员工规模较上年末有所减少,占比一半,剩余21家中有8家未披露6月末员工情况。
员工总数方面,42家上市银行中有34家披露了去年6月末员工数,其共有员工约240万人(含劳务派遣用工),较上年末的244万人缩减超3万人,其中,去年上半年六大行员工均有不同程度的减少,缩减总规模2.6万人。
在银行整体收缩的大背景下,信息科技类人才的招聘仍在紧锣密鼓地进行,银行业数字化转型的决心可见一斑。
薪资难及互联网大厂
也有IT毕业生青睐银行
“我们部门人不好招,很难招到既懂金融,又懂IT的。”某行技术部人员向记者表示。
有报告显示,在2021年二季度,至少225家企业提供近7万岗位,金融科技人才缺口达18万余人,规模较大的银行、IT服务商和综合金融类公司成为招聘的主力军。
需求端呈现出紧缺之态,对于信息科技人才,银行可谓是求贤若渴。在供给端,相关专业的毕业生的择业偏好又有何特点?
“我们班大多毕业生都去了互联网大厂,互联网大厂工资更高,技术先进,能成长得更快。”某IT毕业生表示。记者问及其从业意向时,他毫不犹豫选择了互联网大厂。“虽然加班严重,但是互联网大厂真的工资高。”
零壹智库数据显示,2021年一季度股份制银行、金融外包企业、综合金融和保险企业招收5成以上的金融科技人才。尽管这些机构大量招人,但薪资水平相对不高,在1.05万元/月至1.36万元/月之间。而区块链公司、银行金融科技子公司、征信公司和大数据风控公司的薪酬处于“行业天花板”,均超过2.5万元/月。
虽然薪资比不上互联网大厂,但也有计算机专业的毕业生青睐银行。
“我们同一批进来的有好几个都是计算机专业背景。”小苏现在已就职某大行西安地区一支行。回忆起当初刚进银行,她不由得感慨,“当初我们行招聘的时候没有划分具体岗位,大家进来都一样轮岗,从柜员做起,半年实习期过了之后,人资会根据个人的专业背景、工作能力再划分岗位,有计算机背景的很有机会去到后台金融科技部门,有时候分行也会点名要这类员工,当然这也要看员工个人意愿。”
“我们部门就有同事拒绝去后台金科部门,选择留下来做个金客户经理的。”小苏说道,“个金客户经理属于营销岗,干得多赚得多,而后台部门拿的是平均绩效。”
小苏说,还是有计算机背景的毕业生进入银行,毕竟银行加班肯定没互联网大厂那么多,薪资方面在金融业也还算过得去。前几年,他们银行是有针对金融科技部门专门招人的,“如果直接进金融科技部门,基本不要求金融背景,还是学历和计算机背景要求高一些。”
对于金融专业毕业的同学,银行还算是个不错的选择。“就金融专业来说,银行还是比较对口的。”小苏说道。
“我是不想加班,想稳定点。”小林从西南财经大学金融类专业研究生毕业后,毅然决然选择成为一名“银行er”,如今在一家上市城商行同业业务部门工作,“这几年经济不太好,有份稳定的工作不容易。”
而谈及复合型人才,小林说道:“就我身边,复合型背景的大多都是计算机转到金融,从金融转到计算机的还是比较少,如果研究生就是金融,毕业以后从事银行纯金融类岗位的居多,比如研究类、交易类;如果研究生是偏向经济或者统计学,毕业以后去数字金融部的居多一些。”
“其实现在就业‘很卷’,好多柜员都是研究生背景,有的也是这种复合背景,他们进来都是先从柜员做起,后续可能再转岗。”小林表示。
注重同业工作经验
银行社招岗位级别相对更高
如今校招对信息科技人才的偏好背后,也有监管的推动因素。
今年1月26日,银保监会印发《关于银行业保险业数字化转型的指导意见》,其中明确指出,要大力引进和培养数字化人才。鼓励选聘具有科技背景的专业人才进入董事会或高级管理层。注重引进和培养金融、科技、数据复合型人才,重点关注数据治理、架构设计、模型算法、大数据、人工智能、网络安全等专业领域。积极引入数字化运营人才,提高金融生态经营能力,强化对领军人才和核心专家的激励措施。
1月4日,人民银行印发《金融科技发展规划(2022-2025年)》,提出要高质量推进金融数字化转型,健全适应数字经济发展的现代金融体系。该文件还提出八个方面的重点任务,其中一条便是“扎实做好金融科技人才培养,持续推动标准规则体系建设,强化法律法规制度执行,护航金融科技行稳致远。”
“商业银行是金融行业数量最多、覆盖客群最广的持牌金融机构,在金融科技的应用方面拥有广泛的业务类型与实践场景,这使得商业银行具备充足的动力去招揽金融科技人才并积极参与金融科技创新监管项目。”苏筱芮表示。
而与校招青睐信息科技人才相比,银行社招更注重同业经验,同时岗位级别相比之下通常也更高一些。
工商银行重庆市分行2022年度社会招聘公告中,要求客户经理岗应聘人员需要“具有2年及以上金融同业及企事业等单位正式职工全职工作经历” 。
光大银行近日也在其官网发布了招聘职位,该行总行信用卡中心多个部门在招聘副总经理职务,且多要求从事金融工作4年以上或从事经济工作8年以上,并同时需要具有相关岗位管理经验3年以上等条件。
除总行外,光大银行多家分行也在招聘支行负责人及支行行长、副行长等职位。如光大银行武汉分行招聘的支行行长/支行副行长,要求“原则上应从事银行工作3年以上或从事金融相关工作5年以上”,且应满足担任下一级管理职务2年以上等其他条件。
值得注意的是,工商银行重庆市分行的招聘对年龄提出要求,要求应聘者年龄原则上不超过35岁,光大银行的招聘职位也对应聘者年龄有相应要求。
苏筱芮向记者表示,银行业机构人才的“更新换代”正处于一个持续推进的过程中,其表现特征之一是年龄的“更新换代”,90后员工的比例持续上升中,也不乏00后等“新鲜血液”。
值得注意的是,有的银行招聘支行行长,还有银行选拔行长。
目前长沙银行竞争性选拔行长网络报名正在进行。按照要求,竞职人选应是中共党员,同时还应具备从事金融工作8年以上,或从事相关经济工作12年以上。除此之外,还有以往履历的种种要求,如累计担任国有商业银行、邮政储蓄银行省级分行主要业务部门正职、地市级分行行长,全国性股份制商业银行主要业务部门正职、一级分行行长,或2021年末资产总额5000亿元左右的城市商业银行总行高级管理人员及以上职务3年以上(任职时间计算到2022年1月30日)。
注重“考试策略+心态调整”
银行应聘有哪些小技巧?
除了硬性条件,无论是校招还是社招,要进入银行都要经过一系列笔试和面试,这其中又有何技巧可以帮助应聘者提高“通关”概率?
“当时选择银行也是父母建议的,觉得银行工作稳定。”回忆起三年前的求职季,小孙依然清晰地记得当时每天刷网申系统的日子,“我投了好几家银行,一方面是想增加求职成功的概率,同时也想着能借此机会积攒一些笔试及面试的经验。”
“笔试的题量不是特别多,但是范围挺广的,不仅仅是金融领域,还会涉及时政、历史、物理、医学等等非常多的领域,有点像公务员考试的行测,真正做起来可能时间还是会比较紧张。”小孙回想起此前自己参加过的几场笔试,认为在考试时的策略以及心态调整很重要,“有些图形推理的题型,答案并不是那么容易判断,我就把个别题目留到了最后再做。”
在小孙顺利通过笔试后,她迎来了很多公司在校招环节都热衷采用的无领导小组面试。在给定的一种模拟情景下,小组成员自发分配在团队中的角色,并相互合作分析解决问题。“我遇到的模拟情景是银行和某公司合作的方案设计,在那次面试中我充当的是领导者角色,本来我也习惯性地会从全局思考问题,把握整场讨论的大方向。”之后,小孙成功收到某国有大行的offer,在她看来这与她在上述面试中的表现有着很大的联系。
同样是在经过网申、笔试、面试等一波又一波筛选后,小王在两年前的毕业季收到了两家银行的offer,分别是一家国有行和一家股份行,思考再三,小王最终选择了入职股份行。“当时对比下来,认为自己更加看重这家股份行在对公业务上的优势,而且觉得股份行比国有行更有竞争动力,意味着更高薪酬的可能。”
入职至今,小孙和小王都经历过从柜员到客户经理或是其他中后台岗位的调岗历程,对银行业务日渐熟悉,也在不断规划着自己未来的职业发展方向。在他们看来,每年校招季银行都是吸收应届生的“大户”,不过近年来银行基层人员的流动也愈发频繁。小孙告诉记者,“现在各家银行都在发力数字化转型,这也导致银行对人才的需求类型跟以往相比也发生了变化,比如曾经的柜员在不断压缩,对营销人员的需求则进一步加大。从公开的招聘岗位也能看出来银行现在更青睐哪些人才。”
记者:李玉雯 廖丹
实习记者:赵景致
编辑:廖丹
视觉:刘青彦
排版:廖丹 马原
每日经济新闻