当前位置：首页 > 科技 > 正文

Python爬虫实战：东方财富网股吧数据爬取（一）

Python爬虫实战系列文章目录




目录

前言

朋友托我写个爬虫，本身是个爬虫小白的我还是接受了此次重任，总共历时五天左右，过程中遇到过无数bug，好在一路披荆斩棘，还是大差不差的完成了此次委托！但感觉这次的经历还是有必要和大家分享一下，正好最近也没有写博文了，趁这次机会赶赶进度！

一、项目说明

项目需求：股吧中人们的言论行为和股市涨跌的延迟相关性
数据来源：、
数据字段：阅读、评论、标题、作者、更新时间
实现功能：读取每个公司股吧的全部页面的数据并写入excel表中

二、实施过程

以为例

1.明确获取网页中哪些数据

Python爬虫实战：东方财富网股吧数据爬取（一）

我们需要爬取的是东方财富吧中全部发帖信息的阅读、评论、标题、作者及最后更新时间这五个字段的数据，我一开始想也不是很难，解析一下网页匹配一下对应的标签值就可以了，但后面还是出现了各种各样的问题，需要大家注意一下。

2.查看网页源代码分析结构

① 网页源代码

首先打开网页的开发者工具（Ctrl+Shift+i），在源代码中查找对应字段的标签结构。


从图中可以看出，这五个字段分别位于行标签内，对应的属性分别是"l1 a1"、"l2 a2"、"l3 a3"、"l4 a4"、"l5 a5"。想必大家已经有思路了，我们可以通过先获取网页代码，再解析网页查询对应的五个字段，最后做一个提取就可以了。

Python爬虫实战：东方财富网股吧数据爬取（一）

② 网页链接

【东方财富吧：300059】
首页：
第二页：
可以看出个股吧链接主要由三部分组成：list、名称代码、页数

I.的数字代码

Python爬虫实战：东方财富网股吧数据爬取（一）
II. 翻页数据

Python爬虫实战：东方财富网股吧数据爬取（一）

如何得到不同股吧的所有翻页数据，着实让我找了好久，各种资源我都找了可惜还是没有发现，突然无意之中我找到了解决办法，我直接一个好家伙！

跟上述的五类字段一样，我们查看一下页数的代码字段，如下图所示：
Python爬虫实战：东方财富网股吧数据爬取（一）
我的第一个办法是直接解析网页后找到标签下的sumpage属性，其内容即为总页数，本来以为原来这么好获取，结果解析完才发现，pagernums里的内容是动态的，即span.on是会随页而变化的，故直接requests并不能获取到，但是还是被我发现了玄机！
Python爬虫实战：东方财富网股吧数据爬取（一）
大家可以看data-pager这里，里面的内容是list,300059_|452885|80|2，我对比了几个页面后发现其中数字分别代表的是：

300059：股吧数字代码452885：该股吧共发帖452885条
80：每个页面分别有80条贴子
2：当前所处页面为第2页

那么这时候，我们就可以直接用累积多年的算力（小学除法）算出东方财富吧共有452885/80=5661.0625，向上取整共5662页！如果你也脱口而出好家伙的话，请在屏幕下方打出来！
Python爬虫实战：东方财富网股吧数据爬取（一）

3.爬虫需要具备的功能

基本问题解决了，我们可以开始编写爬虫了。这部分不讲代码原理，只解释代码功能。自己也是小白，如果代码存在问题或不清楚的话，欢迎大家在下方留言，我一定及时回复。

① 获取网页源代码

defgetHTMLText(url):try:r=requests.get(url,timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturnr.textexcept:print("获取网页内容失败！")

② 解析网页并提取数据字段

defparsePage(html):list=[]#我用的二维数组存储read=[]comment=[]title=[]author=[]time=[]try:#print(html)soup=BeautifulSoup(html,"html.parser")foreachinsoup.find_all('span','l1a1'):if'万'ineach.string:each.string=each.string[:-2]read.append(each.string)read=read[1:]#read[0]=='阅读'list.append(read)foreachinsoup.find_all('span','l2a2'):comment.append(each.string)comment=comment[1:]#comment[0]=='评论'list.append(comment)foreachinsoup.find_all('span','l3a3'):first=each.select('a:nth-of-type(1)')foriinfirst:i.find_all("a")#print(i.title)title.append(i.title)list.append(title)foreachinsoup.find_all('span','l4a4'):first=each.select('font:nth-of-type(1)')foriinfirst:i.find_all("font")#print(i.title)author.append(i.title)list.append(author)foreachinsoup.find_all('span','l5a5'):time.append(each.string)time=time[1:]#time[0]=='最后更新'list.append(time)except:print("解析网页字段失败！")returnlist

③ 获取贴吧总页数

基于解析的网页直接find_all也是可以的 
defget_total_pages_num(url):try:chrome_options=webdriver.ChromeOptions()chrome_options.add_argument('--headless')chrome_options.add_argument('lang=zh_CN.UTF-8')chrome_options.add_argument('User-Agent="Mozilla/5.0(Macintosh;IntelMacOSX10_12_6)AppleWebKit/537.36(KHTML,likeGecko)Chrome/65.0.3325.162Safari/537.36"')chrome_options.add_argument('--disable-extensions')chrome_options.add_argument('--disable-gpu')chrome_options.add_argument('--no-sandbox')driver=webdriver.Chrome(options=chrome_options)driver.get(url)page_data=driver.find_element_by_xpath('//div[@id="mainbody"]/div[@id="articlelistnew"]/div[@class="pager"]/span[@class="pagernums"]').get_attribute('data-pager')#print(page_data)ifpage_data:#page_nums=re.findall('\|(\d+)',page_data[0])page_nums=page_data.split("|")#print(page_nums)total_pages=math.ceil(int(page_nums[1])/int(page_nums[2]))driver.quit()exceptExceptionase:total_pages=1returnint(total_pages)

4.爬取结果

上述代码基本的字段已经可以实现爬取了，结果如下：

Python爬虫实战：东方财富网股吧数据爬取（一）
可以看到，我这里的时间多了年份，这是由于朋友研究的需要，在基于一次爬取的结果上，进行二次爬取标题所带的链接网页获得的，有关二次爬取的内容，我们再下一节再和大家分享。

Python爬虫实战：东方财富网股吧数据爬取（一）

总结

在爬取过程中，我还遇到了很多问题诸如：
① 部分帖子结构不同或存在冗余该如何处理（问董秘等链接）
② 爬取过程中ip被屏蔽自动跳转页面该如何处理（代理IP池）
… …
这些内容在后续章节中再和大家分享，下期再见啦！

你可能想看：

学Python不知从何下手？Python技能树助力一臂之力｜Python技能树测评

我想学Python相关领域的知识点，这里推荐一下CSDN的【Python技能树】！点击上面的链接访问【Python技能树】，会发现技能树会把全站匹配度较高的相关文章检索出来！结果无意间在这颗技能树的-...

Python版 编程语言入门经典100例 python编程入门基础

是一种通用编程语言，在科学计算和机器学习领域有广泛的应用。注意：整数在内存中是以补码的形式存在的，输出自然也是按照补码输出。

Python爬虫+数据分析：分析一下懂车帝现阶段哪款车值得我们去冲

importrequests#发送网络请求importparsel#解析数据importcsv#保存数据csv_dcd=open('dcd.csv'：encoding='utf-8':csv_writ...

python爬虫——站酷数据获取

self.mysql = pymysql.connect(host='localhost':database='tenders':user='root':password='123456')!r'放入...

整理python爬虫过程中会遇到的问题，以及如何解决这些问题的方法

在使用python爬虫的过程中，现在我们就来探讨下这些在python爬虫的过程中可能遇到的问题，一般网页的开发者为了不让自己的js代码轻易被别人拷贝，我们可以通过debug来找到js加密解密的代码，爬...

东方财富可转债什么时候发行 今日东方财富股票价格多少

东财发债申购价值如何，东财发债上市首日的转股溢价率区间应该为【23%，满足广大互联网用户对财经资讯和金融信息的需求，在有效浏览时间、核心流量价值以及日均覆盖人数等关键指标方面，根据艾瑞咨询推出的网民连...

Python 数据分析基础包：Numpy

foo,array([[ 0,dtype('int32');显然这种同质的静态数据结构在进行数值运算时效率要比 Python 内建的可以混杂动态类型的列表要快得多，intp，不同位数的整数;uint8...

对比Excel，轻松学习Python报表自动化实战，这篇教程有点肝!

轻松学习Python报表自动化》中关于报表自动化实战的内容。并教你用Python实现工作中的一个报表自动化实战，1.Excel的基本组成2.一份报表自动化的流程3.报表自动化实战 -当日各项指标同环...

50岁学习python－量化交易第13天：初次实战应用测试

# 免责声明# 本系列文章记录投资者对计算机程序化交易的理解和学习# 所涉及的软件及文章内容包含但不限于此，=MA(VOL;=MA(CLOSE;=LLV(LOW;=(PZ2-PZ1)/PZ1:=(PZ...

倾斜三角形推动浪与三角形态修正浪的区别——失败浪——东方财富网博客

倾斜三角形推动浪与三角形态修正浪的区别:很多人误认为是倾斜三角形态5浪上涨，将会使得此一波浪序列形成大小相似的九浪。三个推动浪中有且仅有一个浪出现延伸，延伸浪经常会出现在第３浪中，其后经常会出现倾斜三...

一招鲜捕捉爆涨股等9个选股公式——黑山看盘——东方财富网博客

=LAST(c<:=LAST(VOL<:ref(VOL;REF(C;=REF(LOW:DMP;DMM;=EXPMEMA(IF(LD>:PDI;=DMP*100/TR:ADX;ADXR;MA...

{主力持仓量}公式源码——黑郁金香的博客——东方财富网博客

=V*100/CAPITAL;=MA(换手,=MA(换手,主力能量:大户能量:中户能量:散户能量:STICKLINE(主力能量>=REF(主力能量,STICKLINE(主力能量STICKLINE(大户...

CCI双显示公式,超短T+0利器——股虫——东方财富网博客

3)按照CCI指标的用法,15分钟线看走势、看范围(-100至+100为正常区,˃100为强势区，用CCI做超短,买点较多,效益有差别.卖点应以15线的顶拐点为准,1线的顶拐点有时与15线的顶拐点谐振...

Scrapy爬虫框架入门教程（1）——爬取廖雪峰老师的博客

更别提各种缩进错误、变量名错误、导入错误了等等。特意选了圈里非常著名的廖雪峰老师的博客作为爬虫对象，打开cmd教程，settings.py，创建一个新文件.py;就将内容传递给parse函数:#这是廖...

python的基本语法和脚本格式

我们在上一篇文章中已经学会了如何简单的运行python命令和脚本，当Python解释器读取源代码时，第二行注释是为了告诉Python解释器:Python在语义中存在着包、模块、类（当然还有函数）这几个...

python 知识点大全，建议收藏留用！

经常有读者问我 Java、C++、Python 这些语言怎么选择，这两门语言想要学好、学透都不容易，一些开发非常便捷、库非常丰富的语言也可以掌握一下，从后台开发 Flask、AI、数据分析、爬虫......

python中使用argparse.add_argument_group() 对命令行参数进行概念性分组

parser.add_argument('name':parser.add_argument('--bar_that')，parser.add_argument('--foo_that')。parse...

详解Python实现进阶版人脸识别

importcv2importdlibimportosimportsysimportrandom#存储位置output_dir='D;Name'#这里填编号+人名size=256#图片边长ifnoto...

Python实现所有算法-牛顿前向插值

Python实现所有算法-力系统是否静态平衡(补篇)，Python实现所有算法-高斯消除法？其实这里就是使用的插值算法，我们需要使用过采样算法来扩展矩阵。插值是通过已知的离散数据点在一定范围内寻找新数...

用python解决Excel 表中某个范围内的单元格

1 问题描述;Excel 表中的一个单元格(r;c)会以字符串"

python

上一篇
玄空飞星卯山酉向九运挨星下卦以及替卦图

下一篇
精妙话语：舍得名利，甘愿平凡；看淡得失，无忧无虑

有话要说...

最新文章

取消
扫码支持 支付码