python3编程07-爬虫实战:爬取新闻网站信息3

主要内容如下:

1.定义获取一页20条链接内容的函数

2.构造多个分页链接

3.抓取多个分页链接新闻内容

4.用pandas整理爬取的资料

5.保存数据到csv文件

6.Scrapy的安装

1.定义获取一页20条链接内容的函数

#定义获取一页20条链接内容的函数 def parseListLinks(url): newsdetails = [] res = requests.get(url) jd = json.loads(res.text) #获取一个页面所有链接(20个左右) for ent in jd['result']['data']: #getNewsDetail为获取一个链接内容详情 newsdetails.append(getNewsDetail(ent['url'])) return newsdetails
#测试 url = 'https://feed.sina.com.cn/api/roll/get?pageid=121&lid=1356&num=20&versionNumber=1.2.4&page=1&encode=utf-8' parseListLinks(url)

2.构造多个分页链接

#构造多个分页链接 pageurl = "https://feed.sina.com.cn/api/roll/get?pageid=121&lid=1356&num=20&versionNumber=1.2.4&page={}&encode=utf-8" for i in range(1,10): newsurl = pageurl.format(i) print(newsurl)

3.抓取多个分页链接新闻内容

#抓取多个分页链接新闻内容 import requests url = 'https://feed.sina.com.cn/api/roll/get?pageid=121&lid=1356&num=20&versionNumber=1.2.4&page={}&encode=utf-8' news_total = [] for i in range(1,3): newsurl = url.format(i) newsary = parseListLinks(url) news_total.extend(newsary)
#测试打印抓取的两个页面 print(news_total)

4.用pandas整理爬取的资料

Pandas 是python的一个数据分析包(Python Data Analysis Library),这里我们用到pandas的DataFrame函数将爬取出来的数据整理成二维的表格型数据结构。

安装pandas套件:进入cmd命令行,输入以下命令安装

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

#用pandas整理爬取出的资料 import pandas df = pandas.DataFrame(news_total) #查看后5行数据 df.tail()

5.保存数据到csv文件

用to_csv函数,将数据存放在csv文件中,”ruiyigongfang.csv”为我们导出的文件名称,存放在jupyter notebook启动的根目录下,一般为C:\Users\Administrator目录下。

查看ruiyigongfang.csv文件内容

至此,已经完成了用python3爬取新闻网站信息的项目。

总结一下:

爬虫主要流程为分为三个阶段:

下载数据:用到requests套件,通过requests.get(‘url’)方法获取到了网页信息

提取数据:用到BeautifulSoup4套件,通过soup.select(‘xxx’)来解析得到关系的内容;

保存数据:通过pandas套件整理成二维数据结构的数据,再通过to_csv()函数将数据以csv格式保存在本地。

——————————————————————————————–

接下来还会有第二个python爬虫项目,待下次博客更新!

这里先介绍一个简单、功能强大的爬虫框架Scrapy的安装,为后面项目做好准备。

Scrapy安装

环境:windows系统、python3
步骤:
1.安装wheel:

py -3 -m pip install wheel

2.安装lxml:

py -3 -m pip install lxml

3.安装Twisted:
下载Twisted:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

注意:下载的版本要与安装的python版本与电脑位数一致,python3.7就选择cp37, 其他版本依次类推 例如:

安装Twisted:

pip install xxx/xxx/Twistedxxx

注意:xxx/xxx/Twistedxxx为下载的twisted文件的所在绝对路径。例如,下载的文件放在D:\目录下,文件名为Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl

命令应该为pip install D:\Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl

4.安装Scrapy:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

5.安装win32py
下载:https://github.com/mhammond/pywin32/releases,注意要下载和python版本与电脑位数一致的文件
安装:双击pywin32-224.win-amd64-py3.7.exe文件安装

6.验证

scrapy -h

说明:
安装Scrapy依赖于wheel、lxml、Twisted模块
运行Scrapy依赖于win32py

完成! enjoy it!

原文链接:https://blog.csdn.net/qq_42881421/article/details/84575316?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165277607816782248557448%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=165277607816782248557448&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-18-84575316-null-null.nonecase&utm_term=%E6%96%B0%E9%97%BB

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发
头像
文明发言,共建和谐米科社区
提交
头像

昵称

取消
昵称表情图片

    暂无评论内容