python爬虫案例——python爬取百度新闻RSS数据

全栈工程师开发手册 (作者:栾鹏)

python教程全解

各RSS网站参考http://blog.csdn.net/luanpeng825485697/article/details/78737510

今天我们使用python3.6来爬去百度新闻RSS中的数据,有了数据集,这样可以对样本数据集进行分类、聚类、推荐算法的学习

调试环境python3.6

# 获取百度新闻数据集 import urllib import re from bs4 import BeautifulSoup import json import io feedlist=[ 'http://news.baidu.com/n?cmd=1&class=civilnews&tn=rss&sub=0', #国内焦点 'http://news.baidu.com/n?cmd=1&class=shizheng&tn=rss&sub=0', #时政焦点 'http://news.baidu.com/n?cmd=1&class=gangaotai&tn=rss&sub=0', #港澳台焦点 'http://news.baidu.com/n?cmd=1&class=internews&tn=rss&sub=0', #国际焦点 'http://news.baidu.com/n?cmd=1&class=mil&tn=rss&sub=0', #军事焦点 'http://news.baidu.com/n?cmd=1&class=hqsy&tn=rss&sub=0', #环球视野焦点 'http://news.baidu.com/n?cmd=1&class=finannews&tn=rss&sub=0', #财经焦点 'http://news.baidu.com/n?cmd=1&class=stock&tn=rss&sub=0', #股票焦点 'http://news.baidu.com/n?cmd=1&class=money&tn=rss&sub=0', #理财焦点 'http://news.baidu.com/n?cmd=1&class=financialnews&tn=rss&sub=0', #金融观察焦点 'http://news.baidu.com/n?cmd=1&class=internet&tn=rss&sub=0', #互联网焦点 'http://news.baidu.com/n?cmd=1&class=rwdt&tn=rss&sub=0', #人物动态焦点 'http://news.baidu.com/n?cmd=1&class=gsdt&tn=rss&sub=0', #公司动态焦点 'http://news.baidu.com/n?cmd=1&class=housenews&tn=rss&sub=0', #房产焦点 'http://news.baidu.com/n?cmd=1&class=gddt&tn=rss&sub=0', #各地动态焦点 'http://news.baidu.com/n?cmd=1&class=zcfx&tn=rss&sub=0', #政策风向焦点 'http://news.baidu.com/n?cmd=1&class=fitment&tn=rss&sub=0', #家居焦点 'http://news.baidu.com/n?cmd=1&class=autonews&tn=rss&sub=0', #汽车焦点 'http://news.baidu.com/n?cmd=1&class=autobuy&tn=rss&sub=0', #新车导购焦点 'http://news.baidu.com/n?cmd=1&class=autoreview&tn=rss&sub=0', #试驾焦点 'http://news.baidu.com/n?cmd=1&class=sportnews&tn=rss&sub=0', #体育焦点 'http://news.baidu.com/n?cmd=1&class=nba&tn=rss&sub=0', #NBA焦点 'http://news.baidu.com/n?cmd=1&class=worldsoccer&tn=rss&sub=0', #国际足球焦点 'http://news.baidu.com/n?cmd=1&class=chinasoccer&tn=rss&sub=0', #国内足球焦点 'http://news.baidu.com/n?cmd=1&class=cba&tn=rss&sub=0', #国内篮球焦点 'http://news.baidu.com/n?cmd=1&class=othersports&tn=rss&sub=0', #综合体育焦点 'http://news.baidu.com/n?cmd=1&class=olympic&tn=rss&sub=0', #奥运焦点 'http://news.baidu.com/n?cmd=1&class=enternews&tn=rss&sub=0', #娱乐焦点 'http://news.baidu.com/n?cmd=1&class=star&tn=rss&sub=0', #明星焦点 'http://news.baidu.com/n?cmd=1&class=film&tn=rss&sub=0', #电影焦点 'http://news.baidu.com/n?cmd=1&class=tv&tn=rss&sub=0', #电视焦点 'http://news.baidu.com/n?cmd=1&class=music&tn=rss&sub=0', #音乐焦点 'http://news.baidu.com/n?cmd=1&class=gamenews&tn=rss&sub=0', #游戏焦点 'http://news.baidu.com/n?cmd=1&class=netgames&tn=rss&sub=0', #网络游戏焦点 'http://news.baidu.com/n?cmd=1&class=tvgames&tn=rss&sub=0', #电视游戏焦点 'http://news.baidu.com/n?cmd=1&class=edunews&tn=rss&sub=0', #教育焦点 'http://news.baidu.com/n?cmd=1&class=exams&tn=rss&sub=0', #考试焦点 'http://news.baidu.com/n?cmd=1&class=abroad&tn=rss&sub=0', #留学焦点 'http://news.baidu.com/n?cmd=1&class=healthnews&tn=rss&sub=0', #健康焦点 'http://news.baidu.com/n?cmd=1&class=baojian&tn=rss&sub=0', #保健养生焦点 'http://news.baidu.com/n?cmd=1&class=yiyao&tn=rss&sub=0', #寻医问药焦点 'http://news.baidu.com/n?cmd=1&class=technnews&tn=rss&sub=0', #科技焦点 'http://news.baidu.com/n?cmd=1&class=mobile&tn=rss&sub=0', #手机焦点 'http://news.baidu.com/n?cmd=1&class=digi&tn=rss&sub=0', #数码焦点 'http://news.baidu.com/n?cmd=1&class=computer&tn=rss&sub=0', #电脑焦点 'http://news.baidu.com/n?cmd=1&class=discovery&tn=rss&sub=0', #科普焦点 'http://news.baidu.com/n?cmd=1&class=socianews&tn=rss&sub=0', #社会焦点 'http://news.baidu.com/n?cmd=1&class=shyf&tn=rss&sub=0', #社会与法焦点 'http://news.baidu.com/n?cmd=1&class=shwx&tn=rss&sub=0', #社会万象焦点 'http://news.baidu.com/n?cmd=1&class=zqsk&tn=rss&sub=0', #真情时刻焦点 ] def getrss1(feedlist): for url in feedlist: info={} info[url]={ 'title':'', 'allitem':[] } try: response=urllib.request.urlopen(url) text = str(response.read(), encoding='utf-8') soup = BeautifulSoup(text, 'lxml') title = soup.title info[url]['title']=title for item in soup('item'): try: print(item) suburl={ 'title':item('title').replace(']]>','').replace('<![CDATA[',''), 'link': item('link').replace(']]>', '').replace('<![CDATA[', ''), 'source': item('source').replace(']]>', '').replace('<![CDATA[', ''), 'text': item('description').get_text().replace(']]>',''), 'type':title } print(suburl) info[url]['allitem'].append(suburl) except: print('无法匹配'+item) except: print("error: %s" % url) def getrss(feedlist): rss = {} for url in feedlist: rss[url] = { 'title': '', 'allitem': [] } try: response = urllib.request.urlopen(url) text = str(response.read(), encoding='utf-8') soup = BeautifulSoup(text, 'lxml') title = soup.title.get_text() rss[url]['title'] = title patterstr = r'<item>.*?' \ r'<title>(.*?)</title>.*?' \ r'<link>(.*?)</link>.*?' \ r'<source>(.*?)</source>.*?' \ r'<description>.*?<br>(.*?)<br.*?' \ r'</item>' pattern = re.compile(patterstr,re.S) #使用多行模式 results = re.findall(pattern, text) #如何查询多次 if results!=None or len(results)==0: for result in results: suburl = { 'title': result[0].replace(']]>', '').replace('<![CDATA[', ''), 'link': result[1].replace(']]>', '').replace('<![CDATA[', ''), 'source': result[2].replace(']]>', '').replace('<![CDATA[', ''), 'text': result[3].replace(']]>', ''), 'type': title } print(suburl) rss[url]['allitem'].append(suburl) except: print("error: %s" % url) return rss # 形成一个文本描述和分类的数据集。 if __name__ == '__main__': rss = getrss(feedlist) jsonstr = json.dumps(rss,ensure_ascii=False) f = io.open('rss.json', 'w', encoding='utf-8') f.writelines(jsonstr) f.close() 

原文链接:https://blog.csdn.net/luanpeng825485697/article/details/78857654?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165277607816782248539109%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=165277607816782248539109&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-16-78857654-null-null.nonecase&utm_term=%E6%96%B0%E9%97%BB

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发
头像
文明发言,共建和谐米科社区
提交
头像

昵称

取消
昵称表情图片

    暂无评论内容