数据采集(三):用XPath爬取腾讯新闻

需要导入的库

import requests from lxml import etree

先用requests.get()方法请求页面

result=requests.get("http://news.qq.com/") encode=result.encoding content=result.content encode
'GB2312' 

注意指定解析器的编码格式

 selector=etree.HTML(content,parser=etree.HTMLParser(encoding=encode))

腾讯新闻首页上每条新闻的标题以及超链接,对应html源码有如下结构:

<a target="_blank" class="linkto" href="http://news.qq.com/a/20170720/019981.htm">辽宁舰过航台湾海峡遭美军驱逐舰跟踪 国防部回应</a> 

用Xpath解析新闻的标题及url

samples=selector.xpath('//a[@class="linkto"]') for sample in samples: title=sample.text.strip() print title url=sample.attrib['href'] print url
辽宁舰过航台湾海峡遭美军驱逐舰跟踪 国防部回应 http://news.qq.com/a/20170720/019981.htm “七下八上”主汛期将至:北方多雨 周末华北“退烧” http://news.qq.com/a/20170720/019390.htm 巴西众院弹劾总统案获通过 罗塞夫政党承认落败 http://news.qq.com/a/20160418/023091.htm 腾讯股价拆股后首次达300港元 今年累计涨幅超55% http://tech.qq.com/a/20170720/016568.htm 美国参议员麦凯恩被诊断出脑癌 曾参选美国总统 http://news.qq.com/a/20170720/009125.htm 人社部:36种高价刚需药纳入医保 最高降幅达70% http://news.qq.com/a/20170720/012923.htm 人民日报海外版:印度推进“大国梦”急不可耐 http://news.qq.com/a/20170720/001930.htm 万达融创富力集体高开 三者签约637亿元并购案 http://stock.qq.com/a/20170720/015276.htm 苹果可能真的在造车,在中国秘密开发动力电池 http://tech.qq.com/a/20170720/010845.htm 开发商毁约夺地 将4S店砸成废墟 http://news.qq.com/a/20170719/058897.htm 苹果股价连涨9天创纪录 iPhone 8延迟上市也挡不住 http://tech.qq.com/a/20170720/016469.htm 印军在克什米尔地区对巴方“无故”开火 巴军方回击 http://news.qq.com/a/20170720/001479.htm 男孩独自乘机出国被逐下航班 航空公司:托管儿童超额 http://news.qq.com/a/20170720/001745.htm 地产三巨头60分钟魔幻剧:富力背景板“进出”大戏 http://finance.qq.com/a/20170719/061523.htm 范冰冰亏4400万又如何?投房地产葡萄酒收获颇丰 http://ent.qq.com/a/20170720/005916.htm 刘亦菲获专人撑伞 长发白裙却穿拖鞋 http://ent.qq.com/a/20170720/005185.htm 袁泉带女儿现身 小姑娘推行李超自立 http://ent.qq.com/a/20170720/007934.htm 美股三大指数齐创收盘纪录新高 纳指九连涨 http://stock.qq.com/a/20170720/001560.htm 神锋驾到!切尔西官方宣布莫拉塔加盟 http://sports.qq.com/a/20170720/001226.htm 京东与唯品会否认合并传闻 周三开盘股价双双上涨 http://tech.qq.com/a/20170719/061676.htm 农业部再发两个进口转基因生物安全证书:均为玉米 http://finance.qq.com/a/20170719/060784.htm 不延迟了!iPhone 8会在9月底推出 http://tech.qq.com/a/20170720/003257.htm 世锦赛-女子10米台中国双保险丢冠 马来西亚夺历史首金 http://sports.qq.com/a/20170720/001150.htm 亚马逊推出自己的社交网络 不过目前只针对iOS用户 http://tech.qq.com/a/20170719/065360.htm 美国宣布对涉伊核中国民企和个人单边制裁 中方回应 http://news.qq.com/a/20170719/052073.htm IBM连续21季度营收下滑为何仍能实现盈利? http://stock.qq.com/a/20170719/066938.htm 港媒:菲律宾捣破一以中国人为首绑架匪帮 拘捕45人 http://news.qq.com/a/20170719/061172.htm 环法第17赛段 荷兰乐透车队罗格利奇夺冠 http://sports.qq.com/a/20170719/066844.htm 寒门出贵子!双胞胎兄弟全都考进名校 http://news.qq.com/a/20170719/045395.htm 深圳积分入户放开学历限制 港媒:中小城市或效仿 http://news.qq.com/a/20170720/001173.htm 白银案被告人高承勇庭审鞠躬道歉现场 http://news.qq.com/a/20170719/065456.htm 朴槿惠以健康不佳为理由 再次拒绝为李在 http://news.qq.com/a/20170719/053842.htm 

原文链接:https://blog.csdn.net/czl389/article/details/75532628?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165277607816782248539109%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=165277607816782248539109&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-27-75532628-null-null.nonecase&utm_term=%E6%96%B0%E9%97%BB

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发
头像
文明发言,共建和谐米科社区
提交
头像

昵称

取消
昵称表情图片