python爬虫——获取新闻标题

  1. 打开要提取的新闻页面

  2. 右键-》审查元素(N)进入开发者界面

  3. 进入Network,选中recording network log(红色圆点),筛选
    (蓝色漏斗),然后重新加载页面。选择doc,左下第一列即为所选目标。通过headers 和 Responses可以确认是不是我们所要选择的内容。
    headers中 Request URL:https://news.sina.cn/2017-08-21/detail-ifykcqaw0391535.d.html?from=wap 就是我们所要爬取的网页的网址,将其复制到requests.get()中

这里写图片描述

  1. 标题的选取。
    点击“选择元素”图标,将光标放在标题上,即可看到标题所在代码行。

这里写图片描述

这里可以看到标题的calss 为

<h1 class="art_tit_h1">....</h1>

双击复制art_tit_h1,放入我们的soup.select()中 。

这里写图片描述

  1. 获取时间
timesource = soup.select('.weibo_time')[0].contents[1].text.strip() type(timesource) timesource

这里写图片描述

注意:

soup.select()调用的时候
class 用 ‘.*’
id 用 ‘#*’

原文链接:https://blog.csdn.net/xiao_lxl/article/details/77446990?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165277607816782248539109%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=165277607816782248539109&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-13-77446990-null-null.nonecase&utm_term=%E6%96%B0%E9%97%BB

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发
头像
文明发言,共建和谐米科社区
提交
头像

昵称

取消
昵称表情图片

    暂无评论内容