回归预测 | MATLAB实现MEA-BP多输入单输出

(Python)BiliBili(手机端缓存视频转换)

  返回  

利用urllib3 抓取博客列表

2021/8/21 16:06:14 浏览:

利用urllib3 抓取博客列表

  • 分析页面代码
  • 分析正则表达式
  • 完整代码

分析页面代码

在这里插入图片描述

从这段代码中可以找到很多规律,例如,每条博客的所有信息都包含在一个 
<div> 节点中,这个<div>节点的class属性值都是post-item-text,每一条博客的标题和URL都包含在一个<a>节点中,这个<a> 在,节点的class属性值是post-item-title。根据这些规律,很容易过滤出想要的信息。由于本例只需要得到:
博客的标题和URL,所以只关注 <a> 节点即可。本例的基本原理就是通过正则表达式过滤出所有class属性值为titlelenk的 <a>
 节点,然后从 <a>节点中提炼出博客标题和URL。

分析正则表达式

<a class="post-item-title" href="https://www.cnblogs.com/lianghong881018/p/15169424.html" target="_blank">基于RT1052 Aworks 内存扩容记录(一)</a>
这个是<a>的内容得到以下正则表达式
<a[^>]*post-item-title[^>]*>[^<]*</a>
  • [^>]*:是匹配出来>字符的所有字符,在这里匹配class=",下一个则是匹配" href="https://www.cnblogs.com/lianghong881018/p/15169424.html" target="_blank"

完整代码

from urllib3 import *
from re import *

http  = PoolManager()
# 禁止显示警告信息
disable_warnings()
# 加载 url 对应得Web界面,即响应后转送的信息
def download(url):
    result = http.request('GET',url)
    # 获取Web页面对应的HTML代码
    htmlStr = result.data.decode('utf-8')
    return htmlStr

#分析HTML代码
def analyse(htmlStr):
    # 通过正则表达式获取 class 属性为 post-item-title 的<a>节点
    aList = findall('<a[^>]*post-item-title[^>]*>[^<]*</a>',htmlStr)
    result = []
    # 提取每一个<a>节点中的URL
    for a in aList:
        g = search('href[\s]*=[\s]*[\'"]([^>\'""]*)[\'"]',a)
        if g!=None:
            url = g.group(1)
        # a为字符串,找到索引通过切片来得到标题
        index1 = a.find(">")
        index2 = a.rfind("<")
        title = a[index1+1:index2]

        d = { }
        d['url'] = url
        d['title'] = title
        result.append(d)
    return result
# 抓取博客列表
def crawler(url):
    html = download(url)
    blogList = analyse(html)
    #输出信息
    for blog in blogList:
        print('title: ',blog['title'])
        print('url: ', blog['url'])

# 开始抓取
crawler('https://www.cnblogs.com')

联系我们

如果您对我们的服务有兴趣,请及时和我们联系!

服务热线:18288888888
座机:18288888888
传真:
邮箱:888888@qq.com
地址:郑州市文化路红专路93号