博客
关于我
Python爬虫演绎正则提取数据
阅读量:806 次
发布时间:2019-03-25

本文共 1644 字,大约阅读时间需要 5 分钟。

Python爬虫演示:使用正则表达式提取数据

1. 什么是正则表达式

正则表达式(Regular Expression,简称 regex)是一种强大的文本匹配工具,通过定义特定的模式可以快速提取或过滤网页中的结构化数据。它包含普通字符(如字母、数字)和特殊元字符(如 . * ?),能够描述复杂的字符匹配规则。

2. 爬取《男人装》网页内容

说明步骤

  • 访问目标网页

    使用 urllib.request 库发送 GET 请求,获取目标网页的 HTML 数据。

    from urllib import requestimport reimport os# 目标网页地址url = 'http://enrz.com/fhm/2016/12/17/74914.html'req = request.Request(url)html = request.urlopen(req)content = html.read().decode('utf-8')
  • 提取网页标题

    制定正则表达式匹配 <h2> 标签内的内容。

    # 过滤标题的正则表达式title_pattern = r'

    (.*?)

    '# 搜索并提取标题title_match = re.search(title_pattern, content)if title_match: print(f"网页标题:{title_match.group(1)}")
  • 提取图片路径

    设计正则表达式获取图片的 src 属性。

    # 过滤图片路径的正则表达式pic_src_pattern = r'
    '# 搜索并提取图片路径pic_src_match = re.search(pic_src_pattern, content)if pic_src_match: print(f"图片路径:{pic_src_match.group(1)}")
  • 创建存储路径

    根据标题自动创建文件夹。

    # 获取标题作为文件夹名称dir_name = title_match.group(1)# 创建文件夹dir_path = os.path.join(os.getcwd(), dir_name)if not os.path.exists(dir_path):    os.makedirs(dir_path)
  • 下载并保存图片

    使用循环处理每张图片,并将其保存到相应文件夹。

    while True:    # 搜索所有图片路径    pics = re.findall(pic_src_pattern, content)    for pic in pics:        if not os.path.exists(pic):            # 防止断线重试,直接跳转获取图片            req_pic = request.Request(pic)            try:                html_pic = request.urlopen(req_pic)                image_data = html_pic.read()                # 保存图片                pic_path = os.path.join(dir_path, pic.split('/')[-1])                with open(pic_path, 'wb') as f:                    f.write(image_data)            except:                pass    break
  • 完成任务!

    所需文件已成功创建并存入 dir_name 文件夹中,包含:

    • 每张图片:

      • 图片文件名(自动提取)
      • 图片完整路径(保存位置:dir_name/图片文件名
    • 详细的提取日志文件(可选扩展功能)

  • 转载地址:http://szdyk.baihongyu.com/

    你可能感兴趣的文章
    mapping文件目录生成修改
    查看>>
    MapReduce程序依赖的jar包
    查看>>
    mariadb multi-source replication(mariadb多主复制)
    查看>>
    MaterialForm对tab页进行隐藏
    查看>>
    Member var and Static var.
    查看>>
    memcached高速缓存学习笔记001---memcached介绍和安装以及基本使用
    查看>>
    memcached高速缓存学习笔记003---利用JAVA程序操作memcached crud操作
    查看>>
    Memcached:Node.js 高性能缓存解决方案
    查看>>
    memcache、redis原理对比
    查看>>
    memset初始化高维数组为-1/0
    查看>>
    Metasploit CGI网关接口渗透测试实战
    查看>>
    Metasploit Web服务器渗透测试实战
    查看>>
    Moment.js常见用法总结
    查看>>
    MongoDB出现Error parsing command line: unrecognised option ‘--fork‘ 的解决方法
    查看>>
    MongoDB学习笔记(8)--索引及优化索引
    查看>>
    ms sql server 2008 sp2更新异常
    查看>>
    MS UC 2013-0-Prepare Tool
    查看>>
    msbuild发布web应用程序
    查看>>
    MSCRM调用外部JS文件
    查看>>
    MSEdgeDriver (Chromium) 不适用于版本 >= 79.0.313 (Canary)
    查看>>