在上一章中，我们基本上掌握了抓取整个网页的基本技能.但是呢，大多数情况下，我们并不需要整个网页的内容,只是 需要那么一小部分，怎么办呢？这就涉及到了数据提取的问题.
本课程中，提供三种解析方式： 1.re解析 2.bs4解析 3.xpath解析
这三种方式可以混合进行使用，完全以结果做导向，只要能拿到你想要的数据.用什么方案并不重要，当你掌握了这些之 后.再考虑性能的问题.

re模块

import re# findall：找到所有匹配的内容
lst = re.findall(r'\d+', '123abc456')  # ['123', '456']# finditer: 匹配字符串中所有的内容，返回一个迭代器，迭代器中拿到内容需要.group()
it = re.finditer(r'\d+', '123abc456')
# for i in it:
#     print(i.group())  # 123  456# search返回结果是match对象，需要.group()获取内容，找到第一个结果
s = re.search(r'\d+', 'abc123def456')
# print(s.group())# match是从头开始匹配，如果开头没有匹配的内容，返回None；就是固定第一个字符开始匹配
s = re.match(r'\d+', '123abc456')# 预加载正则表达式
obj = re.compile(r'\d+')ret = obj.finditer('abc123def456')# (?P<分组名字>正则表达式) 可以单独从正则匹配的内容中提取出想要的内容
obj = re.compile(r'<div class=\'(.*?)\'>(?P<wahaha>.*?)</div>', re.S)
res = obj.finditer('<div class=\'123\'>哈哈哈哈</div>')
for it in res:print(it.group('wahaha'))

经典豆瓣电影练手

import requests
import reurl = 'https://movie.douban.com/top250'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",}
resp = requests.get(url, headers=headers)page_content = resp.textobj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)</span>.*?'r'<p class="">.*?<br>.*?(?P<year>.*?)&nbsp.*?<span class="rating_num" property="v:average">'r'(?P<score>.*?)</span>.*?<span>(?P<num>.*?)人评价</span>', re.S)result = obj.finditer(page_content)
data = []
for it in result:ele = []ele.append(it.group('name'))ele.append(it.group('year').strip())ele.append(it.group('score'))ele.append(it.group('num'))data.append(ele)dic = it.groupdict()  # 变字典方便写入文件print(data)
resp.close()

电影天堂，代码需要小小修改，有些问题

import requests# import urllib.request
# import http.cookiejar# filename = 'cookie.txt'
#
# cookie = http.cookiejar.MozillaCookieJar(filename)
#
# handler = urllib.request.HTTPCookieProcessor(cookie)
#
# opener = urllib.request.build_opener(handler)
# response = opener.open("https://www.dytt89.com")
# cookie.save(ignore_discard=True, ignore_expires=True)domain = 'https://www.dytt89.com'headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0","cookie":'xxx'
}resp = requests.get(domain,headers=headers, verify=False)
resp.encoding = 'gb2312' # 指定字符集
# 去掉安全验证result1 = obj1.finditer(resp.text)
child_href_list =[]
for it in result1:ul = it.group(m)result2 = obj2.finditer(ul)for itt in result2:child_href = domain + itt.group(hme).strip("/")child_href_list.append(child_href)#把子页面ứ报保存起来# 再次访问子页面爬
resp.close()