Python数据分析实践Python数据分析实践 (21).pdf

《Python数据分析实践Python数据分析实践 (21).pdf》由会员分享，可在线阅读，更多相关《Python数据分析实践Python数据分析实践 (21).pdf（2页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2021/11/21 下午3:513-5-3file:/C:/Users/sgl/Downloads/3-5-3.html1/2In2:import json import requests from bs4 import BeautifulSoup import os 根据新闻列表，确定URLIn3:def readJson(filename):with open(filename,r,encoding=utf-8)as f:newStr=f.read()JData=json.loads(newStr)return JData 发送请求，获取数据In4:def getHtml(url):r=

2、requests.get(url)r.encoding=r.apparent_encoding return r.text 解析新闻文本数据In5:def parseNews(html):soup=BeautifulSoup(html)text=for p in soup.select(divclass*=_con p):text+=p.text return text 保存数据In5:def saveFile(text,path,filename):if not os.path.exists(path):os.makedirs(path)with open(path+filename,w,e

3、ncoding=utf-8)as f:f.write(text)In6:JData=readJson(files/newslist.json)2021/11/21 下午3:513-5-3file:/C:/Users/sgl/Downloads/3-5-3.html2/2In8:import re for item in JData:url=itemurl time=itemtime title=item标题 title=re.sub(/:*?|,title)html=getHtml(url)page=parseNews(html)saveFile(page,files/+time+/,title+.txt)