（中职）Python编程基础与应用电子课件文本处理库的应用.pptx

《（中职）Python编程基础与应用电子课件文本处理库的应用.pptx》由会员分享，可在线阅读，更多相关《（中职）Python编程基础与应用电子课件文本处理库的应用.pptx（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、（中职）Python编程基础与应用电子课件文本处理库的应用文本处理库的应用主讲：Python编程基础与应用配套课件Python编程基础与应用配套课件编程基础与应用配套课件contents目录1.jieba的安装和简介2.wordcloud的安装和简介3.案例：可视化中文词云项目Python编程基础与应用配套课件编程基础与应用配套课件列表的定义和索引访问列表的定义和索引访问01Python编程基础与应用配套课件编程基础与应用配套课件jieba的简介“结巴”中文分词支持繁体分词，支持自定义词典，还支持四种分词模式：1）精确模式，试图将句子最精确地切开，适合文本分析。2）全模式，把句子中所有的可以成

2、词的词语都扫描出来,速度非常快，但是不能解决歧义。3）搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。4）paddle模式，利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。Python编程基础与应用配套课件编程基础与应用配套课件jieba的安装它的安装方法很简单，可以直接使用PIP进行安装：Python编程基础与应用配套课件编程基础与应用配套课件jieba库的常用函数Python编程基础与应用配套课件编程基础与应用配套课件范例11-1 jieba库的三种分词模式应用jieba库的三种分词模式，对字符串“jieba是优秀的

3、中文分词第三方库”进行分词。Python编程基础与应用配套课件编程基础与应用配套课件范例11-1 jieba库的三种分词模式它的结果 如下Python编程基础与应用配套课件编程基础与应用配套课件wordcloud的安装和简介的安装和简介02Python编程基础与应用配套课件编程基础与应用配套课件wordcloud的安装和简介wordcloud库把词云当作一个WordCloud对象。wordcloud.WordCloud()代表一个文本对应的词云，可以根据文本中词语出现的频率等参数绘制词云，绘制词云的形状、尺寸和颜色都可以设定。它的安装方法很简单，可以直接使用PIP进行安装Python编程基础与

4、应用配套课件编程基础与应用配套课件wordcloud的常用方法在生成词云时，它默认会以空格或者标点为分隔符对目标文本进行分词处理，但是对于中文的文本，分词处理需要我们提前处理好。一般的做法是先将中文文本进行分词，然后以空格或者标点拼接，再调用wordcloud库函数。Python编程基础与应用配套课件编程基础与应用配套课件范例11-2 wordcloud库生成词云应用wordcloud库对以下字符串“Python JAVA C#C+ASP.NET Python and WordCloud Python”生成一个词云，并保存为图片。Python编程基础与应用配套课件编程基础与应用配套课件范例11

5、-2 wordcloud库生成词云它生成了一张图片pywordcloud.png，效果如图。从图中看到“Python”文字比较大，这是因为它的词频是字符串中最高的。Python编程基础与应用配套课件编程基础与应用配套课件生成指定形状的词云wordcloud也可以生成任何形状的词云，为了获取形状，需要提供一张相应形状的图像。图像最好以PNG格式的图片，其它无关的轮廓或者内容提前使用图像处理软件清除好。对于图片的读取可以使用imageio库。imageio是一个Python库，它提供了一个简单的接口来读取和写入大量的图像数据，包括动画图像、体积数据和科学格式。Python编程基础与应用配套课件编程

6、基础与应用配套课件生成指定形状的词云wordcloud也可以生成任何形状的词云，为了获取形状，需要提供一张相应形状的图像。图像最好以PNG格式的图片，其它无关的轮廓或者内容提前使用图像处理软件清除好。对于图片的读取可以使用imageio库。imageio是一个Python库，它提供了一个简单的接口来读取和写入大量的图像数据，包括动画图像、体积数据和科学格式。Python编程基础与应用配套课件编程基础与应用配套课件wordcloud的常用参数wordcloud处理中文时，还可以指定用到的中文字体。中文字体文件需要与代码存放在同一个目录下。如果不放在同一个目录下，中文字体文件即要提供完整路径。Py

7、thon编程基础与应用配套课件编程基础与应用配套课件范例11-3wordcloud库生成一个心形词云应用wordcloud库对素材中的“phthon.txt”文件中的文本生成一个词云，并保存为图片。这个文本也更换为其它的长文本。原始参照图形如图所示。Python编程基础与应用配套课件编程基础与应用配套课件范例11-3wordcloud库生成一个心形词云它的代码如下Python编程基础与应用配套课件编程基础与应用配套课件范例11-3wordcloud库生成一个心形词云它生成了一张图片pywcloud.png，效果如图9-5。它的宽是600，高是500，使用了图片love.png的词云形状，背景颜

8、色为白色white。单词“Python”的词频最大，其次是“Tutorial”，从词云中可以很直观地看到那些是高频单词。Python编程基础与应用配套课件编程基础与应用配套课件案例：可视化中文词云项目案例：可视化中文词云项目03Python编程基础与应用配套课件编程基础与应用配套课件案例描述扶贫是保障贫困户的合法权益，取消贫困负担。2020年11月23日，中国832个国家级贫困县全部脱贫摘帽。我国脱贫攻坚取得的成就，见证了“中国力量”。消除绝对贫困是一项对中华民族、对人类都具有重大意义的伟业！小刘在一间大数据技术应用与开发公司工作，是一名Python程序员。他的项目经理要求小刘对一篇关于中国的

9、精准扶贫的文章进行中文分词，并对高频出现的一些词语自动生成一个词云图片。这个词云图将会应用于一个大数据可视化大屏展示系统中。Python编程基础与应用配套课件编程基础与应用配套课件案例分析本项目可以用Python语言jieba结巴分词库对文章进行中文分词，统计出高频的词语，然后结合wordcloud词云库，自动化地生成词云。它的主要实施步骤为：1）使用IO函数，对文本文件的读取。2）应用jieba进行中文分词。3）词频统计。4）对词频进行排序。5）对高频词进行输出显示，并对分词使用空格拼接成字符串。6）读取图片，以生成词云的形状。7）设置wordcloud的参数，自动生成词云图片并保存。Pyt

10、hon编程基础与应用配套课件编程基础与应用配套课件安装imread 需要注意的是本案例要提前安装imread，如下：pip install imread如果直接安装不成功，可以从网站http:/www.lfd.uci.edu/gohlke/pythonlibs/下载whl文件进行安装。Python编程基础与应用配套课件编程基础与应用配套课件代码Python编程基础与应用配套课件编程基础与应用配套课件代码Python编程基础与应用配套课件编程基础与应用配套课件代码Python编程基础与应用配套课件编程基础与应用配套课件调试结果在代码编辑区按“Shift+F10”或者右键直接选择“运行”，即可调试，效果图如下所示，这是一个点赞的大拇指效果图。从效果图中可以看到词频最高的词语的字体最大。Python编程基础与应用配套课件编程基础与应用配套课件试一试1）请你找一些其它中文文章生成词云，看一下它的效果是如何的。比如中国的高铁事业、中国的航天事业、中国的北斗导航、中国应对“新冠”疫情的故事等。2）请你找一些其它图形，以生成更具创新的词云形状。比如五角星、大拇指、树叶、某个人的头像、飞机的造型、高铁的造型等。感谢聆听主讲：Python编程基础与应用配套课件