基于爬虫系统的省级公共图书馆微信平台运用调查-谢辉.pdf
《基于爬虫系统的省级公共图书馆微信平台运用调查-谢辉.pdf》由会员分享,可在线阅读,更多相关《基于爬虫系统的省级公共图书馆微信平台运用调查-谢辉.pdf(8页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 2 0 1 8 年 第 3 期 基 于 爬 虫 系 统 的 省 级 公 共 图 书 馆 微 信 平 台 运 用 调 查谢 辉0 前 言近 年 省 级 公 共 图 书 馆 ( 以 下 简 称 “ 省 馆 ” ) 纷纷 开 通 微 信 公 众 号 服 务 平 台 ( 以 下 简 称 “ 微 信 公 众号 ” ) , 学 者 开 始 研 究 图 书 馆 微 信 公 众 号 运 营 情况 。 张 正 等 1 认 为 , 微 信 为 扩 展 图 书 馆 服 务 范 围 、方 式 和 内 容 提 供 了 新 途 径 。 郭 春 侠 等 2 调 查 3 1 家省 馆 微 信 公 众 号 现 状 , 指 出
2、 服 务 功 能 设 置 和 服 务水 平 良 莠 不 齐 。 整 体 而 言 , 关 于 省 馆 微 信 公 众 号的 研 究 侧 重 于 应 用 现 状 、 功 能 等 方 面 ; 而 关 于 微 信公 众 号 服 务 情 况 及 数 据 分 析 等 定 量 研 究 较 少 。 为 此 ,本 研 究 采 集 2 0 1 6 年 5 月 1 日 至 2 0 1 7 年 5 月 1日 各 省 馆 微 信 公 众 号 推 送 的 文 章 、 文 章 阅 读 量 、发 布 时 间 等 作 为 研 究 数 据 , 构 建 微 信 传 播 指 数W C I 评 价 指 标 体 系 , 并 针 对 试
3、验 数 据 , 从 宏 观 和 实例 角 度 探 讨 省 馆 微 信 公 众 号 服 务 现 状 及 存 在 问 题 。1 研 究 过 程1 . 1 数 据 源 选 择本 研 究 数 据 来 自 清 博 指 数 。 清 博 指 数 是 我 国摘 要 文 章 利 用 P y th o n 语 言 建 立 微 信 公 众 号 爬 虫 系 统 。 结 合 试 验 数 据 , 从 宏 观 和 实 例 角 度 探 讨 省 级公 共 图 书 馆 微 信 公 众 号 现 状 以 及 存 在 的 问 题 。 研 究 表 明 : 省 级 公 共 图 书 馆 微 信 公 众 平 台 平 均 推 送 文 章数 量
4、差 异 较 大 , 人 力 资 源 分 配 不 均 衡 , 微 信 公 众 平 台 的 服 务 水 平 和 质 量 存 在 较 大 差 异 。 根 据 调 研 情 况 ,提 出 改 进 省 级 公 共 图 书 馆 微 信 公 众 平 台 的 建 议 。关 键 词 省 级 公 共 图 书 馆 微 信 公 众 号 爬 虫 调 查 系 统 W C I引 用 本 文 格 式 谢 辉 . 基 于 爬 虫 系 统 的 省 级 公 共 图 书 馆 微 信 平 台 运 用 调 查 J.图 书 馆 论 坛 , 2 0 1 8 ( 3) :1 1 7 - 1 2 4 .I n v e s t i g a t i
5、o n o n t h e A p p l i c a t i o n o f W e C h a t P l a t f o r m o f P r o v i n c i a lP u b l i c L i b r a r i e s B a s e d o n R e p t i l e S y s t e mX IE H u iA b s t r a c t W i t h t h e r a p i d i n c r e a s e i n t h e n u m b e r o f W e C h a t u s e r s , l i b r a r y n e e d s
6、t o p r o m p t l y p u s h i n f o r m a t i o n t or e a d e r s , t o s t r e n g t h e n t h e c o m m u n i c a t i o n w i t h r e a d e r s a n d i m p r o v e t h e r e a d e r e x p e r i e n c e . U s i n g p y t h o n l a n g u a g e ,t h r o u g h t h e e s t a b l i s h m e n t o f W e
7、C h a t o f f i c i a l a c c o u n t c r a w l e r s y s t e m , t h i s p a p e r b u i l d s a W e C h a t s p r e a d i n d e xe v a l u a t i o n i n d i c t o r s y s t e m , t r i n g t o i l l u s t r a t e t h e s t a t u s q u o a n d p r o b l e m s o f p r o v i n c i a l p u b l i c l i
8、 b r a r i e s W e C h a to f f i c i a l a c c o u n t s f r o m t h e m a c r o a n d e m p i r i c a l p e r s p e c t i v e s . T h e r e s u l t s s h o w t h a t t h e a v e r a g e n u m b e r o f t h ea r t i c l e s p u s h e d b y t h e p r o v i n c i a l p u b l i c l i b r a r i e s , t
9、 h e l e v e l a n d q u a l i t y o f t h e W e C h a t o f f i c i a l a c c o u n t s v a r y g r e a t l y .B a s e d o n t h e a b o v e a n a l y s i s , t h e a u t h o r m a k e s s o m e s u g g e s t i o n s f o r i m p r o v i n g t h e W e C h a t p u b l i c p l a t f o r m s e r v i c
10、eo f p r o v i n c i a l p u b l i c l i b r a r i e s .K e y w o r d s p r o v i n c i a l p u b l i c l i b r a r y ; W e C h a t; c r a w l e r; W C I数字技术1 1 7C M Y K万方数据最 大 的 第 三 方 新 媒 体 搜 索 引 擎 、 微 信 数 据 库 , 其收 录 的 数 据 包 括 头 条 阅 读 量 、 发 布 时 间 、 总 阅 读量 、 详 细 内 容 、 总 点 赞 数 、 最 多 阅 读 文 章 、 图 文 消息
11、链 接 、 当 日 阅 读 量 、 最 近 一 周 阅 读 量 等 。 依 托该 平 台 , 本 研 究 统 计 分 析 各 省 馆 微 信 公 众 号 推 送文 章 的 传 播 量 、 覆 盖 度 、 账 号 成 熟 度 和 影 响 力 等 。1 . 2 数 据 收 集1 . 2 . 1 爬 虫 系 统 原 理 及 架 构网 络 爬 虫 ( W e b C r a w Ie r ) 是 一 种 用 于 自 动 提取 网 络 信 息 的 工 具 , 主 要 利 用 C / C + + 、 J a v a 、P y t h o n 、 P e r I 等 程 序 语 言 撰 写 , 自 动 抽
12、取 网 页 并保 存 在 数 据 库 中 , 以 作 为 分 析 或 数 据 探 勘 使 用 。网 络 爬 虫 基 本 架 构 见 图 13 : 首 先 提 取 程 序 ( F e t c h e r )抓 取 H T M L 文 件 , 并 将 H T M L 文 件 内 容 放 进 控制 器 ( C o n t r o IIe r ) 分 析 ; 当 超 链 接 被 搜 寻 到 后 , 将被 链 接 提 取 程 序 抽 取 出 来 建 立 增 加 新 节 点 到 网 络爬 虫 的 工 作 量 中 , 可 视 为 数 据 结 构 的 队 列 方 式 ;然 后 将 抽 取 的 H T M L
13、文 件 或 想 获 得 的 信 息 通 过 汇总 程 序 存 入 数 据 库 , 直 到 网 络 爬 虫 工 作 量 内 没 有要 接 入 的 节 点 之 后 结 束 。 一 般 而 言 , 网 页 搜 寻 策略 方 式 有 4 种 : I P 地 址 搜 寻 方 法 、 广 度 优 先 、 深度 优 先 和 最 佳 优 先 策 略 。1 . 2 . 2 微 信 爬 虫 系 统 设 计为 方 便 采 集 各 馆 微 信 公 众 号 推 送 文 章 及 相 关数 据 , 以 P y t h o n 语 言 为 基 础 , 构 建 微 信 公 众 号爬 虫 系 统 , 主 要 步 骤 : ( 1
14、) 统 计 各 馆 微 信 公 众 号 开通 情 况 。 通 过 网 上 搜 索 查 询 和 筛 选 , 获 得 3 2 个省 馆 微 信 公 众 号 。 ( 2 ) 通 过 微 信 公 众 号 爬 虫 系 统 搜寻 2 0 1 6 年 5 月 1 日 至 2 0 1 7 年 5 月 1 日 3 2 个 馆微 信 公 众 号 推 送 的 文 章 、 阅 读 量 、 点 赞 率 、 链 接 地址 等 数 据 , 将 其 放 到 非 关 系 型 数 据 库 M o n g o D B的 U R L _ Iis t 集 合 中 进 行 存 储 , 通 过 爬 虫 系 统 搜 寻推 送 文 章 的 链
15、 接 地 址 、 文 章 标 题 和 内 容 , 同 样 存储 在 U R L _ Iis t 集 合 中 。 ( 3 ) 导 出 文 件 。 从 数 据 库中 导 出 推 送 文 章 链 接 地 址 和 文 本 内 容 数 据 , 以U R L . C S V 和 I N F O . C S V 格 式 进 行 分 析 使 用 。1 . 3 数 据 处 理1 . 3 . 1 筛 选 重 复 数 据利 用 E X C E L 中 C O U N T I F 函 数 筛 选 重 复 的文 章 链 接 地 址 , 将 其 删 除 。 浙 江 省 馆 和 云 南 省 馆均 开 通 微 信 订 阅 号
16、 和 服 务 号 , 因 此 , 将 其 链 接 地址 及 内 容 数 据 合 并 在 同 一 个 账 号 下 。 由 于 U R L .C S V 文 件 中 有 2 4 条 被 发 布 者 删 除 或 内 容 被 举 报而 无 法 查 看 的 记 录 数 据 , 将 其 进 行 删 除 , 剩 余8 0 6 5 条 微 信 公 众 号 推 送 文 章 的 链 接 地 址 记 录 ,I N F O . C S V 文 件 做 相 应 的 删 除 修 改 , 导 出 数 据8 0 6 5 条 链 接 地 址 , 包 含 文 本 内 容 、 标 题 、 摘 要 、点 赞 数 、 推 送 时 间
17、等 数 据 。1 . 3 . 2 基 于 T a b Ie a u 的 数 据 分 析T a b Ie a u 是 一 款 可 视 化 数 据 分 析 产 品 。 本 研究 将 筛 选 后 的 数 据 导 入 T a b Ie a u 中 进 行 分 析 , 结合 W C I 对 各 馆 微 信 公 众 号 推 送 文 章 位 置 、 日 期 、时 间 、 传 播 指 数 排 名 、 推 送 时 间 、 推 送 内 容 等 指标 数 据 进 行 统 计 分 析 。 部 分 数 据 见 图 2 。2 调 查 实 践 及 结 果 分 析2 . 1 宏 观 分 析2 . 1 . 1 区 域 推 送
18、数 量为 直 观 地 展 示 各 馆 地 理 位 置 及 其 推 送 文 章 情况 , 利 用 E X C E L 工 具 将 各 馆 微 信 公 众 号 推 送 文章 数 量 在 地 图 相 应 位 置 上 进 行 标 记 。 从 图 3 可 以看 出 , 江 苏 、 湖 南 、 黑 龙 江 等 省 馆 微 信 公 众 号 推送 文 章 数 量 最 多 , 分 别 达 1 3 2 5 篇 、 1 1 0 3 篇 、8 5 0 篇 。 分 区 域 看 , 东 部 和 南 部 省 馆 微 信 公 众 号推 送 文 章 数 量 明 显 较 西 部 和 北 部 多 , 表 明 各 馆 微信 平 台
19、运 行 状 况 与 当 地 经 济 水 平 有 直 接 的 关 系 。2 . 1 . 2 推 送 时 间 的 选 择根 据 爬 虫 遍 历 得 到 的 文 章 推 送 日 期 和 数 量 ,得 出 各 馆 微 信 公 众 号 推 送 文 章 数 量 随 月 份 变 化 情图 1 网 络 爬 虫 系 统 架 构 图数字技术1 1 8C M Y K万方数据 2 0 1 8 年 第 3 期 况 , 见 图 4 。 2 0 1 6 年 1 2 月 推 送 最 多 , 可 能 逢 元旦 假 期 , 活 动 增 多 ; 其 次 是 9 月 、 1 1 月 推 送 较多 ; 1 0 月 出 现 低 谷 ,
20、可 能 与 国 庆 假 期 有 关 , 影响 微 信 管 理 人 员 推 送 文 章 。 2 0 1 6 年 与 2 0 1 7 年 上半 年 和 对 应 的 下 半 年 相 比 , 上 半 年 微 信 平 台 活 跃度 不 如 下 半 年 。2 . 1 . 3 时 间 选 择根 据 爬 虫 搜 寻 得 到 各 馆 推 送 文 章 及 其 推 送 时间 段 , 以 2 4 小 时 为 横 坐 标 , 各 时 间 段 所 有 馆 推送 文 章 数 量 的 平 均 数 作 为 纵 坐 标 轴 , 数 据 计 算 结果 见 图 5 。 由 图 5 可 见 , 各 馆 0 - 6 点 推 送 文 章
21、最少 , 与 工 作 人 员 作 息 保 持 一 致 。 在 上 午 和 下 午 工作 时 间 段 推 送 数 量 随 时 间 推 移 增 多 , 分 别 在 1 2时 和 1 7 时 达 到 高 峰 。 1 3 时 、 1 4 时 推 送 数 量 出 现低 谷 , 这 与 午 休 时 间 相 符 。 在 晚 上 时 间 段 , 各 馆平 均 推 送 文 章 的 数 量 出 现 随 时 间 推 移 而 递 减 趋势 , 2 3 时 达 到 最 低 点 , 这 和 作 息 时 间 相 符 。2 . 2 实 例 分 析2 . 2 . 1 微 信 公 众 平 台 开 通 现 状截 至 2 0 1 7
22、 年 5 月 1 日 , 3 2 家 省 馆 全 部 开 通微 信 平 台 且 完 成 认 证 , 见 表 1 。 其 中 首 都 图 书 馆 、图 2 各 省 馆 公 众 号 采 集 数 据 (部 分 )图 3 省 馆 微 信 公 众 号 文 章 推 送 量 分 布图 4 各 省 馆 月 均 推 送 数 量数字技术1 1 9C M Y K万方数据表 1 省 馆 微 信 平 台 开 通 情 况微 信 平 台 名 称首 都 图 书 馆首 图 数 字 图 书 馆天 津 图 书 馆天 图 数 字 图 书 馆开 通 时 间2 0 1 3 - 1 1 - 2 52 0 1 6 - 0 8 - 0 92
23、0 1 5 - 1 0 - 1 32 0 1 4 - 0 4 - 1 7微 信 平 台 名 称上 海 图 书 馆上 海 图 书 馆 信 使河 南 省 图 书 馆湖 南 图 书 馆开 通 时 间2 0 1 3 - 1 2 - 3 02 0 1 4 - 0 6 - 0 12 0 1 4 - 0 6 - 1 02 0 1 4 - 0 2 - 1 5平 台 类 型服 务 号订 阅 号订 阅 号订 阅 号河 北 省 图 书 馆河 北 省 数 字 图 书 馆山 西 省 图 书 馆内 蒙 古 图 书 馆辽 宁 省 图 书 馆2 0 1 4 - 0 8 - 0 72 0 1 5 - 1 1 - 2 42 0
24、1 4 - 0 3 - 3 12 0 1 5 - 0 1 - 0 92 0 1 4 - 0 6 - 0 9天 下 湖 南 网湖 北 省 图 书 馆广 东 省 立 中 山 图 书 馆广 西 壮 族 自 治 区 图 书 馆海 南 省 图 书 馆2 0 1 3 - 0 3 - 0 82 0 1 3 - 0 5 - 2 52 0 1 4 - 0 7 - 2 02 0 1 4 - 0 5 - 2 82 0 1 4 - 0 3 - 2 8订 阅 号订 阅 号订 阅 号服 务 号订 阅 号吉 林 省 图 书 馆黑 龙 江 省 图 书 馆黑 龙 江 省 数 字 图 书 馆山 东 省 图 书 馆山 东 省 数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 爬虫 系统 省级 公共图书馆 平台 运用 调查 谢辉
限制150内