用于小型图形挖掘研究的瑞士军刀：空手道俱乐部的图表学习Python库.docx

《用于小型图形挖掘研究的瑞士军刀：空手道俱乐部的图表学习Python库.docx》由会员分享，可在线阅读，更多相关《用于小型图形挖掘研究的瑞士军刀：空手道俱乐部的图表学习Python库.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、用于小型图形挖掘研究的瑞士军刀：空手道俱乐部的图表学习Python库|BenedekRozemberczki译者|天道酬勤责编|Carol出品|AI科技大本营ID:rgznai100空手道俱乐部KarateClub是NetworkXPython软件包的无监视机器学习扩展库。详细可以参阅此处的文档s:/github/benedekrozemberczki/karateclub。空手道俱乐部采用先进的方法对图构造化数据进展无监视学习。简而言之它是用于小型图形挖掘研究的瑞士军刀。首先它在节点级以及图级提供了网络嵌入技术。其次它包括各种重叠以及不重叠的社区检测方法。实现的方法涵盖广泛的网络科学NetS

2、ciComplenet、数据挖掘ICDMCIKMKDD、人工智能AAAIIJCAI以及机器学习NeurIPSICMLICLR会议、研讨会以及著名期刊。一个简单例如空手道俱乐部使当代社区检测技术的使用变得非常容易可参阅此处的随附教程s:/karateclub.readthedocs.io/en/latest/notes/introduction.html。下面的代码段在合成图上使用了重叠的社区检测算法。设计原那么当创立空手道俱乐部时我们使用了面向API的机器学习系统设计观点为了成为最终用户友好的机器学习工具。这种面向API的设计原那么包含一些简单的思想。在本节中我们将通过适当的讲明性例如详细讨论

3、这些思想及其明显的优势。1封装模型超参数与检验通过使用适当的Python对象的构造函数来创立无人监视的空手道俱乐部模型实例。该构造函数具有一个默认的超参数设置该设置允许合理地使用现成的模型。简单地讲这意味着最终用户不需要非常详细地理解内部模型机制就可以使用在我们的框架中实现的方法。我们设置这些默认超参数来提供合理的学习以及运行时性能。假如需要可以在模型创立时使用构造函数的适当参数化来修改这些模型超参数。超参数存储为公共属性以便允许检查模型设置。我们通过上面的代码片段演示了超参数的封装。首先我们要为使用标准超参数设置的NetworkX生成的Erdos-Renyi图创立一个嵌入。当构建模型时我们不

4、会更改这些默认超参数而可以打印尺寸超参数的标准设置。其次我们可以设置不同数量的维度因此我们创立了一个新模型并且仍然可以公开访问维度超参数。2类的一致性以及非扩散性空手道俱乐部中的每个无监视机器学习模型都实现为一个单独的类该类继承自Estimator类。因为我们假设最终用户对与特定技术有关的算法细节不是十分感兴趣所以在我们的框架中实现的算法只有少数几种公共方法。所有模型都通过使用fit方法进展拟合该方法承受输入图形、节点特征并调用适当的私有方法来学习嵌入或者集群。节点以及图的嵌入由get_embedding公共方法返回而集群成员关系那么通过调用get_memberships来检索。在上面的代码段

5、中我们创立了一个随机图并使用具有默认超参数的DeepWalk模型使用publicfit方法对该模型进展拟合并通过调用publicget_embedding方法返回嵌入。我们可以对这个例如进展修改通过更改模型导入以及构造函数以最小的工作量创立嵌入的walklet这些修改将产生下面的代码片段。综观以上两个代码片段API驱动设计的优势显而易见因为我们只需要进展一些修改即可。首先必须更改嵌入模型的导入。其次我们需要更改模型构造并且已经设置了默认的超参数。第三DeepWalk以及Walklets类提供的公共方法的行为一样。嵌入是通过fit学习的并由get_embedding返回。当用于特征提取的上游非监

6、视模型性能较差时这可以快速、最少地更改代码。3标准化数据集提取我们设计了空手道俱乐部以便在拟合模型时使用标准化的数据集提取。实际上这意味着目的一样的算法使用一样的数据类型进展模型训练。详细如下基于邻域以及构造节点的嵌入技术使用单个NetworkX图作为拟合方法的输入。属性节点嵌入经过将NetworkX图作为输入并将要素表示为NumPy数组或者SciPy稀疏矩阵。在这些矩阵中行对应于节点列对应于特征。图级嵌入方法以及统计图指纹将NetworkX图的列表作为输入。社区检测方法使用NetworkX图作为输入。4高性能模型力学图挖掘算法的底层机制是使用广泛使用的Python库实现的这些库不依赖于操作系

7、统并且不需要其他外部库如TensorFlow或PyTorch的存在。空手道俱乐部中的内部图形表示使用NetworkX。密集的线性代数运算是使用NumPy完成的而稀疏的对等运算那么使用SciPy。隐式矩阵分解技术利用GenSim软件包而依赖图形数据处理的方法那么使用PyGSP。5标准化的输出生成以及接口空手道俱乐部的标准化输出生成可确保用于一样目的的无监视学习算法始终以一致的数据点顺序返回一样类型的输出。这种设计原那么具有非常重要的意义。当将某种类型的算法交换为一样类型的算法时不必更改使用上游无监视模型输出的下游代码。详细而言通过我们的框架生成的输出使用以下数据构造调用get_embedding

8、方法时节点嵌入算法保存领域、属性以及构造始终返回NumPy浮点数组。数组中的行数是顶点数并且行索引始终对应于顶点索引。此外列数是嵌入维数。当调用get_embedding方法时整个图形嵌入方法光谱指纹、隐式矩阵分解技术将返回Numpy浮点数组。行索引对应于单个图在输入图列表中的位置。同样列代表嵌入维数。调用get_memberships方法时社区检测经过将返回一个字典。节点索引是键与键对应的值是顶点的社区成员。某些图集群技术会创立节点嵌入来查找顶点集群。调用get_embedding方法时它们将返回NumPy浮点数组。该数组的构造类似于节点嵌入算法返回的数组。我们将通过下面的代码片段演示标准化

9、的输出生成以及接口。我们创立随机图的集群并返回包含集群成员资格的字典。使用外部社区库我们可以计算这些集群的模块化。这说明标准化的输出生成将与外部图挖掘以及机器学习库的接口变得更容易了。6局限性目前空手道俱乐部的设计存在一定的局限性我们对输入进展了假设。我们假定NetworkX图是无向的并且由单个强连接的组件组成。所有算法都假定节点的索引是连续的并且起始节点索引为0。此外我们假设图不是多局部的节点是均匀的并且边是未加权的每个边都有单位权重。对于整个图形嵌入算法图集中的所有图形都必须修改先前列出的关于输入的要求。基于Weisfeiler-Lehman特性的嵌入技术允许节点具有单个字符串功能可以使用功能键进展访问。在没有此键的情况下这些算法默认将中心度用作节点特征。假如有不清楚的地方或者其他意见欢送评论告诉我们。原文s:/hackernoon/karate-club-a-python-library-for-graph-representation-learning-05383yh9【end】原力方案?原力方案【第二季】-学习力挑战?正式开场即日起至3月21日千万流量支持原创更有专属【勋章】等你来挑战推荐浏览Python数据清理终极指南2020版你点的每个“在看我都认真当成了AI