2022年Linux下BT种子解析模块 .pdf

《2022年Linux下BT种子解析模块 .pdf》由会员分享，可在线阅读，更多相关《2022年Linux下BT种子解析模块 .pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Linux 下 BT 种子解析模块一 概要介绍1.BT 协议的介绍BitTorrent 是一个文件分发协议，每个下载者在下载的同时不断向其他下载者上传已经下载的数据。而在FTP,HTTP 协议中，每个下载者从FTP，或 HTTP 服务器处下载自己所需要的文件， 各个下载者之间没有交互。当非常多的用户同时访问和下载服务器上的文件时， 由于服务器的处理能力以及带宽限制，下载速度会急剧下降，有的用户根本访问不了服务器。 BT 协议与 FTP 协议不同，它的特点是下载的人越多下载的速度越快，其原因在于每个下载者将已下载的数据提供给其他下载者下载，它充分利用了用户的上载带宽。而 Web 服务器上保存着种

2、子文件，下载者使用网络浏览器从Web 服务器上下载种子文件。种子文件，又成为元原文件或者metafile，它保存了共享文件的一些信息，如共享文档的文件名， 文件大小， Tracker 服务器的地址。种子文件通常很小，一般 1G 大小的共享文件，其种子文件不足100KB，种子文件以torrent 为后缀。 BT 客户端下载一个共享文件的开始过程，往就是客户端首先解析种子文件，获取待下载文件的一些信息，其中包括Tracker 服务器的地址，然后根据得到的地址连接Tracker 服务器，获得peer 端信息，最后再在 peer之间传送消息和数据。共享文件在逻辑上被划分为大小相同的块，成为 piece

3、， 每个 piece的大小通常称为256K。对于共享文件，文件的第1 字节到第256K 字节为第一个piece，第 256K+1 字节到 512K字节被称为第二个piece，依此类推。种子文件中包含有每个piece 的 hash值。 BT 协议规定使用 Sha1算法对每个piece 生成 20 字节的 hash 值，作为每个piece 的指纹。2.B 编码的介绍种子文件和Tracker 的返回信息都是经过B 编码的，要解析和处理种子文件以及Tracker的返回值，首先要熟悉B 编码的规则。B 编码中有4 中类型：字符串，整型，列表和字典。字符串的编码格式为：:，其中 括号中的内容为必须的，例如

4、有一个字符串spam，则经过B 编码后为4:spam。整型的编码格式为：ie,则 B 编码中的整数是以i 作为起始符， 以 e作为终结符。例如，整数3，经过 B 编码后为i3e。列表的编码格式为：le，列表以l 为起始符，以e 为终结符，中间可以为任何合法的经过B 编码的类型。 例如，列表l4:spam4:eggse 表示两个字符串，一个是spam，另一个是eggs。字典的编码格式为：de，字典以d 为起始符，以e 为终结符，关键字是一个经过B 编码的字符串，值可以是任何合法的B 编码类型，在d 和 e 之间可以出现多个关键字和值对。例如，d4:spaml3:aaa3:bbbee，它是一个字典

5、，该字典的关键字是spam，值是一个列表，列表中有两个字符串aaa和 bbb。3.BT 种子结构的介绍种子文件包含了提供共享的文件的一些信息，它以.torrent 为后缀名，种子文件也被称为元信息文件或metafile，它是经过B 编码的。种子文件事实上就是一个B 编码的字典，它包含有以下关键字：announce:tracker 服务器的URL( 字符串 ) announce-list(可选 ):备用 tracker 服务器列表 (列表 ) 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - -

6、 第 1 页，共 4 页 - - - - - - - - - creation date(可选 ):种子创建的时间，Unix 标准时间格式， 从 1970 1 月 1 日 00:00:00 到创建时间的秒数(整数 ) comment(可选 ):备注 (字符串 ) created by(可选 ):创建人或创建程序的信息(字符串 ) info:一个字典结构，包含文件的主要信息，为分二种情况：单文件结构或多文件结构单文件结构如下：length:文件长度，单位字节(整数 ) md5sum(可选 )：长 32 个字符的文件的MD5 校验和， BT 不使用这个值，只是为了兼容一些程序所保留!(字符串 )

7、name:文件名 (字符串 ) piece length:每个块的大小，单位字节(整数 ) pieces:每个块的20 个字节的SHA1 Hash 的值 (二进制格式 ) 多文件结构如下：files:一个字典结构length:文件长度，单位字节(整数 ) md5sum(可选 ):同单文件结构中相同path:文件的路径和名字，是一个列表结构，如testtest.txt 列表为 l4:test8test.txte name:最上层的目录名字(字符串 ) piece length:同单文件结构中相同pieces:同单文件结构中相同4.GNU make 工具的介绍Linux 环境下的大型项目开发中，通

8、常把整个系统划分为若干模块，每个模块完成某一相对独立的功能，各个模块相互作用以构成一个完整的系统。对于这样的一个软件系统，是不可能只用一条或者几条gcc命令就可以编译生成可执行程序的。而且模块通常要经历几次修改， 每次修改后如果都有人工输入命令以完成编译，这样子既效率低下又容易出错。在 Linux 中，有一个用来维护程序模块关系和生成可执行程序的工具-make。它可以根据程序模块的修改情况重新编译链接生成中间代码或最终的可执行程序。执行 make 命令，需要一个名为“makefile ”或者“ Makefile ”的文本文件，这个文件定义了整个项目的编译规则。它定义了模块间的依赖关系，指定文件

9、的编译顺序，以及编译所使用的命令，有了 make 命令和 Makefile 文件， 整个项目的源程序文件可以自动编译，极大的提高了软件开发的效率。二 模块的设计与实现根据需求，在模块中实现查找特定关键字功能的函数find_keyword （keyword ，position ） ，其中 keyword 为待查的关键字，而position 为一返回参数，返回查找到的关键字所在位置。为了提高查找效率，将种子文件的内容读入内存，直接在内存中进行字符串匹配。函 数read_announce_list() 获 取Tracker地 址 ， 并 将 获 取 的 地 址 保 存 到 全 局 变 量announ

10、ce_list_head 所指向的结构体中。只需在种子文件内容所在的内存中查找关键字“8:announce”即可，找到之后接下来的字符内容即是Tracker 的 URL 地址，将相应的内容复制进全局变量即可。在判断是多文件还是单文件时，关键是查找关键字“5:files ” ，如果在种子文件中找到相应的内容，即说明为多文件种子，否则为单文件。同理，在得出单个piece 长度，以及获取每个piece 的 hash 值，获取待下载文件的文件名名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第

11、2 页，共 4 页 - - - - - - - - - 及大小，以及获取文件目录时，都是采用先定位各个关键字，如 “12:piece length” ，“6:pieces” ，“4:name”等等，然后再在之后抽取相应的内容，保存在相应的全局变量中即可。在提取种子文件中info_hash 值时，由于是由关键字“4:info ”对应的值来计算info_hash，该关键字对应的值是一个B 编码的字典，问题的关键在于找到与“4:info ”之后 d对应的 e 。此时可以考虑在括号匹配问题中的解决方案，即用堆栈来记录相应的位置，然后一一匹配，直到匹配完成。由于该模块只是整个项目程序中的一个功能部分，因

12、此可以考虑到后面的模块，需要为每一个主机设置一个随机唯一的id，此时只要调用随机生成算法，生成一个随机数即可。再在模块中增添相应的释放动态申请的内存的函数。在编写 makefile 文件时，由于只需生成最后的可执行文件，因而中间代码之类的全部省略，于是可以简短的将makefile 文件写为：main:parse_torrent.c main.c sha1.c gcc -o main parse_torrent.c main.c sha1.c 其中 parse_torrent.c main.c sha1.c 为 c 代码原文件，生成的 main 文件为最后的可执行文件。三 模块达到的功能由于该模

13、块只是BT 下载软件项目中的一个辅助模块，因此里面没有太多的功能，最后完成的效果是可以下载互联网上的种子，然后将项目中某些后续需要的内容解析出来，打印出来即可。我在互联网上下载的种子文件为“铁面无私.torrent” ，在 Linux下调用该模块解析该种子之后打印相应的内容为：jiangrainslinux-hrx6:/Desktop/course ./main 输入种子文件名：铁面无私.torrent 该种子的tracker 的 url 地址为： http:/btfans.3322.org:8000/announce 单个 piece 的长度为（一般为256K）:524288B 该文件为多文

14、件种子，其目录名为：? ? ? ? ? ? ? ? ? ? ?该目录下共有文件数为：9 个,如下：文件 1: length:105394B path:11.JPG 文件 2: length:79230B path:22.JPG 文件 3: length:72105B path:33.JPG 文件 4: length:644B path: ? ? ? ? ? ? ? ? .html 文件 5: length:683B path: ? ? ? ? ? ? ? ? ? ? ? ?.html 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - -

15、- 名师精心整理 - - - - - - - 第 3 页，共 4 页 - - - - - - - - - 文件 6: length:738B path: ? ? ? ? ? ? ? ? ? ? ? ? .html 文件 7: length:1796788764B path: ? ? ? ? ? ? ? .rmvb 文件 8: length:657B path: ? ? ? ? ? ?.html 文件 9: length:137216B path: ? ? ? ? ? ? ? ? ? (? ? ? ? ? ? ).doc总计文件大小为:1797185431B 该种子文件的info_hash 为:

16、9b 32 f1 d3 de 8e a2 0e 55 4b 7d 66 58 df 1c 3d e0 c5 3d e6 随机得到的peer id 为 :-TT1000- 859096440 jiangrainslinux-hrx6:/Desktop/course 四 总结在调试一个比较大型的项目程序时，由于代码多并且程序功能分配不清楚的话，会很难知道怎么下手。这个时候就要考虑到程序模块化的重要，把一些相对功能独立的程序段放在一个独立的模块中，如果程序出错， 就可以按照模块，一个一个调试开来，这样子更容易找出程序冲存在的bug ，并且也可以在开始编写程序的过程中，不断调试程序，直到该模块能够正常

17、工作时，或许才是开始进行下一个模块的开始时。在划分模块时， 也要考虑模块的复杂度， 有时候模块中的函数不能太长，按照人的习惯， 一般一个函数的最适合代码行数不超过 200 行。如果超出时，就要考虑是否需要再行划分为更细的模块，这样子更方面代码的调试，以及后续维护工作的进行。在写程序时争取把程序写得有条理有层次，多写几个函数， 这样调起来也方便只要保证每个函数正确就可以逐步缩小范围。而在 Linux下进行程序设计时，更应该考虑互联网的作用，当有问题时，不断地在网上，论坛提问， 你所获得的解答往往会把你最想知道的告诉你，并且有时候你的某一个不经意的提问或许也能带给更多的人更多的想法，其中就不乏闪光

18、之处。阅读经典书籍往往带给人们的是通向目的地的捷径，而在Linux下进行程序设计时，stevens经典的 3 部 unix编程系列书籍， 带给我很多值得细细品味与深思的东西，而在体会先生著作之时，自身的编程能力，编程艺术也在不断提高，提升。五 参考文献1.W.Richard Stevens, Stephen A.Rago：UNIX 环境高级编程（apue）2.Eric S.Raymond ：UNIX 编程艺术3.童永清： Linux C 编程实战4.William Stallings ：操作系统 -精髓与设计原理5.W.Richard Stevens：UNIX 网络编程（ unp）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 4 页 - - - - - - - - -