展会动态

怎样才能将互联网上的磁力链接或者BT文件全部采

日期:2020-09-20 23:02 作者:365真人游戏

  有什么办法可以将互联网上的磁力链接或者BT文件全部采集并下载到本地,只要采集搜索引擎所能搜索到的就行了,具体可以怎样实现?

  你需要的是。。。DHT爬虫。。。就像手撕包菜手撕包菜 - 收录最快的磁力链接搜索引擎。。。bt樱桃BT樱桃 - 磁力链接搜索引擎BTMAYBTMAY 磁力链接DHT 搜索

  简而言之,就是作为DHT网络中一个节点,接收别人的磁力下载消息,当有人用磁力链接获取种子文件的时候,会发出来请求,把请求(HASH)记录下来,再到DHT网络中寻找,一般对于热门HASH可以很轻松的获取到种子元数据,再解析种子文件进行储存。一条DHT资源数据就有了。启用多个线程做这个事情,过滤掉已经存在的HASH,就可以逐渐采集到越来越多的数据文件了。这是靠用户来被动获取,速度比主动去网络上爬快很多。

  另外一种就是直接取互联网采集,采集磁力链接再通过DHT下载或者直接下载种子解析,都是可以的。

  简单的说:类似下面这样以“magnet:?”开头的字符串,就是一条“磁力链接”

  确切的说:“磁力链接”的主要作用是识别【能够通过“点对点技术(即:P2P)”下载的文件】。

  这种链接是通过不同文件内容的Hash结果生成一个纯文本的“数字指纹”,来识别文件的。而不是基于文件的位置或者名称(例如:)。

  这就类似生活中消费品包装上常见的条码。不同的是这个“数字指纹”可以被任何人从任何文件上生成,这也就注定了“磁力链接”不需要任何“中心机构”的支持(例如:BT Tracker服务器),且识别准确度极高。

  因此任何人都可以生成一个Magnet链接并确保通过该链接下载的文件准确无误。

  2、利用BT种子中记录的“数字指纹”通过DHT网络进行搜索,获取下载者列表

  (噢,不过现实是,存活的BT Tracker服务器越来越少。而BT种子文件也需要服务器保存。)

  我们假设“BT Tracker服务器被干掉了,BT种子文件服务器也被干掉了。。”

  那么显而易见的是第1种途径完全走不通,第2种途径只能帮你“寻找”,却没办法知道你在寻找什么。

  “磁力链接”的主要作用就是把“数字指纹”告诉DHT网络,你需要寻找什么。

  1、你可以像下载普通任务一样,左键点击网页上“磁力链接”的下载按钮,或右键点击下载按钮,选择“使用迅雷下载”然后迅雷就会启动并建立任务。

  2.1、如果你的迅雷开着,只要复制该链接,迅雷会弹出“正在获取磁力链接信息”的提示,稍等一会,就会弹出新建面板。

  2.2、如果你的迅雷没有开启,只能打开迅雷,点击新建按钮把复制的“磁力链接”填入弹出的输入框内,点击“立即下载”即可。

  DHT爬虫 github应该有一堆,我记得有nodejs的还有go的,不过个人采集这个真的浪费能源啊..

  DHT网络里连接数都是十万以上,带宽不说,网络IO要求很高,CPU就不用说了.

  再者就是磁盘,一天采集几十万的话,磁盘独写要求也很大.毕竟不是每次采集的都是新种子.

  如果以上都不是问题,那么你得考虑下怎么储存这些碎片式的种子文件..几百万几千万的种子文件...用FS保存,磁盘IO问题来了....

365真人游戏