网络爬虫的设计与实现(6)

目 录

第一章 概述 .................................... 1 1.1 课题背景 ....................................... 1

1.2 网络爬虫的历史和分类 .......................... 1

1.2.1 网络爬虫的历史 .............................. 1

1.2.2 网络爬虫的分类 .............................. 2

1.3 网络爬虫的发展趋势 ............................ 3

第二章 相关技术背景 ............................ 5

2.1 网络爬虫的定义 ................................ 5

2.2 网页搜索策略介绍 .............................. 5

2.2.1 广度优先搜索策略 ............................ 5

2.2.2 最佳优先搜索策略 ............................ 6

2.3 判断相关度算法 ................................ 6

第三章 网络爬虫模型的分析和概要设计 ............ 8

3.1 网络爬虫的模型分析 ............................ 8

3.2 网络爬虫的搜索策略 ............................ 8

3.3 网络爬虫的主题相关度判断 ...................... 9

3.4 网络爬虫的概要设计 ........................... 11

第四章 网络爬虫模型的设计和实现 ............... 14

4.1 网络爬虫总体设计 ............................. 14

4.2 网络爬虫具体设计 ............................. 14