利用Python爬虫进行Web数据挖掘已经越来越普遍，网上的各种Python爬虫资料教程比较多，但是很少有人对Web数据挖掘进行系统地总结和分析。
从目标上来讲，Web数据挖掘分为三类。最常见的是对于网站内容的爬取，包括文本、图片和文件等；其次是对于网站结构的爬取，包括网站目录，链接之间的相互跳转关系，二级域名等；还有一种爬虫是对于Web应用数据的挖掘，包括获取网站CMS类型，Web插件等。
网站内容挖掘应用最广，最为常见，网上的Python爬虫资料大多也都属于这类。爬取下的内容也可用于很多方面。
Python编写这类爬虫的常见思路就是利用request或urllib2库定制请求，利用BeautifulSoup对原始网页进行解析，定位特定html标签，寻找目标内容。如果要提高性能，可以利用threading启用多线程，gevent启用协程，也可以用multiprocessing启动多进程。其他的一些技巧可以看我的另一篇博客：常见的反爬虫和应对方法
这类爬虫资料实在太多，在这里不再赘述了。
网站结构挖掘并不是很常见，但在一些特殊的应用场景，我们也会用到。例如对于Web漏洞扫描器，爬取网站整站目录，获取二级域名是极为重要的。在第一类网站内容挖掘中，有时也需要将目标网站某个页面作为入口，对整个网站所有内容进行获取和分析，这种情况下就需要对网站结构进行分析。
对于网站目录爬取，需要考虑的一个重要问题就是爬虫性能。通常网站的页面会比较多，如果直接获取所有目录，可能会耗费大量时间。另外，对于网站链接的搜索策略对爬虫的性能也会产生很大影响。一般情况下，我们会采用广度优先搜索，从入口页面开始，获取该页面内所有链接，并判断链接是否是站内链接，是否已经爬取过。
web 数据可视化由这些接口都能直接查询到指定根域名的二级域名，这里就不附代码了。还有一种获取二级域名的方法是通过搜索引擎直接搜索，如百度搜索：inurl:domain 或 site:domain。这种方法比较慢。
【Python爬虫进行web 数据可视化挖掘总结和分析】文章转自永洪科技官网
推荐阅读
- python|上瘾了，最近又给公司撸了一个可视化大屏(附源码)
- gojs 实用高级用法
- Python|Matplotlib - 柱状图、直方图、条形图 bar() & barh() 所有用法详解
- 知识图谱|【AntV-图分析可视化】Graphin安装及介绍
- 人工智能|用高效好玩的方式，掌握职场必备技能Python
- javascript|海上平台作业三维虚拟仿真
- 前端|实现一个通用的可视化中间件需要怎么做?
- 数据可视化|用 Python 让图表动起来，居然这么简单
- 制作大屏幕实时数据可视化需要哪些大数据技术（）