如何在Python中从网页中提取Javascript和CSS文件（） _Python提取Javascript和CSS示例

Python从网页提取Javascript和CSS文件？本文构建一个使用请求和 BeautifulSoup 从 Python 网页中提取所有 Javascript 和 CSS 文件的工具。
Python如何提取Javascript和CSS？假设你的任务是分析某个网站以检查其性能，并且你需要提取下载网页才能正确加载所需的全部文件，在本教程中，我将通过构建一个 Python 工具来提取所有文件来帮助你完成该任务链接到特定网站的脚本和 CSS 文件链接。
Python提取Javascript和CSS示例解析：我们将使用requests和BeautifulSoup作为 HTML 解析器，如果你的 Python 上没有安装它们，请执行以下操作：

pip3 install requests bs4

让我们首先初始化 HTTP 会话并将用户代理设置为常规浏览器而不是 Python 机器人：

import requests from bs4 import BeautifulSoup as bs from urllib.parse import urljoin# URL of the web page you want to extract url = "http://books.toscrape.com"# initialize a session session = requests.Session() # set the User-agent as a regular browser session.headers[ "User-Agent"] = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36"

现在要下载该网页的所有 HTML 内容，我们需要做的就是调用session.get()方法，该方法返回一个响应对象，我们只对 HTML 代码感兴趣，而不是整个响应：

# get the HTML content html = session.get(url).content# parse HTML using beautiful soup soup = bs(html, "html.parser")

现在我们有了Soup，让我们提取所有脚本和 CSS 文件，我们使用soup.find_all()方法返回所有使用标签和传递的属性过滤的 HTML Soup对象：

# get the JavaScript files script_files = [ ]for script in soup.find_all("script"): if script.attrs.get("src"): # if the tag has the attribute 'src' script_url = urljoin(url, script.attrs.get("src")) script_files.append(script_url)

因此，基本上我们正在搜索具有src属性的脚本标签，这通常链接到本网站所需的 Javascript 文件。
Python如何提取Javascript和CSS？同样，我们可以使用它来提取 CSS 文件：

# get the CSS files css_files = [ ]for css in soup.find_all("link"): if css.attrs.get("href"): # if the link tag has the 'href' attribute css_url = urljoin(url, css.attrs.get("href")) css_files.append(css_url)

你可能知道，CSS 文件位于链接标签的href属性内。我们使用urljoin()函数来确保链接是绝对链接（即具有完整路径，而不是相对路径，例如/js/script.js）。
最后，让我们打印全部脚本和 CSS 文件并将链接写入单独的文件，如下是Python提取Javascript和CSS示例：

print("Total script files in the page:", len(script_files)) print("Total CSS files in the page:", len(css_files))# write file links into files with open("javascript_files.txt", "w") as f: for js_file in script_files: print(js_file, file=f)with open("css_files.txt", "w") as f: for css_file in css_files: print(css_file, file=f)

Python从网页提取Javascript和CSS文件？执行后，将出现 2 个文件，一个用于 Javascript 链接，另一个用于 CSS 文件：
【如何在Python中从网页中提取Javascript和CSS文件（）】css_files.txt

http:/ / books.toscrape.com/static/oscar/favicon.ico http://books.toscrape.com/static/oscar/css/styles.css http://books.toscrape.com/static/oscar/js/bootstrap-datetimepicker/bootstrap-datetimepicker.css http://books.toscrape.com/static/oscar/css/datetimepicker.css

javascript_files.txt

http:/ / ajax.googleapis.com/ajax/libs/jquery/1.9.1/jquery.min.js http://books.toscrape.com/static/oscar/js/bootstrap3/bootstrap.min.js http://books.toscrape.com/static/oscar/js/oscar/ui.js http://books.toscrape.com/static/oscar/js/bootstrap-datetimepicker/bootstrap-datetimepicker.js http://books.toscrape.com/static/oscar/js/bootstrap-datetimepicker/locales/bootstrap-datetimepicker.all.js

好的，最后，我鼓励你进一步扩展此代码以构建一个复杂的审计工具，该工具能够识别不同的文件、它们的大小，并可能提出优化网站的建议！
作为挑战，尝试下载所有这些文件并将它们存储在本地磁盘中（本教程可以提供帮助）。
我有另一个教程向你展示如何提取所有网站链接，请在此处查看。
此外，如果你正在分析的网站不小心禁止了你的 IP 地址，则在这种情况下你需要使用代理服务器。