使用Python抓取动态网站数据

大多数网络抓取的数据来自动态网站，亚马逊和油管。这些网站根据用户输入提供交互式和响应式的用户体验。例如，当您访问油管帐户时，网站会根据您的输入呈现个性化的视频内容。因此，从动态网站抓取数据可能更具挑战性，因为数据会因用户交互而持续修改。

要从动态网站抓取数据，你需要使用高级技术，模仿用户与网站的交互，浏览和选择由JavaScript生成的特定内容，并处理异步JavaScript和XML (AJAX)请求。

在本指南中，您将了解如何使用名为Selenium的开源 Python 库抓取动态网站数据。

使用Selenium从动态网站抓取数据

在开始抓取数据之前，您需要了解将要使用的Python包：Selenium。

Selenium是什么？

Selenium是一个开源Python包和自动化测试框架，让您能在动态网站上执行各种操作或任务，包括打开/关闭对话框、在油管上搜索特定关键词或填写表单等。所有这些都可以在您首选的网络浏览器中执行。

当您将Selenium与Python结合使用时，只需使用Selenium Python包编写几行Python代码即可控制网络浏览器并自动从动态网站中提取数据。

现在您已经了解了Selenium的工作原理，我们开始使用吧！

新建一个Python项目

首先，您需要创建一个新的Python项目。创建一个名为data_scraping_project的目录，用于存储采集的所有数据和源代码文件。该目录会有两个子目录：

脚本/scripts会包含从动态网站提取和采集数据的所有Python脚本。
数据/data存储了从动态网站提取的所有数据。

安装Python软件包

创建data_scraping_project目录后，您需要安装以下Python软件包来帮助您从动态网站中抓取、采集和保存数据：

Selenium
Webdriver Manager将管理不同浏览器的二进制驱动程序。Webdriver提供了一组API，可运行不同的命令来与站点交互，从而更轻易地解析、加载和更改内容。
pandas将从动态网站抓取的数据保存到简单的CSV文件中。

您可以在终端运行以下pip命令来安装Selenium Python软件包：

pip install selenium

Selenium将使用二进制驱动程序来控制您选择的网页浏览器。此Python包为以下受支持的网页浏览器提供二进制驱动程序：Chrome、Chromium、Brave、Firefox、IE、Edge和Opera。

接着在终端中运行以下pip命令来安装webdriver-manager ：

pip install webdriver-manager

要安装pandas，请运行以下pip命令：

pip install pandas

你将抓取什么内容

在本文中，你将会抓取YouTube 频道，名为 Programming with Mosh 和 Hacker News：

您将从“与Mosh一起编程”油管频道抓取以下信息：

视频标题。
视频链接或URL。
图片链接或URL。
特定视频的观看次数。
视频发布时间。
特定油管视频链接中的评论。

从黑客新闻频道中，您将采集以下数据：

文章标题。
文章链接。

现在您知道了抓取内容，那我们来创建一个新的Python脚本（即data_scraping_project/scripts/youtube_videos_list.py）。

导入Python包

首先，您需要导入用于抓取、采集数据并将数据保存到CSV文件中的Python包：

# import libraries
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import pandas as pd

实例化Webdriver

要实例化Webdriver，您需要选择Selenium 要使用的浏览器（在本例中为谷歌Chrome），然后安装二进制驱动程序。

Chrome浏览器具有开发人员工具，能显示网页的HTML代码并识别 HTML元素以抓取和采集数据。要显示HTML代码，您需要在Chrome网页中单击右键，然后选择检察元素/Inspect Element 。

要安装Chrome的二进制驱动程序，请运行以下代码：

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))

Chrome的二进制驱动程序将安装在您的计算机上并自动实例化Webdriver。

使用Selenium抓取数据

要使用Selenium抓取数据，您需要在一个简单的Python变量中定义油管YouTube URL（即网址）。您可以从此链接中采集到前文提到的除了特定YouTube URL评论以外的所有数据：

# Define the URL
url = "https://www.youtube.com/@programmingwithmosh/videos"

# load the web page
driver.get(url)

# set maximum time to load the web page in seconds
driver.implicitly_wait(10)

Selenium 会自动在谷歌浏览器中加载YouTube链接。此外，还指定了一个时间范围（即十秒），以确保网页完全加载（包括所有HTML元素）。这有助于您抓取由JavaScript渲染的数据。

用ID和标签抓取数据

Selenium的优势之一是它可以使用网页上呈现的不同元素（包括ID和标签）提取数据。

例如，您可以使用ID元素（即后标题）或标签（即h1和p) 来抓取数据：

<h1 id ="post-title">Introduction to data scrapping using Python</h1>
<p>You can use selenium python package to collect data from any dynamic website</p>

或者，如果您想从YouTube链接中抓取数据，需要使用网页上显示的ID。在网络浏览器中打开YouTube链接，然后右键单击并选择“检查”以识别 ID。接着使用鼠标查看页面，识别保存了频道上呈现的视频列表的 ID：

使用Webdriver抓取在所识别ID内的数据。要根据ID属性查找HTML元素，请调用Selenium的find_element()方法并将By.ID作为第一个参数，将ID作为第二个参数。

要采集每个视频的标题和链接，您需要使用video-title-link ID属性。由于您要使用此ID属性采集多个HTML元素，因此需要使用find_elements()方法：

# collect data that are withing the id of contents
contents = driver.find_element(By.ID, "contents")

#1 Get all the by video tite link using id video-title-link
video_elements = contents.find_elements(By.ID, "video-title-link")

#2 collect title and link for each youtube video
titles = []
links = []

for video in video_elements:

    #3 Extract the video title
    video_title = video.get_attribute("title")

    #4 append the video title
    titles.append(video_title)

    #5 Extract the video link
    video_link = video.get_attribute("href")

#6 append the video link
links.append(video_link)

此代码执行以下任务：

采集在内容contents yID属性内的数据。
从WebElement内容对象中采集元素具有video-title-link ID属性的所有HTML元素。
创建两个列表来附加标题和链接。
使用get_attribute()方法提取视频标题并传递标题。
将视频标题附加到标题列表中。
使用get_atribute()方法提取视频链接并将href作为参数传递。
它将视频链接附加到链接列表中。

此时，所有视频标题和链接将位于两个Python列表中：标题titles和链接links。

接下来，您需要先抓取网页上可用图片的链接，再单击YouTube视频链接观看视频。要抓取此图片链接，您需要调用 find_elements () Selenium来查找所有 HTML 元素，并将By.TAG_NAME作为第一个参数，将标签名称作为第二个参数：

#1 Get all the by Tag
img_elements = contents.find_elements(By.TAG_NAME, "img")

#2 collect img link and link for each youtube video
img_links = []

for img in img_elements:

    #3 Extract the img link
    img_link = img.get_attribute("src")
    if img_link:
        #4 append the img link
        img_links.append(img_link)

此代码从名为contents的WebElement对象中采集带有img标签名称的所有HTML元素。它还创建了一个列表来附加图片链接，并使用get_attribute()方法提取链接，并将src作为参数传递。最后，此代码将图片链接附加到img_links列表中。

您还可以使用ID和标签名称为每个YouTube视频抓取更多数据。在YouTube URL的网页上，您应该能够看到页面上列出每个视频的观看次数和发布时间。要提取这些数据，您需要采集所有具有metadata-line ID的HTML元素，然后从具有span标签名称的HTML元素中采集数据：

#1 find the element with the specific ID you want to scrape
meta_data_elements = contents.find_elements(By.ID, 'metadata-line')

#2 collect data from span tag
meta_data = []

for element in meta_data_elements:
    #3 collect span HTML element
    span_tags = element.find_elements(By.TAG_NAME, 'span')

    #4 collect span data
    span_data = []
    for span in span_tags:
        #5 extract data for each span HMTL element.
        span_data.append(span.text)
    #6 append span data to the list
    meta_data.append(span_data)

# print out the scraped data.
print(meta_data)

此代码块从WebElement内容对象中采集ID属性为metadata-line的所有HTML元素，并创建列表以附加来自span标签的数据，包含浏览量和发布时间。

代码块还从名为meta_data_elements的WebElement 对象中采集标签名称为span的所有HTML 元素，并创建一个包含此span数据的列表。然后，它从span HTML元素中提取文本数据并将其附加到span_data列表中。最后，它将span_data列表中的数据附加到meta_data中。

从span HTML元素中提取的数据如下所示：

接下来，您需要创建两个Python列表，将浏览量和发布时间分别保存

#1 Iterate over the list of lists and collect the first and second item of each sublist
views_list = []
published_list = []

for sublist in meta_data:
    #2 append number of views in the views_list
    views_list.append(sublist[0])

    #3 append time published in the published_list
    published_list.append(sublist[1])

这一步，您创建了两个从meta_data中提取数据的Python列表，并将每个子列表的浏览量附加到浏览列表view_list，将发布时间附加到发布列表published_list。

至此，您已经抓取了视频标题、视频页面URL、图片URL、浏览量及视频发布时间数据。您可以使用pandas Python包将此数据保存到pandas DataFrame中。使用以下代码将标题、链接、图片链接、浏览列表和发布列表中的数据保存到pandas DataFrame中：

# save in pandas dataFrame
data = pd.DataFrame(

list(zip(titles, links, img_links, views_list, published_list)),

columns=['Title', 'Link', 'Img_Link', 'Views', 'Published']
)

# show the top 10 rows
data.head(10)

# export data into a csv file.
data.to_csv("../data/youtube_data.csv",index=False)

driver.quit()

在pandas DataFrame中抓取的数据如下所示：

保存的数据通过to_csv()从pandas导出到名为youtube_data.csv的CSV文件中。

现在您可以运行youtube_videos_list.py，确保一切正常。

使用CSS选择器抓取数据

Selenium还可以根据HTML元素中的特定模式，使用网页上的CSS 选择器提取数据。CSS选择器根据ID、标签名、class类或其他属性来定位特定元素。

例如，这里的HTML页面有一些div元素，其中一个类名为“inline-code” ：

<html>
<body>
<p>Hello World!</p>
<div>Learn Data Scraping</div>
<div class="inline-code"> data scraping with Python code</div>
<div>Saving</div>
</body>
</html>

您可以使用CSS选择器来查找网页上标签名为div、类名为“’inline-code”`的HTML元素。您可以应用相同的方法从YouTube视频的评论部分提取评论。

现在，让我们使用CSS选择器来采集在此YouTube视频上发布的评论。

您可以在以下标签和类名下找到YouTube的评论部分：

<ytd-comment-thread-renderer class="style-scope ytd-item-section-renderer">...</tyd-comment-thread-renderer>

我们来创建一个新脚本（即data_scraping_project/scripts/youtube_video_
comments.py）。像之前一样导入所有必要的包，并添加以下代码以自动启动 Chrome网络浏览器，浏览YouTube视频URL，然后使用CSS选择器抓取评论：

#1 instantiate chrome driver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))

#2 Define the URL
url = "https://www.youtube.com/watch?v=hZB5bHDCmeY"

#3 Load the webpage
driver.get(url)

#4 define the CSS selector
comment_section = 'ytd-comment-thread-renderer.ytd-item-section-renderer’

#5 wait until element matching the given criteria to be found
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, comment_section))
    )
except:
    driver.quit()

#6. collect HTML elements within the CSS selector
comment_blocks = driver.find_elements(By.CSS_SELECTOR,comment_section)

这段代码实例化了Chrome驱动程序并定义 YouTube 视频链接以抓取发布的评论。然后，此代码在浏览器中加载网页，并等待十秒，直到与CSS选择器匹配的HTML元素可用。

接下来，使用名为ytd-comment-thread-renderer.ytd-item-section-renderer的CSS选择器采集所有评论HTML元素，并将所有评论元素保存在comment_blocks WebElement对象中。

然后，您可以使用ID author-text提取作者姓名，并使用ID content-text提取评论文本，从comment_blocks WebElement对象的每个评论中采集数据：

#1 specify the id attribute for author and comment
author_id = 'author-text'
comment_id = 'content-text'

#2 Extract the text value for each comment and author in the list
comments = []
authors = []

for comment_element in comment_blocks:
    #3 collect author for each comment
    author = comment_element.find_element(By.ID, author_id)

    #4 append author name
    authors.append(author.text)

    #5 collect comments
    comment = comment_element.find_element(By.ID, comment_id)

    #6 append comment text
    comments.append(comment.text)

#7 save in pandas dataFrame
comments_df = pd.DataFrame(list(zip(authors, comments)), columns=['Author', 'Comment'])

#8 export data into a CSV file.
comments_df.to_csv("../data/youtube_comments_data.csv",index=False)

driver.quit()

这段代码指定了作者和评论的ID。然后创建了两个Python列表来添加作者姓名和评论文本。该代码从WebElement对象中采集具有指定ID属性的每个HTML元素，并将数据附加到Python列表。

最后，它将抓取的数据保存到pandas DataFrame中，并将数据导出到名为youtube_comments_data.csv的 CSV文件中。

在pandas DataFrame中，前十行的作者和评论如下所示：

使用Class类名抓取数据

除了使用CSS选择器抓取数据之外，您还可以根据特定的类名提取数据。要使用Selenium根据类名属性查找HTML元素，您需要调用find_element()方法，将By.CLASS_NAME作为第一个参数传递，将类名作为第二个参数。

在本节中，您将使用类名来采集黑客咨询上发布的文章标题和链接。在此网页上，包含每篇文章标题和链接的HTML元素都有一个titleline类名，如网页代码中所示：

<span class="titleline"><a href="https://mullvad.net/en/browser">The Mullvad Browser</a><span class="sitebit comhead"> (<a href="from?site=mullvad.net"><span class="sitestr">mullvad.net</span></a>)</span></span></td></tr><tr><td colspan="2"></td><td class="subtext"><span class="subline">

<span class="score" id="score_35421034">302 points</span> by <a href="user?id=Foxboron" class="hnuser">Foxboron</a> <span class="age" title="2023-04-03T10:11:50"><a href="item?id=35421034">2 hours ago</a></span> <span id="unv_35421034"></span> | <a href="hide?id=35421034&amp;auth=60e6bdf9e482441408eb9ca98f92b13ee2fac24d&amp;goto=news" class="clicky">hide</a> | <a href="item?id=35421034">119&nbsp;comments</a> </span>

创建一个新的Python脚本（即data_scraping_project/scripts/hacker_news.py），导入所有必要的包，并添加以下Python代码来抓取发布在黑客咨询页面上每篇文章的标题和链接：

#1 define url
hacker_news_url = 'https://news.ycombinator.com/'

#2 instantiate chrome driver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))

#3 load the web page
driver.get(hacker_news_url)

#4 wait until element matching the given criteria to be found
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'titleline'))
    )
except:
    driver.quit()

#5 Extract the text value for each title and link in the list
titles= []
links = []

#6 Find all the articles on the web page
story_elements = driver.find_elements(By.CLASS_NAME, 'titleline')

#7 Extract title and link for each article
for story_element in story_elements:

    #8 append title to the titles list
    titles.append(story_element.text)

    #9 extract the URL of the article
    link = story_element.find_element(By.TAG_NAME, "a")

    #10 appen link to the links list
    links.append(link.get_attribute("href"))

driver.quit()

这段代码将定义网页的URL，自动启动Chrome网络浏览器，然后浏览黑客咨询的URL。并等待十秒，直到匹配类名的HTML 元素可用。

然后，此代码会创建两个Python列表来附加每篇文章的标题和链接。它还从WebElement驱动程序对象中采集具有titleline类名的每个HTML元素，并从Story_elements WebElement 对象中提取每篇文章的标题和链接。

后，此代码将文章标题追加到titles列表，并从story_element对象中采集具有a标签名的HTML元素。它使用get_attribute()方法提取链接，并将链接附加到links列表。

接下来，您需要使用pandas的to_csv()方法导出抓取的数据。您会将标题和链接导出到名为hacker_news_data.csv的CSV文件中，并将数据保存在目录：

# save in pandas dataFrame
hacker_news = pd.DataFrame(list(zip(titles, links)),columns=['Title', 'Link'])

# export data into a csv file.
hacker_news.to_csv("../data/hacker_news_data.csv",index=False)

以下是前五行的标题和链接在pandas DataFrame中的显示方式：

如何处理无限滚动Infinite Scrolls

当您滚动到页面底部时，一些动态网页会加载附加内容。如果您不滚动到底部，Selenium可能只会抓取屏幕上可见的数据。

要抓取更多数据，您需要指示Selenium滚动到页面底部，等待新内容加载，然后自动抓取您想要的数据。例如，以下Python脚本将滚动浏览Python图书的前40个结果并提取链接：

#1 import packages
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

#2 Instantiate a Chrome webdriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))

#3 Navigate to the webpage
driver.get("https://example.com/results?search_query=python+books")

#4 instantiate a list to keep links
books_list = []

#5 Get the height of the current webpage
last_height = driver.execute_script("return document.body.scrollHeight")

#6 set target count
books_count = 40

#7 Keep scrolling down on the web page
while books_count > len(books_list):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    #8 Wait for the page to load
    time.sleep(5)

    #9 Calculate the new height of the page
    new_height = driver.execute_script("return document.body.scrollHeight")

    #10 Check if you have reached the bottom of the page
    if new_height == last_height:
        break
    last_height = new_height

    #11 Extract the data
    links = driver.find_elements(By.TAG_NAME, "a")
    for link in links:
        #12 append extracted data
        books_list.append(link.get_attribute("href"))

#13 Close the webdriver
driver.quit()

这段代码将要使用的Python包导入并实例化，打开了Chrome浏览器。然后导航到网页并创建一个Python列表来附加每个搜索结果的链接。

通过运行return document.body.scrollHeight脚本获取当前页面的高度，并设置要采集的链接数量。接下来，只要图书数量book_count变量的值大于图书列表book_list的长度，页面就会继续向下滚动，并等待五秒钟加载。

通过运行return document.body.scrollHeight脚本计算网页的新高度，并检查是否到达页面底部。如果是，则终止循环；否则，将更新last_height并继续向下滚动页面。最后，此代码从WebElement对象中采集标签名称为a的HTML元素，提取链接并将其附加到链接列表中。采集链接后，Webdriver将关闭。

请注意：如果页面能够无限滚动，为了让脚本在某个时刻结束，您必须设置要抓取的项目总数。否则，您的代码将继续执行。

使用亮数据Bright Data抓取网页

虽然使用像 Selenium 这样的开源爬虫工具可以抓取数据，但它们往往缺乏支持。此外，该过程可能复杂且耗时。如果您正在寻找强大且可靠的网络爬取解决方案，您应该考虑亮数据。

亮数据拥有世界上最好的代理服务器，为数十家财富500强公司和超过20,000个客户提供服务。其广泛的代理类型包括：

数据中心代理 – 超过77万个数据中心IP。
住宅代理 – 来自超过195个国家的住宅设备的超过7200万个IP。
ISP代理 – 超过70万个ISP IP。
移动代理 – 超过700万个移动IP。

总的来说，这是市场上最大最可靠的面向数据爬取的代理网络之一。但亮数据不仅仅是一个代理提供商。它还提供一流的网络爬取服务，包括一个亮数据浏览器（集成Puppeteer、Selenium 和 Playwright）、网络爬取 IDE 和一个 SERP API接口。

如果您不想处理数据爬取，但又对网页数据感兴趣，您可以利用亮数据现成的数据集。

免费试用

使用Python抓取动态网站数据

使用Selenium从动态网站抓取数据

Selenium是什么？

新建一个Python项目

安装Python软件包

你将抓取什么内容

导入Python包

实例化Webdriver

使用Selenium抓取数据

用ID和标签抓取数据

使用CSS选择器抓取数据

使用Class类名抓取数据

如何处理无限滚动Infinite Scrolls

使用亮数据Bright Data抓取网页

Ready to get started?

你也可能对此有兴趣

在 Python 中使用 cURL 的指南

如何用Python抓取eBay页面来监控价格

使用Puppeteer进行网页抓取指南

联系我们获取免费样本
亮数据洞察电商数据报告

Join our Partner Program

使用Python抓取动态网站数据

使用Selenium从动态网站抓取数据

Selenium是什么？

新建一个Python项目

安装Python软件包

你将抓取什么内容

导入Python包

实例化Webdriver

使用Selenium抓取数据

用ID和标签抓取数据

使用CSS选择器抓取数据

使用Class类名抓取数据

如何处理无限滚动Infinite Scrolls

使用亮数据Bright Data抓取网页

Ready to get started?

你也可能对此有兴趣

在 Python 中使用 cURL 的指南

如何用Python抓取eBay页面来监控价格

使用Puppeteer进行网页抓取指南

联系我们 获取免费样本亮数据洞察电商数据报告

Join our Partner Program

Dataset Sample Request

联系我们获取免费样本
亮数据洞察电商数据报告