如何用python爬取网站数据？
这里简单介绍一下吧，以抓取网站静态、动态2种数据为例，实验环境win10+python3.6+pycharm5.0，主要内容如下：抓取网站静态数据（数据在网页源码中）：以糗事百科网站数据为例1.这里假设我们抓取的数据如下，主要包括用户昵称、内容、好笑数和评论数这4个字段，如下：对应的网页源码如下，包含我们所需要的数据：2.对应网页结构，主要代码如下，很简单，主要用到requests+BeautifulSoup，其中requests用于请求页面，BeautifulSoup用于解析页面：程序运行截图如下，已经成功爬取到数据：抓取网站动态数据（数据不在网页源码中，json等文件中）：以人人贷网站数据为例1.这里假设我们爬取的是债券数据，主要包括年利率、借款标题、期限、金额和进度这5个字段信息，截图如下：打开网页源码中，可以发现数据不在网页源码中，按F12抓包分析时，才发现在一个json文件中，如下：2.获取到json文件的url后，我们就可以爬取对应数据了，这里使用的包与上面类似，因为是json文件，所以还用了json这个包（解析json），主要内容如下：程序运行截图如下，已经成功抓取到数据：至此，这里就介绍完了这2种数据的抓取，包括静态数据和动态数据。总的来说，这2个示例不难，都是入门级别的爬虫，网页结构也比较简单，最重要的还是要会进行抓包分析，对页面进行分析提取，后期熟悉后，可以借助scrapy这个框架进行数据的爬取，可以更方便一些，效率更高，当然，如果爬取的页面比较复杂，像验证码、加密等，这时候就需要认真分析了，网上也有一些教程可供参考，感兴趣的可以搜一下，希望以上分享的内容能对你有所帮助吧。
如何用python爬取网站数据
用python爬取网站数据方法步骤如下：1.首先要明确想要爬取的目标。对于网页源信息的爬取首先要获取url,然后定位的目标内容。2.先使用基础for循环生成的url信息。3.然后需要模拟浏览器的请求(使用request.get(url)),获取目标网页的源代码信息(req.text)。4.目标信息就在源代码中,为了简单的获取目标信息需要用Beautifulsoup库对源代码进行解析，因为是html信息，采用html.parser的方式进行解析。5.随后要在源网页中进一步定位目标信息在网页源代码中的位置：在网页中F12键，查看元素信息，使用左上角的按钮进一步查看目标信息位置。6.使用beautifululsoup进一步定位源代码信息。7.最后使用循环取出单个元素信息。首先分析单个信息的位置：它在ul列表下，使用循环取出然后定位单个元素中信息的位置，并取出信息。8.最终就得到目标信息列表了。
