python数据爬下来保存的位置
昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法，然后参照网上的例子自己写了个爬虫。
python数据爬下来保存在本地，一般是文件或数据库中，但是文件形式相比要更加简单，如果只是自己写爬虫玩，可以用文件形式来保存数据。
#coding=utf-8
import urllib.request
import re
import os
'''
Urllib 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据
urlopen 方法用来打开一个url
read方法 用于读取Url上的数据
'''
def getHtml(url):
page = urllib.request.urlopen(url);
html = page.read();
return html;
def getImg(html):
imglist = re.findall('img src="(http.*?)"',html
return imglist
html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");
imagesUrl = getImg(html);
if os.path.exists("D:/imags") == False:
os.mkdir("D:/imags");
count = 0;
for url in imagesUrl:
print(url)
if(url.find('.') != -1):
name = url[url.find('.',len(url) - 5):];
bytes = urllib.request.urlopen(url);
f = open("D:/imags/"+str(count)+name, 'wb');
f.write(bytes.read());
f.flush();
f.close();
count+=1
经测试，基本功能还是可以实现的。花的较多的时间就是正则匹配哪里，因为自己对正则表达式也不是非常熟悉。所以还是花了点时间。
注：上面的程序基于 python 3.5。python3 和 python2 还是有些区别的。我刚开始看基础语法的时候就栽了一些坑里。
以上就是python数据爬下来保存在哪里的详细内容，感谢大家的学习和对小牛知识库的支持。
-
本文向大家介绍Python爬取数据保存为Json格式的代码示例，包括了Python爬取数据保存为Json格式的代码示例的使用技巧和注意事项，需要的朋友参考一下 python爬取数据保存为Json格式 代码如下： 总结 以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对呐喊教程的支持。如果你想了解更多相关内容请查看下面相关链接
-
本文向大家介绍python爬虫爬取网页数据并解析数据，包括了python爬虫爬取网页数据并解析数据的使用技巧和注意事项，需要的朋友参考一下 1.网络爬虫的基本概念 网络爬虫（又称网络蜘蛛，机器人），就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 只要浏览器能够做的事情，原则上，爬虫都能够做到。 2.网络爬虫的功能 网络爬虫可以代替手工做很多事情，比如可以
-
我正在用大量粒子在Python中做一个分子动力学模拟。在这里,我必须跟踪所有500个或1000个粒子的x位置,y位置,z位置,x速度,y速度,z速度,x加速度,y加速度,z加速度,x力,y力,z力,势,以及系统在每个时间间隔的动能,势能,总能量。为了保存这些数据，我目前正在以以下方式将它们写入一个文件： 所以如果有500个粒子，那么数据文件中的每一行将有7000列。这似乎不是一种保存数据的好方法。
-
GS：//dexxxxxxxxxxxx.com/videosvideo:67423 从给定的下载URL？
-
本文向大家介绍python requests库爬取豆瓣电视剧数据并保存到本地详解，包括了python requests库爬取豆瓣电视剧数据并保存到本地详解的使用技巧和注意事项，需要的朋友参考一下 首先要做的就是去豆瓣网找对应的接口，这里就不赘述了，谷歌浏览器抓包即可，然后要做的就是分析返回的json数据的结构： https://movie.douban.com/j/search_subjects?
-
本文向大家介绍利用scrapy将爬到的数据保存到mysql（防止重复），包括了利用scrapy将爬到的数据保存到mysql（防止重复）的使用技巧和注意事项，需要的朋友参考一下 前言 本文主要给大家介绍了关于scrapy爬到的数据保存到mysql（防止重复）的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。 1.环境建立 1.使用xmapp安装php, mysql
-
问题内容： 我创建了一个这样的对象： 我想保存该对象。我怎样才能做到这一点？ 问题答案： 你可以使用标准库中的模块。这是你的示例的基本应用： 你还可以定义自己的简单实用程序，如下所示，该实用程序打开文件并向其中写入单个对象： 更新资料 由于这是一个非常受欢迎的答案，因此，我想谈谈一些高级用法主题。 实际使用该cPickle模块几乎总是可取的，而不是因为该模块是用C编写的并且速度更快。它们之间有一些
-
问题内容： 我对 SQLite3 和 Python 3 做错了。也许我误解了SQLite数据库的概念，但是我希望即使关闭应用程序后，数据仍存储在数据库中？当我插入数据并重新打开应用程序时，插入物消失了，数据库为空。 这是我的小数据库： 我在哪里做错了？ 问题答案： 调用以将事务刷新到磁盘。 程序退出时，最后一个未完成的事务将回滚到最后一个提交。（或更准确地说，回滚是由下一个打开数据库的程序完成的。