使Python举行多少解析(九)

第二前行制数据格式

pickle序列化

兑现二进制存储最简易方法就是行使pickle序列化。
pandas可以用frame.save('ch06/frame_pickle')拿frame以pickle情势保留及磁盘上的方法。读取使用的是pd.load('ch06/frame_pickle')

使用HDF5格式

HDF指层次型数据格式(hierarchical data
format)。HDF5援助多压缩器的饶平常压缩,还会快存储重复情势数据,还足以快捷分块读写,所以对好酷的不能直接放入内存的数集就杀实用。
HDF5库有少单接口分别是PyTables和h5py。处理海量数据(io密集型
重复读写磁盘数据)时,这一点儿个接口十分符合要求。

#HDFStore就是通过PyTables存储的pandas对象:
store = pd.HDFStore('mydata.h5')
store['obj1'] = frame
store['obj1_col'] = frame['a']
#形如字典一样存取。
#HDF5被用来一次写多次读,不建议多个写操作,文件可能会损坏。

读取Microsoft Excel文件

读取xls或者xlsx文件得到ExcelFile实例
xls_file = pd.ExcelFile('data.xls')
实例更通过parse读博到DataFrame中:
table = xls_file.parse('Sheet1')

使用HTML和Web API

拜这一个供了数额的API最简便易行的方运用requests包。

import requests
url = 'https://www.baidu.com'
resp = requests.get(url)

众多的Web API重返的都是JSON字符串,大家先行使加载到Python对象中:

import json
data = json.loads(resp.text)
data.keys()
#keys里有一个results,results有一组tweet,每条为一个字典。
tweet_fields = ['created at', 'from-User', 'id','text']
tweets = DataFrame(data['results'], columns = tweet_fields)
#即可得到tweet的数据
tweets.ix[7]

拔取数据库

数据库目前任重而道远出些许种植,一种植是SQL关周密据库(SQL
Server,MySQL等),此外就是是NoSQL(Not Only SQL)。

import sqlite3
#假设已经有一个Table叫text,先取出表中数据
con = sqlite3.connect(':memory:')
cursor = con.execute('select  * from test')
rows = cursor.fetchall()
#cursor.description游标的description属性获取到列名
DataFrame(rows,columns = zip(*cursor.description)[0])

大麻烦,对吧。pandas.io.sql模块提供了简便的法门(read_MySQL,frame):

import pandas.io.sql as sql
sql.read_frame('select * from test',con)
#con为连接对象

存取MongoDB中的数额

率先连接达MongoDb实例:

import pymongo
con = pymongo.Connection('localhost',port=27017)

描绘副数据:

import requests, json
url  = 'http://search.twitter.com/search.json?q=python%20pandas'
data = json.loads(requests.get(url).text)
for tweet in data['results']:
    tweets.save(tweet)

读取数据:

cursor = tweets.find({'from_user':'wesmckinn'})
#cursor可以迭代
tweet_fields =['created at','from_user','id','text']
result= DataFrame(list(cursor), columns = tweet_fields)

总结

顿时节及落得一致章节总结了相似情状下如何加载常用之外来源的多寡,存储,查询等。来源至关首要出常用的文件,表格,json,数据库等等。既然数据现已加载了,那么下一样回节便该起来洗,规整一下这一个数量了。

网站地图xml地图