手把手教你使用Pandas读取结构化数据
导读:Pandas是一个基于Numpy库开发的更高级的结构化数据分析工具,提供了Series、DataFrame、Panel等数据结构,可以很方便地对序列、截面数据(二维表)、面板数据进行处理。
DataFrame是我们常见的二维数据表,包含多个变量(列)和样本(行),通常被称为数据框。 Series是一个一维结构的序列,包含指定的索引信息,可以被视作DataFrame中的一列或一行。其操作方法与DataFrame十分相似。 Panel是包含序列及截面信息的三维结构,通常被称为面板数据。
import pandas as pd
csv = pd.read_csv('data/sample.csv')
csv
id name scores
01 小明 78.0
12 小红 87.0
23 小白 99.0
34 小青 99999.0
45 小兰 NaN
filepath_or_buffer csv文件的路径 sep = ',' 分隔符,默认为逗号 header = 0 int类型,0代表第一行为列名,若设定为None将使用数值列名 names = [] list,重新定义列名,默认为None usecols = [] list,定义读取的列,设定后将缩短读取数据的时间,并减小内存消耗,适合读取大量数据,默认为None dtype = {} dict,定义读取列的数据类型,默认为None nrows = None int类型,指定读取数据的前n行,默认为None na_values = ... str类型,list或dict,指定缺失值的填充值 na_filter = True bool类型,自动发现数据中的缺失值,默认值为True,若确定数据无缺失,可以设定值为False,以提高数据载入的速度 chunksize = 1000 int类型,分块读取,当数据量较大时,可以设定分块读取的行数,默认为None encoding = 'utf-8' str类型,数据的编码,Python3默认编码为UTF-8,Python2默认编码为ASCII
csv = pd.read_csv('data/sample.csv',\
usecols=['id','name'],\
nrows=2) #读取'id'和'name'两列,仅读取前两行
csv
id name
01 小明
12 小红
csvs = pd.read_csv('data/big.csv',chunksize=900)
for i in csvs:
print (i.shape)
(900, 4)
(900, 4)
(900, 4)
(900, 4)
(900, 4)
csvs = pd.read_csv('data/big.csv',chunksize=900)
dat = pd.concat(csvs,ignore_index=True)
dat.shape
(4500, 4)
csv = pd.read_csv('data/sample.csv',
na_values='99999')
csv
id name scores
01 小明 78.0
12 小红 87.0
23 小白 99.0
34 小青 NaN
45 小兰 NaN
csv = pd.read_csv('data/sample.csv',
encoding='utf-8')
csv
id name scores
01 小明 78.0
12 小红 87.0
23 小白 99.0
34 小青 99999.0
45 小兰 NaN
干货直达👇
详解数据分析体系构成框架
关键词
pd.read_csv
参数
数据
两列
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。