Pandas处理数据太慢,来试试Polars吧!
点击 机器学习算法与Python学习 ,选择加星标
精彩内容不迷路
很多人在学习数据分析的时候,肯定都会用到Pandas这个库,非常的实用!
从创建数据到读取各种格式的文件(text、csv、json),或者对数据进行切片和分割组合多个数据源,Pandas都能够很好的满足。
Pandas最初发布于2008年,使用Python、Cython和C编写的。是一个超级强大、快速和易于使用的Python库,用于数据分析和处理。
当然Pandas也是有不足之处的,比如不具备多处理器,处理较大的数据集速度很慢。
今天给大家介绍一个新兴的Python库——Polars。
使用语法和Pandas差不多,处理数据的速度却比Pandas快了不少。
一个是大熊猫,一个是北极熊~
GitHub地址:https://github.com/ritchie46/polars
使用文档:https://ritchie46.github.io/polars-book/
Polars是通过Rust编写的一个库,Polars的内存模型是基于Apache Arrow。
Polars存在两种API,一种是Eager API,另一种则是Lazy API。
其中Eager API和Pandas的使用类似,语法差不太多,立即执行就能产生结果。
而Lazy API就像Spark,首先将查询转换为逻辑计划,然后对计划进行重组优化,以减少执行时间和内存使用。
安装Polars,使用百度pip源。
# 安装polars
pip install polars -i https://mirror.baidu.com/pypi/simple/
pip install polars -i https://mirror.baidu.com/pypi/simple/
安装成功后,开始测试,比较Pandas和Polars处理数据的情况。
使用某网站注册用户的用户名数据进行分析,包含约2600万个用户名的CSV文件。
文件已上传公众号,获取方式见文末。
import
pandas
as pd
df = pd.read_csv(
'users.csv')
print(df)
数据情况如下。
此外还使用了一个自己创建的CSV文件,用以数据整合测试。
import
pandas
as pd
df = pd.read_csv(
'fake_user.csv')
print(df)
得到结果如下。
首先比较一下两个库的排序算法耗时。
import
import
timeit
import
pandas
as pd
start = timeit.default_timer()
df = pd.read_csv(
'users.csv')
df.sort_values(
'n', ascending=
False)
stop = timeit.default_timer()
print(
'Time: ', stop - start)
-------------------------
Time:
27.555776743218303可以看到使用Pandas对数据进行排序,花费了大约28s。
import
import
timeit
import
polars
as pl
start = timeit.default_timer()
df = pl.read_csv(
'users.csv')
df.sort(by_column=
'n', reverse=
True)
stop = timeit.default_timer()
print(
'Time: ', stop - start)
-----------------------
Time:
9.924110282212496Polars只花费了约10s,这意味着Polars比Pandas快了2.7倍。
下面,我们来试试数据整合的效果,纵向连接。
import
import
timeit
import
pandas
as pd
start = timeit.default_timer()
df_users = pd.read_csv(
'users.csv')
df_fake = pd.read_csv(
'fake_user.csv')
df_users.append(df_fake, ignore_index=
True)
stop = timeit.default_timer()
print(
'Time: ', stop - start)
------------------------
Time:
15.556222308427095使用Pandas耗时15s。
import
import
timeit
import
polars
as pl
start = timeit.default_timer()
df_users = pl.read_csv(
'users.csv')
df_fake = pl.read_csv(
'fake_user.csv')
df_users.vstack(df_fake)
stop = timeit.default_timer()
print(
'Time: ', stop - start)
-----------------------
Time:
3.475433263927698Polars居然最使用了约3.5s,这里Polars比Pandas快了4.5倍。
通过上面的比较,Polars在处理速度上表现得相当不错。
可以是大家在未来处理数据时,另一种选择~
当然,Pandas目前历时12年,已经形成了很成熟的生态,支持很多其它的数据分析库。
Polars则是一个较新的库,不足的地方还有很多。
如果你的数据集对于Pandas来说太大,对于Spark来说太小,那么Polars便是你可以考虑的一个选择。
觉得不错,请点个在看呀
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。