探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行EDA来研究数据集中内在的信息。自动化的EDA Python包可以用几行Python代码执行EDA。
在本文中整理了10个可以自动执行EDA并生成有关数据的见解的Python包，看看他们都有什么功能，能在多大程度上帮我们自动化解决EDA的需求。
1.DTale
2.Pandas-profiling
3.sweetviz
4.autoviz
5.dataprep
6.KLib
7.dabl
8.speedML
9.datatile
10.edaviz
1、D-Tale
D-Tale使用Flask作为后端、React前端并且可以与ipython notebook和终端无缝集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。
import dtaleimport pandas as pddtale.show(pd.read_csv("titanic.csv"))
Pandas-Profiling可以生成Pandas DataFrame的概要报告。panda-profiling扩展了pandas DataFrame df.profile_report()，并且在大型数据集上工作得非常好，它可以在几秒钟内创建报告。
#Install the below libaries before importingimport pandas as pdfrom pandas_profiling import ProfileReport#EDA using pandas-profilingprofile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)#Saving results to a HTML fileprofile.to_file("output.html")
Sweetviz是一个开源的Python库，只需要两行Python代码就可以生成漂亮的可视化图，将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕快速可视化目标值和比较数据集构建的。
import pandas as pdimport sweetviz as sv#EDA using Autovizsweet_report = sv.analyze(pd.read_csv("titanic.csv"))#Saving results to HTML filesweet_report.show_html('sweet_report.html')
Autoviz包可以用一行代码自动可视化任何大小的数据集，并自动生成HTML、bokeh等报告。用户可以与AutoViz包生成的HTML报告进行交互。
import pandas as pdfrom autoviz.AutoViz_Class import AutoViz_Class#EDA using Autovizautoviz = AutoViz_Class().AutoViz('train.csv')
DataPrep的运行速度这10个包中最快的，他在几秒钟内就可以为Pandas/Dask DataFrame生成报告。
from dataprep.datasets import load_datasetfrom dataprep.eda import create_reportdf = load_dataset("titanic.csv")create_report(df).show_browser()
klib是一个用于导入、清理、分析和预处理数据的Python库。
import klibimport pandas as pddf = pd.read_csv('DATASET.csv')klib.missingval_plot(df)
klib.corr_plot(df_cleaned, annot=False)
klib.dist_plot(df_cleaned['Win_Prob'])
klib.cat_plot(df, figsize=(50,15))
-
目标分布图 -
散点图 -
线性判别分析
import pandas as pdimport dabldf = pd.read_csv("titanic.csv")dabl.plot(df, target_col="Survived")
SpeedML官方说，使用它可以基于迭代进行开发，将编码时间缩短了70％。
from speedml import Speedmlsml = Speedml('../input/train.csv', '../input/test.csv',target = 'Survived', uid = 'PassengerId')sml.train.head()
sml.plot.correlate()
sml.plot.distribute()
sml.plot.ordinal('Parch')
sml.plot.ordinal('SibSp')
sml.plot.continuous('Age')
DataTile（以前称为Pandas-Summary）是一个开源的Python软件包，负责管理，汇总和可视化数据。DataTile基本上是PANDAS DataFrame describe（）函数的扩展。
import pandas as pdfrom datatile.summary.df import DataFrameSummarydf = pd.read_csv('titanic.csv')dfs = DataFrameSummary(df)dfs.summary()
原创文章，作者：guozi，如若转载，请注明出处：https://www.sudun.com/ask/88068.html
