5 数据导入
在训练机器学习的模型时,需要用到大量数据,最常用的做法是利用历史的数据来训练模型。这些数据通常会以 CSV 的格式来存储,或者能够方便地转化为 CSV 格式。在开始启动机器学习项目之前,必须先将数据导入到 Python 中。下面将介绍三种将 CSV数据导入到 Python 中的方法,以便完成对机器学习算法的训练。
通过标准的 Python 库导入 CSV 文件。
通过 NumPy 导入 CSV 文件。
通过 Pandas 导入 CSV 文件。
5.1 CSV 文件
CSV 文件是用逗号(,)分隔的文本文件。在数据导入之前,通常会审查一下 CSV文件中包含的内容。在审查 CSV 文件时,通常要注意以下几个方面。
5.1.1 文件头
如果 CSV 的文件里包括文件头的信息,可以很方便地使用文件头信息来设置读入数据字段的属性名称。如果文件里不含有文件头信息,需要自己手动设定读入文件的字段属性名称。数据导入时,设置字段属性名称,有助于提高数据处理程序的可读性。
5.1.2 文件中的注释
在 CSV 文件中,注释行是以“井”号(#)开头的。是否需要对读入的注释行做处理,取决于采用什么方式读入 CSV 文件。
5.1.3 分隔符
CSV 文件的标准分隔符是逗号(,),当然也可以使用 Tab 键或空格键作为自定义的分隔符。当使用这两种分隔符时,文件读取是要指明分隔符的。
5.1.4 引号
当有的字段值中有空白时,这些值通常都会被引号引起来,默认使用双引号来标记这些字段值。如果采用自定义格式,那么在文件读取时要明确在文件中采用的自定义格式。
5.2 Pima Indians 数据集
首先介绍一下在本章和后续章节中要使用的测试数据。目前在 UCI 机器学习仓库(http://archive.ics.uci.edu/ml/datasets.html)中有大量的免费数据,可以利用这些数据来学习机器学习,并训练算法模型 。本章选择的 Pima Indians 数据集就是从 UCI 中获取的。这是一个分类问题的数据集, 主要记录了印第安人最近五年内是否患糖尿病的医疗数据。
这些数据都是以数字的方式记录的,并且输出结果是 0 或 1,使我们在机器学习的算法中建立模型变得非常方便。
5.3 采用标准 Python 类库导入数据
Python 提供了一个标准类库 CSV,用来处理 CSV 文件。这个类库中的 reader()函数用来读入 CSV 文件。当 CSV 文件被读入后,可以利用这些数据生成一个 NumPy 数组,用来训练算法模型。首先下载数据文件到应用目录下,并命名文件为 pima.csv。这个文件中所有的数据都是数字,并且数据中不含有文件头。代码如下:
from csv import reader
import numpy as np
# 使用标准的 Python 类库导入 CSV 数据
filename = 'pima_data.csv'
with open(filename, 'rt') as raw_data:
readers = reader(raw_data, delimiter=',')
x = list(readers)
data = np.array(x).astype('float')
print(data.shape)
执行结果如下:
(768, 9)
代码非常简单,就不详细进行讲解了。详细内容请查阅 Python 的 API 介绍。
5.4 采用 NumPy 导入数据
也可以使用 NumPy 的 loadtxt()函数导入数据。使用这个函数处理的数据没有文件头,并且所有的数据结构是一样的,也就是说,数据类型是一样的。代码如下:
from numpy import loadtxt
# 使用 NumPy 导入 CSV 数据
filename = 'pima_data.csv'
with open(filename, 'rt') as raw_data:
data = loadtxt(raw_data, delimiter=',')
print(data.shape)
这段代码就比直接使用 Python 的标准类库简洁了很多,执行结果如下:
(768, 9)
5.5 采用 Pandas 导入数据
前面介绍了如何通过标准的 Python 类库和 NumPy 来导入数据。接下来会通过一个例子来演示如何通过 Pandas 导入 CSV 文件的数据。 通过 Pandas 来导入 CSV 文件要使用pandas.read_csv()函数。这个函数的返回值是 DataFrame,可以很方便地进行下一步的处理。这个函数的名称非常直观,便于代码的阅读和后续对数据的处理。在机器学习的项目中,经常利用 Pandas 来做数据清洗与数据准备工作。因此,在导入 CSV 文件时,推荐大家使用这个方法。代码如下:
from pandas import read_csv
# 使用 Pandas 导入 CSV 数据
filename = 'pima_data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age',
'class']
data = read_csv(filename, names=names)
print(data.shape)
这段代码为数据补充了文件头,执行结果如下:
(768, 9)
5.6 总结
本章主要介绍了三种导入 CSV 文件到 Python 的方法,分别是:通过标准的 Python 类库导入、通过 NumPy 导入和通过 Pandas 导入。在进行机器学习项目实践时,建议采用 Pandas方式导入数据。 到目前为止, 本书已经介绍了在机器学习中的基本环境和相应的类库的使用方法,以及一个简单的机器学习的分类的例子。本章介绍了如何导入数据到 Python 中,接下来就通过描述统计的方式来理解导入的数据。