pandas：对DataFrame进行采样

Question

我正在尝试使用Pandas读取一个相当大的CSV文件，并将其分成两个随机的块，其中一个占数据的10％，另一个占90％。

这是我目前的尝试：

rows = data.index
row_count = len(rows)
random.shuffle(list(rows))

data.reindex(rows)

training_data = data[row_count // 10:]
testing_data = data[:row_count // 10]

出于某种原因，sklearn当我尝试在SVM分类器中使用这些结果DataFrame对象之一时，抛出此错误：

IndexError: each subindex must be either a slice, an integer, Ellipsis, or newaxis

我想我做错了。有一个更好的方法吗？

Answer 1

您使用的是哪个版本的熊猫？对我来说，您的代码工作正常（我在git master上）。

另一种方法可能是：

In [117]: import pandas

In [118]: import random

In [119]: df = pandas.DataFrame(np.random.randn(100, 4), columns=list('ABCD'))

In [120]: rows = random.sample(df.index, 10)

In [121]: df_10 = df.ix[rows]

In [122]: df_90 = df.drop(rows)

较新的版本（从0.16.1开始）直接支持此功能：http
://pandas.pydata.org/pandas-
docs/stable/generation/pandas.DataFrame.sample.html