【pytorch】zh-v2.d2l数据预处理报错

生信喵

背景

动手学深度学习pytorch：2.2.2处理缺失值报错

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)

报错如下

TypeError: can only concatenate str (not "int") to str

解决方案

我们看出报错是因为第二列数据是字符串不是数字，修改代码即可。

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.select_dtypes(include='number').mean())
print(inputs)

成功输出

   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN

生信喵

接着报错

inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)

输出

   NumRooms  Alley_Pave  Alley_nan
0       3.0        True      False
1       2.0       False       True
2       4.0       False       True
3       3.0       False       True

并不是教程中的0和1，而是布尔值。 这会引起后续转成张量的报错

TypeError: can't convert np.ndarray of type numpy.object_. The only supported types are: float64, float32, float16, complex64, complex128, int64, int32, int16, int8, uint8, and bool.

原因

get_dummies函数在pandas1.6.0版本之前返回numpy.uint8，无符号八位整数。

在1.6.0版本开始更改为返回numpy.bool_，numpy布尔值。

解决方案

添加dtype，完成输出0和1，且后续不报错

inputs = pd.get_dummies(inputs, dummy_na=True, dtype = 'uint8')
print(inputs)