构建训练数据集目录
在后面的代码中，你会注意到，在训练期间，我们不会将整个数据集加载到内存中。相反，我们将利用Keras的．flow＿from＿directory（）函数，该函数的作用是允许批处理。但是，此函数希望数据按如下方式组织到目录中：
为了按照上述格式组织图像文件，我们将使用以下简短片段：
＃ Building the dataset properly －
splits ＝ ［（trainX， trainY）， （testX， testY）， （valX， valY）］
dirnames ＝ ［＇training＇， ＇evaluation＇， ＇validation＇］
for i， （data，label） in enumerate（splits）：
outside＿dir＝dirnames［i］
for j in tqdm（range（0， len（label））， desc＝＂Iterating over images in sub folder＂）：
dir ＝ label［j］
＃ construct the path to the sub－directory
dirPath ＝ os．path．join（config．BASE＿PATH， outside＿dir， dir）
＃ if the output directory does not exist， create it
if not os．path．exists（dirPath）：
os．makedirs（dirPath）
＃ copy the img to this new directory
src＿img ＝ os．path．join（config．ORIG＿INPUT＿DATASET， data［j］）
shutil．copy（src＿img， dirPath）
当代码段运行时，你应该能够使用TQM模块查看进度，一旦完成，你将发现创建了三个子目录－dataset／training， dataset／evaluation， 和dataset／validation，在每个目录中，将有两个子目录，分别用于现代房子和旧房子。
作为一个健全的检查，让我们看看我们在每个子目录中有多少图像。
trainPath ＝ os．path．join（BASE＿PATH， TRAIN）
valPath ＝ os．path．join（BASE＿PATH， VAL）
testPath ＝ os．path．join（BASE＿PATH， TEST）
totalTrain ＝ len（list（paths．list＿images（trainPath）））
totalVal ＝ len（list（paths．list＿images（valPath）））
totalTest ＝ len（list（paths．list＿images（testPath）））
print（totalTrain， totalTest， totalVal）
＊＊＊＊＊＊＊＊＊＊ OUTPUT ＊＊＊＊＊＊＊
344 46 61
注意：如果你的自定义数据位于下面描述的结构中，那么有一个名为split＿folders的python包，可用于获取图1中定义的目录结构中的数据。
dataset／
class1／
img1．jpg
img2．jpg
．．．
class2／
img3．jpg
．．．
．．．
图像预处理
由于我们处理有限的样本大小，可以使用数据增强，例如旋转，缩放图像等。
数据增强可以增加可用的训练数据量，它实际上做的是获取一个训练样本，并对其应用一个随机转换［来源］。
Keras允许使用ImageDataGenerator对亮度、旋转、缩放、剪切等进行随机增强，最好的是，所有这些都是在模型拟合期间动态完成的，也就是说，你不需要提前计算它们。
训练数据增强：
trainAug ＝ ImageDataGenerator（
rotation＿range＝90，
zoom＿range＝［0．5， 1．0］，
width＿shift＿range＝0．3，
height＿shift＿range＝0．25，
shear＿range＝0．15，
horizontal＿flip＝True，
fill＿mode＝＂nearest＂，
brightness＿range＝［0．2， 1．0］
）
大多数参数，如width＿shift、height＿shift、zoom＿range和rotation＿range，都可以直接按字面意思理解（如果不是，请查看官方Keras文档）。
一个重要的注意事项是，当你运行时，使用缩放或旋转时，一些空白区域／像素可能是在图像中创建的。
验证数据增强：
valAug ＝ ImageDataGenerator（）
你将看到，验证数据的数据增强对象时没有提供任何参数。这意味着我们将使用所有这些默认值，为0。即，我们不应用任何增强。
测试数据增强：
testAug ＝ ImageDataGenerator（）
同验证数据。
创建数据增强器
数据增强器将继续为训练期间的模型提供增强的图像。要做到这一点，我们可以使用flow＿from＿directory（） 函数。
＃ Create training batches whilst creating augmented images on the fly
trainGen ＝ trainAug．flow＿from＿directory（
directory＝trainPath，
target＿size＝（224，224），
save＿to＿dir＝＇dataset／augmented／train＇，
save＿prefix＝＇train＇，
shuffle＝True
）
＃ Create val batches
valGen ＝ valAug．flow＿from＿directory（
directory＝valPath，
target＿size＝（224，224），
shuffle＝True
）
一些重要的事情需要考虑：
在每个案例中，目录都设置为训练（或验证）图像的路径。
将目标大小指定为（224x224x224），确保所有图像都将调整到这个大小。
我们还将设置save＿to＿dir作为通往目录的路径，在那里我们将保存增强的图像。这提供了一个很好的完整性检查，以查看图像是否按照它们应该的方式进行了随机变换。
最后，shuffle被设置为True，因为我们希望样本在批处理生成器中被打乱，这样当model．fit（）请求批处理时，就会给出随机样本。这样做将确保不同时代之间的批次看起来不一样，并最终使模型更加稳健。
＃ Create test batches
testGen ＝ testAug．flow＿from＿directory（
directory＝testPath，
target＿size＝（224，224），
shuffle＝False
）
除了为testGen设置正确的目录路径外，还有一件主要的事情需要考虑：
Shuffle必须设置为false。
为什么，你问？
因为，现在我们不希望样品在测试批量生成器中被打乱。只有当shuffle被设置为False时，批量才会按照提供的文件名的顺序创建。这需要在模型评估期间匹配文件名（即真实的标签，使用testGen．classes可访问）和预测的标签。
