机器学习:TensorFlow 2.0中的10个技巧

作者: 不靠谱的猫 2020-05-19 14:29:50

在本文中,我们将探索TensorFlow 2.0的10个特性。

1(a). 用于构建输入管道的tf.data API

从张量构建管道:

  1. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
  2. >>> iter(dataset).next().numpy() 

Batch和Shuffle:

  1. # Shuffle 
  2. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6) 
  3. >>> iter(dataset).next().numpy() 
  4. # Batch 
  5. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2) 
  6. >>> iter(dataset).next().numpy() 
  7. array([8, 3], dtype=int32
  8. # Shuffle and Batch 
  9. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2) 
  10. >>> iter(dataset).next().numpy() 
  11. array([3, 0], dtype=int32

压缩两个Datsets:

  1. >>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
  2. >>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6]) 
  3. >>> dataset = tf.data.Dataset.zip((dataset0, dataset1)) 
  4. >>> iter(dataset).next() 
  5. (<tf.Tensor: shape=(), dtype=int32numpy=8><tf.Tensor: shape=(), dtype=int32numpy=1>

映射外部函数:

  1. def into_2(num): 
  2.      return num * 2 
  3. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2) 
  4. >>> iter(dataset).next().numpy() 
  5. 16 

1(b). ImageDataGenerator

这是tensorflow.keras API的最佳特性之一。ImageDataGenerator可以在batching和预处理中实时生成数据集切片和数据增强。

生成器允许直接从目录或dataframes中访问数据流。

关于ImageDataGenerator中的数据增强的一个误解是,它会将更多数据添加到现有数据集中。虽然这是数据增强的实际定义,但在ImageDataGenerator中,数据集中的图像在训练中按不同的步骤动态转换,以便模型可以在它没有看到有噪声的数据上进行训练。

  1. train_datagen = ImageDataGenerator
  2.         rescale=1./255, 
  3.         shear_range=0.2, 
  4.         zoom_range=0.2, 
  5.         horizontal_flip=True 

在这里,对所有样本进行重缩放(用于归一化),而其他参数则用于增强。

  1. train_generator = train_datagen.flow_from_directory( 
  2.         'data/train', 
  3.         target_size=(150, 150), 
  4.         batch_size=32
  5.         class_mode='binary' 

我们为实时数据流指定目录。这也可以使用dataframes来完成。

  1. train_generator = flow_from_dataframe
  2.     dataframe, 
  3.     x_col='filename'
  4.     y_col='class'
  5.     class_mode='categorical'
  6.     batch_size=32 

x_col参数定义了图像的完整路径,y_col参数定义了用于分类的label列。

尽管需要指定steps_per_epoch参数,它实际上是number_of_samples // batch_size。

  1. model.fit( 
  2.     train_generator, 
  3.     validation_data=val_generator
  4.     epochs=EPOCHS
  5.     steps_per_epoch=(num_samples // batch_size), 
  6.     validation_steps=(num_val_samples // batch_size) 

2. 使用tf.image进行数据增强

在数据不足的情况下,对数据进行更改并将其作为单独的数据点,是在较少数据的情况下进行训练的非常有效的方法。

tf.image API具有用于转换图像的工具,请看以下Python示例:

  1. flipped = tf.image.flip_left_right(image) 
  2. visualise(image, flipped) 

  1. saturated = tf.image.adjust_saturation(image, 5) 
  2. visualise(image, saturated) 
机器学习:TensorFlow 2.0中的10个技巧
  1. rotated = tf.image.rot90(image) 
  2. visualise(image, rotated) 
机器学习:TensorFlow 2.0中的10个技巧
  1. cropped = tf.image.central_crop(image, central_fraction=0.5) 
  2. visualise(image, cropped) 
机器学习:TensorFlow 2.0中的10个技巧

3. TensorFlow数据集

  1. pip install tensorflow-datasets 

这是一个非常有用的库,因为它包含了tensorflow收集的知名数据集。

  1. import tensorflow_datasets as tfds 
  2. mnist_data = tfds.load("mnist") 
  3. mnist_train, mnist_test = mnist_data["train"], mnist_data["test"] 
  4. assert isinstance(mnist_train, tf.data.Dataset) 

在tensorflow-datasets中可用的数据集的详细列表可以在文档的Datasets页面上找到。

音频、图像、图像分类、对象检测、结构化、摘要、文本、翻译、视频都是tfds提供的类型。

4. 使用预训练的模型进行迁移学习

迁移学习是机器学习领域的一种新潮流,TensorFlow提供了经过基准测试的预训练模型,可以很容易地针对所需的用例进行扩展。

  1. base_model = tf.keras.applications.MobileNetV2( 
  2.     input_shape=IMG_SHAPE
  3.     include_top=False
  4.     weights='imagenet' 

可以使用附加层或不同的模型轻松扩展这个base_model。如:

  1. model = tf.keras.Sequential([ 
  2.     base_model, 
  3.     global_average_layer, 
  4.     prediction_layer 
  5. ]) 

有关tf.keras.applications下其他模型或模块的详细列表,请参阅docs页面。

5. Estimators

Estimator是TensorFlow完整模型的高级表示,其设计目的是易于缩放和异步训练。

内置的estimators提供了非常高级的模型抽象,因此您可以直接专注于训练模型,而不必担心其复杂性。例如:

  1. linear_est = tf.estimator.LinearClassifier( 
  2.     feature_columnsfeature_columns=feature_columns 
  3. linear_est.train(train_input_fn) 
  4. result = linear_est.evaluate(eval_input_fn) 

TensorFlow有许多内置的estimators,包括LinearRegressor,BoostedTreesClassifier等。Estimators也可以自定义。

6. 自定义层

神经网络是已知的多层网络,其中的层可以是不同的类型。TensorFlow包含许多预定义层(例如Dense,LSTM等)。但是对于更复杂的架构,层的逻辑可能会复杂得多。TensorFlow允许构建自定义层,这可以通过对tf.keras.layers.Layer类进行子类化来完成。

  1. class CustomDense(tf.keras.layers.Layer): 
  2.     def __init__(self, num_outputs): 
  3.         super(CustomDense, self).__init__() 
  4.         self.num_outputs = num_outputs 
  5.  
  6.     def build(self, input_shape): 
  7.         selfself.kernel = self.add_weight( 
  8.             "kernel", 
  9.             shape=[int(input_shape[-1]), 
  10.             self.num_outputs] 
  11.         ) 
  12.  
  13.     def call(self, input): 
  14.         return tf.matmul(input, self.kernel) 

实现自定义层的最佳方法是扩展tf.keras.Layer类:

  • __init__,可以进行所有与输入无关的初始化。
  • build,您可以了解输入张量的形状,并可以进行其余的初始化。
  • call,进行forward计算。

尽管可以在__init__中完成核初始化,但最好在build中进行初始化,否则,您将必须在新层创建的每个实例上显式指定input_shape。

7. 定制训练

tf.keras序列和模型API使训练模型更容易。但是,大多数时候在训练复杂模型时会使用自定义损失函数。此外,模型训练也可以不同于缺省值(例如,将梯度分别应用于不同的模型组件)。

TensorFlow的自动微分有助于高效地计算梯度。Python示例如下:

  1. def train(model, inputs, outputs, learning_rate): 
  2.     with tf.GradientTape() as t: 
  3.         # Computing Losses from Model Prediction 
  4.         current_loss = loss(outputs, model(inputs)) 
  5.     # Gradients for Trainable Variables with Obtained Losses 
  6.     dW, db = t.gradient(current_loss, [model.W, model.b]) 
  7.     # Applying Gradients to Weights 
  8.     model.W.assign_sub(learning_rate * dW) 
  9.     model.b.assign_sub(learning_rate * db) 

可以针对多个epochs重复此循环,并且可以根据用例使用其他自定义的设置。

8. 检查点

保存TensorFlow模型可以有两种类型:

  • SavedModel:保存模型的完整状态以及所有参数。
    1. model.save_weights('checkpoint') 
  • 检查点(Checkpoints)

检查点捕获机器学习模型使用的所有参数的精确值。使用Sequential API或Model API构建的机器学习模型可以简单地以SavedModel格式进行保存。

但是,对于自定义模型,需要设置检查点。

检查点不包含模型定义的计算的任何描述,因此通常只有在源代码可用时才有用。

保存检查点:

  1. checkpoint_path = “save_path” 
  2. # Defining a Checkpoint 
  3. ckpt = tf.train.Checkpoint(modelmodel=model, optimizeroptimizer=optimizer) 
  4. # Creating a CheckpointManager Object 
  5. ckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5
  6. # Saving a Model 
  7. ckpt_manager.save() 

加载检查点:

TensorFlow通过遍历具有命名边的有向图(从加载的对象开始),将变量匹配到检查点值。

  1. if ckpt_manager.latest_checkpoint: 
  2.     ckpt.restore(ckpt_manager.latest_checkpoint) 

9. Keras Tuner

这是TensorFlow中的一个相当新的功能。

  1. !pip install keras-tuner 

超参数调优是挑选参数的过程,这些参数定义了机器学习模型的配置,这些是特征工程和机器学习模型性能的决定因素。

  1. # model_builder is a function that builds a model and returns it 
  2. tuner = kt.Hyperband( 
  3.     model_builder, 
  4.     objective='val_accuracy',  
  5.     max_epochs=10
  6.     factor=3
  7.     directory='my_dir'
  8.     project_name='intro_to_kt' 

除了HyperBand, BayesianOptimization和RandomSearch也可用于调优。

  1. tuner.search( 
  2.     img_train, label_train,  
  3.     epochs = 10,  
  4.     validation_data=(img_test,label_test),  
  5.     callbacks=[ClearTrainingOutput()] 
  6.  
  7. # Get the optimal hyperparameters 
  8. best_hps = tuner.get_best_hyperparameters(num_trials=1)[0] 

然后,利用最优超参数对模型进行训练:

  1. model = tuner.hypermodel.build(best_hps) 
  2. model.fit( 
  3.     img_train,  
  4.     label_train,  
  5.     epochs=10,  
  6.     validation_data=(img_test, label_test) 

10. 分布式训练

如果你有多个GPU,并希望通过将训练分散在多个GPU上来优化训练,TensorFlow的各种分布式训练策略能够优化GPU的使用,并为你在GPU上进行训练。

tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的呢?

  • 所有变量和模型图都复制到副本上。
  • 输入均匀地分布在各个副本上。
  • 每个副本都为其接收的输入计算损失和梯度。
  • 梯度是通过对所有副本求和来同步的。
  • 同步之后,对每个副本上的变量副本进行相同的更新。
  1. strategy = tf.distribute.MirroredStrategy() 
  2. with strategy.scope(): 
  3.     model = tf.keras.Sequential([ 
  4.         tf.keras.layers.Conv2D( 
  5.             32, 3, activation='relu',  input_shape=(28, 28, 1) 
  6.         ), 
  7.         tf.keras.layers.MaxPooling2D(), 
  8.         tf.keras.layers.Flatten(), 
  9.         tf.keras.layers.Dense(64, activation='relu'), 
  10.         tf.keras.layers.Dense(10) 
  11.     ]) 
  12.  
  13.     model.compile( 
  14.         loss="sparse_categorical_crossentropy"
  15.         optimizer="adam"
  16.         metrics=['accuracy'] 
  17.     ) 

最后

TensorFlow足以构建机器学习管道的几乎所有组件。本教程的主要内容是介绍TensorFlow提供的各种api,以及如何使用这些API的快速指南。

机器学习 TensorFlow 2.0
上一篇:【图解机器学习】人人都能懂的算法原理 下一篇:GitHub近10万星:印度小哥用Python和Java实现所有AI算法
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

可再生能源与机器学习“双重加持”,谷歌成功实现风力预测

从传统角度看,电力电场的发电能力普遍较弱,因为我们至今很难预测无形无相的风,会在新一天中表现出怎样的活动趋势。

佚名 ·  13h前
明确解释:机器学习与统计建模有何不同

这篇文章提出了一个非常重要的区别,我们应该将其理解为数据科学领域的活跃部分。 上面的维恩图最初是由SAS Institute发布的,但是它们的图显示统计和机器学习之间没有重叠,据我所知,这是一个疏忽。

闻数起舞 ·  18h前
不用任何数学方法,如何计算圆面积

借鉴统计学习和机器学习的核心原理,我们可以使用蒙特卡罗模拟和多项式/二次回归来创建基于计算的方法,以找到圆的面积公式。

机器之心 ·  1天前
2020年十大人工智能趋势

人工智能在工作场所中崛起以支持和维持数字化劳动力的趋势是2020年的明显趋势。人工智能,机器学习,神经网络或其他任何花哨的术语行业都应运而生,它被定义为复杂的计算机技术,被广泛用于理解和改善业务和客户体验。

闻数起舞 ·  1天前
机器学习变革物流运输和交通出行

云和机器学习的融合催生了自动驾驶技术尤其是人们出行方式的广泛创新,正在改变整个行业的游戏规则。根据普华永道(PWC)的数据,68%的物流运输企业负责人认为,未来5年,提供物流运输服务的核心技术的改变将颠覆整个行业。

AWS大中华区云服务产品管理总经理顾凡 ·  3天前
轻松构建 PyTorch 生成对抗网络(GAN)

生成对抗网络(GAN)是一种生成式机器学习模型,它被广泛应用于广告、游戏、娱乐、媒体、制药等行业,可以用来创造虚构的人物、场景,模拟人脸老化,图像风格变换,以及产生化学分子式等等。

佚名 ·  4天前
新AI让教师能够快速开发智能辅导系统

通过使用一种采用人工智能的新方法,教师可以通过演示解决某个主题中的问题的几种方法来教计算机……

佚名 ·  2020-05-27 16:48:01
终结重复工作!教你30分钟创建自己的深度学习机器

建立一个深度学习环境是一件很重要的事情。本文讲述使用深度学习 CommunityAMI、TMUX和 Tunneling在EC2为Jupyter Notebooks创建一个新的深度学习服务器。

读芯术 ·  2020-05-27 10:36:43
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载