机器学习:TensorFlow 2.0中的10个技巧

作者: 不靠谱的猫 2020-05-19 14:29:50

在本文中,我们将探索TensorFlow 2.0的10个特性。

1(a). 用于构建输入管道的tf.data API

从张量构建管道:

  1. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
  2. >>> iter(dataset).next().numpy() 

Batch和Shuffle:

  1. # Shuffle 
  2. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6) 
  3. >>> iter(dataset).next().numpy() 
  4. # Batch 
  5. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2) 
  6. >>> iter(dataset).next().numpy() 
  7. array([8, 3], dtype=int32
  8. # Shuffle and Batch 
  9. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2) 
  10. >>> iter(dataset).next().numpy() 
  11. array([3, 0], dtype=int32

压缩两个Datsets:

  1. >>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
  2. >>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6]) 
  3. >>> dataset = tf.data.Dataset.zip((dataset0, dataset1)) 
  4. >>> iter(dataset).next() 
  5. (<tf.Tensor: shape=(), dtype=int32numpy=8><tf.Tensor: shape=(), dtype=int32numpy=1>

映射外部函数:

  1. def into_2(num): 
  2.      return num * 2 
  3. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2) 
  4. >>> iter(dataset).next().numpy() 
  5. 16 

1(b). ImageDataGenerator

这是tensorflow.keras API的最佳特性之一。ImageDataGenerator可以在batching和预处理中实时生成数据集切片和数据增强。

生成器允许直接从目录或dataframes中访问数据流。

关于ImageDataGenerator中的数据增强的一个误解是,它会将更多数据添加到现有数据集中。虽然这是数据增强的实际定义,但在ImageDataGenerator中,数据集中的图像在训练中按不同的步骤动态转换,以便模型可以在它没有看到有噪声的数据上进行训练。

  1. train_datagen = ImageDataGenerator
  2.         rescale=1./255, 
  3.         shear_range=0.2, 
  4.         zoom_range=0.2, 
  5.         horizontal_flip=True 

在这里,对所有样本进行重缩放(用于归一化),而其他参数则用于增强。

  1. train_generator = train_datagen.flow_from_directory( 
  2.         'data/train', 
  3.         target_size=(150, 150), 
  4.         batch_size=32
  5.         class_mode='binary' 

我们为实时数据流指定目录。这也可以使用dataframes来完成。

  1. train_generator = flow_from_dataframe
  2.     dataframe, 
  3.     x_col='filename'
  4.     y_col='class'
  5.     class_mode='categorical'
  6.     batch_size=32 

x_col参数定义了图像的完整路径,y_col参数定义了用于分类的label列。

尽管需要指定steps_per_epoch参数,它实际上是number_of_samples // batch_size。

  1. model.fit( 
  2.     train_generator, 
  3.     validation_data=val_generator
  4.     epochs=EPOCHS
  5.     steps_per_epoch=(num_samples // batch_size), 
  6.     validation_steps=(num_val_samples // batch_size) 

2. 使用tf.image进行数据增强

在数据不足的情况下,对数据进行更改并将其作为单独的数据点,是在较少数据的情况下进行训练的非常有效的方法。

tf.image API具有用于转换图像的工具,请看以下Python示例:

  1. flipped = tf.image.flip_left_right(image) 
  2. visualise(image, flipped) 

  1. saturated = tf.image.adjust_saturation(image, 5) 
  2. visualise(image, saturated) 
机器学习:TensorFlow 2.0中的10个技巧
  1. rotated = tf.image.rot90(image) 
  2. visualise(image, rotated) 
机器学习:TensorFlow 2.0中的10个技巧
  1. cropped = tf.image.central_crop(image, central_fraction=0.5) 
  2. visualise(image, cropped) 
机器学习:TensorFlow 2.0中的10个技巧

3. TensorFlow数据集

  1. pip install tensorflow-datasets 

这是一个非常有用的库,因为它包含了tensorflow收集的知名数据集。

  1. import tensorflow_datasets as tfds 
  2. mnist_data = tfds.load("mnist") 
  3. mnist_train, mnist_test = mnist_data["train"], mnist_data["test"] 
  4. assert isinstance(mnist_train, tf.data.Dataset) 

在tensorflow-datasets中可用的数据集的详细列表可以在文档的Datasets页面上找到。

音频、图像、图像分类、对象检测、结构化、摘要、文本、翻译、视频都是tfds提供的类型。

4. 使用预训练的模型进行迁移学习

迁移学习是机器学习领域的一种新潮流,TensorFlow提供了经过基准测试的预训练模型,可以很容易地针对所需的用例进行扩展。

  1. base_model = tf.keras.applications.MobileNetV2( 
  2.     input_shape=IMG_SHAPE
  3.     include_top=False
  4.     weights='imagenet' 

可以使用附加层或不同的模型轻松扩展这个base_model。如:

  1. model = tf.keras.Sequential([ 
  2.     base_model, 
  3.     global_average_layer, 
  4.     prediction_layer 
  5. ]) 

有关tf.keras.applications下其他模型或模块的详细列表,请参阅docs页面。

5. Estimators

Estimator是TensorFlow完整模型的高级表示,其设计目的是易于缩放和异步训练。

内置的estimators提供了非常高级的模型抽象,因此您可以直接专注于训练模型,而不必担心其复杂性。例如:

  1. linear_est = tf.estimator.LinearClassifier( 
  2.     feature_columnsfeature_columns=feature_columns 
  3. linear_est.train(train_input_fn) 
  4. result = linear_est.evaluate(eval_input_fn) 

TensorFlow有许多内置的estimators,包括LinearRegressor,BoostedTreesClassifier等。Estimators也可以自定义。

6. 自定义层

神经网络是已知的多层网络,其中的层可以是不同的类型。TensorFlow包含许多预定义层(例如Dense,LSTM等)。但是对于更复杂的架构,层的逻辑可能会复杂得多。TensorFlow允许构建自定义层,这可以通过对tf.keras.layers.Layer类进行子类化来完成。

  1. class CustomDense(tf.keras.layers.Layer): 
  2.     def __init__(self, num_outputs): 
  3.         super(CustomDense, self).__init__() 
  4.         self.num_outputs = num_outputs 
  5.  
  6.     def build(self, input_shape): 
  7.         selfself.kernel = self.add_weight( 
  8.             "kernel", 
  9.             shape=[int(input_shape[-1]), 
  10.             self.num_outputs] 
  11.         ) 
  12.  
  13.     def call(self, input): 
  14.         return tf.matmul(input, self.kernel) 

实现自定义层的最佳方法是扩展tf.keras.Layer类:

  • __init__,可以进行所有与输入无关的初始化。
  • build,您可以了解输入张量的形状,并可以进行其余的初始化。
  • call,进行forward计算。

尽管可以在__init__中完成核初始化,但最好在build中进行初始化,否则,您将必须在新层创建的每个实例上显式指定input_shape。

7. 定制训练

tf.keras序列和模型API使训练模型更容易。但是,大多数时候在训练复杂模型时会使用自定义损失函数。此外,模型训练也可以不同于缺省值(例如,将梯度分别应用于不同的模型组件)。

TensorFlow的自动微分有助于高效地计算梯度。Python示例如下:

  1. def train(model, inputs, outputs, learning_rate): 
  2.     with tf.GradientTape() as t: 
  3.         # Computing Losses from Model Prediction 
  4.         current_loss = loss(outputs, model(inputs)) 
  5.     # Gradients for Trainable Variables with Obtained Losses 
  6.     dW, db = t.gradient(current_loss, [model.W, model.b]) 
  7.     # Applying Gradients to Weights 
  8.     model.W.assign_sub(learning_rate * dW) 
  9.     model.b.assign_sub(learning_rate * db) 

可以针对多个epochs重复此循环,并且可以根据用例使用其他自定义的设置。

8. 检查点

保存TensorFlow模型可以有两种类型:

  • SavedModel:保存模型的完整状态以及所有参数。
    1. model.save_weights('checkpoint') 
  • 检查点(Checkpoints)

检查点捕获机器学习模型使用的所有参数的精确值。使用Sequential API或Model API构建的机器学习模型可以简单地以SavedModel格式进行保存。

但是,对于自定义模型,需要设置检查点。

检查点不包含模型定义的计算的任何描述,因此通常只有在源代码可用时才有用。

保存检查点:

  1. checkpoint_path = “save_path” 
  2. # Defining a Checkpoint 
  3. ckpt = tf.train.Checkpoint(modelmodel=model, optimizeroptimizer=optimizer) 
  4. # Creating a CheckpointManager Object 
  5. ckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5
  6. # Saving a Model 
  7. ckpt_manager.save() 

加载检查点:

TensorFlow通过遍历具有命名边的有向图(从加载的对象开始),将变量匹配到检查点值。

  1. if ckpt_manager.latest_checkpoint: 
  2.     ckpt.restore(ckpt_manager.latest_checkpoint) 

9. Keras Tuner

这是TensorFlow中的一个相当新的功能。

  1. !pip install keras-tuner 

超参数调优是挑选参数的过程,这些参数定义了机器学习模型的配置,这些是特征工程和机器学习模型性能的决定因素。

  1. # model_builder is a function that builds a model and returns it 
  2. tuner = kt.Hyperband( 
  3.     model_builder, 
  4.     objective='val_accuracy',  
  5.     max_epochs=10
  6.     factor=3
  7.     directory='my_dir'
  8.     project_name='intro_to_kt' 

除了HyperBand, BayesianOptimization和RandomSearch也可用于调优。

  1. tuner.search( 
  2.     img_train, label_train,  
  3.     epochs = 10,  
  4.     validation_data=(img_test,label_test),  
  5.     callbacks=[ClearTrainingOutput()] 
  6.  
  7. # Get the optimal hyperparameters 
  8. best_hps = tuner.get_best_hyperparameters(num_trials=1)[0] 

然后,利用最优超参数对模型进行训练:

  1. model = tuner.hypermodel.build(best_hps) 
  2. model.fit( 
  3.     img_train,  
  4.     label_train,  
  5.     epochs=10,  
  6.     validation_data=(img_test, label_test) 

10. 分布式训练

如果你有多个GPU,并希望通过将训练分散在多个GPU上来优化训练,TensorFlow的各种分布式训练策略能够优化GPU的使用,并为你在GPU上进行训练。

tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的呢?

  • 所有变量和模型图都复制到副本上。
  • 输入均匀地分布在各个副本上。
  • 每个副本都为其接收的输入计算损失和梯度。
  • 梯度是通过对所有副本求和来同步的。
  • 同步之后,对每个副本上的变量副本进行相同的更新。
  1. strategy = tf.distribute.MirroredStrategy() 
  2. with strategy.scope(): 
  3.     model = tf.keras.Sequential([ 
  4.         tf.keras.layers.Conv2D( 
  5.             32, 3, activation='relu',  input_shape=(28, 28, 1) 
  6.         ), 
  7.         tf.keras.layers.MaxPooling2D(), 
  8.         tf.keras.layers.Flatten(), 
  9.         tf.keras.layers.Dense(64, activation='relu'), 
  10.         tf.keras.layers.Dense(10) 
  11.     ]) 
  12.  
  13.     model.compile( 
  14.         loss="sparse_categorical_crossentropy"
  15.         optimizer="adam"
  16.         metrics=['accuracy'] 
  17.     ) 

最后

TensorFlow足以构建机器学习管道的几乎所有组件。本教程的主要内容是介绍TensorFlow提供的各种api,以及如何使用这些API的快速指南。

机器学习 TensorFlow 2.0
上一篇:【图解机器学习】人人都能懂的算法原理 下一篇:GitHub近10万星:印度小哥用Python和Java实现所有AI算法
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

如何使用Auto-Sklearn和Auto-PyTorch实现自动化机器学习

如今,机器学习(ML)正在广泛地影响着商业、工程、以及研究等领域。通常,机器学习水平的进步,与软件和自动化的深入迭代有着密切的关系。

陈峻 ·  2天前
科学家正开发像人类一样会“思考”的人工智能

由格拉斯哥大学心理学和神经科学学院领导的发表在《模式》杂志上的新研究,使用 3D 建模来分析深度神经网络处理信息的方式,也就是更广泛的机器学习家族的一部分,以可视化它们的信息处理如何与人类相匹配。

佚名 ·  4天前
解决人工智能偏见问题的重要步骤

人工智能技术的新进展为企业提供了更多改进业务的机会,但它们也具有内在偏见的风险。

HERO ·  2021-10-18 10:59:27
人工智能正在改变软件开发模式

软件开发人员正在使用人工智能来帮助编写和审查代码、检测错误、测试软件和优化开发项目。这种帮助正在帮助公司更有效地部署新软件,并使新一代开发人员能够更轻松地学习编码。

Harris ·  2021-10-15 10:05:25
2022 年 AIOPS 趋势和预测:您需要知道的一切

AI与IT运营的这种集成导致了术语AIOps的出现,它利用大数据、分析和AI能力进行IT运营管理。以下是每个人都应该关注的 2022年AIOps趋势和预测。

Cassie ·  2021-10-13 10:51:55
谷歌研究总监赴斯坦福任教,著有《人工智能:一种现代方法》

斯坦福大学宣布谷歌研究总监(Director of Research)Peter Norvig 加入斯坦福以人为本人工智能研究院 HAI,任杰出教育研究员。

机器之心 ·  2021-10-13 09:38:13
人工智能65年简史:从麦卡锡到Hinton,人类追求的AI究竟是什么?

人工智能的发展已有65年的历史,曾经历过寒冬,也经历过辉煌。从符号主义的专家系统到现在所向披靡的神经网络,不少人担心是否寒冬会再来,也有乐观的人表示人工智能的春天也要来了。

佚名 ·  2021-10-12 15:28:04
计算机架构的机器学习

最近机器学习 (ML) 进步的关键贡献者之一是定制加速器的开发,例如Google TPU和Edge TPU,它们显着提高了可用计算能力,从而解锁了各种功能,例如AlphaGo、RankBrain、WaveNets和对话代理。

雨夜的博客 ·  2021-10-12 09:45:31
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载