首页手记深度学习应用系列（三）| 使用 TFLite...

深度学习应用系列（三）| 使用 TFLite Android构建自己的图像识别App

标签：

深度学习

深度学习要想落地实践，一个少不了的路径即是朝着智能终端、嵌入式设备等方向发展。但终端设备没有GPU服务器那样的强大性能，那如何使得终端设备应用上深度学习呢？

所幸谷歌已经推出了TFMobile，去年又更进一步，推出了TFLite，其应用思路为在GPU服务器上利用迁移学习训练自己的模型，然后将定制化模型移植到TFLite上，

终端设备仅利用模型做前向推理，预测结果。本文基于以下三篇文章而成：

理论篇：https://www.tensorflow.org/hub/tutorials/image_retraining#other_architectures
实践篇一：https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/index.html#0
实践篇二：https://codelabs.developers.google.com/codelabs/tensorflow-for-poets-2-tflite/#0
谷歌提供的预编译模型：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/g3doc/models.md
TOCO官网：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/lite/toco

相信大家掌握后，也能轻松定制化自己的图像识别应用。

第一步. 准备数据

　　数据下载地址为：http://download.tensorflow.org/example_images/flower_photos.tgz

　　这是一个关于花分类的图片集合，下载解压后，可以看出有5个品种分类：daisy（雏菊）、dandelion（蒲公英）、rose（玫瑰）、sunflower（向日葵）、tulip（郁金香）。

　　我们的目的即是通过重新训练预编译模型，得到一个花类识别的模型。

第二步. 重新训练

　　1. 挑选预编译模型

从上述“谷歌提供的预编译模型”列表中，我们大体可以看出分为两类模型，一种是Float Models（浮点数模型），一种是Quantized Models（量化模型），什么区别呢？

　　其实Float Models表示为一种高精度值的模型，该模型意味着模型size较大，识别精度更高、识别时长更长，适合高性能终端设备；而Quantized Models则反之，是低精度值的模型，其精度采取固定的8位大小，故其模型size较小，识别精度低、识别时长较短，适合低性能终端设备，更细的说明可以参见 https://www.tensorflow.org/performance/quantization 　。

　　我们的手机设备更新换代很快，一般可以使用Float Models。在这个模型下，有不少预编译模型可选，对于本文来说，主要集中为Inception 和Mobilenet两种架构。　　

注意Mobilenet其实也分为很多种类，如Mobilenet_V1_0.50_224，其中第三个参数为模型大小比例值（只能算是近似，不准确），分为0.25/0.50/0.75/1.0四个比例值，第四个参数为图片大小，其值有128/160/192/224四种值。

　　有兴趣想观察各模型层次结构的可通过以下代码查看：　　

import tensorflow as tfimport tensorflow.gfile as gfile

MODEL_PATH = '/home/yourname/Documents/mobilenet_v1_1.0_224/frozen_graph.pb'def main(unusedArgv):
    with tf.Graph().as_default() as graph:
        with gfile.FastGFile(MODEL_PATH, 'rb') as f:
            graph_def = tf.GraphDef()
            graph_def.ParseFromString(f.read())
            tf.import_graph_def(graph_def, name='')    for op in graph.get_operations():        for tensor in op.values():            print(tensor)if __name__ == '__main__':
    tf.app.run()

　　考虑到测试手机性能还不赖，我们选择mobilenet_v1_1.0_224这个版本作为我们的预编译模型。

　　2. 下载训练代码

　　需要下载训练模型代码和android相关代码，如下：

git clone https://github.com/googlecodelabs/tensorflow-for-poets-2cd tensorflow-for-poets-2

　　其中，scripts目录下的retrain.py是我们需要关注的，这个代码目前仅支持Inception_v3和Mobilenet两种预编译模型，默认的训练模型为Inception_v3。

　　3. 重新训练模型

　　两种模型的训练命令不同，若走默认的Inception_v3模型，可通过如下命令：　

python -m scripts.retrain \
  --learning_rate=0.01 \  --bottleneck_dir=tf_files/bottlenecks \  --how_many_training_steps=4000 \  --model_dir=tf_files/models/ \  --output_graph=tf_files/retrained_graph.pb \  --output_labels=tf_files/retrained_labels.txt \  --image_dir=tf_files/flower_photos \

　　若走Mobilenet模型，可通过如下命令：

python -m scripts.retrain \
　--learning_rate=0.01 \ 　  --bottleneck_dir=tf_files/bottlenecks \  --how_many_training_steps=4000 \  --model_dir=tf_files/models/ \  --output_graph=tf_files/retrained_graph.pb \  --output_labels=tf_files/retrained_labels.txt \  --image_dir=tf_files/flower_photos \  --architecture=mobilenet_1.0_224

　　模型命令解释如下：

　--architecture 为架构类型，支持mobilenet和Inception_v3两种
--image_dir 为数据地址，假定你在tensorflow-for-poets-2目录下建立了tflite目录，把花图片集放入其中
--output_labels 最后训练生成模型的标签，由于花图片集合已经按照子目录进行了分类，故retrained_labels.txt最后包含了上述五种花的分类名称
--output_graph 最后训练生成的模型
--model_dir 命令启动后，预编译模型的下载地址
--how_many_training_steps 训练步数，不指定的话默认为4000
--bottleneck_dir用来把top层的训练数据缓存成文件
--learning_rate 学习率
此外，还有些参数可以根据需要进行调整：
--testing_percentage 把图片按多少比例划分出来当做test数据，默认为10
--validation_percentage 把图片按多少比例划分出来当做validation数据，默认为10，这两个值设置完后，training数据占比80%
--eval_step_interval 多少步训练后进行一次评估，默认为10
--train_batch_size 一次训练的图片数，默认为100
--validation_batch_size 一次验证的图片数，默认为100
--random_scale 给定一个比例值，然后随机扩大训练图片的大小，默认为0
--random_brightness 给定一个比例值，然后随机增强或减弱训练图片的明亮程度，默认为0
--random_crop 给定一个比例值，然后随机裁剪训练图片的边缘值，默认为0

4. 检验训练效果

我们用Mobilenet_1.0_224进行训练，完成后找一张图片看看是否能正确识别：

python -m scripts.label_image \  --graph=tf_files/retrained_graph.pb  \  --image=tf_files/flower_photos/daisy/3475870145_685a19116d.jpg

结果为：

Evaluation time (1-image): 1.010s

daisy (score=0.62305)
tulips (score=0.22490)
dandelion (score=0.14169)
roses (score=0.00966)
sunflowers (score=0.00071)

还是准确地识别了daisy出来。

5. 转换模型格式

pb格式是不能运行在TFLite上的，TFLite吸收了谷歌的protobuffer优点，创造了FlatBuffer格式，具体表现就是后缀名为.tflite的文件。

上述TOCO的官网已经介绍了如何通过命令行把pb格式转成为tflite文件，或者在代码里也可以转换格式。不仅支持pb格式，也支持HDF5文件格式转换成tflite，实现了与其他框架的模型共享。

那如何转呢？本例通过命令行方式转换。若训练模型为Inception_v3，命令行方式如下：

toco \  --graph_def_file=tf_files/retrained_graph.pb \  --output_file=tf_files/optimized_graph.lite \  --input_format=TENSORFLOW_GRAPHDEF \  --output_format=TFLITE \  --input_shape=1,299,299,3 \  --input_array=Mul \  --output_array=final_result \  --inference_type=FLOAT \  --input_data_type=FLOAT

若训练模型为mobilenet，命令行方式则如下：

toco \  --graph_def_file=tf_files/retrained_graph.pb \  --output_file=tf_files/optimized_graph.lite \  --input_format=TENSORFLOW_GRAPHDEF \  --output_format=TFLITE \  --input_shape=1,224,224,3 \  --input_array=input \  --output_array=final_result \  --inference_type=FLOAT \  --input_data_type=FLOAT

　　需要说明几点：

--input_array 参数表示模型图结构的入口tensor op名称，mobilenet的入口名称为input，Inception_v3的入口名称为Mul，为什么这样？可查看scripts/retrain.py代码里内容：

  if architecture == 'inception_v3':    # pylint: disable=line-too-long
    data_url = 'http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz'
    # pylint: enable=line-too-long
    bottleneck_tensor_name = 'pool_3/_reshape:0'
    bottleneck_tensor_size = 2048
    input_width = 299
    input_height = 299
    input_depth = 3
    resized_input_tensor_name = 'Mul:0'
    model_file_name = 'classify_image_graph_def.pb'
    input_mean = 128
    input_std = 128elif architecture.startswith('mobilenet_'):
    ...
    data_url = 'http://download.tensorflow.org/models/mobilenet_v1_'
    data_url += version_string + '_' + size_string + '_frozen.tgz'
    bottleneck_tensor_name = 'MobilenetV1/Predictions/Reshape:0'
    bottleneck_tensor_size = 1001
    input_width = int(size_string)
    input_height = int(size_string)
    input_depth = 3
    resized_input_tensor_name = 'input:0'

　　其中的resized_input_tensor_name即是新生成模型的入口名称，大家也可以通过上面“1.挑选预编译模型”的代码可视化查看新生成的模型层次结构。所以名称必须正确写对，否则运行该命令会抛出“ValueError: Invalid tensors 'input' were found” 的异常。

--output_array则是模型的出口名称。为什么是final_result这个名称，因为在scripts/retrain.py里有：

parser.add_argument(      '--final_tensor_name',
      type=str,
      default='final_result',
      help="""\
      The name of the output classification layer in the retrained graph.\      """
  )

即出口名称默认为final_result。

--input_shape 需要注意的是mobilenet的训练图片大小为224，而Inception_v3的训练图片大小为299。

最后optimized_graph.lite即是我们要移植到android上的模型文件啦。

第三步. Android TFLite

1. 下载Android Studio

这一步骤不是本文重点，请大家自行在 https://developer.android.com/studio/ 进行下载安装，安装最新的SDK和NDK。

　　2. 引入工程

　　从android studio上引入 tensorflow-for-poets-2/android/tflite 下的代码，共有四个类，有三个类是跟布局打交道，而我们只需要关注ImageClassifier.java类。

3. 导入模型

　　可通过命令行方式把生成的模型导入上述工程的资源目录下：

cp tf_files/optimized_graph.lite android/tflite/app/src/main/assets/mobilenet.lite 
cp tf_files/retrained_labels.txt android/tflite/app/src/main/assets/mobilenet.txt

　　 4. 修改ImageClassifier.java类

　　注意修改四个地方即可：

 /** Name of the model file stored in Assets. */
  private static final String MODEL_PATH = "mobilenet.lite";  /** Name of the label file stored in Assets. */
  private static final String LABEL_PATH = "mobilenet.txt";  static final int DIM_IMG_SIZE_X = 224; //若是inception，改成299
  static final int DIM_IMG_SIZE_Y = 224; //若是inception，改成299