tensorflow20学习_1.docx

《tensorflow20学习_1.docx》由会员分享，可在线阅读，更多相关《tensorflow20学习_1.docx（20页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、tensorflow2.0学习1、张量张量的操作主要包括张量的构造操作以及张量的数学运算。张量构造操作诸如张量创立索引切片维度变换合并分割。张量数学运算主要有标量运算向量运算矩阵运算。另外我们会介绍张量运算的播送机制。本篇我们介绍张量的构造操作。创立张量张量创立的许多方法以及numpy中创立array的方法很像。importtensorflowastfimportnumpyasnpatf.constant(1,2,3,dtypetf.float32)tf.print(a)btf.range(1,10,delta2)ctf.linspace(0.0,2*3.14,100)dtf.zeros(3,

2、3)atf.ones(3,3)btf.zeros_like(a,dtypetf.float32)btf.fill(3,2,5)#均匀分布随机tf.random.set_seed(1.0)atf.random.uniform(5,minval0,maxval10)#正态分布随机btf.random.normal(3,3,mean0.0,stddev1.0)#正态分布随机剔除2倍方差以外数据重新生成ctf.random.truncated_normal(5,5),mean0.0,stddev1.0,dtypetf.float32)#特殊矩阵Itf.eye(3,3)#单位矩阵ttf.linalg.d

3、iag(1,2,3)#对角阵索引切片张量的索引切片方式以及numpy几乎是一样的。切片时支持缺省参数以及省略号。对于tf.Variable,可以通过索引以及切片对局部元素进展修改。x1,:.assign(tf.constant(0.0,0.0)对于提取张量的连续子区域可以以使用tf.slice。tf.slice(t,1,0,3,5)此外对于不规那么的切片提取,可以使用tf.gather,tf.gather_nd,tf.boolean_mask。tf.boolean_mask功能最为强大它可以实现tf.gather,tf.gather_nd的功能并且tf.boolean_mask还可以实现布尔索

4、引。假如要通过修改张量的某些元素得到新的张量可以使用tf.wheretf.scatter_nd。#对于不规那么的切片提取,可以使用tf.gather,tf.gather_nd,tf.boolean_mask。#考虑班级成绩册的例子有4个班级每个班级10个学生每个学生7门科目成绩。可以用一个4107的张量来表示。scorestf.random.uniform(4,10,7),minval0,maxval100,dtypetf.int32)#抽取每个班级第0个学生第5个学生第9个学生的全部成绩ptf.gather(scores,0,5,9,axis1)#抽取每个班级第0个学生第5个学生第9个学生的

5、第1门课程第3门课程第6门课程成绩qtf.gather(tf.gather(scores,0,5,9,axis1),1,3,6,axis2)#抽取第0个班级第0个学生第2个班级的第4个学生第3个班级的第6个学生的全部成绩#indices的长度为采样样本的个数每个元素为采样位置的坐标stf.gather_nd(scores,indices(0,0),(2,4),(3,6)#以上tf.gather以及tf.gather_nd的功能可以以用tf.boolean_mask来实现。#抽取每个班级第0个学生第5个学生第9个学生的全部成绩ptf.boolean_mask(scores,True,False,

6、False,False,False,True,False,False,False,True,axis1)#抽取第0个班级第0个学生第2个班级的第4个学生第3个班级的第6个学生的全部成绩stf.boolean_mask(scores,True,False,False,False,False,False,False,False,False,False,False,False,False,False,False,False,False,False,False,False,False,False,False,False,True,False,False,False,False,False,False,

7、False,False,False,False,False,True,False,False,False)#利用tf.boolean_mask可以实现布尔索引#找到矩阵中小于0的元素ctf.constant(-1,1,-1,2,2,-2,3,-3,3,dtypetf.float32)tf.print(c,n)tf.print(tf.boolean_mask(c,c0),n)tf.print(cc0)#布尔索引为boolean_mask的语法糖形式以上这些方法仅能提取张量的局部元素值但不能更改张量的局部元素值得到新的张量。假如要通过修改张量的局部元素值得到新的张量可以使用tf.where以及tf

8、.scatter_nd。tf.where可以理解为if的张量版本此外它还可以用于找到知足条件的所有元素的位置坐标。tf.scatter_nd的作用以及tf.gather_nd有些相反tf.gather_nd用于采集张量的给定位置的元素而tf.scatter_nd可以将某些值插入到一个给定shape的全0的张量的指定位置处。#找到张量中小于0的元素,将其换成np.nan得到新的张量#tf.where以及np.where作用类似可以理解为if的张量版本ctf.constant(-1,1,-1,2,2,-2,3,-3,3,dtypetf.float32)dtf.where(c0,tf.fill(c.

9、shape,np.nan),c)#假如where只有一个参数将返回所有知足条件的位置坐标indicestf.where(c0)indices#将张量的第0,0以及2,1两个位置元素交换为0得到新的张量dc-tf.scatter_nd(0,0,2,1,c0,0,c2,1,c.shape)#scatter_nd的作用以及gather_nd有些相反#可以将某些值插入到一个给定shape的全0的张量的指定位置处。indicestf.where(c0)tf.scatter_nd(indices,tf.gather_nd(c,indices),c.shape)维度变换相关函数主要有tf.reshape,t

10、f.squeeze,tf.expand_dims,tf.transpose.tf.reshape可以改变张量的形状。tf.squeeze可以减少维度。tf.expand_dims可以增加维度。tf.transpose可以交换维度。tf.reshape可以改变张量的形状但是其本质上不会改变张量元素的存储顺序所以该操作实际上非常迅速并且是可逆的。#改成3,6形状的张量btf.reshape(a,3,6)#改回成1,3,3,2形状的张量ctf.reshape(b,1,3,3,2)假如张量在某个维度上只有一个元素利用tf.squeeze可以消除这个维度。以及tf.reshape相似它本质上不会改变张量

11、元素的存储顺序。张量的各个元素在内存中是线性存储的其一般规律是同一层级中的相邻元素的物理地址也相邻。stf.squeeze(a)dtf.expand_dims(s,axis0)#在第0维插入长度为1的一个维度tf.transpose可以交换张量的维度与tf.reshape不同它会改变张量元素的存储顺序。tf.transpose常用于图片存储格式的变换上。转换成Channel,Height,Width,Batchstf.transpose(a,perm3,1,2,0)合并分割以及numpy类似可以用tf.concat以及tf.stack方法对多个张量进展合并可以用tf.split方法把一个张量分

12、割成多个张量。tf.concat以及tf.stack有略微的区别tf.concat是连接不会增加维度而tf.stack是堆叠会增加维度。atf.constant(1.0,2.0,3.0,4.0)btf.constant(5.0,6.0,7.0,8.0)ctf.constant(9.0,10.0,11.0,12.0)tf.concat(a,b,c,axis0)#shape(6,2)tf.concat(a,b,c,axis1)#shape(2,6)tf.stack(a,b,c)#shape(3,2,2)#tf.stack(a,b,c,axis1)#shape(2,3,2)tf.split是tf.c

13、oncat的逆运算可以指定分割份数平均分割可以以通过指定每份的记录数量进展分割。dtf.split(c,3,axis0)#指定分割份数平均分割shape(2,2)etf.split(c,2,2,2,axis0)#指定每份的记录数量shape(2,2)2、张量的数学运算张量数学运算主要有标量运算向量运算矩阵运算。另外我们会介绍张量运算的播送机制。标量运算加减乘除乘方和三角函数指数对数等常见函数逻辑比拟运算符等都是标量运算符。标量运算符的特点是对张量施行逐元素运算。有些标量运算符对常用的数学运算符进展了重载。并且支持类似numpy的播送特性。许多标量运算符都在tf.math模块下。a*b,ab,a

14、/b,tf.sqrt(a),tf.maximum(a,b)等向量运算只在一个特定轴上运算将一个向量映射到一个标量或另外一个向量。许多向量运算符都以reduce开始。#向量reduceatf.range(1,10)tf.print(tf.reduce_sum(a)tf.print(tf.reduce_mean(a)tf.print(tf.reduce_max(a)tf.print(tf.reduce_min(a)tf.print(tf.reduce_prod(a)#张量指定维度进展reducebtf.reshape(a,(3,3)tf.print(tf.reduce_sum(b,axis1,ke

15、epdimsTrue)#61524tf.print(tf.reduce_sum(b,axis0,keepdimsTrue)#121518#bool类型的reduceptf.constant(True,False,False)qtf.constant(False,False,True)tf.print(tf.reduce_all(p)#0tf.print(tf.reduce_any(q)#1#利用tf.foldr实现tf.reduce_sumstf.foldr(lambdaa,b:ab,tf.range(10)#45#tf.math.top_k可以用于对张量排序利用tf.math.top_k可以

16、在TensorFlow中实现KNN算法atf.constant(1,3,7,5,4,8)values,indicestf.math.top_k(a,3,sortedTrue)#arg最大最小值索引atf.range(1,10)tf.print(tf.argmax(a)tf.print(tf.argmin(a)矩阵运算矩阵必须是二维的。类似tf.constant(1,2,3)这样的不是矩阵。矩阵运算包括矩阵乘法矩阵转置矩阵逆矩阵求迹矩阵范数矩阵行列式矩阵求特征值矩阵分解等运算。除了一些常用的运算外大局部以及矩阵有关的运算都在tf.linalg子包中。#矩阵乘法atf.constant(1,2,3

17、,4)btf.constant(2,0,0,2)ab#等价于tf.matmul(a,b)#矩阵转置atf.constant(1.0,2,3,4)tf.transpose(a)#矩阵逆必须为tf.float32或者tf.double类型atf.constant(1.0,2,3.0,4,dtypetf.float32)tf.linalg.inv(a)#矩阵求traceatf.constant(1.0,2,3,4)tf.linalg.trace(a)#矩阵求范数atf.constant(1.0,2,3,4)tf.linalg.norm(a)#矩阵行列式atf.constant(1.0,2,3,4)t

18、f.linalg.det(a)#矩阵svd分解atf.constant(1.0,2.0,3.0,4.0,dtypetf.float32)v,s,dtf.linalg.svd(a)tf.matmul(tf.matmul(s,tf.linalg.diag(v),d)#利用svd分解可以在TensorFlow中实现主成分分析降维播送机制TensorFlow的播送规那么以及numpy是一样的:1、假如张量的维度不同将维度较小的张量进展扩展直到两个张量的维度都一样。2、假如两个张量在某个维度上的长度是一样的或其中一个张量在该维度上的长度为1那么我们就讲这两个张量在该维度上是相容的。3、假如两个张量在所有

19、维度上都是相容的它们就能使用播送。4、播送之后每个维度的长度将取两个张量在该维度长度的较大值。5、在任何一个维度上假如一个张量的长度为1另一个张量长度大于1那么在该维度上就好似是对第一个张量进展了复制。tf.broadcast_to以显式的方式按照播送机制扩展张量的维度。atf.constant(1,2,3)btf.constant(0,0,0,1,1,1,2,2,2)ba#等价于btf.broadcast_to(a,b.shape)#shape(3,3)tf.broadcast_to(a,b.shape)tf.Tensor:shape(3,3),dtypeint32,numpyarray(1

20、,2,3,1,2,3,1,2,3,dtypeint32)#计算播送后计算结果的形状静态形状TensorShape类型参数tf.broadcast_static_shape(a.shape,b.shape)TensorShape(3,3)#计算播送后计算结果的形状动态形状Tensor类型参数ctf.constant(1,2,3)dtf.constant(1,2,3)tf.broadcast_dynamic_shape(tf.shape(c),tf.shape(d)tf.Tensor:shape(2,),dtypeint32,numpyarray(3,3,dtypeint32)#播送效果cd#等价

21、于tf.broadcast_to(c,3,3)tf.broadcast_to(d,3,3)tf.Tensor:shape(2,2),dtypefloat32,numpyarray(6.5760484,7.8174157,6.8174157,6.4239516,dtypefloat32)3、AutoGraph的使用标准有三种计算图的构建方式静态计算图动态计算图和Autograph。TensorFlow2.0主要使用的是动态计算图以及Autograph。动态计算图易于调试编码效率较高但执行效率偏低。静态计算图执行效率很高但较难调试。而Autograph机制可以将动态图转换成静态计算图兼收执行效率以

22、及编码效率之利。当然Autograph机制可以转换的代码并不是没有任何约束的有一些编码标准需要遵循否那么可能会转换失败或不符合预期。我们将着重介绍Autograph的编码标准以及Autograph转换成静态图的原理。并介绍使用tf.Module来更好地构建Autograph。编码标准1被tf.function修饰的函数应尽可能使用TensorFlow中的函数而不是Python中的其他函数。例如使用tf.print而不是print使用tf.range而不是range使用tf.constant(True)而不是True.2防止在tf.function修饰的函数内部定义tf.Variable.3被t

23、f.function修饰的函数不可修改该函数外部的Python列表或者字典等数据构造变量。例如1被tf.function修饰的函数应尽量使用TensorFlow中的函数而不是Python中的其他函数。importnumpyasnpimporttensorflowastftf.functiondefnp_random():anp.random.randn(3,3)tf.print(a)tf.functiondeftf_random():atf.random.normal(3,3)tf.print(a)#np_random每次执行都是一样的结果。np_random()np_random()#tf_

24、random每次执行都会有重新生成随机数。tf_random()tf_random()2防止在tf.function修饰的函数内部定义tf.Variable.xtf.Variable(1.0,dtypetf.float32)tf.functiondefouter_var():x.assign_add(1.0)tf.print(x)return(x)outer_var()outer_var()tf.functiondefinner_var():xtf.Variable(1.0,dtypetf.float32)x.assign_add(1.0)tf.print(x)return(x)#执行将报错#

25、inner_var()#inner_var()3,被tf.function修饰的函数不可修改该函数外部的Python列表或者字典等构造类型变量。ensor_list#tf.function#加上这一行切换成Autograph结果将不符合预期defappend_tensor(x):tensor_list.append(x)returntensor_listappend_tensor(tf.constant(5.0)append_tensor(tf.constant(6.0)print(tensor_list)tf.Tensor:shape(),dtypefloat32,numpy5.0,tf.T

26、ensor:shape(),dtypefloat32,numpy6.0tensor_listtf.function#加上这一行切换成Autograph结果将不符合预期defappend_tensor(x):tensor_list.append(x)returntensor_listappend_tensor(tf.constant(5.0)append_tensor(tf.constant(6.0)print(tensor_list)tf.Tensorx:0shape()dtypefloat324、AutoGraph的机制原理当我们使用tf.function装饰一个函数的时候后面到底发生了什么

27、呢例如我们写下如下代码。importtensorflowastfimportnumpyasnptf.function(autographTrue)defmyadd(a,b):foriintf.range(3):tf.print(i)cabprint(tracing)#创立时打印returnc后面什么都没有发生。仅仅是在Python堆栈中记录了这样一个函数的签名。当我们第一次调用这个被tf.function装饰的函数时后面到底发生了什么cmyadd(tf.constant(hello),tf.constant(world)tracing2发生了2件事情第一件事情是创立计算图。即创立一个静态计算图

28、跟踪执行一遍函数体中的Python代码确定各个变量的Tensor类型并根据执行顺序将算子添加到计算图中。在这个经过中假如开启了autographTrue(默认开启),会将Python控制流转换成TensorFlow图内控制流。主要是将if语句转换成tf.cond算子表达将while以及for循环语句转换成tf.while_loop算子表达并在必要的时候添加tf.control_dependencies指定执行顺序依赖关系。第二件事情是执行计算图。即session.run(c)当我们再次用一样的输入参数类型调用这个被tf.function装饰的函数时后面到底发生了什么只会发生一件事情那就是上面步

29、骤的第二步执行计算图。当我们再次用不同的的输入参数类型调用这个被tf.function装饰的函数时后面到底发生了什么由于输入参数的类型已经发生变化已经创立的计算图不可以再次使用。需要重新做2件事情创立新的计算图、执行计算图。需要注意的是假如调用被tf.function装饰的函数时输入的参数不是Tensor类型那么每次都会重新创立计算图。例如我们写下如下代码。两次都会重新创立计算图。因此一般建议调用tf.function时应传入Tensor类型。myadd(hello,world)myadd(good,morning)tracingtracing2解析了以上Autograph的机制原理我们也就可

30、以理解Autograph编码标准的3条建议了。1被tf.function修饰的函数应尽量使用TensorFlow中的函数而不是Python中的其他函数。例如使用tf.print而不是print.解释Python中的函数仅仅会在跟踪执行函数以创立静态图的阶段使用普通Python函数是无法嵌入到静态计算图中的所以在计算图构建好之后再次调用的时候这些Python函数并没有被计算而TensorFlow中的函数那么可以嵌入到计算图中。使用普通的Python函数会导致被tf.function修饰前【eager执行】以及被tf.function修饰后【静态图执行】的输出不一致。2防止在tf.function

31、修饰的函数内部定义tf.Variable.解释假如函数内部定义了tf.Variable,那么在【eager执行】时这种创立tf.Variable的行为在每次函数调用时候都会发生。但是在【静态图执行】时这种创立tf.Variable的行为只会发生在第一步跟踪Python代码逻辑创立计算图时这会导致被tf.function修饰前【eager执行】以及被tf.function修饰后【静态图执行】的输出不一致。实际上TensorFlow在这种情况下一般会报错。3被tf.function修饰的函数不可修改该函数外部的Python列表或者字典等数据构造变量。解释静态计算图是被编译成C代码在TensorFl

32、ow内核中执行的。Python中的列表以及字典等数据构造变量是无法嵌入到计算图中它们仅仅可以在创立计算图时被读取在执行计算图时是无法修改Python中的列表或者字典这样的数据构造变量的。5、tf.Module应用tf.Module封装Autograph前面在介绍Autograph的编码标准时提到构建Autograph时应该防止在tf.function修饰的函数内部定义tf.Variable.但是假如在函数外部定义tf.Variable的话又会显得这个函数有外部变量依赖封装不够完美。一种简单的思路是定义一个类并将相关的tf.Variable创立放在类的初始化方法中。而将函数的逻辑放在其他方法中。

33、这样一顿猛如虎的操作之后我们会觉得一切都如同人法地地法天天法道道法自然般的自然。惊喜的是TensorFlow提供了一个基类tf.Module通过继承它构建子类我们不仅可以获得以上的自然而然而且可以非常方便地管理变量还可以非常方便地管理它引用的其它Module最重要的是我们可以利用tf.saved_model保存模型并实现跨平台部署使用。实际上tf.keras.models.Model,tf.keras.layers.Layer都是继承自tf.Module的提供了方便的变量管理以及所引用的子模块管理的功能。因此利用tf.Module提供的封装再结合TensoFlow丰富的低阶API实际上我们可以

34、基于TensorFlow开发任意机器学习模型(而非仅仅是神经网络模型)并实现跨平台部署使用。定义一个简单的function。importtensorflowastfxtf.Variable(1.0,dtypetf.float32)#在tf.function中用input_signature限定输入张量的签名类型shape以及dtypetf.function(input_signaturetf.TensorSpec(shape,dtypetf.float32)defadd_print(a):x.assign_add(a)tf.print(x)return(x)add_print(tf.const

35、ant(3.0)#add_print(tf.constant(3)#输入不符合张量签名的参数将报错下面利用tf.Module的子类化将其封装一下。classDemoModule(tf.Module):def_init_(self,init_valuetf.constant(0.0),nameNone):super(DemoModule,self)._init_(namename)withself.name_scope:#相当于withtf.name_scope(demo_module)self.xtf.Variable(init_value,dtypetf.float32,trainableT

36、rue)tf.function(input_signaturetf.TensorSpec(shape,dtypetf.float32)defaddprint(self,a):withself.name_scope:self.x.assign_add(a)tf.print(self.x)return(self.x)demoDemoModule(init_valuetf.constant(1.0)resultdemo.addprint(tf.constant(5.0)#查看模块中的全部变量以及全部可训练变量print(demo.variables)print(demo.trainable_vari

37、ables)(tf.Variabledemo_module/Variable:0shape()dtypefloat32,numpy6.0,)(tf.Variabledemo_module/Variable:0shape()dtypefloat32,numpy6.0,)#查看模块中的全部子模块demo.submodules#使用tf.saved_model保存模型并指定需要跨平台部署的方法tf.saved_model.save(demo,./data/demo/1,signaturesserving_default:demo.addprint)#加载模型demo2tf.saved_model.l

38、oad(./data/demo/1)demo2.addprint(tf.constant(5.0)#查看模型文件相关信息红框标出来的输出信息在模型部署以及跨平台使用时有可能会用到!saved_model_clishow-dir./data/demo/1-all在tensorboard中查看计算图模块会被添加模块名demo_module,方便层次化呈现计算图构造。importdatetime#创立日志stampdatetime.datetime.now().strftime(%Y%m%d-%H%M%S)logdir./data/demomodule/%s%stampwritertf.summar

39、y.create_file_writer(logdir)#开启autograph跟踪tf.summary.trace_on(graphTrue,profilerTrue)#执行autographdemoDemoModule(init_valuetf.constant(0.0)resultdemo.addprint(tf.constant(5.0)#将计算图信息写入日志withwriter.as_default():tf.summary.trace_export(namedemomodule,step0,profiler_outdirlogdir)#启动tensorboard在jupyter中的

40、魔法命令%reload_exttensorboardfromtensorboardimportnotebooknotebook.list()notebook.start(-logdir./data/demomodule/)除了利用tf.Module的子类化实现封装我们可以以通过给tf.Module添加属性的方法进展封装。mymoduletf.Module()mymodule.xtf.Variable(0.0)tf.function(input_signaturetf.TensorSpec(shape,dtypetf.float32)defaddprint(a):mymodule.x.assig

41、n_add(a)tf.print(mymodule.x)return(mymodule.x)mymodule.addprintaddprintmymodule.addprint(tf.constant(1.0).numpy()print(mymodule.variables)(tf.VariableVariable:0shape()dtypefloat32,numpy0.0,)#使用tf.saved_model保存模型tf.saved_model.save(mymodule,./data/mymodule,signaturesserving_default:mymodule.addprint)

42、#加载模型mymodule2tf.saved_model.load(./data/mymodule)mymodule2.addprint(tf.constant(5.0)INFO:tensorflow:Assetswrittento:./data/mymodule/assets5tf.keras中的模型以及层都是继承tf.Module实现的也具有变量管理以及子模块管理功能。importtensorflowastffromtensorflow.kerasimportmodels,layers,losses,metricsprint(issubclass(tf.keras.Model,tf.Mod

43、ule)print(issubclass(tf.keras.layers.Layer,tf.Module)print(issubclass(tf.keras.Model,tf.keras.layers.Layer)tf.keras.backend.clear_session()modelmodels.Sequential()model.add(layers.Dense(4,input_shape(10,)model.add(layers.Dense(2)model.add(layers.Dense(1)model.summary()model.variablesmodel.layers0.trainableFalse#冻结第0层的变量,使其不可训练model.trainable_variablesmodel.submodulesmodel.layersprint(model.name)print(model.name_scope()