我们都知道TensorFlow Serving支持RESTfull API和gRPC两种通讯方式,但使用gRPC通信后如何从响应中拿到我们所期望的值呢?,似乎很多人都遇到了这个问题,我也一样。stack overflow上已经有了答复,但并没能解决我的问题。
先看下stack overflow上给的答复:
采纳最多的:

float_val = result.outputs['outputs'].float_val

也有人反馈👆方法不起作用,用了下面的方式:

predictions = result.outputs['prediction'].float_val

而我用这两种都没起作用。最终我用的是:

float_val = result.outputs['dense_1/Sigmoid:0'].float_val

为啥会出现key不一样的情况,这是因为我使用gRPC后得到的结果如下:

outputs {
  key: "dense_1/Sigmoid:0"
  value {
  dtype: DT_FLOAT
  tensor_shape {
    dim {
      size: 1
      }
    dim {
      size: 1
    }
  }
  float_val: 0.9999995231628418
  }
}
model_spec {
  name: "gender"
  version {
  value: 1
  }
  signature_name: "serving_default"
}

看到这个数据后相信大家很清楚的明白为什么我的key会是dense_1/Sigmoid:0。然而看似简单的取值我缺花费了3个小时,还被领导👎了。之所以久久未能解决,究其原因是由于开始得到这个值以为是个json(相信有很多小伙伴这样想的),想当然的把key、value这些当做key。取值未果,通过stack flowover上看到了outputs和prediction以为是该类的内部定义好的key,因此陷入了误区。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐