O componente BulkInferrer TFX Pipeline

O componente BulkInferrer TFX realiza inferência em lote em dados não rotulados. O InferenceResult gerado ( tensorflow_serving.apis.prediction_log_pb2.PredictionLog ) contém os recursos originais e os resultados da previsão.

BulkInferrer consome:

• Um modelo treinado no formato SavedModel .
• tf.Exemplos não rotulados que contêm recursos.
• (Opcional) Resultado da validação do componente Avaliador .

BulkInferrer emite:

• Resultado de inferência

Usando o componente BulkInferrer

Um componente BulkInferrer TFX é usado para realizar inferência em lote em tf.Examples não rotulados. Geralmente é implantado após um componente Evaluator para realizar inferência com um modelo validado ou após um componente Trainer para realizar inferência diretamente no modelo exportado.

Atualmente realiza inferência de modelo na memória e inferência remota. A inferência remota requer que o modelo seja hospedado no Cloud AI Platform.

O código típico é assim:

bulk_inferrer = BulkInferrer(
    examples=examples_gen.outputs['examples'],
    model=trainer.outputs['model'],
    model_blessing=evaluator.outputs['blessing'],
    data_spec=bulk_inferrer_pb2.DataSpec(),
    model_spec=bulk_inferrer_pb2.ModelSpec()
)

Mais detalhes estão disponíveis na referência da API BulkInferrer .