使用 OpenTelemetry 在 Google Cloud Run 上跟踪传播

问题描述

我有一个 Flask 应用与 Python gRPC 服务通信，两者都部署在 Google Cloud Run 上。检测应用程序后，我可以在 Google Trace 上看到跟踪，但它们似乎都有不同的跟踪 ID，这意味着跟踪没有在两个服务之间链接在一起。这是我的设置代码，用于跟踪两个服务，每侧都设置了 grpc/Flask 检测器：

import logging
from opentelemetry import trace
from opentelemetry.exporter.cloud_trace import CloudTraceSpanExporter
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import SimpleExportSpanProcessor
from opentelemetry.propagators import set_global_textmap
from opentelemetry.tools.cloud_trace_propagator import CloudTraceFormatPropagator
from google.auth.exceptions import DefaultCredentialsError

logger = logging.getLogger(__name__)

def setup_tracing():
    """
    Setup Tracing on Google Cloud. The Service Account Roles must have `Cloud Trace Agent`
    Role added for traces to be ingested.
    """

    trace.set_tracer_provider(TracerProvider())
    try:
        # If running on Google Cloud,will use instance Metadata service account credentials to initialize
        trace.get_tracer_provider().add_span_processor(
            SimpleExportSpanProcessor(CloudTraceSpanExporter())
        )
        # Using the X-Cloud-Trace-Context header
        set_global_textmap(CloudTraceFormatPropagator())

        logger.info("Tracing Setup. Exporting Traces to Google Cloud.")
    except DefaultCredentialsError:
        # Not running on Google Cloud so will use console exporter
        from opentelemetry.sdk.trace.export import ConsoleSpanExporter
        trace.get_tracer_provider().add_span_processor(
            SimpleExportSpanProcessor(ConsoleSpanExporter())
        )
        logger.info("Tracing Setup. Exporting Traces to Console.")

在本地，我可以通过 ConsoleSpanExporter 看到两个服务上的跟踪 ID 匹配，但是在 Google Cloud Run 上，它们显然不会在 Google Trace 上产生单独的跟踪，所以我想知道网络是否删除了服务之间的标头或者发生了其他事情，这意味着跟踪 ID 没有被传播？

作为额外的说明，我还注意到 Cloud Run 的 Trace/Span ID 前面的负载均衡器没有使用 CloudTraceSpanFormatPropagator() 进行传播，这也使我的日志变得混乱，因为日志没有为请求嵌套在一起.

解决方法

经过数小时的调试，结果证明 Python gRPC 客户端检测的文档很糟糕。对于不安全（本地主机）通道，文档有效并且客户端被检测。对于安全通道（根据 Google Cloud Run 的要求），您需要传入 channel_type='secure'。我不知道为什么它是这样设计的，并在模块上提出了一个问题：https://github.com/open-telemetry/opentelemetry-python-contrib/issues/365

此外，您需要使用 X-Cloud-Trace-Context 标头以确保您的跟踪使用与 Google Cloud 上运行的负载均衡器和 AppServer 相同的跟踪 ID，并且都在 Google Trace 中链接，但它们的默认实现propagator 使用不能在 gRPC 元数据键中使用的大写字母，因此会引发验证错误。我参加了下面的课程并将其全部设为小写，现在一切正常：

https://github.com/GoogleCloudPlatform/opentelemetry-operations-python/blob/master/opentelemetry-tools-google-cloud/src/opentelemetry/tools/cloud_trace_propagator.py

最后，我在将我的日志链接到 Google Cloud 日志上的跟踪记录时遇到了一个长期存在的问题，文档说使用 Hex Trace ID 和 Hex Span ID，但它们不起作用，因为我使用了错误的 OpenTelemetry 函数来格式化他们。但是，此代码有效，我现在可以在 Google Trace 的跟踪列表视图中查看我的日志和跟踪！

from opentelemetry import trace
from opentelemetry.trace.span import get_hexadecimal_trace_id,get_hexadecimal_span_id

        current_span = trace.get_current_span()
        if current_span:
            trace_id = current_span.get_span_context().trace_id
            span_id = current_span.get_span_context().span_id
            if trace_id and span_id:
                logging_fields['logging.googleapis.com/trace'] = f"projects/{self.gce_project}/traces/{get_hexadecimal_trace_id(trace_id)}"
                logging_fields['logging.googleapis.com/spanId'] = f"{get_hexadecimal_span_id(span_id)}"
                logging_fields['logging.googleapis.com/trace_sampled'] = True

这花了一段时间，但我想是我的错，因为在新的、没有很好记录的（在这方面）谷歌云服务上选择了一个 Alpha（刚刚变成 Beta）框架（OpenTelemetry）。但是有了这些修复，现在一切都可以正常工作了，并且更容易调试问题并查看端到端的总请求！

google-cloud-run google-cloud-stackdriver google-cloud-trace open-telemetry stackdriver