Spark应用程序和日志MDC(映射诊断上下文)

Spark application and logging MDC (Mapped Diagnostic Context)(Spark应用程序和日志MDC(映射诊断上下文))

问题描述

我正在寻找一种方法，将我的驱动程序的MDC转发给主程序和工作程序，以便我可以识别来自同一操作的消息？例如，我有一个与应用程序相关的查询/作业ID，我希望将其附加到我的Spark Worker中的结构化日志消息中。

• 不可能？
• 未记录？
• 很简单，但我太傻了，找不到？

问候您。

推荐答案

如果我对PR理解正确(我是Spark新手)，那么从版本3.1开始 现在应该可以通过spark.sparkContext.setLocalProperty("mdc." + name, "value")将自定义条目添加到MDC。

这篇关于Spark应用程序和日志MDC(映射诊断上下文)的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！