运行 fat jar 与 sbt run

编程问答 2022-04-23

问题描述

我有一个运行以下代码的 Scala 程序。

1.    public static HttpCredentialProvider loadHttpCredentialProviders(String name) {
2.       ServiceLoader<HttpCredentialProvider> providers = ServiceLoader.load(HttpCredentialProvider.class,BasicAuthCredentialProvider.class.getClassLoader());
3.        Iterator var2 = providers.iterator();
4.
5.        HttpCredentialProvider provider;
6.        do {
7.            if (!var2.hasNext()) {
8.                throw new ConfigException("HttpCredentialProvider not found for " + name);
9.            }
10.
11.           provider = (HttpCredentialProvider)var2.next();
12.       } while(!provider.getScheme().equalsIgnoreCase(name));
13.
14.       return provider;
15.   }

我将使用 sbt assembly 创建一个 uber/fat jar。然后我将使用命令 java -jar app.jar。结果是以下异常

Caused by: org.apache.kafka.common.config.ConfigException: HttpCredentialProvider not found for BASIC
    at io.confluent.security.auth.client.provider.BuiltInAuthProviders.loadHttpCredentialProviders(BuiltInAuthProviders.java:56)
    at io.confluent.security.auth.client.rest.RestClient.<init>(RestClient.java:117)
    at io.confluent.security.auth.client.rest.RestClient.<init>(RestClient.java:95)
    at io.confluent.kafka.clients.plugins.auth.token.TokenUserLoginCallbackHandler.configure(TokenUserLoginCallbackHandler.java:67)
    at io.confluent.kafka.clients.plugins.auth.token.AbstractTokenLoginCallbackHandler.configure(AbstractTokenLoginCallbackHandler.java:86)
    at org.apache.kafka.common.security.authenticator.LoginManager.<init>(LoginManager.java:60)
    at org.apache.kafka.common.security.authenticator.LoginManager.acquireLoginManager(LoginManager.java:105)
    at org.apache.kafka.common.network.SaslChannelBuilder.configure(SaslChannelBuilder.java:161)

上述错误是从 line 8 抛出的。

我将执行 sbt run 并且我看不到任何错误。该应用程序运行良好。

我尝试过的事情：

  1. 由于区别在于 sbt run 和 java -jar，因此 jar 可能不包含相关类 (BasicAuthCredentialProvider)。我验证了 jar -tf 实际上确实有这些类。如果该类不存在，我会怀疑 ClassNotFound 异常。
  2. 远程调试使用 JAVA_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005" sbt run 和 java -jar -agentlib:jdwp=transport=dt_socket,address=5005 app.jar 运行应用程序的两种模式。我的想法是找出实际发生的事情。我在这里得到了一些有趣的结果。我单步执行代码，看到这一行
ServiceLoader<HttpCredentialProvider> providers = ServiceLoader.load(HttpCredentialProvider.class,BasicAuthCredentialProvider.class.getClassLoader());

调用 ServiceLoader.load 与一些反射一起工作

public static <S> ServiceLoader<S> load(Class<S> service,ClassLoader loader)
{
    return new ServiceLoader<>(Reflection.getCallerClass(),service,loader);
}

这就是我被完全封锁的地方。我想了解导致问题的原因，但我不确定如何通过反射问题进行调试（如果问题是什么）。运行 sbt run 时，代码会执行与上述代码存在于同一类中的另一个函数。这个函数被称为loadBasicAuthCredentialProvider。但是，该函数永远不会被 java -jar 调用。这告诉我反射在这里起到了一定的作用。

  1. 我也将 JAVA 版本从 8 切换到 11。那里也没有 Bueno。

如果有人有其他想法，我可以尝试调试这个问题，那就太好了！

谢谢！

解决方法

我想通了！修复是在程序集的合并策略中。它看起来像这样：

assemblyMergeStrategy in assembly := {
  case PathList("META-INF",xs@_*) => MergeStrategy.discard
  case _ => MergeStrategy.first
}

我们需要确保为服务添加了 META-INF。所以它需要看起来像这样。

assemblyMergeStrategy in assembly := {
  case PathList("META-INF","services",xs@_*) =>
    MergeStrategy.first
  case PathList("META-INF",xs@_*) =>
    MergeStrategy.discard
  case x =>
    MergeStrategy.first
}

我通过KAFKA-8340找到了答案！

观察该调用加载的服务不包括 JAR 中包含的 META-INF/services/... 文件中描述的那些 在插件目录中

javajavareflectionsbtsbtscalascalauberjar