flink开发过程中遇到的问题怎么解决

发布时间：2021-12-31 10:39:03 阅读：309 作者：iii 栏目：大数据

开发者测试专用服务器限时活动，0元免费领，库存有限，领完即止！点击查看>>

这篇文章主要介绍“flink开发过程中遇到的问题怎么解决”，在日常操作中，相信很多人在flink开发过程中遇到的问题怎么解决问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”flink开发过程中遇到的问题怎么解决”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

类转换异常

cannot be cast to com.google.protobuf.Message

Caused by: java.lang.ClassCastException: org.apache.hadoop.yarn.proto.YarnServiceProtos$RegisterApplicationMasterRequestProto cannot be cast to com.google.protobuf.Message at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:227) at com.sun.proxy.$Proxy14.registerApplicationMaster(Unknown Source) at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationMasterProtocolPBClientImpl.registerApplicationMaster(ApplicationMasterProtocolPBClientImpl.java:106) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:256) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:104) at com.sun.proxy.$Proxy15.registerApplicationMaster(Unknown Source) at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:222) at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.registerApplicationMaster(AMRMClientImpl.java:214) at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.registerApplicationMaster(AMRMClientAsyncImpl.java:138) at org.apache.flink.yarn.YarnResourceManager.createAndStartResourceManagerClient(YarnResourceManager.java:205) at org.apache.flink.yarn.YarnResourceManager.initialize(YarnResourceManager.java:234) ... 11 common frames omitted

这种问题一般发生在将flink程序部署到yarn集群的时候，由于flink启动的时候会加载hadoop下面的jar包，加到自己的classpath里，如果hadoop的jar包和自己flink工程的jar包版本不一致就会导致这个问题，解决办法：排除自己工程中的hadoop相关的jar,打包的时候不要打进来.

 <dependency>            <groupId>org.apache.hadoop</groupId>            <artifactId>hadoop-common</artifactId>            <version>${hadoop.version}</version>            <scope>provided</scope>        </dependency>

提示，有可能你没有显式的引入hadoop-common、hadoop-hdfs这样的jar包，但是你引入了hbase的jar包，因为hbase会引入hdfs相关的jar包，也会导致类似的错误。

local class incompatible

org.apache.flink.table.api.StreamQueryConfig; local class incompatible: stream classdesc serialVersionUID = XXX, local class serialVersionUID = -XXX

在提交flink程序的时候如果出现这种情况一般是由于jar包冲突导致的，可能是某一个jar的冲突、也可能是scala的版本不一致导致的，比如你的flink集群的scala是2.11，你的程序的scala版本是2.12

到此，关于“flink开发过程中遇到的问题怎么解决”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

向AI问一下细节

flink开发过程中遇到的问题怎么解决

类转换异常

local class incompatible

猜你喜欢

最新资讯

相关推荐

开发者交流群：

相关标签