温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Flink如何使用

发布时间:2021-12-31 13:53:21 来源:亿速云 阅读:172 作者:iii 栏目:大数据

本篇内容介绍了“Flink如何使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

1、首先拉取镜像

docker pull flink

2、创建一个docker的network

docker network create flink-network

3、运行容器

docker run --rm --name=jobmanager --network flink-network --publish 8081:8081 --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" flink:latest jobmanager

4、然后直接访问 http://localhost:8081/ 能访问进去,就完事了。使用,等会用了再来补充。

用容器提交任务老半天提交不上去,后来在本地安装了一个,由于是windos的,所有下载了一个1.9.3的版本下载的。

1、运行很简单,直接找到bin目录,然后双击运行即可。

2、然后提交任务的时候出现Entry Class没有的话,表示没有主目录,也就是打包的时候没有指定main函数导致的,配置中可以设置下主目录即可。

3、然后提交任务,点击show plan会报错,提交任务也报错。可以在Job Manage菜单看到Logs点进去,拉到最下面发现有报错信息,都是缺少类,这个狗日的问题困扰了老半天,百度找不到,我觉得应该是很低级的问题,可能很少犯(起码版本问题,但实际上并不是)。后面找到些博客说是在lib下添加引用类,老子用的pom又不是直接引用的jar。后面发现flink有个lib文件夹,就把jar丢进去了,发现虽然还是缺少类,但是缺少的类变了。然后我尝试打包所有的依赖项到一个jar,错误变了,但是依旧是缺少类。后面又找了很久的博客,忘记记下地址了,说打包时候并不是所有的依赖都要打包,然后给出了一个maven的打包信息,然后试了下,好了。只想说一句MMP,这问题应该很多人记录才对,但是都没有记录,那我就记录下吧。后面再补充报错信息。

<build>    <plugins>        <plugin>            <groupId>org.apache.maven.plugins</groupId>            <artifactId>maven-shade-plugin</artifactId>            <version>3.0.0</version>            <executions>                <execution>                    <phase>package</phase>                    <goals>                        <goal>shade</goal>                    </goals>                    <configuration>                        <artifactSet>                            <excludes>                                <exclude>com.google.code.findbugs:jsr305</exclude>                                <exclude>org.slf4j:*</exclude>                                <exclude>log4j:*</exclude>                            </excludes>                        </artifactSet>                        <filters>                            <filter>                                <!-- Do not copy the signatures in the META-INF folder.                                Otherwise, this might cause SecurityExceptions when using the JAR. -->                                <artifact>*:*</artifact>                                <excludes>                                    <exclude>META-INF/*.SF</exclude>                                    <exclude>META-INF/*.DSA</exclude>                                    <exclude>META-INF/*.RSA</exclude>                                </excludes>                            </filter>                        </filters>                        <transformers>                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">                                <mainClass>com.uwith.Application</mainClass>                            </transformer>                        </transformers>                    </configuration>                </execution>            </executions>        </plugin>    </plugins></build>

“Flink如何使用”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI