当前位置：首页 > 编程笔记 >

Spark-shell批量命令执行脚本的方法

祁承嗣

2023-03-14

本文向大家介绍Spark-shell批量命令执行脚本的方法，包括了Spark-shell批量命令执行脚本的方法的使用技巧和注意事项，需要的朋友参考一下

批量执行spark-shell命令，并指定提交参数

#!/bin/bash

source /etc/profile

exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") 
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF

以上这篇Spark-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持小牛知识库。

类似资料：

hive-shell批量命令执行脚本的实现方法

本文向大家介绍hive-shell批量命令执行脚本的实现方法，包括了hive-shell批量命令执行脚本的实现方法的使用技巧和注意事项，需要的朋友参考一下如下所示：以上这篇hive-shell批量命令执行脚本的实现方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持呐喊教程。
如何从Shell脚本执行MySQL命令？

问题内容：如何通过外壳程序脚本执行SQL命令，以使其自动化？我想使用外壳程序脚本恢复在SQL文件中收集的数据。我想连接到服务器并还原数据。通过SSH命令行单独执行时，该命令有效。这是我使用的命令：这是创建文件并将其通过管道传递到mysql 的Shell脚本代码。正确的方法是什么？问题答案：您需要使用该标志来发送密码。这很棘手，因为您和密码之间必须没有空格。如果在空格之后使mysql
node.js shell命令执行

问题内容：我仍在尝试掌握如何运行linux或Windows shell命令并在node.js中捕获输出的细节。最终，我想做这样的事情… 重要的一点是必须对全局范围的变量（或对象）可用。我尝试了以下功能，但是由于某种原因，我被打印到控制台了。我很难理解代码在哪里突破了…该模型的非常简单的原型可以工作… 有人可以帮助我了解为什么有效，但是无效吗？FWIW，我需要使用，因为缓冲区限制为200KB。
从Spring shell执行shell命令

我有一个案例，我想问我可以解决与Spring壳。我有一个Main.jar应用程序，它有几个部署在Wildly服务器上的Spring任务。在我的例子中，我不能停止或重新部署main.jar，因为必须不停地提供服务。
从PHP脚本执行Shell脚本

问题内容：我想从PHP脚本执行系统上存在的Bash脚本。我的系统上有两个脚本。其中一个是称为at at 的PHP脚本，另一个是称为at at 的Bash脚本。我的client.php脚本看起来像我的睾丸看起来像当我在终端上执行以下操作时我在终端上得到以下输出但是当我在打开页面时我得到以下输出即使执行了chmod + x testscript，我仍然收到此错误。我如何从浏览器中获取
如何通过shell脚本执行mongo命令？（我的坏了）

我试图在mongo shell中使用脚本js。我正在读一本关于这个主题的书。我尝试了几个选项，例如在我的计算机的特定位置打开cmd。我在这里发现了一个问题“如何通过shell脚本执行mongo命令？”，但对我来说似乎什么都不管用。我的mongo工作正常，我可以输入mongo，只需在cmd中键入mongo。但是，它找不到js文件。我正在使用Windows；有人知道引擎盖下会发生什么吗？例如：
从Java执行Shell命令

问题内容：我正在尝试从GNU / Linux平台上的Java应用程序执行shell命令。问题是，尽管它可以从bash成功运行，但调用另一个Java应用程序的脚本永远不会结束。我试图调试它：我尝试使用：ProcessBuilder（）; 和Runtime.getRuntime（）。exec（cmd）; 看起来它正在等待完成。有任何想法吗？谢谢，Laurențiu 问题答案：您是否正在处理标准
从Android执行Shell命令

问题内容：我正在尝试在我编写并按下的应用程序中从应用程序仿真器终端（您可以在Google Play中找到它）执行此命令enter，因此请编写：然后再次按，并使用的新功能开始录制屏幕。因此，我尝试使用以下命令从Java执行相同的代码：但是不起作用，因为未创建文件。显然，我在装有android kitkat的有根设备上运行。问题出在哪里？我该如何解决？因为从终端仿真器工作并且在Java中不行？

相关阅读

从Android执行Shell命令 linux下执行shell命令方法简介 shell在指定目录下批量执行sql脚本的实例 Shell脚本避免重复执行的方法 Shell脚本，将命令值保存到变量

相关文章

Linux定时执行任务（at命令）批处理脚本日志批处理脚本调试 JDBC PrepareStatement对象执行批量处理实例 JDBC Statement对象执行批量处理实例

相关问答

在Gradle中执行shell脚本 Java 无法执行 bash shell 脚本从容器内的docker compose命令运行shell脚本用于执行Jenkins shell脚本的Git环境变量从groovy脚本执行命令时，命令无法正常工作

相关工具

使用Shell脚本批量打包生成可配置的.ipa文件 Monster 脚本《Redis 命令参考》photo批量上传ftp Qore 脚本语言

相关文档

Shell 脚本学习命令行的艺术 Shell 脚本编程 30 分钟入门 CLI 命令行界面 Go 命令教程