从Pyspark DataFrame中的选定行获取特定字段
我通过内置火花数据帧 pyspark 从JSON文件
sc = SparkContext()
sqlc = SQLContext(sc)
users_df = sqlc.read.json('users.json')
现在，我要访问 selected_user 数据，这是它的_id字段。我可以
print users_df[users_df._id == chosen_user].show()
这给了我完整的用户行。但是，假设我只想要Row中的一个特定字段，例如用户性别，我将如何获得它？
问题答案：
只需过滤并选择：
result = users_df.where(users_df._id == chosen_user).select("gender")
或搭配 col
from pyspark.sql.functions import col
result = users_df.where(col("_id") == chosen_user).select(col("gender"))
最后，PySparkRow只是tuple带有一些扩展名的一个，因此您可以例如flatMap：
result.rdd.flatMap(list).first()
或map类似这样的东西：
result.rdd.map(lambda x: x.gender).first()
-
我有一个具有如下结构的数据帧： 但是是Any类型，我无法提取它的任何字段。有人能说出我做错了什么，或者我应该遵循什么方法来代替这个吗？ 谢谢
-
问题内容： 我正在研究Firebase项目，我在其中将用户信息存储在表中。现在，我的要求是在表中显示所有用户。这是我的数据库快照 我可以使用从数据库中获取所有用户 上面的代码向我返回了包含bod，电子邮件，姓名，性别的用户数组。但是我只想获取电子邮件和用户名。 有没有一种方法只能从数据库中获取指定的字段？ 问题答案： 读取节点时，必须检索其全部内容。因此，无法从读取路径时返回的数据中仅获取 特定
-
问题内容： 理想情况下，我需要一个等于 但这是非法的。 我不能使用自动递增的字段。 row_number（）是需要选择的行。 我该怎么办？ 编辑：嗯，我使用iSql * plus进行练习，出于某些原因，使用limit和auto_increment是非法的。我最终创建了一个序列和一个触发器，并且每次输入一个条目时，ID都增加了1。 问题答案： 您可以使用代替。 如文档所述， 第一个参数指定要返回的第
-
在scala火花数据帧中是否有的替代方案。我想从火花数据帧的列中选择特定的行。例如，在R等效代码中的第100行
-
我有一个XML文件，我想取两个值。以下是XML： 我想让我们说一下<代码> 这是我尝试过的代码，但它不起作用： 有人能给我一个工作的例子吗？我是Java和XML的新手。
-
问题内容： 我正在尝试使用其开放的API获取特定Subreddit的顶级提交列表： 不幸的是，这不起作用，因为实际的提交列表嵌套在响应中。如何将数据json数组（在元素中）解组为struct 类型的数组？ 问题答案： 创建更多模拟JSON确切形状的结构（就像您的结构一样）。解组到最顶层的结构之一，然后访问该结构的适当成员。
-
我目前正在使用 但这并没有返回选择模型中的一个选定项。
-
问题内容： 有什么方法可以简化此代码，以获取提供的某一列的索引以获取特定行的索引吗？在这种情况下，索引将为，因为我要遍历第一列直到找到“ A”。感觉应该对此有一个linq解决方案，但我无法弄清楚。 问题答案： 如果使用DataTableExtensions.AsEnumerable（）方法，则可以使用LINQ查询您的DataTable。然后，您可以用来确定给定谓词的索引：