方法3:BigQuery
本系列的第三篇也是最后一篇文章再次解决了在电子表格外部过滤CSV文件的任务。 快速回顾一下:在准备演示数据时,由于大小原因,我无法将源数据文件导入Google表格。 在知道我要针对一小部分数据进行分析(listing_id为66288的行)之后,我开始探索用于过滤数据的选项,然后再将其导入Google表格。 第一种方法使用命令行工具,第二种方法使用称为Trifacta Wrangler的桌面应用程序。 在本文中,我将展示我最终选择用来快速浏览,过滤和导出数据的工具。 称为BigQuery。
BigQuery是Google Cloud Platform的一部分,是一个完全托管的数据仓库,用户可以在其中使用SQL存储和分析数据。 它成名的说法是它能够快速处理大量数据。 但是BigQuery可以快速简便地用于任何大小的数据。 BigQuery有一个免费层,每月最多可分析1TB数据,并存储10GB数据。
报名参加GCP免费试用
启动和运行第一个BigQuery项目的最简单方法是在cloud.google.com/free上进行免费试用注册。 BigQuery有免费层,但用户必须启用计费帐户(免费试用过程的一部分)才能存储自己的表(前10GB免费)。
创建一个BigQuery项目
注册后,导航至bigquery.cloud.google.com。 如果您注册了免费试用版,则您将在左侧导航栏中看到“我的第一个项目”。 项目是存储计费信息和访问控制的顶级容器。

创建一个新的数据集
您将需要创建一个新的数据集以上传表。 我认为数据集是子项目,可让您组织表并提供更细粒度的访问控制。 单击“我的第一个项目”旁边的向下箭头图标,选择“创建新数据集”,然后为您的数据集命名。 我将自己的名称命名为“ Sheets_NaturalLanguage”,因为我将结果输入到演示中,以演示如何从Google Sheets连接到Cloud Natural Language。

将CSV文件添加到Google云端硬盘,并将其加载到BigQuery中
BigQuery和Google云端硬盘之间的集成使您可以轻松地直接从Google云端硬盘中的文件创建表格。 导航到drive.google.com并将其拖放到Google云端硬盘中,以添加reviews.csv文件。 接下来,右键单击该文件以获取可共享的链接。

返回BigQuery控制台,点击数据集名称旁边的向下箭头图标,然后选择“创建新表”

“创建表”菜单将出现在右侧。 选择“ Google云端硬盘”作为源数据位置,包括上一节中获得的可共享链接,然后选择CSV作为文件格式。 将表命名为“ reviews”,并要求BigQuery自动检测模式。 在“选项”部分,您需要告诉BigQuery CSV文件有一个标题行。

点击“创建表格”后,授予BigQuery访问您的云端硬盘的权限,新表格将被填充。
查询表格并将结果输出到Google表格
加载表格后,您将看到“表格详细信息”屏幕,其中包括一个直接将您链接到查询界面的按钮。

在查询界面中,您现在将编写一个简单的查询以仅过滤listing_id等于“ 66288”的记录。 看起来是这样的:
#standardSQL
选择
*
从
striking-decker-187523.Sheets_NaturalLanguage.reviews`
哪里
listing_id = 66288
BigQuery默认使用“ BigQuery旧版SQL”,这是一种非标准的SQL方言。 为了启用标准SQL,请在查询中添加#standardsql前缀。 您还需要将表名从传统表示法调整为标准表示法。 就我而言,我将[striking-decker-187523:Sheets_NaturalLanguage.reviews]更改为`striking-decker-187523.Sheets_NaturalLanguage.reviews`。
最后,单击大的红色“ RUN QUERY”(运行查询)按钮运行查询。

查询完成后,您可以使用“保存到Google表格”按钮一键将结果加载到Google表格中。 您会发现404结果行(加上标题行)与我们从方法1和方法2得到的结果完全一致。 现在,您可以轻松地在电子表格中执行其他分析了!

学习更多的资源
在这种情况下,查询非常简单,但是BigQuery可以根据复杂的条件过滤数据,将多个CSV文件中的数据联接在一起,或者两者都可以! 接下来可能要尝试的操作取决于您的SQL熟练程度:
- 如果您已经熟悉SQL,请继续进行查询,以使您满意。
- 如果您希望对BigQuery和/或SQL更满意,请开始:探索BigQuery公共数据集。 您每月可以免费查询多达TB的数据,每个数据集的文档都包含示例查询。
- 如果您不熟悉SQL :请在Google表格中使用带有QUERY函数的类似SQL的语言。 通过关注Ben Collins的有关此功能的博客文章开始使用。 我学习了QUERY,然后在10分钟内使用SQL和Codecademy的Learn SQL课程过渡到了SQL和BigQuery。
如果您有任何疑问,请在Twitter @presactlyalicia上发表评论或找到我。