当前位置: 首页 > news >正文

企业站网页制作实训步骤网站推广策略有哪些

企业站网页制作实训步骤,网站推广策略有哪些,建站程序免费下载,网站做百度推广的要求1 通过Athena查询s3中的数据 此实验使用s3作为数据源 ETL: E extract 输入 T transform 转换 L load 输出 大纲 1 通过Athena查询s3中的数据1.1 架构图1.2 创建Glue数据库1.3 创建爬网程序1.4 创建表1.4.1 爬网程序创建表1.4.2 手动创建表 1…

1 通过Athena查询s3中的数据

此实验使用s3作为数据源

ETL:

E    extract         输入
T    transform     转换
L    load             输出

大纲

  • 1 通过Athena查询s3中的数据
    • 1.1 架构图
    • 1.2 创建Glue数据库
    • 1.3 创建爬网程序
    • 1.4 创建表
      • 1.4.1 爬网程序创建表
      • 1.4.2 手动创建表
    • 1.5 Athena查询
    • 1.6 总结

1.1 架构图

在这里插入图片描述

1.2 创建Glue数据库

首先我们需要创建一个数据库。我们将会使用爬网程序来填充我们的数据目录。

步骤图例
1、入口在这里插入图片描述
2、创建数据库 只需输入一个数据库名称即可在这里插入图片描述
3、结果在这里插入图片描述

1.3 创建爬网程序

在任务中,我们经常会使用Glue爬网程序来填充我们的数据目录。
爬虫可以在一次运行中爬取多个数据存储。在爬取完成后,我们会在数据目录中看到由爬虫创建的一个或多个表。
创建表后,我们就可以在接下来的Athena查询或ETL作业中使用表来作为源或目标了。

步骤图例
1、入口在这里插入图片描述
2、输入爬虫名称在这里插入图片描述
3、选择数据源类型(Data Stores:创建,Existing catalog tables:更新) 选择爬取类型(Crawl all folders:爬取全部文件夹,Crawl new folders only:只爬取新文件夹,Crawl changed folders indentified by Amazon S3 Event Notifications:只爬取S3事件通知的有变更的文件夹)在这里插入图片描述
4、选择s3 (可对s3中的需要爬取的数据进行筛选)在这里插入图片描述
5、创建或选择爬网程序IAM角色(需要有对应S3与Glue的权限)在这里插入图片描述
6、对于不确定的实时数据或许要定时更新的数据,可按需选择频率;若只需创建表结构,可选择按需运行在这里插入图片描述
7、确认在这里插入图片描述

此时,数据库与爬网程序已准备完毕。
我们将会运行爬网程序自动分析数据结构并创建表。

1.4 创建表

如果对待爬取数据结构未知,或者结构复杂、字段繁杂,则使用“爬网程序创建表”;对于对待爬取数据结构清晰明了的,可以使用“手动创建表”模式。

1.4.1 爬网程序创建表

步骤图例
1、运行                         在这里插入图片描述
2、运行中在这里插入图片描述
3、运行完毕在这里插入图片描述
4、运行结果在这里插入图片描述
5、表结构在这里插入图片描述

1.4.2 手动创建表

步骤图例
1、入口在这里插入图片描述
2、表名在这里插入图片描述
3、数据源在这里插入图片描述
4、选择文件类型在这里插入图片描述
5、手动创建表需要自定义列;请根据提示创建在这里插入图片描述
6、一直下一步即可

1.5 Athena查询

Athena是一种交互式查询服务(不是数据库)。并且Athena可以使用标准SQL直接查询S3中的数据,前提是需要使用Glue连接S3源。Athena还支持查询如DynamoDB、Redshift、MySQL等数据库。

步骤图例
1、入口在这里插入图片描述
2、设置查询结果存储位置:s3在这里插入图片描述在这里插入图片描述
3、查看表,可查看数据库以及其中的表在这里插入图片描述
4、查询结果:使用sql查询在这里插入图片描述

1.6 总结

在此实验中,我们使用Glue 的爬网程序自动解析存储在s3桶中的原始数据,自动创建了表。通过Glue数据库中的表,我们可以使用Athena对表进行查询(Athena每次检索表对应的s3桶数据,按检索量收费)。接下来我们会对原始数据进行转换、清洗以及分区操作,以及使用API Gateway+Lambda实现一个无服务架构,通过API查询数据。

http://www.dt0577.cn/news/21172.html

相关文章:

  • 长春网站建设方案服务网络推广销售是做什么的
  • 网站内容方案郑州网络营销
  • 网站建设与维护税率百度系优化
  • 网站建设公司北京华网天下实惠市场调研报告模板范文
  • 如何查看网站的流量网址域名ip解析
  • 怎样做网站性能优化抖音搜索关键词排名查询
  • 自己建的网站如何推广如何做好搜索引擎优化工作
  • 化妆品网站建设可行性报告免费网站建设哪家好
  • 专业做影评的网站电商网站网址
  • 成都网站建设 全美2024年重大新闻摘抄
  • 收费网站怎么建立门户网站推广方案
  • 推荐30个国外优秀的设计教程网站百度seo运营工作内容
  • 专业网站 建设公司seo关键词排名怎么优化
  • 湖南网站建设 尖端磐石网络百度竞价推广教程
  • 动态ip怎么建设网站哪些行业适合做seo
  • 珠海网站建设 骏域网站深圳网站优化公司
  • c 做网站怎么连接到别的网页产品关键词大全
  • 安徽省住建厅网站官网网上推
  • 申请网站主机网址导航该如何推广
  • 地方生活门户网站有哪些企业网站seo哪里好
  • 大型网站设计首页实例seo优化视频教程
  • c 网站开发简单实例国际最新新闻
  • 做影视网站该怎么发展web个人网站设计代码
  • 一个域名怎么用来做多个网站成都谷歌seo
  • 网站后台用户管理系统做网站建网站公司
  • 商城网站建设服务cps推广平台
  • 建站推广什么意思贵港网站seo
  • 厦门微网站建设爱站工具包官网下载
  • 聊城网站开发公司本周新闻热点10条
  • 在godaddy做网站贵吗电商运营培训正规平台