当前位置: 首页 > news >正文

做网站内嵌地图今日nba战况

做网站内嵌地图,今日nba战况,物流网站建设相关的问题,网站建设流程报价本文是性能问题分析排查思路的展开内容之一,主要分为日志1期,机器4期、环境2期共7篇系列文章,本期是第一篇,讲日志的分析方法和经验。 系列文章传送门: 一图梳理性能问题分析排查思路-总体概述(0&#xff…

本文是性能问题分析排查思路的展开内容之一,主要分为日志1期,机器4期、环境2期共7篇系列文章,本期是第一篇,讲日志的分析方法和经验。

系列文章传送门:
一图梳理性能问题分析排查思路-总体概述(0)

一般分析步骤

大数据领域,日志的范畴很广泛,主要思路如下:

  1. 收集相关日志

    • 任务日志:对于运行在YARN等分布式计算框架上的任务,首先要获取任务执行过程中的标准输出(stdout)和标准错误(stderr)日志,这些日志可能包含了任务启动、运行、失败的具体信息,包括错误栈、资源分配状况、任务进度等。

    关键在于找到第一现场,最后的错误往往是由更早的错误引发的!

    • 服务日志:针对具体的大数据服务组件,如HDFS NameNode、DataNode、YARN ResourceManager、NodeManager、Kafka Broker、HBase RegionServer等,收集其运行时的日志文件,这些日志记录了服务内部状态变化、请求处理情况、异常事件等重要信息。

错误不一定发生在每一个节点上,如不能定位到节点,分布式的服务需要关注每一个节点的信息。

  • 上下游服务日志:如果问题涉及到多个服务之间的交互,例如数据流经Elasticsearch、Flink、Kafka等中间件,也需要查看这些上游和下游服务的相关日志,以便确定数据传输是否正常、是否存在接口调用失败或超时等问题。

这招很管用!

  1. 筛选关键信息

    • 使用grep、awk等命令行工具或日志管理平台进行关键词过滤和搜索,快速定位到包含错误信息或异常堆栈的部分。
    • 查看日志中与时间戳相关的条目,找到问题发生的时间窗口内的日志记录(以便回溯对应时间段的硬件资源状态)。
  2. 关联分析

    • 将不同来源的日志按时间顺序排列,观察同一时间段内各服务的状态和交互情况。
    • 分析错误前后的上下文信息,寻找可能导致问题的触发因素,如资源耗尽、并发冲突、配置错误等。
  3. 深度解析

    • 对于复杂的系统错误或性能瓶颈,可能需要深入理解日志中所反映出的系统内部机制,比如内存溢出、磁盘空间不足、网络延迟高等问题(这在机器相关章节展开)。
    • 如果是代码级别的错误,通过错误栈跟踪查找引发问题的具体代码行,结合源码进一步分析(在环境章节展开讲)。
  4. 重现与调试

    • 在条件允许的情况下,尝试复现问题并开启额外的日志级别(debug或trace级别),以获取更详细的运行时信息。
    • 如果有必要,可以通过远程调试或者增加临时日志输出来追踪特定变量的变化或流程控制路径。

    不能重现的问题往往是没有找到根因!

常见的错误类型

HDFS与YARN类

组件错误关键词解释说明
Hadoopnamenode.SafeModeException安全模式下无法操作
HadoopConnectException: Call From datanode-hostDataNode连接失败
YARNConnectException:Failed to connect to serverResourceManager无法启动或连接失败
YARNFailed to launch container … ExitCode xx is -104容器初始化失败
YARNFileAlreadyExistsException输出目录已存在等
HadoopRemoteException: StandbyException …HA模式下Active NameNode变更
HadoopUnknownHostException: namenode-hostNameNode服务未响应或不可达
Hadoopsasl.SaslException: GSS initiate failedKerberos认证失败
YARNOutOfMemoryError: Java heap spaceMap或Reduce任务内存溢出
HadoopIOException: Failed to handshake with NNDataNode与NameNode之间通信失败

Hive和HBase类

组件错误关键词解释说明
HiveFAILED: MetaException(message:Got元数据比如表或分区创建、删除、更新等操作失败
HiveFAILED: ParseException line x:xxSQL语句解析错误,如语法不符合规范
HiveSemanticException [Error 10001]: Line xxSQL语句虽符合语法,但在执行计划生成阶段出现语义错误
HiveHiveExecutionException Error while processing在查询执行过程中发生的异常
Hive.FileNotFoundException: File does not exist与HDFS相关的读写错误,如文件不存在、权限不足
HiveDAG submission failed due toTez作为执行引擎时,由于资源不足等导致失败
Hivehive.serde2.SerDeException:在序列化或反序列化数据时遇到的问题
HBaseZooKeeperConnectionException: HBase is unable to connectZK连接异常
HBaseIllegalArgumentException: KeyValue size too largeRowKey过大错误
HBaseLease expired on client… for table …RegionServer租约过期错误

Spark类

组件错误关键词解释
SparkOutOfMemoryError: Java heap space内存溢出
SparkNoClassDefFoundError, ClassNotFoundException依赖库缺失或版本冲突
SparkSocketTimeoutException: Read timed out网络通信错误
SparkFetchFailedException: Connection fromSpark Shuffle错误
Sparksql.AnalysisException:Table or view not found表或视图不存在,或者SQL语句语法有误
SparkYarnAllocationException向YARN资源管理器申请资源失败

日志处理的常用命令

基础类:cat + grep关键字,less、more、tail

统计类:wc统计行数、字符数

管道类:awk配合grep

tail -n 1000 /var/log/hadoop/xxxx.log | grep "Error" | awk '{print $1, $4}' > errors.txt

工具类:split将很大的日志文件切分成小文件,zip或tar压缩!

http://www.dt0577.cn/news/20519.html

相关文章:

  • 白塔网站建设seo人才招聘
  • 宽城区建设局网站网盟推广
  • 做6个页面的网站杨谦教授编的营销课程
  • wordpress挂下载链接seo优化服务商
  • 网站设计有哪些创新点关键词seo排名怎么做的
  • 建一个网站的程序谷歌排名优化
  • 网站建设公司哪家好 搜搜磐石网络包就业的培训机构
  • 如何制作活动宣传网页长春seo关键词排名
  • 做网站建设客户从哪里找seo外链发布技巧
  • 做视频网站需要多少钱重庆百度seo公司
  • wordpress 一直跳转到老域名一键优化清理加速
  • 揭阳网站制作托管手机软文广告300字
  • 用什么软件上传网站seo关键词快速排名前三位
  • 网站分享到朋友圈德阳seo
  • 营销型网站建设合同范本市场营销产品推广策划方案
  • 东莞网站推广怎么做软文代写文案
  • 做旅游网站挣钱吗电话营销销售系统
  • 小程序免费制作平台系统百度seo推广
  • 阿里巴巴logo图片专业搜索引擎seo服务
  • 公司网站优化怎么做多少关键词排名优化软件
  • 品牌网站建设 杭州网络营销公司经营范围
  • 中文电商网站模板网站建设方案及报价
  • 天天seo伪原创工具优化电池充电什么意思
  • 网站建设5000费用高德北斗导航
  • 网站如何申请域名淘宝流量平台
  • 网站开发编程工程师招聘浏览器大全网站
  • 吉林市城市建设管理执法局网站网站站点
  • 4s店网站建设方案百度免费网站制作
  • 西安电商网站开发企业网站设计
  • 做网站例子如何进行品牌宣传与推广