5|5 款阿里常用代码检测工具,免费用!
5 款阿里常用代码检测工具,免费用!在日常研发过程中,我们通常面临的代码资产问题主要分为两大类:代码质量问题和代码安全漏洞。
面临问题
1、代码质量问题
代码质量其实是一个老生常谈的话题,但问题是大家都知道它很重要,却又不知道如何去提升和维护这一团队的共同财产。一方面开发人员可能为了功能及时上线,疏忽了对质量的把控;另一方面开发人员编码习惯和程序理解风格各异。
长期下来,代码质量下降通常会自成因果。因为业务压力大而下降,又因为开发效率下降,进一步加大业务压力,导致恶性循环。
2、代码安全问题
安全类问题往往隐藏在缺乏安全意识的编码逻辑和未经检测或维护的开源依赖组件中,难以在日常开发和代码评审中被及时察觉。
代码安全问题也可以分两个方面进行分析:
编码安全问题,即:安全规范类问题,通过避免不符合规范的代码进入企业代码库,减少隐私数据泄露、注入类风险、安全策略漏洞的出现。
依赖安全问题,即:开源依赖三方组件引入的安全漏洞。根据 Synopsys 2020 开源安全报告显示,99%以上的组织使用了开源技术。使用开源组件本身带来的技术交流和站在巨人肩膀上协作、降低开发成本、加快迭代周期、提高软件质量等优势已经不必赘述,但是,开源软件带来一系列便利的同时,也暗藏大量安全风险,据审计,75%的代码库存在安全漏洞,其中 49%包含高危问题,另外 82%的代码库仍在使用超过 4 年的 outdated 组件。
代码安全类问题,一方面需要进行准入性检查,根据业务场景和规范配置安全编码规范检测和卡点。另一方面需要定期维护,对于新爆发出的安全漏洞进行及时察觉并修复。
5 款阿里常用代码检测工具推荐
1、代码质量检测
- Java 代码规约检测
基于上述背景,阿里制定了《阿里巴巴 Java 开发手册》,作为阿里内部 Java 工程师所遵循的开发规范,涵盖编程规约、单元测试规约、异常日志规约、MySQL 规约、工程规约、安全规约等。这是近万名阿里 Java 技术精英的经验总结,并经历了多次大规模一线实战检验及完善。
制订交通法规表面上是要限制行车权,实际上是保障公众的人身安全。试想如果没有限速,没有红绿灯,没有靠右行驶条款,谁还敢上路。同理,对软件来说,开发规约绝不是消灭代码内容的创造性、优雅性,而是限制过度个性化,推行相对标准化,以一种普遍认可的方式一起做事。
因此,代码规约的目标是:
1、码出高效:标准统一,提升沟通效率和研发效能。
2、码出质量:防患未然,提升质量意识和系统可维护性,降低故障率。
3、码出情怀:工匠精神,追求极致的卓越精神,打磨精品代码。
代码规约通过 IDE 检测插件、流水线集成测试、代码评审集成等工具手段,深度融入了阿里巴巴的各种开发活动中。与此同时,在云效代码托管平台 Codeup 中,也内置集成了 Java 代码规约检测能力,为开发人员在代码提交和代码评审阶段提供更为方便的快速检查。
- 代码智能补丁推荐
基于业界和学术界较为流行的缺陷检测手段,并分析和规避其局限,云效 Codeup 的算法工程师们提出了一种新的算法,实现更加精准和高效的分析代码缺陷并推荐优化方案,该算法已被国际软件工程大会(ICSE)收录。
文章图片
1、根据 commit message 中的关键词找出修复型的 commit,只取涉及文件小于 5 个的 commit(涉及文件过多的 commit可能会稀释修复行为)。这个步骤十分依赖开发者良好的 commit习惯,希望开发者能用好 commit,写好message。
2、从这些修复型 commit 中以文件级别提取删除内容和新增内容,即 Defect and Patch pairs(DP Pair),这一步难免会有很大的噪声。
3、利用改进的 DBSCAN 方法对 buggy 和 patch 对同时聚类,将相似的缺陷和补丁代码聚在一起。(也可以做片段级的聚类)通过将相似的缺陷和修复做聚类,减少了上一步留下的大量噪声,同时历史代码提交中大家共同犯过的错具有很强的借鉴意义。
4、利用自研的模板提取方法总结缺陷代码和补丁代码,并根据不同的变量来适配上下文。
代码补丁推荐服务目前应用于合并请求的代码自动扫描场景,在代码评审过程中检测可优化代码片段并给出优化建议,将历史评审中的人工经验沉淀下来持续提升企业代码质量。
2、代码安全检测
- 敏感信息检测
在我们的实践过程中,我们也面临了类似的问题,硬编码问题出现非常高频,而又缺乏有效的识别机制。因此开发者和企业管理者亟需一款稳定健全的敏感信息检测方法和系统。通过调研我们了解到,目前已有的敏感信息检测工具大多单纯使用规则匹配或信息熵技术,导致其召回率或准确率难以满足预期。因此我们在规则匹配和信息熵技术的基础上,结合上下文语义,提出了一款采用多层检测模型的敏感信息检测工具——SecretRadar。
文章图片
SecretRadar 的技术实现思路主要分为三层,第一层采用规则匹配这种传统敏感信息识别技术,规则匹配具有良好的准确度和扩展性,但是非常依赖比较固化的长度、前缀、变量名,难以应对不同开发者的不同编码风格,容易造成漏报。针对难以固定规则捕捉的场景,在第二层我们采用了信息熵算法。信息熵算法用于衡量代码行混乱程度,对随机生成型密钥和随机身份信息识别效果良好。但信息熵算法也有其局限性,召回率提升的同时误报也增多了。因此在第三层我们采用了模板聚类和上下文语义分析等方法进行过滤优化,针对信息熵结果聚合提取常见关键字,结合上下文语义和当前语法结构提升模型准确率。
敏感信息检测工具不止服务我们内部开发同学,在云效Codeups上也支持了超过 2 万代码库、3 千家企业,帮助开发者解决了超过 9 万硬编码问题。
- 源码漏洞检测
源伞检测引擎是香港科技大学 Prism 研究组在过去十年的时间内的技术研究成果。该引擎吸收了国际上近十年的软件验证技术研究成果,并且加以改进和创新,独立设计和实现了一套技术领先的软件验证系统。其主要验证方式是将编程语言翻译成一阶逻辑和线性代数等数学表达,通过形式化验证技术推理缺陷成因。迄今为止,一共发表了四篇核心技术相关的论文,一篇 PLDI 和三篇 ICSE,研究型的同学可以点击文末链接阅读。
源伞检测引擎能够在活跃度比较高的大型开源项目中发现隐藏超过 10 年的缺陷,以 MySQL 检测 [5] 为例,这些缺陷都是市面上其他检查工具无法扫描出来的,并且能够在 1.5 小时完成 200 万行大型开源项目的检测。在保持扫描的高效率同时,还能够将误报率控制在 15%左右。对于复杂且体量庞大的分析项目来说,源伞检测引擎所表现的扫描效率和误报率在业内也处于领先水平。
「源码漏洞检测」集成了源伞检测引擎的安全分析能力,能够在分析精度、速度、深度等方面均衡得到较好的分析结果,具备的核心优势:
1、支持分析字节码,二三方包的代码逻辑都不会遗漏;
2、擅长跨函数长调用链路的逻辑分析;
3、可以处理引用、指针等带来的间接数据修改;
4、精度高,相比于同类工具,如 Clang、Infer,在精度和有效问题识别上表现更佳;
5、性能好,目前单应用平均 5 分钟左右分析完毕;
文章图片
源伞检测引擎可以精确的追踪代码中的数据流向,拥有高深度高精度的函数调用链分析能力,可以找到跨越多层函数的深度问题。在发现缺陷的同时还能给出问题触发的过程,完整展示相关的控制流以及数据流,这样可以辅助开发者快速理解和修复问题,在软件开发早期更低成本地提高软件质量,大幅减少生产成本,提高研发效能。
- 依赖包漏洞检测
文章图片
为了降低开发者的修复难度,我们对依赖项的引用关系进行了进一步识别分析,清晰的标注出直接依赖和间接依赖,并定位到具体的依赖包引入文件,方便开发者快速找到关键问题位置。同时,通过对漏洞数据的聚合,智能推荐修复漏洞的版本升级建议,因为一个依赖可能对应多个漏洞问题,开发者可以针对建议评估是否接受采用。通过分析不同版本间的 API 变更和代码调用链路,衡量版本升级成本,为开发人员自动创建修复评审,最大程度的帮助开发人员更高效地维护代码安全。
无论是代码质量检测还是代码安全检测,以上5款阿里代码自动检测工具,开发者都可以在云效Codeup内免费体验。
检测服务应用
1、代码提交
检测服务的最直接的应用便是在代码提交场景中,企业可以根据业务场景和规范,制定和配置不同项目的检查方案。当开发者将代码变更推送至服务端,自动触发当前代码库配置的检测服务,可以为开发者检查当前 commit 版本中的全量问题,帮助开发者及早发现新增问题,并确认存量问题的解决情况。通过接入上述检测服务,可以从代码规范、代码质量、代码安全等多个维度进行测试左移,在开发人员刚完成编码时就进行快速检测和反馈。
2、代码评审
在企业项目协同中,开发者多以合并请求的方式将特性分支代码合入主干分支,合并请求过程需要项目开发负责人或模块负责人进行代码评审和人工检查。一方面人工审查代码需要投入较大精力,另一方面人工审查难以覆盖代码各个维度的潜在问题。因此,通过合理配置检测服务,可以极大地减少人工评审的工作量,加速代码评审的工作过程。同时,通过丰富、筛选、沉淀检测规则集和人工经验,检测服务可以更加贴合企业的业务场景进行卡点,避免不符合规范或存在风险的代码进入企业代码库。
3、代码度量
检测服务除了在代码提交和代码评审阶段帮助开发者及早发现问题并解决问题,还可以帮助管理者进行企业代码质量度量和风险可视化。通过建设企业级报表服务和项目任务管理,可以更为直观地度量项目演进过程中的安全问题和质量问题。
通过观察近几年业内暴露出的问题,以及长期以来阿里巴巴内部的研发经验,通过合理使用代码检测分析工具可以大量减少常见缺陷问题。同时,代码检测工具能够帮助开发同学快速定位并纠正代码缺陷、帮助代码设计同学更专注于分析和解决代码设计缺陷、减少在代码人工检查上花费的时间、提高软件可靠性并节省开发成本。
基于这些优势,将代码检测工具集成进持续集成体系,就可以在前置流程中提早暴露代码中隐藏错误和缺陷。通过设置卡点流程,可以进一步保障项目代码质量和可维护性。
扩展阅读
- Pinpoint: Fast and Precise Sparse Value Flow Analysis for Million Lines of Code
http://t.tb.cn/0qxIpFV5sRD5ux... - SMOKE: Scalable Path-Sensitive Memory Leak Detection for Millions of Lines of Code
http://t.tb.cn/2l96Jh2yqOGows... - Pipelining Bottom-up Data Flow Analysis
https://qingkaishi.github.io/... - Conquering the Extensional Scalability Problem for Value-Flow Analysis Frameworks
https://qingkaishi.github.io/...
5款阿里常用代码检测工具免费体验,仅需2 步,Cherry键盘、公仔抱回家,100%拿奖!
点击下方链接,立刻参与活动!注:抽奖活动仅限云效新用户参加
1分钟代码自动捉虫,测一测你的代码有虫子吗?
云效老用户体验指引:
【5|5 款阿里常用代码检测工具,免费用!】第一步:提交代码:
https://developer.aliyun.com/...
第二步:开始捉虫:
https://developer.aliyun.com/...
推荐阅读
- 标签、语法规范、内联框架、超链接、CSS的编写位置、CSS语法、开发工具、块和内联、常用选择器、后代元素选择器、伪类、伪元素。
- 数组常用方法一
- NeuVector 会是下一个爆款云原生安全神器吗()
- 干货来袭(自我管理(来几款撩人的APP))
- 常用git命令总结
- java|java 常用知识点链接
- 好用,便宜
- CentOS7 阿里云镜像配置方法
- 如何在阿里云linux上部署java项目
- 基于stm32智能风扇|基于stm32智能风扇_一款基于STM32的智能灭火机器人设计