公众号:arigeweixin

V1

2023/01/10阅读:23主题:默认主题

编译原理助我脱坑

记一次 移除java注释的脚本 编写过程

一、背景

有一个需求,需要将源码提供出去,交予三方进行安全审核,为了减少代码泄漏带来的影响,要求将

  1. 自己的源码中要有代码注释
  2. 对外提供的代码中,将所有的代码注释移除,增加其他人的代码阅读难度

二、艰难的爬坑过程

1、整理java中的注释情形

  1. 多行注释:

    /**
    多行注释
    */
  2. 单行注释:

    // 单行注释

2、初步入坑

对上一步的情况分析后简单的结论,

  1. 以 /* 开头,以*/结尾
  2. 以 //开头,以换行或者文件结束 结尾

3、核心代码

  1. 获取多行注释内容的代码

    re.findall("\/\*.*?\*\/", content, re.S)
  2. 按行遍历文件,检查是否包含 “//”,如果包含就将 “//”及以后的内容替换为换行

    re.findall("\/\/.*", line, re.S)

4、进入大坑

本以为这样是一个简单粗暴的方法,真正跑起来之后发现有较大问题

  1. 字符串中包含 多行和单行 注释的话,就会导致字符串内的内容被修改

    • 单行被错误移除

      "(?m)^//.*(?=\\n)"
    • 单行注释移除异常

      // 后面有一个单独的 “ ,引号的排查优先级高,导致这个引号被保留,导致整体移除异常
  2. 字符串的识别遇到问题

    • 这样的不能当作双引号,也就是这样的不能作为字符串的开始和结尾
    ‘“’
    • 最后的双引号需要算做字符串的结尾
    "select * from user where name = 'root'"
    • 中间的引号不能作为字符串的开始和结尾
    “\"” 

三、回头是岸

有时候捷径不是最快的路径。

折腾了几天之后发现按照穷举法去发现所有的异常case实在是太难了,因为我们的精力是有限的,一时半会无法想到所有的case,那有没有什么办法呢?

这个时候记忆深处的一些内容开始冒泡泡,程序员的三大浪漫之一的 编译原理 开始出现了。

之前懵懵懂懂读过的文本开始有一点点印象了。重新翻开经典之作的内容,看看他是怎么来处理词法和语法的。

1、回顾编译原理

  1. 词法分析,程序中的单词大体可以分成五类:
  1. 语法分析,比如,对于赋值语句position = initial + 2 * 60,经过语法分析后生成的树

  2. 语义分析,比如position = initial + 2 * 60 经过语义分析后

2、着手处理

按照编译原理中讲的过程,要先一个的拆成词,然后将词串成语句,然后一个语句一个语句的处理。

整体的思路:

  1. 判断是否已经在不用关注的范围内,例如在 双引号中间的,在多行注释中的,在单行注释后面的
  2. 如果已经开始了,就只用关注是否是双引号、多行注释、单行注释的结尾
  3. 如果是结尾,就分别处理,
    • 多行注释的删除
    • 单行注释的删除
    • 双引号中间的保留
  4. 在双引号、多行注释、单行注释开始的时候,把前一次的给保存到新文件中

3、代码

# coding=utf-8
foler_path = "./java/test/"

def rewriteContent(dirpath, filename, content):
    writefile = open(dirpath + "/" + filename, "w+")
    # print content
    writefile.write(content)
    writefile.close()



def clean_all_note():
    for dirpath, dirnanes, filenams in os.walk(foler_path):
        for filename in filenams:
            print dirpath + "/" + filename
            clean_note(dirpath, filename)

#判断是否是双引号,需要排除 '"' 和 \" 的情况,
def is_available_quotes(ch, pre_ch,next_ch):
    return ch == "\"" and pre_ch != "\\" and not (pre_ch == "'" and next_ch == "'")

#判断是否是多行注释的开头 即 /*
def is_prefix_multiline_comment(ch, pre_ch):
    return ch == "*" and pre_ch == "/"

#判断是否是多行注释的结尾,即 */
def is_suffix_multiline_comment(ch, pre_ch):
    return ch == "/" and pre_ch == "*"

#判断是否是单行注释 //
def is_single_line_comment(ch, pre_ch):
    return ch == "/" and pre_ch == "/"

# 判断是否是换行
def is_line_feed(ch, pre_ch):
    return ch == "\n"


def clean_note(dirpath, filename):
    file = open(dirpath + "/" + filename, "r+")
    content = file.read()
    multiline_ing = False
    single_line_ing = False
    quotes_ing = False
    pre_ch = ""
    index = 0
    lastPoi = 0
    newContent = ""
    for ch in content:
        if multiline_ing:
            if is_suffix_multiline_comment(ch,pre_ch):
                # print "m l e:" + pre_ch + ch
                lastPoi = index+1
                multiline_ing = False
        elif single_line_ing:
            if is_line_feed(ch,pre_ch) or index == len(content)-1:
                # print "s l e:" + content[lastPoi:index-1]
                lastPoi = index
                single_line_ing = False
        elif quotes_ing:
            #解决 "\\"
            if ch == "\\" and pre_ch == "\\":
                ch = ''
            if is_available_quotes(ch, pre_ch,content[index+1]):
                # print "yinhao e :" + pre_ch + ch
                newContent = newContent + content[lastPoi:index]
                lastPoi = index
                quotes_ing = False
        else:
            if index == len(content)-1:
                # print "e s :" + pre_ch + ch
                newContent = newContent + content[lastPoi:index+1]
            elif is_available_quotes(ch, pre_ch,content[index+1]):
                # print "yinhao s :" + pre_ch + ch
                # newContent = newContent + content[lastPoi:index]+"----"
                quotes_ing = True
            elif is_prefix_multiline_comment(ch, pre_ch):
                # print "m l s :" + pre_ch + ch
                newContent = newContent + content[lastPoi:index-1]
                multiline_ing = True
            elif is_single_line_comment(ch, pre_ch):
                # print "s l s :" + pre_ch + ch
                newContent = newContent + content[lastPoi:index-1]
                single_line_ing = True

        index = index+1
        pre_ch = ch
    rewriteContent(dirpath, filename, newContent)





if __name__ == '__main__':
    for dirpath, dirnanes, filenams in os.walk(foler_path):
        for filename in filenams:
            clean_note(dirpath, filename)

分类:

后端

标签:

Java

作者介绍

公众号:arigeweixin
V1