文献类型：专利

专利类型：发明专利

是否失效：否

是否授权：否

申 请 号：CN202011406376.4

申 请 日：20201203

发 明 人：程钢 张飞 贾岩峰 韩慎勇 丁正 顾晓东 祝敬安 韦红

申 请 人：上海欣方智能系统有限公司 上海欣方软件有限公司

申请人地址：201203 上海市浦东新区碧波路690号张江微电子港8号4楼

公 开 日：20210309

公 开 号：CN112463965A

代 理 人：牛峥;王丽琴

代理机构：11018 北京德琦知识产权代理有限公司

语　　种：中文

摘　　要：本发明实施例公开了一种对文本的语义理解的方法及系统，本发明实施例对文本进行语义理解时，采用构建的BERT网络模型，该BERT网络模型采用无监督掩码语言模型(Mask Language Model)进行预训练，且其中包括自注意力(self‑attention)机制层及记忆注意力(memory attention)机制层，在对输入文本进行语义理解时，自注意力机制负责学习文本内容上下文关系理解，记忆注意力机制负责对新添加热词进行理解和增强，通过合并两个注意力机制的高维表征，得到文本的分类结果，从而使得对文本的语义理解的准确性增大。

主 权 项：1.一种对文本的语义理解的方法，其特征在于，该方法包括：构建BERT网络模型，该BERT网络模型采用无监督掩码语言模型Mask Language Model进行预训练；BERT网络模型包括self-attention机制层及memory attention机制层，在对输入文本进行语义理解时，进行两层的注意力机制处理后，得到文本的分类结果。

关 键 词：语义理解 注意力机制  文本 网络模型  注意力  上下文关系 分类结果  输入文本  文本内容 语言模型  无监督  高维  构建  热词 掩码 合并  学习  

IPC专利分类号：G06F16/35(20190101);G06F40/30(20200101);G06N3/08(20060101);G06N3/04(20060101)