藏语自然语言处理基本理论和方法

藏语自然语言处理基本理论和方法
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
出版社: 科学出版社
2020-05
版次: 31
ISBN: 9787030603371
定价: 149.00
装帧: 其他
1人买过
  • 《藏语自然语言处理基本理论和方法》介绍藏语自然语言处理的基本理论和方法。《藏语自然语言处理基本理论和方法》11章,第1章介绍构成藏语语法单位的字、词、短语和句子。第2章介绍概率论、信息论等的基本概念,以及马尔可夫模型、**熵模型、条件随机场等模型。第3章介绍形式语言与自动机理论涉及的内容。第4章介绍计算机字符编码。第5~10章分别阐述藏语语料库、信息熵、拼写形式语言、自动分词及词性和语义标注、短语结构及其形式化描述和句法分析。第11章结合藏汉机器翻译,介绍统计机器翻译原理。 目录

    《信息科学技术学术著作丛书》序

    前言 

    第1章 藏语语法单位 1 

    1.1 藏文字符 1 

    1.2 藏文字 2 

    1.2.1 藏文字结构 2 

    1.2.2 藏文的书写及字体 3 

    1.3 藏语词语 3 

    1.3.1 格助词 4 

    1.3.2 不自由虚词 7 

    1.3.3 自由虚词 10 

    1.3.4 动词概述 12 

    1.4 藏语短语 13 

    1.5 藏语句子 14 

    1.5.1 藏语句子的特点 14 

    1.5.2 藏语句子的分类 14 

    第2章 理论基础 17 

    2.1 集合论基础 17 

    2.1.1 集合 17 

    2.1.2 字符串 18 

    2.1.3 函数 20 

    2.1.4 图 20 

    2.2 概率论基础 22 

    2.2.1 概率 22 

    2.2.2 **似然估计 23 

    2.2.3 条件概率 24 

    2.2.4 全概率公式与贝叶斯公式 24 

    2.2.5 独立性 26 

    2.2.6 随机变量 26 

    2.2.7 联合概率分布和条件概率分布 27 

    2.2.8 贝叶斯决策理论 28 

    2.2.9 期望和方差 29 

    2.3 信息论基础 30 

    2.3.1 信息熵 30 

    2.3.2 信息熵的性质 32 

    2.3.3 联合熵和条件熵 34 

    2.3.4 相对熵 35 

    2.3.5 互信息 35 

    2.3.6 交叉熵 36 

    2.3.7 困惑度 37 

    2.3.8 噪声信道 37 

    2.4 齐普夫定律 39 

    2.5 隐马尔可夫模型 41 

    2.5.1 马尔可夫模型 41 

    2.5.2 隐马尔可夫模型的基本原理 42 

    2.5.3 隐马尔可夫模型的三个基本问题 44 

    2.6 **熵模型 56 

    2.6.1 **熵模型的约束条件 57 

    2.6.2 **熵模型的原则 58 

    2.6.3 **熵模型的参数训练 58 

    2.7 条件随机场模型 59 

    2.7.1 条件随机场定义 60 

    2.7.2 条件随机场模型形式 61 

    2.7.3 条件随机场模型的参数估计 62 

    第3章 形式语言与自动机 64 

    3.1 形式语言 64 

    3.1.1 形式语言概述 64 

    3.1.2 形式文法 65 

    3.1.3 形式文法的类型 66 

    3.2 自动机 68 

    3.2.1 自动机概述 68 

    3.2.2 正规文法与自动机 72 

    第4章 字符编码 75 

    4.1 西文字符编码 75 

    4.2 ISO/IEC 10646与Unicode 76 

    4.2.1 缘起 76 

    4.2.2 ISO/IEC 10646体系结构 76 

    4.2.3 Unicode 79 

    4.3 中文字符编码 81 

    4.3.1 汉字字符编码 81 

    4.3.2 藏文字符编码 85 

    第5章 藏语语料库的建设 91 

    5.1 语料库概述 91 

    5.2 语料库的类型 91 

    5.3 典型语料库 93 

    5.4 藏语语料库建设中存在的问题 96 

    第6章 藏文信息熵 99 

    6.1 概述 99 

    6.2 藏文字符的信息熵 100 

    6.3 藏文字的信息熵 102 

    6.4 藏语语言模型及其困惑度 105 

    6.4.1 N元文法模型 105 

    6.4.2 困惑度 107 

    6.4.3 数据平滑 109 

    6.5 藏文输入法的数学模型 111 

    6.6 藏文文本自动校对 115 

    第7章 藏文拼写文法的形式化 118 

    7.1 藏文拼写文法形式化描述 118 

    7.1.1 术语定义 118 

    7.1.2 符号映射 119 

    7.1.3 藏文拼写文法规则 120 

    7.1.4 藏文的基本拼写结构 122 

    7.1.5 藏文拼写文法形式化描述 127 

    7.1.6 藏文拼写文法性质 131 

    7.2 藏文拼写形式语言 133 

    7.2.1 藏文拼写形式语言概述 133 

    7.2.2 藏文拼写形式文法 135 

    7.3 藏文字组成成分识别 186 

    7.3.1 藏文字组成成分的识别概述 186 

    7.3.2 藏文拼写形式文法使用中的二义性问题 188 

    第8章 藏语自动分词及词性和语义标注 190 

    8.1 藏语自动分词中的几个关键问题 190 

    8.1.1 紧缩词问题 190 

    8.1.2 歧义切分问题 193 

    8.1.3 未登录词问题 195 

    8.2 藏语自动分词方法 197 

    8.2.1 基于规则的分词方法 197 

    8.2.2 基于统计的分词方法 198 

    8.2.3 基于条件随机场模型的藏语分词方法 199 

    8.3 命名实体识别 206 

    8.3.1 概述 206 

    8.3.2 命名实体识别方法 207 

    8.4 词性标注 209 

    8.4.1 概述 209 

    8.4.2 词类标记集的确定 211 

    8.4.3 基于规则的词性标注方法 215 

    8.4.4 基于统计模型的词性标注方法 217 

    8.4.5 基于规则与统计相结合的词性标注方法 219 

    8.5 词义标注 221 

    8.5.1 概述 221 

    8.5.2 基于互信息的词义消歧方法 221 

    8.5.3 基于贝叶斯判别的词义消歧方法 223 

    8.5.4 基于词典的词义消歧方法 224 

    第9章 现代藏语短语结构及其形式化描述 225 

    9.1 概述 225 

    9.1.1 藏语短语的句法知识理论 225 

    9.1.2 藏语短语的句法功能分类 226 

    9.1.3 藏语短语规则的形式表达 229 

    9.2 名词性短语结构及其形式化描述 231 

    9.2.1 概述 231 9.2.2 定中结构的NP 232 

    9.2.3 联合结构的NP 240 

    9.3 动词性短语结构及其形式化描述 241 

    9.3.1 概述 241 

    9.3.2 主谓结构的VP 242 

    9.3.3 述宾结构的VP 244 

    9.3.4 述补结构的VP 246 

    9.3.5 动词联合的VP 250 

    9.3.6 状中结构的VP 251 

    9.4 形容词性短语结构及其形式化描述 252 

    9.4.1 概述 252 

    9.4.2 联合结构的AP 252 

    9.4.3 状中结构的AP 255 

    第10章 藏语句法分析 258 

    10.1 藏语句型概述 258 

    10.1.1 NP+PP+VP句型 258 

    10.1.2 NP+VP句型 259 

    10.2 短语结构语法 260 

    10.2.1 形式语法 260 

    10.2.2 CFG句法分析 264 

    10.3 藏语CFG 句法分析 265 

    10.3.1 LR分析算法 265 

    10.3.2 句法树 273 

    10.4 依存语法 275 

    10.4.1 概述 275 

    10.4.2 依存句法分析方法 277 

    10.5 藏语依存句法分析 281 

    10.5.1 概述 281 

    10.5.2 藏语依存关系体系 282 

    10.5.3 确定性藏语依存句法分析 286 

    第11章 统计机器翻译原理 288 

    11.1 机器翻译概述 288 

    11.1.1 机器翻译技术的发展 288 

    11.1.2 机器翻译方法 289 

    11.2 统计机器翻译 291 

    11.3 基于噪声信道模型的统计机器翻译基本原理 291 

    11.4 统计语言模型 293 

    11.5 统计翻译模型 296 

    11.5.1 共现 296 

    11.5.2 对齐 297 

    11.5.3 IBM模型1 300 

    11.5.4 学习词汇翻译模型 301 

    11.5.5 其他更高级的IBM模型 304 

    参考文献 305
  • 内容简介:
    《藏语自然语言处理基本理论和方法》介绍藏语自然语言处理的基本理论和方法。《藏语自然语言处理基本理论和方法》11章,第1章介绍构成藏语语法单位的字、词、短语和句子。第2章介绍概率论、信息论等的基本概念,以及马尔可夫模型、**熵模型、条件随机场等模型。第3章介绍形式语言与自动机理论涉及的内容。第4章介绍计算机字符编码。第5~10章分别阐述藏语语料库、信息熵、拼写形式语言、自动分词及词性和语义标注、短语结构及其形式化描述和句法分析。第11章结合藏汉机器翻译,介绍统计机器翻译原理。
  • 目录:
    目录

    《信息科学技术学术著作丛书》序

    前言 

    第1章 藏语语法单位 1 

    1.1 藏文字符 1 

    1.2 藏文字 2 

    1.2.1 藏文字结构 2 

    1.2.2 藏文的书写及字体 3 

    1.3 藏语词语 3 

    1.3.1 格助词 4 

    1.3.2 不自由虚词 7 

    1.3.3 自由虚词 10 

    1.3.4 动词概述 12 

    1.4 藏语短语 13 

    1.5 藏语句子 14 

    1.5.1 藏语句子的特点 14 

    1.5.2 藏语句子的分类 14 

    第2章 理论基础 17 

    2.1 集合论基础 17 

    2.1.1 集合 17 

    2.1.2 字符串 18 

    2.1.3 函数 20 

    2.1.4 图 20 

    2.2 概率论基础 22 

    2.2.1 概率 22 

    2.2.2 **似然估计 23 

    2.2.3 条件概率 24 

    2.2.4 全概率公式与贝叶斯公式 24 

    2.2.5 独立性 26 

    2.2.6 随机变量 26 

    2.2.7 联合概率分布和条件概率分布 27 

    2.2.8 贝叶斯决策理论 28 

    2.2.9 期望和方差 29 

    2.3 信息论基础 30 

    2.3.1 信息熵 30 

    2.3.2 信息熵的性质 32 

    2.3.3 联合熵和条件熵 34 

    2.3.4 相对熵 35 

    2.3.5 互信息 35 

    2.3.6 交叉熵 36 

    2.3.7 困惑度 37 

    2.3.8 噪声信道 37 

    2.4 齐普夫定律 39 

    2.5 隐马尔可夫模型 41 

    2.5.1 马尔可夫模型 41 

    2.5.2 隐马尔可夫模型的基本原理 42 

    2.5.3 隐马尔可夫模型的三个基本问题 44 

    2.6 **熵模型 56 

    2.6.1 **熵模型的约束条件 57 

    2.6.2 **熵模型的原则 58 

    2.6.3 **熵模型的参数训练 58 

    2.7 条件随机场模型 59 

    2.7.1 条件随机场定义 60 

    2.7.2 条件随机场模型形式 61 

    2.7.3 条件随机场模型的参数估计 62 

    第3章 形式语言与自动机 64 

    3.1 形式语言 64 

    3.1.1 形式语言概述 64 

    3.1.2 形式文法 65 

    3.1.3 形式文法的类型 66 

    3.2 自动机 68 

    3.2.1 自动机概述 68 

    3.2.2 正规文法与自动机 72 

    第4章 字符编码 75 

    4.1 西文字符编码 75 

    4.2 ISO/IEC 10646与Unicode 76 

    4.2.1 缘起 76 

    4.2.2 ISO/IEC 10646体系结构 76 

    4.2.3 Unicode 79 

    4.3 中文字符编码 81 

    4.3.1 汉字字符编码 81 

    4.3.2 藏文字符编码 85 

    第5章 藏语语料库的建设 91 

    5.1 语料库概述 91 

    5.2 语料库的类型 91 

    5.3 典型语料库 93 

    5.4 藏语语料库建设中存在的问题 96 

    第6章 藏文信息熵 99 

    6.1 概述 99 

    6.2 藏文字符的信息熵 100 

    6.3 藏文字的信息熵 102 

    6.4 藏语语言模型及其困惑度 105 

    6.4.1 N元文法模型 105 

    6.4.2 困惑度 107 

    6.4.3 数据平滑 109 

    6.5 藏文输入法的数学模型 111 

    6.6 藏文文本自动校对 115 

    第7章 藏文拼写文法的形式化 118 

    7.1 藏文拼写文法形式化描述 118 

    7.1.1 术语定义 118 

    7.1.2 符号映射 119 

    7.1.3 藏文拼写文法规则 120 

    7.1.4 藏文的基本拼写结构 122 

    7.1.5 藏文拼写文法形式化描述 127 

    7.1.6 藏文拼写文法性质 131 

    7.2 藏文拼写形式语言 133 

    7.2.1 藏文拼写形式语言概述 133 

    7.2.2 藏文拼写形式文法 135 

    7.3 藏文字组成成分识别 186 

    7.3.1 藏文字组成成分的识别概述 186 

    7.3.2 藏文拼写形式文法使用中的二义性问题 188 

    第8章 藏语自动分词及词性和语义标注 190 

    8.1 藏语自动分词中的几个关键问题 190 

    8.1.1 紧缩词问题 190 

    8.1.2 歧义切分问题 193 

    8.1.3 未登录词问题 195 

    8.2 藏语自动分词方法 197 

    8.2.1 基于规则的分词方法 197 

    8.2.2 基于统计的分词方法 198 

    8.2.3 基于条件随机场模型的藏语分词方法 199 

    8.3 命名实体识别 206 

    8.3.1 概述 206 

    8.3.2 命名实体识别方法 207 

    8.4 词性标注 209 

    8.4.1 概述 209 

    8.4.2 词类标记集的确定 211 

    8.4.3 基于规则的词性标注方法 215 

    8.4.4 基于统计模型的词性标注方法 217 

    8.4.5 基于规则与统计相结合的词性标注方法 219 

    8.5 词义标注 221 

    8.5.1 概述 221 

    8.5.2 基于互信息的词义消歧方法 221 

    8.5.3 基于贝叶斯判别的词义消歧方法 223 

    8.5.4 基于词典的词义消歧方法 224 

    第9章 现代藏语短语结构及其形式化描述 225 

    9.1 概述 225 

    9.1.1 藏语短语的句法知识理论 225 

    9.1.2 藏语短语的句法功能分类 226 

    9.1.3 藏语短语规则的形式表达 229 

    9.2 名词性短语结构及其形式化描述 231 

    9.2.1 概述 231 9.2.2 定中结构的NP 232 

    9.2.3 联合结构的NP 240 

    9.3 动词性短语结构及其形式化描述 241 

    9.3.1 概述 241 

    9.3.2 主谓结构的VP 242 

    9.3.3 述宾结构的VP 244 

    9.3.4 述补结构的VP 246 

    9.3.5 动词联合的VP 250 

    9.3.6 状中结构的VP 251 

    9.4 形容词性短语结构及其形式化描述 252 

    9.4.1 概述 252 

    9.4.2 联合结构的AP 252 

    9.4.3 状中结构的AP 255 

    第10章 藏语句法分析 258 

    10.1 藏语句型概述 258 

    10.1.1 NP+PP+VP句型 258 

    10.1.2 NP+VP句型 259 

    10.2 短语结构语法 260 

    10.2.1 形式语法 260 

    10.2.2 CFG句法分析 264 

    10.3 藏语CFG 句法分析 265 

    10.3.1 LR分析算法 265 

    10.3.2 句法树 273 

    10.4 依存语法 275 

    10.4.1 概述 275 

    10.4.2 依存句法分析方法 277 

    10.5 藏语依存句法分析 281 

    10.5.1 概述 281 

    10.5.2 藏语依存关系体系 282 

    10.5.3 确定性藏语依存句法分析 286 

    第11章 统计机器翻译原理 288 

    11.1 机器翻译概述 288 

    11.1.1 机器翻译技术的发展 288 

    11.1.2 机器翻译方法 289 

    11.2 统计机器翻译 291 

    11.3 基于噪声信道模型的统计机器翻译基本原理 291 

    11.4 统计语言模型 293 

    11.5 统计翻译模型 296 

    11.5.1 共现 296 

    11.5.2 对齐 297 

    11.5.3 IBM模型1 300 

    11.5.4 学习词汇翻译模型 301 

    11.5.5 其他更高级的IBM模型 304 

    参考文献 305
查看详情
12
相关图书 / 更多
藏语自然语言处理基本理论和方法
藏语文基础入门/农牧民文库
增巴才郎、斗尕机 著
藏语自然语言处理基本理论和方法
藏语播音主持基础知识
加央顿珠
藏语自然语言处理基本理论和方法
藏语类基础英语综合教程. 第2册
官却扎西 分册主编;乔令先 主编
藏语自然语言处理基本理论和方法
藏语900句
岗措 编著;范俊军 主编;葛小冲
藏语自然语言处理基本理论和方法
藏语噶尔话语法标注文本
龙从军
藏语自然语言处理基本理论和方法
藏语对照版最简实用普通话100句
杨亦鸣 刘朋建
藏语自然语言处理基本理论和方法
藏语言文字研究(藏文版)
拉巴次仁、格朗 编
藏语自然语言处理基本理论和方法
藏语甘孜话现状与历史研究
燕海雄 著
藏语自然语言处理基本理论和方法
藏语方言学(藏文版)
东主才让 著
藏语自然语言处理基本理论和方法
藏语新词术语社会知晓度及使用情况调查/国家语言资源监测与研究少数民族语言中心计算语言学系列丛书
孙媛 著;赵小兵 编
藏语自然语言处理基本理论和方法
藏语会话一本通(藏汉英对照)
洛桑庆绕 著
藏语自然语言处理基本理论和方法
藏语词法和形态
江荻