文章目录
语义通信定义语法、语义和语用语义通信与经典通信的差异语法通信和语义通信的不同语义通信的研究背景语义通信研究现状面向 6G移动通信的语义通信系统语义通信需解决的问题语义通信的分类语义知识库语义通信不同的实现方案语义通信和计算机领域语义信息表征的不同率失真函数互信息数据驱动的语义通信云、边、端相关概念面向任务(Task-oriented)的通信就信源发送数据的方式，语义通信的划分多模态信息融合语义通信定义
解释一：语义通信可以预先理解业务需求与环境，对信源的语义特征进行理解、提取及传输，同时保证信宿可以理解收到的信源语义特征，从而成功恢复基于语义的信源信息。通过对语义特征的准确提取与高效传输，语义通信将大幅度减少6G全新应用场景中视频、图片等大带宽业务的传输带宽需求，从而大幅度提高通信效率、改进用户体验。解释二：语义通信是指从信源中提取语义信息并编码，在有噪信道中传输的通信方式。传统的语法通信，要求接收端译码信息与发送端编码信息严格一致，即实现比特级的无差错传输。而语义通信与之相反，并不要求译码序列与编码序列严格匹配，只要求接收端恢复的语义信息与发送语义信息匹配即可解释三：语义通信的基本思想是在信源提取要发送的消息的语义信息，而不是传输消息的比特流，例如发送消息背后的含义或特征，并在信宿借助背景知识库解释语义信息。参考Multi-Modal and Multi-User Semantic Communications for Channel-Level Information Fusion解释四：语义通信的主要目的是实现收发端语义信息的准确交互，利用先进的人工智能（AI,
artificial intelligence）技术提取出原始数据中与接收端特定的智能任务最相关的信息进行传输，可有效压缩数据冗余，提升信息传输的有效性，减轻网络传输的压力，降低智能任务的处理时延
参考多模态语义通信研究综述
语法、语义和语用
语法(syntactic)：通信符号如何准确地传输语义(semantic、semantic level)：传输的符号如何精确地表达期望的含义语用(pragmatic、effective level)：接收的信息如何有效地以期望的方式影响行为语义通信与经典通信的差异
语义通信与经典通信最重要的差异在于，语义编码与译码模块基于海量数据训练的知识库，通过深度学习网络，提取与重建语义信息，该过程对经典信号传输提供强先验知识，有效提升传输有效性和可靠性。在发送端，语义提取模块基于知识库和深度学习网络，对信源消息提取语义特征。其中，语义提取模块根据信源冗余特性，采用不同结构的深度学习网络模型。例如，时序以及文本信源采用循环神经网络（RNN）网络模型、图像信源采用卷积神经网络（CNN）模型、图数据源采用图卷积网络（GCN）模型。在接收端，语义综合模块基于知识库和深度学习网络，对接收的语义信息进行重建。若信源具有多模态或异构性，则语义提取编码时还需要对多源数据进行语义综合。收发两端共享云端知识库，通过数据驱动的方法赋予神经网络特定场景下的先验知识。语法通信和语义通信的不同
参考: 北京邮电大学-张平 语义通信技术的发展趋势及应对之策 第38分钟
语义通信的研究背景
经典信息论指导下的通信技术已经日臻完善，例如，以Huffman编码、算法编码、矢量量化、 变换编码为代表的信源编码技术已经逼近信源熵/率失真函数，以低密度奇偶校验（LDPC）码、极化码为代表的先进信道编码技术已经逼近信道容量。这些先进技术推动以互联网、5G 为代表的现代通信科技取得了突飞猛进的发展。但是，经典信息论在研究范畴、研究层次与研究维度方面仍然存在局限。
参考面向未来的语义通信：基本原理与实现方法
语义通信研究现状
参考: 北京邮电大学-张平 语义通信技术的发展趋势及应对之策 第38分钟
面向 6G移动通信的语义通信系统
发送端，信源产生的信息首先送入语义提取模块，产生语义表征序列，接着送入语义信源编码器，对语义特征压缩编码，然后送入信道编码器，产生信道编码序列，送入传输信道。接收端，信道输出信号首先送入信道译码模块，输出的译码序列再送入语义信源译码器，得到的语义表征序列再送入语义恢复与重建模块，最终得到信源数据送入信宿。 信道编译码器属于经典通信系统（旨在消除无线信道造成的信号失真），而语义提取与编码模块则属于语义通信系统；经典通信信道通过统计转移概率建模，而语义信道则通过语义标签之间的逻辑转移概率来建模。
语义通信需解决的问题
语义的传输同时受到不同行业应用场景下传输带宽、收发端计算能力和存储能力的限制，需解决下述问题：①针对不同的行业应用场景，分析不同重要语义特征选取对语义误差的影响，明确语义传输误差与信道带宽、智能算法模型、算力需求及存储需求等多个资源参数之间的关系
②构建语义指导下的联合资源优化配置理论与机制
③评估语义误差、重要语义特征及语义传输效率的性能指标
语义通信的分类
现有的语义编码和译码模块主要是基于无模型（model-free）的机器学习方法来实现。这些基于机器学习的解决方案可以大致分为两类：模块化设计与一体化设计
模块化设计将语义编码和译码作为独立模块引入现有通信系统，语义编码和译码模块实现了语法和语义信息之间的相互转换，提升了文本、语音、图像传输的效率。(解耦式)一体化设计采用基于语义增强的信源-信道联合编码思路，语义编/译码模块与信源-信道编码模块联合设计，实现端到端传输优化。(紧耦式)
参考迈向6G智简网络——基于语义通信的网络新范式
语义知识库
定义
语义知识库是一种可为数据信息提供相关语义知识描述的结构化、具备记忆能力的知识网络模型
分类
面向语义通信的的语义知识库可分为信源、信道、任务知识库，分别为信源数据、信道传输环境、以及任务需求提供多层级语义知识表征
①信源数据可以为文本、图片、视频
②信道传输环境可以为传输中障碍物和散射体位置与形状信息、智能反射面位置信息与配置矩阵等
③任务需求可以为图片分类、三维重建、语义分割
语义通信不同的实现方案
方案一：端到端网络，信源信道联合编码方案二：模块化，将语义编码器当做高级的信源编码，后面跟信道编码方案三：模块化，在传统信源编码前加“语义提取器”参考: 上海交通大学陶梅霞-AI赋能的语义通信系统设计 第10分钟
语义通信和计算机领域语义信息表征的不同
语义通信与计算机领域语义信息表征有本质区别，后者以语法通信方式传输信息，未突破“语义信息度量”、“语义传输容量”等通信基础理论问题，语义信息传输与信道形态(移动、衰落、干扰等)难以达到最佳匹配，语义传输效果差可以理解成：语义通信加了信道
参考:语义通信重大项目_简化.pdf
率失真函数
定义
物理意义
信息率失真函数 R ( D ) R(D) R(D)是在 D ‾ ≤ D \overline{D}≤D D≤D的前提下，信宿必须获得的平均信息量的最小值，是信源必须输出的最小信息率（如果输出的最小信息率比 R ( D ) R(D) R(D)还小，那么 D ‾ \overline{D} D将大于D）
在保真度准则(香农第三定理)条件下的信源编码比无失真情况得到了压缩，同时R(D)是保真度条件下对信源进行压缩的极限值，即信源信息率可压缩的最低限度，它仅取决于信源特性和保真度要求，与信道特性无关。
参考:信息论基础 第9章信息率失真函数
参考:率失真理论
参考:香农三大定律与奈奎斯特定理
互信息
参考: 通信原理 第3章 信道-15.信道容量I
数据驱动的语义通信
信息论框架要么假设数据已知统计量和任务的相关特征，要么局限于参数估计框架，假设样本来自于同一种分布。另一方面，在大多数实际应用中我们无法获得统计信息，往往需要基于单个数据样本进行推断。
所以目前有种方法是考虑一个数据驱动的框架，在这个框架中我们可以获取一个大的数据集，然后使用机器学习工具来训练一个模型，以方便语义信息提取，而不需要数学模型。
参考：《Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications IV》
云、边、端相关概念
边缘计算：云、边、端相关概念理清
面向任务(Task-oriented)的通信
面向任务的通信是指6G中一种新兴的通信类型，其中不同的终端和网络节点之间以主动或被动的方式存在着多种显性或隐性的连接[1]。它可以被看作是与传统的面向连接的通信相对应的，在这种通信中，很容易根据他们打算通信的内容来分辨出一对明确的源和目的终端[1] 。
[1] Toward native artificial intelligence in 6G networks: System design, architectures, and paradigms
参考：Semantic Communications for Future Internet: Fundamentals, Applications, and Challenges (Page3 左栏最下面)
就信源发送数据的方式，语义通信的划分
single-modal and single-user semantic communicationsmulti-modal and multi-user semantic communications系统由一对发射机和接收机组成，其中发射器的数据是单模态的，例如语音、图像、文本等
多模态语义通信在存在多个单模态源的情况下工作，每个用户都是一个单模态源。接收到混合多模态信号后，通过
多用户信号检测可以检索到每个用户的单模态数据。
参考Multi-Modal and Multi-User Semantic Communications for Channel-Level Information Fusion
多模态信息融合
多模态数据的信息融合是指从不同信源提取最有意义的信息，然后进行组合，旨在生成信息量更大、对不同应用有益的单模态数据[1]
[1]Image Fusion Meets Deep Learning: A Survey and Perspective
在信息融合中，多模态数据的处理是级联、乘法等的组合。在无线通信系统中，传感器设备的位置通常是分布式的，因此数据必须传输到用于信息融合的接收器，例如移动边缘计算（MEC）服务器。
参考Multi-Modal and Multi-User Semantic Communications for Channel-Level Information Fusion
