亿联全新一代中型会议室视讯终端 MeetingEye 600,采用2000万超广角镜头与10倍变焦镜头组合,双摄协同,兼顾会议室全景与细节呈现;支持双 4K 超清视频通话和内容分享,更集成人脸检测、声源定位、语音追踪等多项AI技术,搭配全自动开合镜头隐私盖,保障日常会议信息安全,提供更智能更安全的会议体验。MeetingEye600采用一体化设计,集成视频编解码器/双摄像机/麦克风/扬声器/Wi-Fi/蓝牙,支持多种无线投屏技术,无线化部署,快速便捷分享,化繁为简,是中型会议室的理想之选。
亿联全新一代中型会议室视讯终端 MeetingEye 600,采用 2000 万超广角镜头与10倍混合变焦镜头组合,双摄协同,兼顾会议室全景与细节呈现;支持双 4K 超清视频通话和内容分享,更集成人脸检测、声源定位、语音追踪等多项AI 技术,搭配全自动开合镜头隐私盖,保障日常会议信息安全,提供更智能更安全的会议体验。MeetingEye 600采用一体化设计,集成视频编解码器/双摄像机/ 麦克风/扬声器/Wi-Fi/蓝牙,支持多种无线投屏技术,无线化部署,快速便捷分享,化繁为简,是中型会议室的理想之选。
国产化设计,信创支持
本方案的视频终端是采用自主研发生产的产品,具备自主知识产权及多项专利技术。硬件终端本身采用多种加密方式,有效抵制网络病毒和黑客等的攻击,具备严格的授权和认证机制,并通过权威机构的安全认证。
新一代MCU服务器实现全产品支持国产化应用,满足信创认证要求:
信创,全称是信息技术应用创新产业。主要包括新一代信息技术下的云计算、软件(操作硬件终端、中间件、数据库、各类应用软件)、硬件(GPU/CPU、主机、各类终端)、安全(网络安全)等领域推进和提倡行业的创新发展,提升信息技术软硬件的信息安全管理的技术防护能力。通俗来说,就是在上述领域实现国产化替代。不容置喙,音视频会议也是其中一个重要的组成部分。
在国家政策大力支持和数字“新基建”全面启动下,信创产业发展上升到国家战略。信创产业迎来了现象级的蓝海,供应商基于音视频行业的领导优势,积极响应国家政策,致力于帮助各地政府打造信创产业新高地。
供应商作为音视频行业的领导者之一,对相关行业标准进行了梳理,参与相关国产化标准/信创音视频会议硬件终端的标准的制定,加入信创WG18音视频会议硬件终端小组。有效推动解决了国内企业在各自解决方案上自成一派,技术和产品形态缺乏统一的标准的痛点问题。
目前,供应商正在积极与国产的操作硬件终端和CPU厂商等信创软硬件厂商进行产品底层互测认证,深度适配信创工作中政府机关、央国企、头部企业的视频会议协作需求。
业界标准信令协议支持
在方案设计选型上充分考虑技术先进性,选择具有业界领先水平的产品构建硬件终端。保证硬件终端高性能的音视频质量并保证在一定的时期内具有领先行性和可用性此次提供的统一视频终端的解决方案必须完全符合ITU-T H.323、IETF SIP、XMPP标准框架协议。必须采用业界标准的视频编解码协议H.265、H.264HP、H.264、H.264SVC、H.263+、H.263和音频编解码协议Opus,G.722.1C,G.722.1,G.722,G.711;整个硬件终端的设计具有前瞻性,确保硬件终端在今后相当长的时间内技术不会落伍。支持国际标准的H.323和SIP双协议工作,无需增加网关进行私有协议转换,充分保护投资。
为保证硬件终端的功能的发挥,该硬件终端应当是一个便于应用的硬件终端。因此,无论是在设备的管理、配置,还是在用户操作、易用性上;无论是在专业的人员的运维,还是非专业人员的使用上,均具有灵活易用的手段。例如:全硬件终端的协议自动协商,免除复杂的配置;会议中支持中文标识、中文提示等中文服务,且全硬件终端设备均能提供基本应用的友好界面。视频会议的召开可以是无人值守的自主会议,还可以是个人自行发起随意召集控制的会议。硬件终端在面向各管理层次使用时,其功能配置以能给用户提供舒适、安全、方便、快捷为准则,操作简便易学。
先进性决定了性能和效果,易用性决定了这些性能和效果的发挥。两者相得益彰。
IETF SIP
SIP(会话起始协议)是IETF(互联网工程任务组)制定的多媒体信号协议。由于这个协议具有简单和模块化的特点
SIP(Session Initiation Protocol)是一个应用层的信令控制协议。用于创建、修改和释放一个或多个参与者的会话。这些会话可以是Internet多媒体会议、IP电话或多媒体分发。会话的参与者可以通过组播(multicast)、网状单播(unicast)或两者的混合体进行通信。
SIP与负责语音质量的资源预留协议(RSVP)互操作。它还与若干个其他协议进行协作,包括负责定位的轻型目录访问协议(LDAP)、负责身份验证的远程身份验证拨入用户服务 (RADIUS) 以及负责实时传输的 RTP 等多个协议。
ITU-T H.323
H.323是国际电信联盟(ITU)用于音频、视频和在数据包(IP)网络上共享数据的总括标准。
H.323硬件终端的组成部件称为H.323实体(entity),包括: 终端、 网关(GW)、 网守(GK)、多点控制器(媒体控制)、多点处理器(MP)、多点控制单元(MCU)。其中,终端、网关和MCU统称为端点,端点可以发起呼叫,也可以接受呼叫,媒体信息流就在端点生成或终结。网守、媒体控制和MP则不可呼叫,但网守参与呼叫的控制,具有运输层地址,是可寻址的H.323实体。
H.263
263硬件终端有很多的视频编码的标准,它们每个都是为了特定的应用而设定:比如说,JPEG是为静态图片设定的,MPEG2是为数字电视信号设定的 ,H.261是为ISDN视频会议硬件终端设定。H.263是特别面向低码率的视频编码而设定的(通常只有20-30kbps或更高) H.263标准指明了对于视频编码和解码器的需求
H.263+
ITU-T 在H.263发布后又修订发布了H.263标准的版本2,非正式地命名为H.263+标准。它在保证原H.263标准核心句法和语义不变的基础上,增加了若干选项以提高压缩效率或改善某方面的 功能。原H.263标准限制了其应用的图像输入格式,仅允许5种视频源格式。H 263+标准允许更大范围的图像输入格式,自定义图像的尺寸,从而拓宽了标准使用的范围,使之可以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。为提高压缩效率,H.263+采用先进的帧内编码模式;增强的PB-帧模式改进了H.263的不足,增强了帧间预测的效果;去块效应滤波器不 仅提高了压缩效率,而且提供重建图像的主观质量。为适应网络传输,H 263+增加了时间分级、信噪比和空间分级,对在噪声信道和存在大量包丢失的网络中传送视频信号很有意义;另外,片结构模式、参考帧选择模式增强了视频传输的抗误码能力。
H.264
更高的编码效率:同H.263等标准的特率效率相比,能够平均节省大于50%的码率;
高质量的视频画面:H.264能够在低码率情况下提供高质量的视频图像,在较低带宽上提供高质量的图像传输是H.264的应用亮点。
提高网络适应能力:H.264可以工作在实时通信应用(如视频会议)低延时模式下,也可以工作在没有延时的视频存储或视频流服务器中
H.264 High Profile
H.264HighProfile是目前H.264各种profile中编码最高效的Profile。在H.264MainProfile的基础上增加了8×8帧内预测、自定义量化矩阵、无损视频编码、支持输入图像为YUV400格式。与其它标准相比,在相同失真率条件下H.264HighProfile的编码效率提高了50%左右。
H.264 SVC
SVC即ScalableVideoCoding(可适性视讯编码或可分级视频编码)是传统H.264/MPEG-4AVC编码的改良,可提升更大的编码弹性,并具有时间可适性(TemporalScalability)、空间可适性(SpatialScalability)及讯杂比(质量)可适性(SNRScalability)三大特性,使视讯传输更能适应在异质的网络带宽。
H.265
H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264,保留原来的某些技术,同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系,达到最优化设置。具体的研究内容包括:提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。H.264由于算法优化,可以低于1Mbps的速度实现标清(分辨率在1280P*720以下)数字图像传送;H.265则可以实现利用1~2Mbps的传输速度传送720P(分辨率1280*720)普通高清音视频传送。
ITU-T G.728
1992年ITU-T发布的电话声音信号编码方式推荐标准。采用LD-CELP编码方式,采样率8KHz,以16kb/秒的速度传送声音信号,传送延迟时间极短,仅有0.625 ms 的算法编码延迟。
ITU-T G.711
标准公布于1972年,其语音信号编码是非均匀量化PCM。语音的采样率为8KHz,每个样值采用8bit量化,输出的数据率为64kbps。这种窄带编码支持对300到3,400赫兹的音频进行压缩。但虽然压缩质量不错,但是消耗的带宽相对较大,主要用于数字PBX/ISDN上的数字式电话。
ITU-T G.722
ITU-T G.722标准是第一个用于16 KHZ 采样率的标准化宽带语音编码算法,1984年被CCITT定义为标准,而且现今还在使用。.G.722 编解码器在16 kHz频率上接收16 位数据(带宽从50 Hz 至7 kHz),并将其压缩为64、56 与48 Kbit/s,其总延迟约3 ms,能够提供更好的通话质量。
G.722的优点是延时和传输位误差率非常低,且没有任何的专利技术,费用低廉。因此G.722在无线通信硬件终端,VoIP生产商,个人通信服务,视频会议应用等广泛应用。
G.722.1
G.722.1采用16 KHZ 采样频率,16 位数据量化,支持从50Hz 至7kHz频率范围的音频采样,并将其压缩为32与24Kbit/s。它采用20 ms封帧,提供40ms的算法延迟。G722.1可实现比G.722 编解码器更低的比特率以及更大的压缩。目标是以大约一半的比特率实现与G.722 大致相当的质量。
AAC-LD
AAC(Advanced Audio Coding,高级音频编码)是由Fraunhofer研究院(MP3格式的创造者)、杜比(DOLBY)试验室和AT&T(美国电话电报公司)共同研发出的一种音频压缩格式,是MPEG-2规范的一部分,并在1997年3月成为国际标准。随着MPEG-4标准在2000年成型后MPEG2 AAC也被作为核心编码技术,并增加了一些新的编码特性,又叫MPEG-4 AAC。
OPUS
Opus集成了两种声音编码的技术:以语音编码为导向的SILK和低延迟的CELT。Opus可以无缝调节高低比特率。在编码器内部它在较低比特率时使用线性预测编码在高比特率时候使用变换编码(在高低比特率交界处也使用两者结合的编码方式)。Opus具有非常低的算法延迟(默认为22.5 ms),非常适合用于低延迟语音通话的编码,像是网上上的即时声音流、即时同步声音旁白等等,此外Opus也可以透过降低编码码率,达成更低的算法延迟,最低可以到5 ms。在多个听觉盲测中,Opus都比MP3、AAC、HE-AAC等常见格式,有更低的延迟和更好的声音压缩率。
RTP 实时传输协议
RTCP 实时控制协议
SIP 多媒体交互会话会话控制协议
TCP/IP:传输控制协议/网间协议
FTP:用于在网络上进行文件传输的一套标准协议
SNMP:简单网络管理协议
Telnet:是Internet远程登陆服务的标准协议
HTTP:超文本传输协议
HTTPS:安全超文本传输协议
RTP:实时传输协议
RTCP:实时传输控制协议
防火墙智能穿越技术
ICE流程 Interactive Connectivity Establishment(交互式连接建立)。
当NAT及防火墙穿透后,可根据应用程序的配置进行本地端到对端的P2P通信,而无需通过其他公网服务器进行中转。
媒体流P2P传输
媒体流通过relay中转
ICE流程
ICE流程,如上图:
Client A进行地址信息收集。主要有三种地址类型(host:即本地的网卡地址;srflx:即在NAT外,STUN/TURN服务器看到的客户地址;relay:即客户端向TURN Server申请的relay地址)。
Client A将收集到地址信息通过第三方服务器(如SIP Server)发送给Client B,如发起INVITE。
Client B收到对方的INVITE,B开始进行地址收集。
Client B将地址信息通过服务器(如SIP Server)发送给Client A,如回复200 OK。同时提取A的地址信息,B开始进行ICE连接性检查。
Client A收到Client B的200 OK,提取出对端的地址信息,进入ICE连接性检查。
A和B ICE连接性检查成功,进入媒体传输。
TURN Server分析
站在服务器的角度上,服务器只关心3478端口以及relay端口。
TURN Server上处理数据流程图
3478端口上收到的数据:
如果是Send Indication,则取出属性DATA字段里的数据,判XOR-PEER-ADDRESS地址是否有权限,有则将DATA数据通过relay地址发向Indication属性里的XOR-PEER-ADDRESS指定的地址(可能是peer的host,srflx或relay地址)。【注:这里面的DATA数据有可能是STUN消息,也有可能是其他数据(如RTP数据),取决于客户端封包,服务器并不关心DATA里的数据(一般情况下,在进行连接性检查过程中,DATA里面的数据都是STUN消息,当连接性检查结束后,DATA里的数据有可能是RTP数据)。】
如果是ChannelData数据,则直接将ChannelData数据通过relay地址发送到Channel Bind Request消息绑定的XOR-PEER-ADDRESS地址。【ChannelData也可以用于在连接性检查阶段发送STUN消息,也可以是连接性检查完后,承载RTP数据,它的效率比Send/Data Indication高】。
如果是其它的STUN消息,则直接进行处理,回复响应消息。
注:3478端口上的数据来源是客户端。
Relay端口上收到数据的处理
relay端口上收到数据:
判断包源地址是否有权限,有权限则进入(2),否则丢弃包。
判断包的源地址是否与某个channel number绑定,如果有绑定,则将消息封装成ChannelData消息,否则将数据封装成Data Indication消息。
Data Indication消息(或者ChannelData消息),通过3478端口(以3478端口作为源地址端口来发送,没有涉及到数据的传递)发送到客户端(relay这侧的客户端)。
MeetingEye 600创新性地搭载了双摄硬件终端,通过133°超广角镜头将会议室内人员尽收眼底,配合10倍变焦摄像机在较大会议室内也可放大局部查看细节。同时可根据与会人员脸部信息自动优化画面亮度,确保在昏暗或逆光环境下与会人员依然清晰可见。
内置8颗单指向麦克风组成线性麦克风阵列,拥有更强的消噪及去混响能力。全新升级的Beamforming算法可实现更加精准的定向拾音,配合多通道回声消除后处理技术和去混响算法,带来6米全双工通话。
集成人脸检测、声源定位、语音追踪等多项AI智能技术,能根据参会人数与位置变化自动调整画面大小,呈现最佳取景,也可实时检测发言者位置呈现特写,免去手动调节摄像机操作,让与会人员更专注于会议内容。同时,通过双摄硬件终端的协同工作,可根据画面需要选择使用合适的摄像机进行画面输出,提供更好的追踪效果。
摄像头隐私保护盖自动开合,进入视频会议时自动打开,在非视频会议场景下保持闭合状态,镜头状态一眼可见,免除日常会议中的“镜头焦虑”。