名称描述
error有未捕获错误时触发。
bye会话结束时触发。
intialSucccess数字人初始化成功。可以在这个事件的回调中调用start方法
show出数字人已显示。
progress数字人加载进度。
speakSection数字人说话当前的音频和文本片段(answer方法会采用流式获取结果,如果单独调用speak,该事件与speakStart一致)
speakStart驱动数字人说话,到数字人实际说话之间有一点延迟,此事件表示数字人实际开始说话了
speakEnd数字人说话结束
asrStart单句语音识别开启
asrData单句语音实时识别结果
asrStop单句语音识别结束
report每秒报告RTC网络/画面质量等信息

error

{
  code: '', // error code 
  message: '', // error message 
  data: {} // error data
}

error code

名称描述data
3001RIC连接失败
4001开始会话失败
4005鉴权失败
4007服务端会话异常结束code: 100305 模型文件未找到
4008获取麦克风流失败
4009浏览器基于播放策略无法自动播放请先考虑静音播放或用户操作调用start方法

progress

number类型的进度,0-100

speakSection


{
  audio: '', // audio src
  content: '', // audio content
}

speakStart


{
  audio: '',
  content: '',
}

speakEnd


{
  audio: '',
  content: '',
}

asrData

每段文本的识别,会以一个asrStart开始,一个asrStop结束,中间有一个或多个asrData(递增式的推送),可以在asrData事件中,获取语音识别结果,用于展示。


{
  content: '',
}

report

{
    "video": { // Video related information
        "download": {
            "frameWidth": 1920, // width
            "frameHeight": 1080,// high
            "framesPerSecond": 24,// frame rate
            "packetsLost": 0, // Total number of lost packets
            "packetsLostPerSecond": 0 // Total loss rate
        }
    },
    "connection": { // linkage information
        "bytesSent": 206482, // Total number of bytes sent
        "bytesReceived": 79179770, // Total bytes received
        "currentRoundTripTime": 3, // Packet round trip time (milliseconds), the larger the time, the more delayed the screen
        "timestamp": 1688043940523,
        "receivedBitsPerSecond": 2978472, // Receive bit rate (number of bits received per second, 1Mb = 1024^2 bits)
        "sentBitsPerSecond": 7920 // Send bit rate (number of bits sent per second, 1Mb = 1024^2 bits)
    }
}

注意: 未在上述详细列出的事件参数均为空