type
status
date
slug
summary
tags
category
icon
password
1. 体育赛事相关服务内容目
目前找到的，与媒体或体育赛事播放相关的人工智能内容生产服务大致有以下三种：
- 比赛视频内容标记和自动剪辑
- WSC Sports
- 阿里云
- 百度云 VidPress
- 赛事自动拍摄
- AIGC
- Veo Sports Camera
- 思锐科技
- 赛事之窗
- 比赛语音智能转化及生成
- 百度
- Amazon SageMaker
- 其他
2. 比赛视频内容标记和自动剪辑
自动对于比赛直播的内容进行多模态识别，切片和标记，并在赛后实现的人工或自动快速剪辑。
2.1. WSC Sports
- 服务内容
- WSC的ClipPro平台会在一场比赛中产生大量带有标签的视频片段，根据这些标签来制作集锦。
- 核心技术
- ClipPro平台的输入是各种比赛的直播或录播的视频数据和音频数据，以及统计数据和社交媒体内容，然后使用人工智能来标记带有详细信息和评级的剪辑。
- 比赛项目
- 合作方（面向掌握体育赛事播放权的广播公司和流媒体）
- WSC Sports 专有的 AI 技术平台可为全球 200 多个联赛和转播合作伙伴自动创建和分发精彩片段，其中包括 NBA、NHL、ESPN、YouTubeTV、德甲、FIBA 和腾讯体育。
- YouTube、Amazon等平台提供大规模短视频自动化生产与分发服务。
- 软硬件
- ClipPro（基于云的编辑和检测工具，直播切片和内容标记）
- ClipPro是一个在线平台，使数字制作团队能够实时编辑来自直播的视频，并立即发布到 Brightcove 的在线视频平台，社交媒体或将其无缝推送到任何其他在线视频平台，应用程序或网站。
- 该技术自动识别体育比赛中的事件，并使用元数据对其进行分类。
- AVGen (自动视频生成器)
- 集锦生成 (可以选择特定的人, 动作, 时间等)。
- Graphics 360 商业包装
- 自动生成特定人或团队的介绍, 视频, 缩略图。对球员, 团队进行商业包装。
- Google web story (非主要服务)
- WSC Sports 以故事格式创建实时精彩片段，这些精彩片段将出现在 Google 搜索的现场比赛中，并且会随着比赛的进行不断更新。
- Google web story 是在谷歌搜索中出现的模块。表现形式是以图片或10s内的视频作为背景, 写上介绍文字的动态卡片。
- 应用形式
- 腾讯 （ClipPro 和 AVGen）
- 使用WSC平台工具生成大量球星个人集锦, 产球队个人集锦，各类得分集锦，各类比赛核心事件集锦,，并栏目化。
- 使用WSC的数据生成网页对单场比赛内容做汇总（WSC只了负责集锦部分，且集锦视频名称推测为人工生成）。
- 记者和编辑（ClipPro）
- ClipPro 会自动生成并向推荐最相关的定制视频, 他们可以将这些视频嵌入任何文, 报告, 统计表或故事情节中. 例如, 如果文章谈论科比·布莱恩特的三分球, 该工具会立即生成科比在上一场比赛/上个月/有史以来所有三分球的视频滚动, 编辑器可以立即将其嵌入文章中.
- Okko Sport（ClipPro + Google web story）
- 生成体育赛事集锦, 并制作成google web story形式.
2.2. 阿里云
- 服务内容
- 在2018年俄罗斯世界杯期间，对比赛直播进行剪辑自动生成集锦。
- 核心技术
- 对帧图景深、位置、事件、红黄牌、不同角色行为、禁区危险画面及球星人脸的标注，也包含对音频中关键词、音频事件等的人工标注。
- 在视频的图像识别中，通过识别视频中已注册的球星并进行人物追踪，同时做了一定程度的容错处理和补偿优化，并针对不同位置的球星微调追踪模型，最终对球星在视频中出现的时间线、幅面坐标及置信度进行综合的动态分析。
- 在解说词识别中， 则使用了世界杯场景的语音识别模型，该模型对球员名称、足球术语、解说员的语速/语气/语调等进行了额外的训练和优化，尤其是在声学模型上针对足球场景下的球场及观众噪声进行了适应性训练，使得其最终对世界杯解说词的识别准确率提升了超过10个百分点。
- 球星集锦的实现通过对世界杯场景进行深入理解和分析，从比赛视频、解说词音频、球星库及人物场记等各个维度进行识别与分析，并利用多模态融合技术，从而实现复杂场景下的集锦效果。
- 比赛项目
- 足球
- 合作方
- 央视体育频道
- 软硬件
- 未显示
- 应用形式
- 生成特定球员于本场比赛的集锦，在比赛后的1到2天内，发布优酷上。（人气不佳）
2.3. 百度云 VidPress
- 服务内容
- 视频切片和标注
- 使用VidPress平台，自动生成剪辑视频。
- 核心技术
- 视频切片和标注
- 数据集：包括500场来自2014到2017年三个赛季的欧洲足球五大联赛和欧洲冠军联赛的视频，视频总时长达到764小时，人工标注达30万个。
- 在 SoccerNetv2 数据上微调了五种预训练的特征提取器模型：TPN、GTA、VTN、irCSN 和 I3D-Slow。
- VidPress Sports团队的模型能够处理事件定位和回放溯源（不同角度回放精彩片段）这两个方面的任务，并采用了 Transformer 结构。
- SoccerNet-v2 足球视频理解竞赛两项任务的冠军。
- 论文：https://arxiv.org/pdf/2106.14447v1.pdf
- 比赛项目
- 足球
- 合作方
- 未知
- 软硬件
- 在线 VidPress 平台（可以通过表格文字等生成、剪辑视频）
- 应用形式
- 不过，无法从百度体育的集锦视频等途径中推测出是否使用了自动切片标注和自动剪辑。最近的篮球比赛，精彩片段的集锦也不多。
- 在智能创作平台https://ai.baidu.com/creativity/index中没有找到自动视频标注和剪辑的功能。
- SoccerNet-v2比赛举办与2021年中旬，可能自动标注与剪辑功能还在测试中。
3. 赛事自动拍摄
模仿摄影师的推拉摇移等专业拍摄手法，自动选取有效的画面进行视频输出。
3.1. AIGC（央视网人工智能编辑部）
- 服务内容
- 智能拍摄，依托AI技术模仿摄影师的专业拍摄手法，进行自动拍摄。
- 核心技术
- 图像识别，自动拍摄。
- 借助多目高清全景镜头拍摄，可以对拍摄画面实时拼接处理，实时形成全景画面。
- 合作方
- 未显示
- 软硬件
- 未显示
- 应用形式
- 节目自动录制
- 现场直播
3.2. Veo Sports Camera
- 服务内容
- 智能拍摄，数据分析
- 核心技术
- 两个4K摄像头以一定角度放置在一个盒子里，抬高到距球场23英尺的高度，使摄像机能够以180度的全景拍摄整个球场。
- 使用针对比赛开发的人工智能技术，放大和跟踪行动开始。
- 使用65000场足球赛的数据来训练模型，使用模型来分析比赛数据。
- 比赛项目
- 足球、篮球、橄榄球。
- 合作方
- Veo与至少10家美国职业足球大联盟(MLS)以及一些世界上最大的足球联赛(如意甲、英超、法甲、德甲和西甲)的俱乐部都有合作协议
- 软硬件
- Veo Cam 2 相机（两个4K视频传感器180度视角、Nvidia芯片等硬件）
- Live-streaming 直播观看app
- Veo Editor 编辑器
- 借助 Veo Analytics可以查看比赛进攻次数的可视化、二维地图、球员平均位置和动作统计、比赛事件概览和各种数据统计。
- 相机加年费服务，1,887欧元起。
- 应用形式
- 运动员
- Nathan Wade 利用Veo的技术改进自己的技术，并将数据发给俱乐部用来获得签约机会。
- 团队
- 分析比赛和分享比赛片段。
3.3. 思锐科技
- 服务内容
- 智能拍摄，数据分析
- 核心技术
- 使用多人姿态捕捉技术，根据球衣颜色区分主队客队，可生成2D图
- 比赛项目
- 足球、篮球
- 合作方
- 短视频和视频平台。
- 软硬件
- AI摄像机一台、服务器一台、交换机一台及配件。
- 价格：25000元/套，无年费。
- 应用形式
- 官网和bilibili上有一些比赛视频
3.4. 赛事之窗
- 服务内容
- 足球场景分析，视频剪辑分享功能。
- 核心技术
- 使用独创ZAP运动视觉感知算法聚合引擎。
- 人脸识别
- 肢体重建
- 三维场景重建
- 事件概率算法
- 实时趋势预测
- 搭载自研高性能AI智能摄像头。
- 搭载海豚AI健康检测系统，基于3D视觉技术全自动检测青少年的体型体态，并给出分析报告。
- 比赛项目
- 足球
- 合作方
- 投资：商汤科技、深圳市政府基金
- 1100+行业顶级客户（具体未显示）
- 主要针对职业青训、校园足球以及大众足球
- 软硬件
- 多目4K摄像头拼接、180°全景拍摄。
- app拥有对视频片段自动标记和剪辑功能。
- 价格未知。
- 应用形式
- 实时跟踪拍摄赛场的各项数据，传入终端供教练裁判使用。
- 比赛时：标注高亮球员，传球示意，区域标注。
- 比赛后：对比赛视频进行深度分析（使用目标检测追踪，事件检测和三维重建）
4. 自动比赛解说生成
代替或辅助真人解说员，对体育比赛进行解说。
4.1. 百度
- 服务内容
- 通过跟踪、抓取、整合多个平台的资讯、技术数据、图片、视频、评论，并且基于篮球领域专业知识，使用自然流畅的人类语言和表情包进行书面讲解。
- 核心技术
- 使用NBA和伦敦奥运会篮球赛事的相关比赛文字解说作为训练集
- 比赛项目
- 篮球
- 合作方
- 央视
- 软硬件
- 前端为app
- 应用形式
- 2016年里约奥运会自动生成篮球比赛进行解说，不过存在延迟，无法实时解说。
4.2. Amazon SageMaker
- 服务内容
- 比赛解说
- 核心技术
- 数据集：使用不同的统计数据、特征值、球队和球员姓名生成了包括 8 个特征的 57,000 多个样本。
- 使用自然语言生成 (NLG) 设计和实现端到端 ML 系统, 使用预训练模型, 对少数数据进行微调之后, 就可以产生比模板更自然的比赛解说.
- 比赛项目
- 橄榄球、篮球
- 合作方
- Fox Sports
- 软硬件
- 未显示
- 应用形式
- 通常篮球等比赛的节奏很快，而解说员会依靠模板生成的叙述来实时谈论游戏中的统计数据，但这些基于模板产生的句子有时听起来很僵硬且难以理解。为了改善广播体验，Fox Sports 求助于 AWS 及其人工智能技术，将比赛实时数据转换为易于理解的叙述形式。
- 使解说员可以快速地在球队和球员之间解说，以改善观众的体验。
4.3. 其他
- 服务内容
- AI体育解说
- 上海交通大学CVPR论文
- 核心技术
- 时空实体定位与角色挖掘子网络：确定运动员的位置和角色。
- 细粒度的动作建模子网络：描述快速运动的骨骼和变换的位置。
- 一组关系建模子网络：对运动员之间的关系建模。
- 比赛项目
- 篮球
- 应用形式
- 数据集：在 YouTube 上收集了 50 个高清的 NBA 比赛视频，从中选择出 2000 个包含多样的细致动作的片段，并根据篮球解说的方式进行了标注6520 个句子。平均每个视频片段 3.16 个句子，29.7 个描述性词语。
- 实验结果
