世界杯桌面装饰(技术流看个世界杯,都不知比你高到哪里去)
更新时间:2022-10-11 19:11:35安妮 发自 凹非寺
量子位 出品 | 公众号 QbitAI
4:3,梅西回家了;2:1,C罗也回家了,这届世界杯真是激烈又精彩。
但对于无法前往现场的(伪)球迷们,只能屈身于手机、电视的平面看直播了吧?
在新技术应用一个接一个的今天,到底有没有更新、更技术的方式,重新定义一下看个球?
试想一下:如果可以通过AR设备,将赛况实时投到桌面上,并且随你移动,还能尽览不同视角、不同距离的全场景球况,该是多么过瘾的一种选择。
就像这样——
再如这样——
噫……这是把世界杯搬到了任意桌面了么?而且还能各个角度绕着球场看比赛——就算身在现场也做不到啊!
恭喜你,这种“上帝视角”,可能不久就能实现了。
就在最近,华盛顿大学、Google和Facebook的研究人员开发了一套桌面足球系统,能将世界杯视频重建,转换成动态3D视频。通过AR设备,可以看到渲染后的球员动作和场地效果。
拥有了这个系统,感觉宛如拥有了整个球场,这到底是怎么做到的?
3D转换的秘笈
桌面看球的大思路其实很简单。
只要充分利用球场部署的多角度相机,之后通过多视角几何技术,对场地和玩家进行三维重建,2D世界杯就升级为3D场景了。
因此,研究人员提出了这样的思路——
先收集Youtube上世界杯球赛视频,根据场地线来推断相机的位置等参数。
随后,提取视频中的边界线、球员姿势和运动轨迹,将球员和场地分割,方便下一步加工。
“质壁分离”后,对球员进行单独的渲染处理来实现立体效果。研究人员用视频数据训练深度神经网络模型,在球场上重建每个球员的景深图,为实现360度无死角看球打基础。
最后,如果你有AR设备……用AR设备或者3D查看器渲染一下,3D看球美美哒。
思路没错,但紧接着问题就来了:
想训练神经网络模型根据球员图像来估计他的景深图,最理想的数据集里,应该包含着一对对的球员照片vs.景深图。
这样的数据集上哪找?
研究人员想到了EA出品的FIFA系列游戏。截取FIFA游戏引擎与GPU之间的调用信息,不就能从视频游戏的框架中提取景深图了嘛。
△ 从FIFA系列游戏中提取图像及深度
机智。
现在数据完备,就差个能够预测景深的神经网络了。
研究人员选取了“沙漏网络模型”,用一连串残差模块,像一个个沙漏一样来处理输入,经过8个“沙漏模块”实施降低输入的分辨率、放大等步骤,输出的,就是我们所需要的景深图。
重建3D球赛,Go!
准备阶段完成后,研究人员开始重建3D场景。整个流程一气呵成,犹如进入了快餐店后厨——
大概分为以下几步:
- 1.相机位置估计:用一个合成的平面场模板预估真实场景中每帧的参数,进一步找到相机在每个连续帧中的姿态。
- 2.球员检测和追踪:提取球员的边界box检测到的关键点/骨架,基于姿态信息对初始的边界框进行细化,再根据提取的边框序列预计球员的运动轨迹。
- 3.实时实例分割:预估每个球员用于深度预估网络的分割掩码,借助语义分割和前一步的姿态估计。
- 4.网格生成:将上一步的前景掩码与原始裁剪图像混合,放入一开始预先训练好的神经网络中进行训练。
- 5.形成3D轨迹:减少相机位置和边界框定位时不精确带来的球员抖动,对3D球员轨迹进行平滑处理。
一连串操作至此,3D合成大功告成。
研究人员将此模型的3D生成结果与原视频和不同方法合成的结果进行了对比。
△ Youtube视频上真实处理结果
渲染后得到最后的效果图:
△ Youtube视频帧(最上一行)及渲染结果(第2~4行)
毫无疑问,这种方法可以得到更精确和完整的深度估计,重建的效果也最好。
美中不足
虽然场景不错,但这项技术目前并不完善,还不能让你随心畅看。
Bug 其实很明显,刚在观看效果的时候,各位有没有看见足球?
——冇。
没错,目前这套系统最大的问题就是还没有对足球进行处理,球的轨迹无法渲染出来,场上一票球员如同在踢“空气球”。
此外,系统对球员及守门员的(位置)把控不够准确,被遮挡的球员显示不完整。这就导致球员有时球员会突然消失,然后突然出现,犹如习得传送大法。
△ 迷离消失的守门员
在论文中,研究人员表示,目前这项技术还在不断改进和升级中,下一部的计划是:
- 改善画面重建的品质
- 实现实时3D重建
- 预估足球的位置
- 让这项技术也能用于其他运动,让篮球、橄榄球、排球等等运动的球迷也能同此待遇。
华盛顿大学出品
这项研究的论文Soccer on Your Tabletop发表在CVPR 2018上,作者有四,均属于华盛顿大学(张亚勤母校)的GRAIL lab实验室,分别为Konstantinos Rematas、Ira Kemelmacher-Shlizerman、Brian Curless和Steve Seitz.
△ 一作Konstantinos Rematas
如果觉得这项研究和你胃口,可移步传送门深入挖掘。
论文地址:
http://grail.cs.washington.edu/projects/soccer/soccer_on_your_tabletop.pdf
代码地址:
https://github/krematas/soccerontable
— 完 —
实习生招聘
量子位正在招募市场运营实习生,策划执行AI明星公司CEO、高管等参与的线上/线下活动,有机会与AI行业大牛直接交流。一份丰富的实习经历等你解锁~
工作地点在北京中关村。简历欢迎投递到quxin@qbitai
具体细节,请在量子位公众号(QbitAI)对话界面,回复“实习生”三个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
相关推荐
-
2o18足球世界杯实况(《实况足球》——一首写给世界杯的情书(1998))
查看详情
-
世界杯预选赛直播男篮中国对巴(世界杯又来了!国足今晚首战马尔代夫)
查看详情
-
2夺欧洲杯4获世界杯(俱乐部的成就引领国家队的辉煌——世界杯巡礼之西班牙篇)
查看详情
-
世界杯8分之一比赛比分(世界杯小历史,1990世界杯1/8决赛,艰难的胜利,普拉特漂亮一击)
查看详情
-
篮球世界杯中国最多几强(支持杜峰下课,但是中国男篮从世界第八沦为亚洲第八这个锅不该背)
查看详情
-
葡萄牙vs乌拉圭首发(出战世界杯稳了!孙准浩替补踢半场长传成功率高 一优势有望获重用)
查看详情
-
中国男足VS沙特男足动漫图片(这部足球动画让日本队踢进了世界杯)
查看详情
-
世界杯进球最多的赛事(历届世界杯决赛里面11大进球最多的比赛)
查看详情
- 最新资讯
-
- 2022-11-15 世界杯8分之一比赛比分(世界杯小历史,1990世界杯1/8决赛,艰难的胜利,普拉特漂亮一击)
- 2022-11-15 12年奥运会金牌哪个国家最多(世运会最终奖牌榜:中国第十,乌克兰第三,德国力压美国排名榜首)
- 2022-11-15 我对穆帅有种特殊的感情(纵你虐我千百遍,我仍待你如初恋!穆里尼奥:希望曼联早日复兴)
- 2022-11-15 菲律宾韩国街在哪里(韩国 | 九月初的济州岛,时有风,偶有雨)
- 2022-11-15 欧联杯冠军进欧冠什么时候(欧冠赛与欧联杯的区别,你知道多少?)
- 2022-11-15 为什么nba篮球员妻子都爱(为何科比的妻子那么受欢迎呢,十几个人追求?拥有三个魅力原因)
- 2022-11-15 5号篮球和7号篮球图(2022-2023赛季NBA每支球队的城市版球衣)
- 2022-11-15 花式运球有错吗(指责队友犯规,自己花式运球失误?郭艾伦的脾气决定辽篮上限)
- 2022-11-15 我想看霹雳赛车(嘲讽值拉满,魏国黑科技霹雳车,守九宫八卦能打赢满红吴骑)
- 2022-11-15 马内造红牌 破门(马内遭“爆头”仍坚持比赛15分钟并进球,球迷痛批塞内加尔换人不及时)
- 推荐攻略
-
-
乌克兰总统身亡(乌总统泽连斯基解除乌总检察长及国家安全局局长职务)
-
足球比赛每个半场多少分钟(足球比赛每半场几分钟)
-
2021中超今天哪里转播(今晚!中超2场对决,CCTV5 直播申花PK武汉,腾讯体育亚泰vs天津)
-
2022梅西坠机身亡事件结果(足坛变天!巴萨无缘榜首的2年:梅西告别,老马去世,2-8惨案)
-
2021全运会篮球直播赛程辽宁(4月22日央视直播:CBA总决赛;赵心童vs马奎尔,塞尔比vs颜丙涛)
-
中国最强导弹(世界洲际导弹前10排名,中国东风导弹领先美国,第一名堪称导弹王)
-
2021篮球比赛在哪里看(CCTV5直播NBA 辽篮争夺CBA总决赛冠军点 颜丙涛出战斯诺克世锦赛)
-
东航结果不敢公布了(民航局再次回应东航MU5735事故调查!查明原因有多难,多久公布?)
-