您的位置: 主页 > 动态 > 行业资讯 >

基于字节跳动联名AI论文,开发者推出可将视频、图片一键卡通化工具

本文摘要:前不久,有些人依据一篇巨量引擎联名鞋的AI毕业论文,干了个可将视频、照片一键卡通化的Web端运用Cartoonize。CartoonizeCartoonize如今早已开源系统,应用比较简单,要是提交必须变换的照片、视频就可以。 Cartoonize变换能够非常好地复原原照关键点,下边是人像图片、景色、食材等实景拍摄的转换图。Cartoonize还适用10秒之内的视频变换,上一段《复仇者联盟》视频转换实际效果。

亚搏手机在线登录入口

前不久,有些人依据一篇巨量引擎联名鞋的AI毕业论文,干了个可将视频、照片一键卡通化的Web端运用Cartoonize。CartoonizeCartoonize如今早已开源系统,应用比较简单,要是提交必须变换的照片、视频就可以。

Cartoonize变换能够非常好地复原原照关键点,下边是人像图片、景色、食材等实景拍摄的转换图。Cartoonize还适用10秒之内的视频变换,上一段《复仇者联盟》视频转换实际效果。(官方网站变换视频截屏,具体视频实际效果可进官方网站查询)据其官方网站详细介绍,Cartoonize合适四种情景的变换:迅速制作动画,卡通游戏的原形;因为它一般可柔滑脸部特点和信息内容,因而可用以形成最小单位的艺术品;不用应用动作捕捉,手机游戏能够非常容易地导进短视频;能够为图型室内设计师或动画设计师做模型小助手。

对可变换照片视频的尺寸文件格式,Cartoonize干了一定限定,现阶段只适用变换10秒及之内的视频,视频文档较大 为30MB,适用的文件格式包含mp4、webm、avi、mkv。适用的图像格式文件为jpeg、png,不兼容GIG/TIFF图像。优化算法:Cartoonize应用Algorithmia的ServerlessAILayer商品对视频开展逻辑推理。

接口测试:python3.7tensorflow2.1.0tf_slim1.1.0Cudaversion10.1电脑操作系统:Linux(Ubuntu18.04)安裝:应用Docker:运作Cartoonize非常简单方式是应用Dockerfile:cd到网站根目录并搭建印象dockerbuild-tcartoonize.留意:config.yaml在搭建图像以前,请设定适度的值。2.根据曝露适度的端口号来运作器皿dockerrun-p8080:8080cartoonize应用virtualenv应用virtualenv并激话虚拟器virtualenv-ppython3cartoonizesourcecartoonize/bin/activate2.安裝python依靠项pipinstall-rrequirements.txt3.运作网络技术应用。config.yaml在运作应用软件以前,请保证 在文档中设定适度的值。

pythonapp.py新项目官方网站:https://cartoonize-lkqov62dia-de.a.run.app/cartoonizeWhite-box-Cartoonization:白盒图像卡通化模型假如想掌握大量影象材料卡通化的训练模型和全过程,能够查询Cartoonize身后的技术性毕业论文和新项目。实际上,Cartoonize是White-box-Cartoonization的一个Demowebapp。Cartoonize关键技术来源于CVPR2020的投稿论文《LearningtoCartoonizeUsingWhite-boxCartoonRepresentations》,该毕业论文创作者系巨量引擎、东京大学、Style2PaintsResearch工作人员。

亚搏手机在线登录入口

该毕业论文明确提出了一种根据GAN的白盒可控性的图像卡通化模型。毕业论文强调,各种各样卡通设计风格和用途必须根据特殊每日任务或是先验知识才可以开发设计能用的优化算法。比如一些卡通画更关心全局性色彩,线框画面质量在次;一些注重稀少和整洁的图形,对主题风格注重少。殊不知这种自变量要素给白盒模型产生了很大的挑戰,如当应对艺术大师不一样的要求时,简易地变更训练数据就无济于事了。

应用白盒模型立即线性拟合训练数据信息会减少其实用性和风格化品质,在一些状况下造成 较弱实际效果。一般而言,白盒模型一般有很高的精确性,可是其內部工作中难以理解和修改,而且他们不可以可能每一个特点对模型预测分析的必要性,也不易了解不一样特点中间怎样相互影响。而白盒模型则能够更加随意地改动模型中的一些优化算法,使之更为灵便地融入不一样要求情景。

毕业论文创作者强调,为了更好地处理白盒模型的一些难题,她们对大家的美术绘画个人行为和不一样设计风格的卡通品牌形象开展了很多的观查,并资询了几个卡通艺术大师,提议将图像溶解为几类卡通定性分析方法:获取一个带权重值的低頻內容,表明照片的轮廊定性分析;对于键入图像,获取切分图,在每一个切分地区应用一个响应式的颜色优化算法形成构造定性分析;维持美术绘画关键点和边沿的纹路定性分析。Theseparatelyextractedcartoonrepresentationsenablethecartooniaztionproblemtobeoptimizedend-to-endwithinaGenerativeNeuralNetworks(GAN)framework,makingitscalableandcontrollableforpracticalusecasesandeasytomeetdiversifiedartisticdemandswithtaskspecificfine-tuning.独立获取的卡通定性分析方式使卡通化难题能够在形成神经元网络(GAN)架构内开展端到端的提升,在具体应用情景中,使其可拓展和可控性,便于考虑不一样的技术性要求,还可以依据要求开展调整。

根据该毕业论文的White-box-Cartoonization如今早已一部分开源系统。安裝应用:前提条件:学习培训编码:Linux或WindowsNVIDIAGPU CUDACuDNN特性推论编码:Linux,Windows和MacOS安裝:假定早已安裝了NVIDIAGPU和CUDACuDNN安裝tensorflow-gpu,早已检测过1.12.0和1.13.0rc0安裝scikit-image==0.14.5,别的版本号很有可能会产生难题预训练模型推理:将检测图像储存在/test_code/test_images中运作/test_code/cartoonize.py結果将储存在/test_code/cartoonized_images中训练:将训练数据信息放到/dataset中的相对文件夹名称中运作pretrain.py,結果将储存在/pretrain文件夹名称中运作train.py,結果将储存在/train_cartoon文件夹名称中从工作环境中清除代码,而且没经检测很有可能会出现一些小问题,但应当非常容易处理能够在下列网站地址寻找预训练的VGG_19模型:https://drive.google.com/file/d/1j0jDENjdwxCDb36meP6-u5xDBzmKBOjJ/view数据:因为版权问题,没法出示用以训练的卡通图像,可是这种训练数据非常容易提前准备景色图片来源于新海诚,宫崎骏和细田守拍攝的影片将影片剪辑成帧,并任意剪裁调节为256x256人像图片图像来源于京都动画和PAWorks应用此库房(https://github.com/nagadomi/lbpcascade_animeface)检验脸部地区手动式清理空间将进一步提高2个数据的品质。


本文关键词:基于,字节,跳动,联名,论文,开发者,推出,可将,亚搏手机在线登录入口

本文来源:亚搏手机在线登录入口-www.zzgaodeng.com