您现在的位置是:电商 >>正文
Magi:可自动将漫画转录成文字 并自动生成剧本
电商96311人已围观
简介划重点:📝 Magi 模型可以自动将漫画页转录成文字并生成剧本。📝 功能包括面板检测、文本块检测、角色检测、角色聚类、文本到说话者关联、阅读顺序排序。📝 项目还包含 Mangadex-1.5M 数据集 ...
划重点:
📝 Magi 模型可以自动将漫画页转录成文字并生成剧本。可自
📝 功能包括面板检测、漫画文本块检测、转录字并自动角色检测、成文角色聚类、生成文本到说话者关联、剧本阅读顺序排序。可自
📝 项目还包含 Mangadex-1.5M 数据集,漫画旨在解决漫画页面自动理解和剧本生成问题。转录字并自动
CSS站长资源(ChinaZ.com)3月12日 消息:牛津大学工程科学系的成文视觉几何组开发了一款名为 Magi 的模型,可以自动将漫画页转录成文字并生成剧本。生成
该模型通过识别漫画页面上的剧本面板、文字块和角色,可自实现了全自动的漫画剧本生成功能。其主要功能包括面板检测,转录字并自动识别漫画页面上的各个面板,以及文本块检测,识别面板中的文本块,通常包含对话或叙述性文本。此外,模型还能够检测页面上的角色形象,并根据其身份进行聚类,以区分不同的角色。
Magi 模型还可以将文本与说话者进行关联,确定哪些文本是由页面上的哪个角色说出的,保证剧本的准确性。同时,模型还会按照漫画的阅读顺序对文本块进行排序,确保剧本的叙述逻辑与原漫画一致,让读者通过阅读文本完整地体验漫画故事。
除了 Magi 模型本身,项目还包含一个名为 Mangadex-1.5M 的数据集,其中包含约150万漫画页面,涵盖多种流派和艺术风格。这个数据集的设计旨在为 Magi 模型的训练提供支持,解决漫画页面的自动理解和剧本生成问题,包括面板检测、文本块和角色检测、角色身份聚类以及文本与说话者之间的关联。
通过这一项目,研究人员希望推动漫画领域的自动化处理和理解技术的发展。
论文:https://arxiv.org/abs/2401.10224
项目入口:https://top.aibase.com/tool/magi
Tags:
相关文章
预制菜,配当年夜饭吗?
电商火热的预制菜行业再起风波。距除夕还有8天,年夜饭的预定活动进入高潮,各地餐馆的年夜饭预定十分火爆,但与往年不同的是,今年的年夜饭市场,被预制菜围攻了。线上的电商平台、生鲜平台和线下的传统商超里,都开设 ...
【电商】
阅读更多过年团聚后又只剩爷爷奶奶两人 网友心酸:那能怎样!
电商春节是阖家团圆的日子,而春节后也是亲人再次分离的时刻。山东青岛的孙女士发布了一段视频,自己从老家回来,想和老人报个平安,但是打开监控发现,爷爷一个人坐在饭桌前,瞬间泪目。孙女士表示,自己从小和爷爷奶奶 ...
【电商】
阅读更多语音生成的「智能涌现」:10万小时数据训练,亚马逊祭出10亿参数BASE TTS
电商伴随着生成式深度学习模型的飞速发展,自然语言处理NLP)和计算机视觉(CV)已经经历了根本性的转变,从有监督训练的专门模型,转变为只需有限的明确指令就能完成各种任务的通用模型。在语音处理和文本到语音T ...
【电商】
阅读更多