CHRONOS – 阿里通义联合上海交大等推出时间线摘要生成新框架
CHRONOS是什么
CHRONOS是由上海交通大学计算机科学与工程系与阿里巴巴集团通义实验室等机构联合开发的一种创新框架,旨在通过新闻时间线摘要生成来解决信息过载问题。该框架采用迭代自问自答的方式,利用大型语言模型(LLMs)构建开放域和封闭域的新闻时间线。CHRONOS通过生成与新闻主题相关的5W1H问题,不断检索和扩展相关信息,从而形成丰富的新闻数据库。它运用问题重写机制提升搜索的精度,并通过分而治之的策略生成和整合时间线,最终呈现出连贯的摘要。实验表明,CHRONOS在处理大量新闻数据时表现优异,适合于大规模的时间线生成任务。
CHRONOS的主要功能
- 新闻时间线生成:从海量的新闻文档中提炼出关键,并按照时间顺序生成连贯的时间线摘要。
- 开放域与封闭域支持:可在开放域中直接从互联网捕捉新闻生成时间线,也可以在封闭域内利用预设的新闻集合进行时间线构建。
- 迭代自问自答:通过不断提出与新闻主题相关的问题,逐步丰富时间线内容,确保信息的全面性和准确性。
- 问题重写与优化:将复杂问题拆解为更具体的查询,以提高搜索的准确性和效率,获取更相关的信息。
- 数据集支持:引入Open-TLS数据集,提供丰富的新闻时间线样本,用于模型的训练和评估。
CHRONOS的技术原理
- 基于检索的生成:通过检索外部知识源(如互联网或预设的新闻集合)来增强语言模型的生成能力,以应对信息过载和数据噪声的问题。
- 迭代自问自答机制:模拟人类的信息检索过程,利用生成的5W1H问题(什么、谁、为什么、哪里、何时、如何),深入挖掘与新闻主题相关的信息,构建间的因果关系图。
- 问题重写技术:利用LLMs对复杂问题进行分解和重写,生成更具体、更易于检索的查询,提高检索结果的相关性和准确性。
- 分而治之的策略:将时间线生成任务拆分为多个子任务,从每轮检索中生成的时间线,经过合并和冲突解决等步骤,形成最终的连贯时间线摘要。
- 大型语言模型(LLMs):作为核心工具,负责文本理解、生成高质量摘要和问题,并进行有效的信息检索和整合。
CHRONOS的项目地址
- GitHub仓库:https://github.com/Alibaba-NLP/CHRONOS
- arXiv技术论文:https://arxiv.org/pdf/2501.00888
CHRONOS的应用场景
暂无评论...