Masutangu

也許我這一生 始終在追逐那顆九號球

迎接新一年

又一年过去了,回看去年对 2024 年的期望,还是有些些小失望的。过去一年不能说没有努力,但感觉并没有太多的进步,成就感甚微。在焦虑(想进步)和松弛(降低预期)中来回摇摆。生活上比以往更加知足与感恩,更多地去发掘平凡生活中的幸福感,也算是一种平衡吧。 这段时间我也一直在思考新一年的计划。AI 的发展很快,快得让人焦虑,有无数的人投入进来,每段时间就会有新东西出来。就现在这个阶段而言,自己想...

GraphRAG 笔记

本文是 Microsoft GraphRAG 的笔记。 索引 GraphRAG 的索引 pipeline 由工作流、标准和自定义步骤、提示模板以及输入/输出适配器组成。我们的标准管道旨在: 从原始文本中提取实体(entities)、关系(relationships)和声明(claims) 对实体进行社区检测(community detection) ...

【论文笔记】Autokg-Efficient Automated Knowledge Graph Generation For Language Models

本文是《Autokg: Efficient Automated Knowledge Graph Generation For Language Models》的笔记。 摘要 通过语义相似性搜索将大型语言模型(LLM)与知识库链接的方法往往无法捕捉到复杂的关系动态。为了解决这些限制,我们引入了 AutoKG,一种轻量级高效的自动知识图谱(KG)构建方法。对于一个由...

【论文笔记】REALM-Retrieval-Augmented Language Model Pre-Training

本文是《REALM-Retrieval-Augmented Language Model Pre-Training》的笔记。 摘要 语言模型预训练已被证明能够捕捉到大量世界知识,然而这些知识隐式地存储在神经网络的参数中,需要越来越大的网络来覆盖更多的事实。为了以更模块化和可解释的方式捕捉知识,我们通过一个潜在的知识检索器来增强语言模型预训练,该检索器允许模型在预...

【论文笔记】Building Knowledge Graph Using Pre-Trained Language Model For Learning Entity-Aware Relationships

本文是《Building Knowledge Graph Using Pre-Trained Language Model For Learning Entity-Aware Relationships》的笔记。 摘要 本文提出了一种全面的方法,用于从文本文档中挖掘实体关系并构建知识图谱。本文集中讨论了两种分类方向性实体关系(directional entity...

【论文笔记】LLMs For Knowledge Graph Construction And Reasoning-Recent Capabilities And Future Opportunities

本文是《LLMs For Knowledge Graph Construction And Reasoning: Recent Capabilities And Future Opportunities》的笔记。 摘要 本文对大型语言模型(LLMs)在知识图谱(KG)构建和推理方面的能力进行了全面的定量和定性评估。我们在八个不同的数据集上进行了实验,涵盖了实体和...

【论文笔记】Unifying Large Language Models And Knowledge Graphs-A Roadmap

本文是《Unifying Large Language Models And Knowledge Graphs: A Roadmap》的笔记。 摘要 大型语言模型(LLMs),如 ChatGPT 和 GPT4,由于其涌现能力(emergent ability)和泛化性,在自然语言处理和人工智能领域引起了新的浪潮。然而,LLMs 是黑盒模型,往往无法捕捉和访问事实...

【论文笔记】GQA-Training Generalized Multi-Query Transformer Models From Multi-Head Checkpoints

本文是 《GQA: Training Generalized Multi-Query Transformer Models From Multi-Head Checkpoints》 的笔记。 Google Research Abstract 多查询注意力(Multi-query attention,MQA):只使用单个键值头,大幅加快解码器推理速度。然而,MQA...

【论文笔记】DistilBERT, a distilled version of BERT-smaller, faster, cheaper and lighter

本文是 《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》 的笔记。 摘要 随着大规模预训练模型在自然语言处理(NLP)中的迁移学习变得越来越普遍,在边缘计算和/或在受限的计算训练或推理预算下运行这些大型模型仍然具有挑战性。在这项工作中,我们提出了一种方法...

【论文笔记】RoBERTa-A Robustly Optimized BERT Pretraining Approach

本文是 《RoBERTa: A Robustly Optimized BERT Pretraining Approach》 的笔记。 Abstract 语言模型预训练带来了显著的性能提升,但不同方法之间的仔细比较具有挑战性。训练计算成本高昂,通常在不同大小的私有数据集上进行,而且我们将展示,超参数选择对最终结果有重大影响。我们进行了 BERT 预训练(Devli...