Masutangu

也許我這一生　始終在追逐那顆九號球

GraphRAG 笔记

本文是 Microsoft GraphRAG 的笔记。 索引 GraphRAG 的索引 pipeline 由工作流、标准和自定义步骤、提示模板以及输入/输出适配器组成。我们的标准管道旨在： 从原始文本中提取实体（entities）、关系（relationships）和声明（claims） 对实体进行社区检测（community detection） ...

Posted by Masutangu on December 29, 2024

【论文笔记】Autokg-Efficient Automated Knowledge Graph Generation For Language Models

本文是《Autokg: Efficient Automated Knowledge Graph Generation For Language Models》的笔记。 摘要 通过语义相似性搜索将大型语言模型（LLM）与知识库链接的方法往往无法捕捉到复杂的关系动态。为了解决这些限制，我们引入了 AutoKG，一种轻量级高效的自动知识图谱（KG）构建方法。对于一个由...

Posted by Masutangu on December 22, 2024

【论文笔记】REALM-Retrieval-Augmented Language Model Pre-Training

本文是《REALM-Retrieval-Augmented Language Model Pre-Training》的笔记。 摘要 语言模型预训练已被证明能够捕捉到大量世界知识，然而这些知识隐式地存储在神经网络的参数中，需要越来越大的网络来覆盖更多的事实。为了以更模块化和可解释的方式捕捉知识，我们通过一个潜在的知识检索器来增强语言模型预训练，该检索器允许模型在预...

Posted by Masutangu on December 15, 2024

【论文笔记】Building Knowledge Graph Using Pre-Trained Language Model For Learning Entity-Aware Relationships

本文是《Building Knowledge Graph Using Pre-Trained Language Model For Learning Entity-Aware Relationships》的笔记。 摘要 本文提出了一种全面的方法，用于从文本文档中挖掘实体关系并构建知识图谱。本文集中讨论了两种分类方向性实体关系（directional entity...

Posted by Masutangu on December 10, 2024

【论文笔记】LLMs For Knowledge Graph Construction And Reasoning-Recent Capabilities And Future Opportunities

本文是《LLMs For Knowledge Graph Construction And Reasoning: Recent Capabilities And Future Opportunities》的笔记。 摘要 本文对大型语言模型（LLMs）在知识图谱（KG）构建和推理方面的能力进行了全面的定量和定性评估。我们在八个不同的数据集上进行了实验，涵盖了实体和...

Posted by Masutangu on December 6, 2024

【论文笔记】Unifying Large Language Models And Knowledge Graphs-A Roadmap

本文是《Unifying Large Language Models And Knowledge Graphs: A Roadmap》的笔记。 摘要 大型语言模型（LLMs），如 ChatGPT 和 GPT4，由于其涌现能力（emergent ability）和泛化性，在自然语言处理和人工智能领域引起了新的浪潮。然而，LLMs 是黑盒模型，往往无法捕捉和访问事实...

Posted by Masutangu on December 1, 2024

【论文笔记】GQA-Training Generalized Multi-Query Transformer Models From Multi-Head Checkpoints

本文是 《GQA: Training Generalized Multi-Query Transformer Models From Multi-Head Checkpoints》 的笔记。 Google Research Abstract 多查询注意力（Multi-query attention，MQA）：只使用单个键值头，大幅加快解码器推理速度。然而，MQA...

Posted by Masutangu on November 26, 2024

【论文笔记】DistilBERT, a distilled version of BERT-smaller, faster, cheaper and lighter

本文是 《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》 的笔记。 摘要 随着大规模预训练模型在自然语言处理（NLP）中的迁移学习变得越来越普遍，在边缘计算和/或在受限的计算训练或推理预算下运行这些大型模型仍然具有挑战性。在这项工作中，我们提出了一种方法...

Posted by Masutangu on November 25, 2024

【论文笔记】RoBERTa-A Robustly Optimized BERT Pretraining Approach

本文是 《RoBERTa: A Robustly Optimized BERT Pretraining Approach》 的笔记。 Abstract 语言模型预训练带来了显著的性能提升，但不同方法之间的仔细比较具有挑战性。训练计算成本高昂，通常在不同大小的私有数据集上进行，而且我们将展示，超参数选择对最终结果有重大影响。我们进行了 BERT 预训练（Devli...

Posted by Masutangu on November 23, 2024

【论文笔记】Bag of Tricks for Efficient Text Classification

本文是 《Bag of Tricks for Efficient Text Classification》 的笔记。 Abstract 这篇论文探索了一种简单高效的文本分类基线。实验表明，我们的快速文本分类器 fastText 在准确性方面通常与深度学习分类器相当，而在训练和评估速度上快几个数量级。我们可以在不到十分钟的时间内使用标准多核 CPU 训练 fast...

Posted by Masutangu on November 23, 2024

FEATURED TAGS
个人项目 读书笔记 机器学习 分布式 源码阅读 随笔 汇编 Golang 工作 Python Linux 编程语言 协程 C C++ 优化&重构 强化学习 数学 数据库 Rust
ABOUT ME

"當我穿過沙漠遇見你
不可思議十三億分之一
遠處夕陽落入地平線裡
風吹過 過去 未來 現在
冥冥之中 誰在編排你"

C-BLOCK -《很高興認識你》

FRIENDS