Masutangu

也許我這一生　始終在追逐那顆九號球

【论文笔记】DeepSeek-V3 Technical Report

本文是《DeepSeek-V3 Technical Report》的笔记。 Abstract DeepSeek-V3 是一个强大的混合专家（Mixture-of-Experts，MoE）语言模型，总参数量为 671B，每个 token 激活 37B 参数。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（Multi-head La...

Posted by Masutangu on February 6, 2025

【论文笔记】From Local to Global-A Graph RAG Approach to Query-Focused Summarization

本文是《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》的笔记。 摘要 检索增强生成（RAG）用于从外部知识源中检索相关信息，使大型语言模型（LLMs）能够回答关于私有和/或以前未见过的文档集合的问题。然而，RAG 在回答针对整个文本语料库的全局问题时失败，例如“数据集中的主要主题是什么？...

Posted by Masutangu on January 21, 2025

迎接新一年

又一年过去了，回看去年对 2024 年的期望，还是有些些小失望的。过去一年不能说没有努力，但感觉并没有太多的进步，成就感甚微。在焦虑（想进步）和松弛（降低预期）中来回摇摆。生活上比以往更加知足与感恩，更多地去发掘平凡生活中的幸福感，也算是一种平衡吧。 这段时间我也一直在思考新一年的计划。AI 的发展很快，快得让人焦虑，有无数的人投入进来，每段时间就会有新东西出来。就现在这个阶段而言，自己想...

Posted by Masutangu on January 4, 2025

GraphRAG 笔记

本文是 Microsoft GraphRAG 的笔记。 索引 GraphRAG 的索引 pipeline 由工作流、标准和自定义步骤、提示模板以及输入/输出适配器组成。我们的标准管道旨在： 从原始文本中提取实体（entities）、关系（relationships）和声明（claims） 对实体进行社区检测（community detection） ...

Posted by Masutangu on December 29, 2024

【论文笔记】Autokg-Efficient Automated Knowledge Graph Generation For Language Models

本文是《Autokg: Efficient Automated Knowledge Graph Generation For Language Models》的笔记。 摘要 通过语义相似性搜索将大型语言模型（LLM）与知识库链接的方法往往无法捕捉到复杂的关系动态。为了解决这些限制，我们引入了 AutoKG，一种轻量级高效的自动知识图谱（KG）构建方法。对于一个由...

Posted by Masutangu on December 22, 2024

【论文笔记】Bertnet-Harvesting Knowledge Graphs With Arbitrary Relations From Pretrained Language Models

本文是《Bertnet: Harvesting Knowledge Graphs With Arbitrary Relations From Pretrained Language Models》的笔记。 摘要 自动构建包含多样化新关系的知识图谱对于知识发现和广泛应用至关重要。以往基于众包（crowdsourcing）或文本挖掘的 KG 构建方法通常受限于预定义...

Posted by Masutangu on December 16, 2024

【论文笔记】REALM-Retrieval-Augmented Language Model Pre-Training

本文是《REALM-Retrieval-Augmented Language Model Pre-Training》的笔记。 摘要 语言模型预训练已被证明能够捕捉到大量世界知识，然而这些知识隐式地存储在神经网络的参数中，需要越来越大的网络来覆盖更多的事实。为了以更模块化和可解释的方式捕捉知识，我们通过一个潜在的知识检索器来增强语言模型预训练，该检索器允许模型在预...

Posted by Masutangu on December 15, 2024

【论文笔记】Building Knowledge Graph Using Pre-Trained Language Model For Learning Entity-Aware Relationships

本文是《Building Knowledge Graph Using Pre-Trained Language Model For Learning Entity-Aware Relationships》的笔记。 摘要 本文提出了一种全面的方法，用于从文本文档中挖掘实体关系并构建知识图谱。本文集中讨论了两种分类方向性实体关系（directional entity...

Posted by Masutangu on December 10, 2024

【论文笔记】LLMs For Knowledge Graph Construction And Reasoning-Recent Capabilities And Future Opportunities

本文是《LLMs For Knowledge Graph Construction And Reasoning: Recent Capabilities And Future Opportunities》的笔记。 摘要 本文对大型语言模型（LLMs）在知识图谱（KG）构建和推理方面的能力进行了全面的定量和定性评估。我们在八个不同的数据集上进行了实验，涵盖了实体和...

Posted by Masutangu on December 6, 2024

【论文笔记】Unifying Large Language Models And Knowledge Graphs-A Roadmap

本文是《Unifying Large Language Models And Knowledge Graphs: A Roadmap》的笔记。 摘要 大型语言模型（LLMs），如 ChatGPT 和 GPT4，由于其涌现能力（emergent ability）和泛化性，在自然语言处理和人工智能领域引起了新的浪潮。然而，LLMs 是黑盒模型，往往无法捕捉和访问事实...

Posted by Masutangu on December 1, 2024

FEATURED TAGS
个人项目 读书笔记 机器学习 分布式 源码阅读 随笔 汇编 Golang 工作 Python Linux 编程语言 协程 C C++ 优化&重构 强化学习 数学 数据库 Rust
ABOUT ME

"當我穿過沙漠遇見你
不可思議十三億分之一
遠處夕陽落入地平線裡
風吹過 過去 未來 現在
冥冥之中 誰在編排你"

C-BLOCK -《很高興認識你》

FRIENDS