该研报探讨了三种可能对社会产生重大影响的科学技术趋势：神经植入物、通用机器人以及轨道碎片清除技术。

神经植入物目前主要用于医疗领域，例如帮助残疾人控制设备或改善大脑功能。然而，技术进步可能使其用于增强人类能力，例如控制无人机、实时翻译、快速学习新技能甚至实现脑对脑交流。然而，社会接受度和伦理问题、数据隐私、设备安全以及监管挑战等因素可能影响其发展。

通用机器人正从执行特定任务的设备发展到能够在现实环境中执行多种任务的灵活机器。它们可能用于基础设施维护、灾难响应、回收和污染监测等领域。然而，社会影响（如隐私问题、公众信任、道德决策）、环境影响（如能源消耗、电子垃圾）、经济影响（如工作取代、供应链风险）以及安全问题（如设备故障、自主决策）等挑战需要解决。

轨道碎片清除技术旨在主动减少太空碎片，以保护卫星和其他太空资产。目前，碎片数量正在快速增长，对太空基础设施构成威胁。虽然有一些技术可以清除大型碎片，但清除小型或旋转碎片的技术仍处于早期阶段。缺乏激励措施、监管挑战以及潜在的环境和安全影响等问题阻碍了其发展。

政策建议包括：

• 为神经植入物制定道德使用标准，并建立监管机构。
• 确保神经植入物的安全性，例如实施出口管制。
• 管理通用机器人的社会影响，例如制定监督要求。
• 支持硬件和软件的协同开发，并建立安全标准。
• 通过研究和发展、监测、碎片跟踪和清除技术进步来解决轨道碎片问题。
• 探索激励措施，例如付费清除碎片或债券机制。
• 考虑法律挑战，例如修改外层空间条约或与其他国家达成协议。

大型语言模型和生成式 AI 角色的基础路线图和面试指南

本文档旨在帮助工程师、研究人员、学生和从业者了解大型语言模型（LLM）和检索为中心的 AI 系统。它涵盖了 LLM 的基础知识、职业发展路线图、架构图、代码示例和生产实践指南。

核心观点：

• LLM 是一种在大型语料库上训练的神经网络，用于预测序列中的下一个标记。
• LLM 不仅仅是生成文本，它还可以嵌入到各种工作流程中，例如分类、检索、摘要、推理和生成结构化输出。
• 理解 LLM 需要掌握其基础知识，例如标记化、嵌入、注意力机制、预训练和模型家族。
• 随着模型变得越来越强大，检索、适应和部署变得至关重要。
• 本文档提供了 151 个面试问题，涵盖了 LLM 的各个方面，并提供了答案提示和面试提示。

关键数据和研究结论：

• LLM 的能力取决于其大小（参数数量、数据集大小和计算预算）。
• LLM 可以分为不同的模型家族，例如自回归模型、掩码模型、生成模型和判别模型。
• 嵌入将离散文本转换为密集向量，以便在向量空间中表示语义相似性。
• 注意力机制允许每个标记根据序列中的其他相关标记进行加权信息路由。
• 预训练目标塑造了模型的自然优势，例如 BERT 风格的目标强调双向表示学习，而 GPT 风格的目标强调下一个标记的生成和开放式延续。
• 检索是 LLM 系统的核心，它将静态模型知识与最新的领域特定信息相结合。
• RAG（检索增强生成）是一种模式，其中系统首先检索相关信息，然后将该信息作为上下文提供给语言模型进行生成。
• 提示是控制 LLM 系统的接口设计，它结构化任务、减少歧义、约束输出并设置模型以有效利用上下文。
• 微调是使基础模型适应特定任务的一种方法，但它存在成本和复杂性方面的权衡。
• 优化和数学基础知识对于理解 LLM 的训练和推理至关重要。
• 生成是 LLM 系统的可见部分，但它依赖于许多隐藏的工程选择，例如解码控制和服务器基础设施。
• 部署 LLM 需要考虑各种因素，例如治理、隐私、偏差、可解释性和成本。

本文档的结构：

• 第一章： 介绍了 LLM 的定义、领域发展、学习路线图和职业发展路线图。
• 第二章： 解释了标记、标记化和上下文窗口的概念。
• 第三章： 讨论了嵌入和语义表示。
• 第四章： 深入探讨了 Transformer 架构、注意力和位置推理。
• 第五章： 涵盖了预训练目标、模型家族和经典比较。
• 第六章： 介绍了使用 LLM 进行分类的方法。
• 第七章： 讨论了主题建模、聚类和主题发现。
• 第八章： 涵盖了检索的基础知识。
• 第九章： 介绍了生产 RAG 架构和基于证据的答案。
• 第十章： 讨论了提示、上下文学习和 LLM 编排。
• 第十一章： 介绍了多模态大型语言模型。
• 第十二章： 讨论了自定义嵌入和检索优化。
• 第十三章： 涵盖了微调、PEFT 和适应策略。
• 第十四章： 介绍了优化和数学基础。
• 第十五章： 讨论了文本生成、解码和大规模服务。
• 第十六章： 涵盖了架构、扩展和实践部署。

本文档的目标：

• 帮助面试候选人理解 LLM 的基础知识。
• 提供面试问题的答案提示和面试提示。
• 帮助候选人展示他们作为能够从第一性原理进行推理、选择正确的工具、表达故障模式和清晰地进行权衡的工程师的能力。
• 帮助候选人了解 LLM 和生成式 AI 领域的最新趋势。

主要观点

• 近期网下打新收益率：2026年截至4月3日，A类2亿规模账户打新收益率为0.46%，B类2亿规模账户为0.39%；A类10亿规模账户为0.23%，B类10亿规模账户为0.20%。2025年以来累计打新收益率曲线显示A类账户表现优于B类账户。
• 新股上市首日涨幅：滚动跟踪的20只新股中，科创板个股平均涨幅为236.69%，创业板为212.34%，但近期首日涨幅有所回落。
• 有效报价账户数：最近一只科创板新股A类有效报价账户为5371，B类为2053；创业板A类为5479，B类为3031；沪市主板A类为6143，B类为3080；深市主板A类为5251，B类为3268。
• 近期新股打新结果：红板科技（603459.SH）在主板上市，发行价17.7元，募资177000万元；三瑞智能（301696.SZ）在创业板上市，发行价24.68元，募资98744.68万元；有研复材（688811.SH）在科创板上市，发行价6.41元，募资83608.92万元。
• 近期打新市场表现：近一个月内新上市股票中，大部分上市首日涨跌幅位于50%-600%区间，募资金额多在5-30亿元。满中收益最高的为视涯科技、宏明电子、盛龙股份，分别达21.8、15.62、9.35万元。
• 理论打新收益测算：假设科创板和创业板报价全部入围，资金配置一半沪市一半深市且股票满仓，按首次开板日均价卖出，90%资金使用效率下，不同规模账户逐股票打新收益测算结果及逐月打新收益和打新收益率分别为：2026年至今2亿A类打新收益率0.46%，2025年至今2亿A类打新收益率4.26%；2026年至今B类2亿打新收益率0.39%，2025年至今B类2亿打新收益率3.27%。

风险提示

新股上市可能破发，打新策略可能取得负向收益。新股上市前面临诸多不确定因素，可能会暂停发行，影响打新收益。新股上市数量、申购新股人数、二级市场情绪波动等因素可能影响打新收益，基金公司历史入围率不代表未来，本文意见仅供参考。

业绩跟踪

• 2025年公司营收12.11亿元，同比增长29.0%；毛利率36.1%，同比下降2.7个百分点；经调整净亏损1.27亿元，同比收窄24.9%，盈利能力持续改善。

核心战略

• 公司以“强基模、深应用”为核心战略，大模型相关业务收入6.10亿元，同比增长10倍。
• 打造“山海”大模型矩阵，围绕多模态、深度推理和智能体（Agent）三大主线，持续迭代自研“山海”大模型基座。
• 发布多个行业模型，包括“山海·知医5.0”，“山海·知音2.0”语音大模型，“Unisound U1-OCR”文档智能基础大模型。
• 以基模为底座，行业模型为延展，深入应用于智慧生活和智慧医疗业务，实现应用落地和价值变现。

第二增长曲线

• 推动MaaS业务规模化，以江苏省医保大模型项目为范本，积极推动全国复制。
• 探索API调用、Token计费等经常性收入体系，审慎评估C端产品机会，以订阅制触达更广泛用户。

风险提示

• 竞争加剧导致AI应用落地不及预期；盈利改善不及预期；现金流风险。