在信息技术飞速发展的今天，人工智能（AI）应用的广泛性和复杂性也日益增加。近日，金融界发布消息，杭州城市大脑有限公司正式申请了一项名为"基于评分机制的大模型训练方法、模型、系统及设备"的专利，公开号CN119357675A，申请日期为2024年12月。此消息无疑在业界引发热议，尤其是在对AI模型训练效果的要求不断提高的背景下，杭州城市大脑的这一创新将具备重要的意义。 深入了解专利内容 根据专利摘要 ...

与仅使用独热编码标签（如 [1, 0, 0] ）的传统训练方法相比，知识蒸馏技术通过引入教师模型的软标签信息，显著降低了学生模型的学习难度。

继续调优为MoH模型的可能性。 方法改进 MoH的核心思想 MoH的核心思想是将注意力头视为混合专家机制(Mixture-of-Experts, MoE)中的专家。具体来说,MoH由 ...

用技术驱动发展，表明了长江三峡集团在面对全球水资源短缺及气候变化的问题上，有着重要的应对措施。水动力模型作为水资源管理的重要工具，其精确度对于水库调度、洪水预警和水资源配置尤为重要。长江三峡集团通过专利技术的申请，表明其志在通过科技改善水资源的使用方 ...

相应模型架构最大的特点是采用“仿生设计”，结合了短期记忆、长期记忆和注意力机制，支持超过 200 万个 Token 的上下文长度，目前相关论文已 ...