据站长之家 11 月 20 日报道,MIT 研究团队近日推出了语言模型 MechGPT,能够在力学和材料建模领域跨足各种尺度、学科和模态。
MechGPT 通过利用预训练语言模型进行两步处理,提出了一种创新方法,能够从科学文本中提取关键信息,并生成连贯的问题 - 答案对,特别适用于材料科学领域。该模型的培训过程采用 PyTorch 和 Hugging Face 生态系统,基于 Llama2 变压器架构,包含 40 个变压器层,并通过低秩适应(LoRA)和 4 位量化等创新技术提高了模型的性能。
原文链接