llama-3

ChainCatcher 消息，去中心化全链数据网络 Chainbase 宣布开源以加密货币为中心的大语言模型 Theia-Llama-3.1-8B，其训练数据来自 CoinMarketCap 与项目详细研究报告。Chainbase 表示，该模型相较于其他主流模型具有更低的困惑度和更高的 BERT 分数，使用 LORA 对模型进行高效微调，使大型预训练模型适应计算能力较低的特定任务，并且显著缩小了模型的内存占用并加快了推理速度，同时保持了可接受的准确性。 据此前消息，Chainbase 于今年 7 月完成 1500 万美元 A 轮融资，腾讯投资（Tencent Investment Group）和经纬中国（Matrix Partners China）领投。

ChainCatcher 消息，全链数据网络 Chainbase 宣布在 HuggingFace 开源其专为加密领域打造的大语言模型 Theia-Llama-3.1-8B 。 Chainbase 团队独创性地构建了首个专业 Web3 数据集，收录了 CoinMarketCap 前 2000 项目的各类资料。数据集经过手动和算法过滤，确保训练数据的准确性、多样性和专业性。基于此数据集，团队采用 LoRA 技术高效微调模型，并利用 DeepSpeed 等工具加速训练过程。模型量化为 Q8 GGUF 格式，大幅降低了内存占用，提升了推理速度。 据悉，Theia-Llama-3.1-8B 是 Chainbase 在加密领域大模型的初步尝试且该模型已成功应用于 Chainbase DEMO 交互应用 TheiaChat，目前日活用户超过 30 万。