推广 热搜: 二手  净利2626万  北京  二手车  SMM废铜现货交易日评  企业  全国  汽车  三星  公司 

奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快

   日期:2025-07-27     来源:www.tanketang.com    作者:二手网    浏览:517    评论:0    
核心提示:[db:简介]

据媒体报道,EXO Labs近期发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型(LLM)。

这台主频350MHz电脑成功启动进入Windows 98系统,随后EXO启动了基于Andrej Karpathy的Llama2.c定制的纯C推理引擎,并需要LLM生成关于Sleepy Joe的故事,让人惊讶的是生成速度相当可观。

奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快

EXO Labs的这一壮举并不是偶然,该组织自称为民主化人工智能而生,由牛津大学的研究职员和工程师组成,他们觉得,少数大型企业控制人工智能对文化、真理和社会的其他基本方面是不利的。

因此,EXO期望打造开放的基础设施,练习前沿模型,并使其他人在任何地方都能运行它们,这项在Windows 98上的人工智能演示,展示了即便在资源极其有限的状况下也能完成的事情。

EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了很多挑战。

将数据传输到老设施上就是一个不小的挑战,他们不能不用老式的FTP通过古老机器的以太网端口进行文件传输。

编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为700行纯C代码,可以运行Llama 2构造模型的推理,Karpathy曾是特斯拉的人工智能主管,也是Open人工智能的创始团队成员。

借助这个资源和旧的Borland C++ 5.02 IDE和编译器(与一些轻微的调整),代码可以被制作成Windows 98兼容的可实行文件并运行,GitHub上有完成代码的链接。

用260K LLM和Llama构造在Windows 98上达成了35.9 tok/s的速度,依据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。

奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快

 
打赏
 
更多>同类二手资讯
0相关评论

热门推荐
推荐图文
推荐二手资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  免责声明  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报