源码编译llama.cpp for windows on arm

news/2024/11/7 15:54:35/

llamacpp_for_windows_on_arm_0">源码编译llama.cpp for windows on arm

这里有编译好的,直接下载使用

https://github.com/turingevo/llama.cpp-build/releases

windows_on_arm_6">1 先编译openblas for windows on arm

查看我的文章
《源码编译 openblas for windows on arm》

2 启用OpenBlas加速

上一步openblas 安装到路径 C:/workspace/program/openblas
原理 blas 加速是通过编译ggml提供的
所以修改llama.cpp/ggml/src/CMakeLists.txt ,在这一行代码if (GGML_BLAS) 前面添加以下代码:

# add custom blas
if (CUSTOM_BLAS)set(BLAS_ROOT "C:/workspace/program/openblas")set(BLAS_INCLUDE_DIRS"${BLAS_ROOT}/include/""${BLAS_ROOT}/include/openblas")set(BLAS_LIBRARIES "${BLAS_ROOT}/lib/openblas.lib")list(APPEND GGML_CDEF_PUBLIC GGML_USE_BLAS)set(GGML_HEADERS_BLAS ../include/ggml-blas.h)set(GGML_SOURCES_BLAS ggml-blas.cpp)list(APPEND GGML_EXTRA_LIBS_PRIVATE ${BLAS_LIBRARIES})list(APPEND GGML_EXTRA_INCLUDES     ${BLAS_INCLUDE_DIRS})
endif()

然后编译时指定 CUSTOM_BLAS=ON

  • 使用命令行:

cmake -B build -DGGML_BLAS=OFF  -DCUSTOM_BLAS=ON
cmake --build build --config Release
  • 如果使用cmake-gui
    编译器 Visual Studio 17 2022
    Use default native compilers
    在这里插入图片描述
    然后点击 Configure 生成配置
    去掉 GGML_BLAS ,勾选CUSTOM_BLAS

在这里插入图片描述

点击 Generate 生成
然后open project, 选择 vs 2022 打开
选择 Release ARM64 ,选中项目 ALL_BUILD 生成

在这里插入图片描述


http://www.ppmy.cn/news/1539449.html

相关文章

Nginx的正向与反向代理

一、Nginx简介 1. 什么是Nginx Nginx(发音为“engine-x”)是一个高性能的HTTP和反向代理服务器,同时也是一个IMAP/POP3/SMTP代理服务器。Nginx是由俄罗斯的Igor Sysoev(伊戈尔赛索耶夫)为解决C10k问题(即…

Flask 轻松上手:从零开始搭建属于你的Web应用

引言 随着互联网技术的发展,Web应用程序的需求日益增长。对于开发者来说,选择一个合适的框架至关重要。Flask以其简洁的设计、高度的可定制性和对各种扩展的良好支持,成为了很多项目的基础。无论你是初学者还是有经验的开发者,掌…

LabVIEW提高开发效率技巧----减少UI更新频率

在LabVIEW开发中,图形化用户界面(UI)的更新频率对程序的响应速度有着显著影响。频繁的UI更新会占用大量资源,导致系统性能下降。本文将详细介绍如何通过减少UI更新频率来提升LabVIEW程序的运行效率,从多个角度进行分析…

微软云Azure:技术深度解析与实战代码案例

微软云Azure:技术深度解析与实战代码案例 在云计算的浪潮中,微软Azure凭借其强大的技术实力和丰富的服务种类,成为了众多企业和开发者首选的云服务平台。本文将从微软云服务的核心优势、关键技术以及具体的代码使用案例出发,深入…

Matlab实现北方苍鹰优化算法优化回声状态网络模型 (NGO-ESN)(附源码)

目录 1.内容介绍 2部分代码 3.实验结果 4.内容获取 1内容介绍 北方苍鹰优化算法(Northern Goshawk Optimization, NGO)是一种基于北方苍鹰捕食行为的群体智能优化算法。NGO通过模拟北方苍鹰在森林中追踪、包围和捕捉猎物的过程,来实现对优化…

十、Python基础语法(循环-while循环)

什么是循环&#xff1f;在满足条件的情况下,让指定的代码重复执行 。 一、while循环 while是python中的关键字&#xff0c;作用是用来实现循环的。 语法&#xff1a; 需求&#xff1a; 打印10次“我爱学习” a 0while a < 10:print(我爱学习)a 1运行结果&#xff1a;…

Microsoft Visual Studio安装gtest

1. 参考【Windows Visual Studio下安装和使用google test&#xff08;gtest&#xff09;】 https://blog.csdn.net/Bule_Zst/article/details/78420894 2. 编译gtest使用Win32模式。 3. 配置属性&#xff0c;C/C&#xff0c;常规&#xff0c;附加包含目录 …

Java微信支付接入(7) - API V3 Native 商户定时查询本地订单

后端定义商户查单接口 支付成功后&#xff0c;商户侧查询本地数据库&#xff0c;订单是否支付成功 /*** 查询本地订单状态*/ ApiOperation("查询本地订单状态") GetMapping("/query-order-status/{orderNo}") public R queryOrderStatus(PathVariable St…