深度学习库 SynapseML for .NET 发布0.1 版本

关注microsoft net framework2 0 我们

（本文阅读时间：6分钟）

2021年11月 微软开源一款简单的、多语言的、大规模并行的机器学习库 SynapseML（以前称为 MMLSpark），以帮助开发人员简化机器学习管道的创建microsoft net framework2 0 。具体参见[1] 🔗微软深度学习库 SynapseML：可直接在系统中嵌入 45 种不同机器学习服务、支持 100 多种语言文本翻译 。

2022年8月12日 微软在.NET 博客上发布了 [2]用于 .NET 的 SynapseML，建立在其去年 11 月首次亮相的大规模机器学习开源项目SynapseML 的基础上microsoft net framework2 0 。作为新 SynapseML v0.10 版本的一部分，微软宣布了一组新的 .NET API，用于大规模可扩展的机器学习。博客文章中说：“这允许我们通过 .NET for Apache Spark 语言绑定来创作、训练和使用来自 C#、F# 或 .NET 系列中的其他语言的任何 SynapseML 模型。”

微软MVP实验室研究员

张善友

深圳友浩达CTO&首席架构师microsoft net framework2 0 ，微软最有价值专家，微软SWAT专家，超过20年的软件研发经验，曾在腾讯工作12年，.NET基金会成员，.NET云原生顾问和解决方案专家，运营微信公众号“dotnet跨平台”和“分布式应用运行时”

SynapseML 在 Apache Spark 上运行并且需要安装 Java，因为 Spark 使用 JVM 来运行 Scalamicrosoft net framework2 0 。但是，它具有针对 Python 或 R 等其他语言的绑定。当前的 0.10.0 版本添加了针对 .NET 语言的绑定。该工具可以帮助开发人员在各种 Microsoft 领域构建可扩展的智能系统，包括：

深度学习

模型可解释性

计算机视觉

强化学习和个性化

异常检测

搜索和检索

语音处理

梯度提升

文本分析

微服务编排

翻译

微软去年首次开源这个项目时是这么说的 ”统一的 API 标准化了当今的许多工具、框架和算法，简化了分布式 ML 体验, 这使开发人员能够为需要多个框架的用例快速构建不同的 ML 框架，例如 Web 监督学习、搜索引擎创建等microsoft net framework2 0 。它还可以在单节点、多节点上训练和评估模型，以及可弹性调整大小的计算机集群，因此开发人员可以在不浪费资源的情况下扩展他们的工作。”。这段话对于熟悉微软的另一个捐献给CNCF的 开源项目[3]Dapr 的同学来说是不是很熟悉？

SynapseML for .NET包含在一组 SynapseML NuGet 包中microsoft net framework2 0 。这些包尚未发布到主要的 NuGet 源，必须手动添加它们的源。安装后，即可从 .NET 应用程序调用 SynapseML API。

以下代码片段说明了如何从 C# 应用程序调用 SynapseML APImicrosoft net framework2 0 。

// Create LightGBMClassifier

varlightGBMClassifier = newLightGBMClassifier

.SetFeaturesCol( "features")

.SetRawPredictionCol( "rawPrediction")

.SetObjective( "binary")

.SetNumLeaves( 30)

.SetNumIterations( 200)

.SetLabelCol( "label")

.SetLeafPredictionCol( "leafPrediction")

.SetFeaturesShapCol( "featuresShap");

// Fit the model

varlightGBMClassificationModel = lightGBMClassifier.Fit(trainDf);

// Apply transformation and displayresults

lightGBMClassificationModel.Transform(testDf).Show( 50);

SynapseML 允许开发人员调用其管道中的其他服务microsoft net framework2 0 。该库支持 Microsoft 自己的[4]认知服务，这是一组由 Microsoft 训练的模型提供支持的通用 AI 服务。此外，当前版本的 SynapseML 允许开发人员在其解决方案中利用预训练的[5]OpenAI模型，例如用于自然语言理解和生成的 [6] GPT-3以及用于代码生成的 Codex。目前使用 OpenAI 模型需要访问 Azure OpenAI 服务。

最后，当前版本增加了对 [7] MLflow的支持，这是一个管理 ML 生命周期的平台microsoft net framework2 0 。开发人员可以使用它来加载和保存模型，并在模型执行期间记录消息。

现在.NET 机器学习社区加入microsoft net framework2 0 了一新的成员SynapseML：

[8] ML.NET 是一个 .NET 库microsoft net framework2 0 ，用于使用 .NET 语言运行单机工作负载：

[9] TensorFlow.NET ：TensorFlow 绑定

[10] Keras.NET

[11] TorchSharp：PyTorch 绑定

[12] ONNX RT：ONNX 模型支持

[13] Apache Spark for .NET：为 Apache Spark 分布式计算框架提供 .NET 支持

[14] Microsoft Cognitive Toolkit (CNTK)是 Microsoft ML 库microsoft net framework2 0 。它还有一个.NET API ，他已经停止开发。

[15] Accord.NET是一个面向视觉和音频处理的 .NET 机器学习库，已经停止开发microsoft net framework2 0 。

.NET 社区中，开发人员对所有这些库如何相互比较或它们是否相互替换存在混淆microsoft net framework2 0 。SynapseML 项目成员在 [16]Reddit上积极回答这些问题。

SynapseML 构建在Apache Spark for .NET项目之上，该项目为 Apache Spark 分布式计算框架提供 .NET 支持microsoft net framework2 0 。Apache Spark 是用 Scala（JVM 上的一种语言）编写的，但具有 Python、R、.NET 和其他语言的语言绑定。此版本为 SynapseML 库中的所有模型和学习器添加了完整的 .NET 语言支持，因此您可以在 .NET 中创作分布式机器学习管道，以便在 Apache Spark 集群上执行。

相关链接：

[1]微软深度学习库 SynapseML：可直接在系统中嵌入 45 种不同机器学习服务、支持 100 多种语言文本翻译:

[2]用于 .NET 的 SynapseML:

[3]Dapr:

/

[4]认知服务 :

[5]OpenAI: /

[6]GPT-3:

[7]MLflow:

/

[8]ML.NET :

[9]TensorFlow.NET:

[10]Keras.NET:

[11]TorchSharp:

[12]ONNX RT:

[13]Apache Spark for .NET:

[14]Microsoft Cognitive Toolkit (CNTK):

[15]Accord.NET:

/

[16]Reddit:

/

微软最有价值专家（MVP）

微软最有价值专家是微软公司授予第三方技术专业人士的一个全球奖项microsoft net framework2 0 。29年来，世界各地的技术社区领导者，因其在线上和线下的技术社区中分享专业知识和经验而获得此奖项。

MVP是经过严格挑选的专家团队，他们代表着技术最精湛且最具智慧的人，是对社区投入极大的热情并乐于助人的专家microsoft net framework2 0 。MVP致力于通过演讲、论坛问答、创建网站、撰写博客、分享视频、开源项目、组织会议等方式来帮助他人，并最大程度地帮助微软技术社区用户使用 Microsoft 技术。

更多详情请登录官方网站：

前往原博客，了解更多用于 .NET 的 SynapseMLmicrosoft net framework2 0 。