loss-function 相关问题

class wb_sampling extends tf.layers.Layer { constructor(config) { super(config); this.KL_weight = config.KL_weight; // weights the KL_loss compared to reconstruction loss. If KL_weiht==0, reconstruction loss is the only loss used if (this.KL_weight === undefined) { this.KL_weight=0.0001; // default } this.last_mu; this.last_logVar; // Adds KL loss this.addLoss(() => { const retour = tf.tidy(() => { let kl_loss; let z_log_var=this.last_logVar; let z_mean=this.last_mu; kl_loss = tf.scalar(1).add(z_log_var).sub(z_mean.square()).sub(z_log_var.exp()); kl_loss = tf.sum(kl_loss, -1); kl_loss = kl_loss.mul(tf.scalar(-0.5 * this.KL_weight)); return (tf.mean(kl_loss)); }); return (retour); }); // end of addLoss } // end of constructor computeOutputShape(inputShape) { return inputShape[0]; // same shape as mu } call(inputs, training) { return tf.tidy(() => { const [mu, logVar] = inputs; // store mu and logVar values to be used by the KL loss function this.last_mu=mu; // zMean this.last_logVar=logVar; // zLogVar const z = tf.tidy(() => { const batch = mu.shape[0]; const dim = mu.shape[1]; const epsilon = tf.randomNormal([batch, dim]); const half = tf.scalar(0.5); const temp = logVar.mul(half).exp().mul(epsilon); const sample = mu.add(temp); return sample; }); return z; }); } // end of call() static get className() { return 'wb_sampling'; } } // end of wb_sampling layer

回答 0 投票 0


全球最小值作为梯度下降的起点

如果我已经具有任何模型的成本函数(包括大语言模型)的全球最低值 - 是否有助于计算其梯度下降? (假设我有一种快速的方法

回答 1 投票 0

ValueError:张量转换请求 dtype float64 为具有 dtype float32 的张量

我有一个神经网络,它有两个相同的CNN(类似于暹罗网络),然后合并输出,并打算在合并的输出上应用自定义损失函数,如下所示: ---------------...

回答 1 投票 0

如何将 PixelClassificationLayer() 更新为自定义损失函数?

我在Mathworks官方网站上看到pixelClassificationLayer()函数,我应该使用以下代码将其更新为自定义损失函数: 函数损失 = modelLoss(Y,T)

回答 1 投票 0

我们可以在同一层使用多个损失函数吗?

我们可以在这个架构中使用多重损失函数吗: 我有两种不同类型的损失函数,想在最后一层使用它[输出] 损失函数: 二元交叉熵 自定义损失函数...

回答 2 投票 0

线性回归模型勉强优化截距b

我从头开始编写了一个线性回归模型。我使用“残差平方和”作为梯度下降的损失函数。为了进行测试,我使用线性数据 (y=x) 运行时

回答 1 投票 0

优化物理通知神经网络

我正在尝试使用物理通知神经网络(PINN)求解二维波动方程。我的损失函数共有四项。我在训练模型时遇到两个问题。总损失大幅下降...

回答 1 投票 0

从头开始的对比损失

我正在尝试实现/学习如何实现对比损失。目前我的梯度正在爆炸到无穷大,我想我一定是错误地实现了某些东西。我想知道是否有人可以

回答 1 投票 0

如何在张量流中制作自定义损失函数,它将模型的输入、模型的预测和模型的权重作为参数

我正在尝试建立一个求解偏微分方程(PDE)的模型。问题是,它需要一个 make 损失函数,其参数为: 给予模型的输入 预测...

回答 1 投票 0

pytorch s3fd pga_attack,loss.backward()获取grad.data的问题

来自检测.sfd 导入 sfd_Detector def pgd_attack(模型,input_data,eps=0.03,alpha=0.01,attack_steps=1,device='cpu'): ta = input_data.requires_grad_(True).to(设备) 扰动 = ...

回答 1 投票 0

训练神经网络模型时精度低且损失高

我正在开发一个使用人工神经网络的入场预测系统。我在训练模型时损失很大。以下是与数据集和模型相关的必要信息。 数据集: 对于我上校...

回答 1 投票 0

为什么要使用组合损失函数进行分割和分类

我最近尝试通过提供附加到最后一个编码块的附加分支来修改一维数据的U-NET模型,其目的是将数据分类为...的十八个区域

回答 1 投票 0

如何使用F-score作为误差函数来训练神经网络?

我对神经网络还很陌生。我正在张量流中训练网络,但我的数据集中的正例数量比负例数量少得多(这是一个医学数据集)。 所以,我

回答 4 投票 0

如何处理其中包含 (1/(1-exp(-x))-1/x) 的自定义损失函数?

我正在研究一个具有不规则张量的深度学习模型,其中自定义损失函数与以下内容相关: f(x)+f(x+50) 当x!=0时f(x)=1/(1-exp(-x))-1/x,当x=0时f(x)=0.5。 f(x) 的范围是...

回答 1 投票 0

使用自定义损失函数处理多类分类中的类不平衡

我正在使用先进的机器学习技术解决 Python 中的多类分类问题。我正在处理的数据集存在严重的类别不平衡问题,其中某些类别......

回答 1 投票 0

我的代码中是什么导致我在 Pytorch 中训练网络时出现无限错误?

这是我的代码: 我正在处理一个非常大的数据集(有几百万个值)。我的输入数据有 12 个特征,而我的输出数据有 1 个特征。这是我第一次使用 Pytorch,...

回答 1 投票 0

TensorFlow:根据模型输入和输出计算正则化损失项的梯度

概述 我的模型是一个具有输入 Z 和输出 x 的编码器。 我正在尝试使用同时具有传统监督学习和正则化项的total_loss。我还有额外的功能(

回答 1 投票 0

分割损失突然下降

在MONAI平台中使用未加权骰子和交叉熵损失训练医学图像分割模型时,epoch损失突然下降,如下图所示。我从来没有见过这样的亏损趋势。 ...

回答 1 投票 0

选择权重进行加权损失计算背后的逻辑是什么? [已关闭]

选择用于计算加权 sigmoid 交叉熵损失或在数据集不平衡情况下的任何加权损失的权重背后的一般逻辑是什么?问题域基于 v...

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.