precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

出现错误“权重总和不等于 1”，但它们的总和确实为 1（R 的 MCDM 包）[重复]

我正在对多标准决策模型进行敏感性分析。该模型使用 MCDM 包在 R 中运行。该模型的一个关键组成部分是它依赖于用户给定的一组权重......

r precision normalization rowsum mcdm

回答 1 投票 0

g0 = randn(1, 100); g1 = g0; g1(2:结束) = 翻转(g1(2:结束)); sprintf("%.15e", sum(g0) - sum(g1)) g0 = np.random.randn(100) g1 = g0.copy() g1[1:] = g1[1:][::-1] 打印（总和（g0）-总和（g1））在...

python numpy matlab random precision

回答 1 投票 0

比较两个 32 位浮点值的 Delta 值可以有多低？

我有一套 240 个具有不同抽头数的 FIR 滤波器卷积单元测试。所有测试都通过了，当我正在完善时，我注意到用于比较的增量是 1E-04f。我把它降低了...

c# floating-point precision

回答 2 投票 0

确定数字是否在 float 或 double 的范围内

有没有办法确定一个数字是否可以存储为单浮点数或双浮点数？我正在实现我自己的数据库格式，在我的辅助函数 num2bin(n) 中，我目前有以下内容...

python-3.x floating-point precision

回答 1 投票 0

精确输出流浮点数

我有浮点数精度问题： int 主函数（无效）{ 双b = 106.829599；浮动 a = b; std::cerr << std::setprecision(6) << "a = " << a << "; b = " <&...

c++ stream numbers precision

回答 1 投票 0

检查浮点值是否等于 0 是否安全？

我知道你通常不能依赖双精度或十进制类型值之间的相等性，但我想知道 0 是否是一种特殊情况。虽然我可以理解 0.00000000000001 和 0 之间的不精确性。

c# .net floating-point precision zero

回答 10 投票 0

如何提高此Python代码中的计算精度

我正在尝试重现《Math Letters Jr.》第 81 页上的情节（顺便说一句，这是一本很棒的休闲数学书）。该图是使用一对迭代应用的简单函数创建的...

python precision

回答 1 投票 0

numpy 数组在传递到循环时会丢失精度，因此比较不起作用

我有一个传递一维坐标数组的函数。这些是分段函数已在字典中定义的部分的末尾，并且也作为输入传入。然而，...

python pandas numpy precision

回答 1 投票 0

gcc13：long double 的精度与 libquadmath 几乎相同；它们都是 80 位浮点实现吗？

我认为 GCC 目前（2023 年）会为 long-double 实现 80 位浮点数，并使用 libquadmath 实现 128 位浮点数... 然而，对于 amd64 架构 (AMD FX-8320E) 上的 gcc 13.2.0，我发现

gcc precision long-double quadruple-precision

回答 0 投票 0

Double 到 Int，动态删除精度点

Kotlin 或 Java 中是否有一种方法可以将 Double 解析为 Int ，并且知道所有双精度数都不会超出 Int 内存限制？例子：双倍的 INT 1,123 1123 1,1 11 1,12345 11234 0,12345 1234 我...

java kotlin double precision

回答 2 投票 0

为什么 a//b 和 np.floor(a/b) 会产生不同的结果？

我偶然发现了 python 3 使用 // 的“地板划分”的奇怪边缘行为。经过一些计算，我得出公式 (a1 - a2) // b。使用 a1 = 226.72560000000001 a2 = 0.

python python-3.x numpy floating-point precision

回答 3 投票 0

映射到同一个双精度浮点数的两个 16 位小数精度的数字是多少？

据说，在双精度浮点数覆盖的范围内，任何用15位精度表示的十进制数都可以用一个特定的浮点数唯一标识。但是，如果我们包括...

floating-point binary precision floating-accuracy

回答 3 投票 0

JSON 数字在解组到接口后被切断

所以我有一个包含很多字段的 JSON，我按照建议循环遍历它如何有效地更改 JSON 键删除一些我不需要的键。但是删除后，...的原始值...

json go precision

回答 2 投票 0

如果float有6位精度，为什么我们可以用printf显示6位以上的float？

让我们考虑以下代码： #包括主函数() { 浮动 x = 0.33； printf("%.100f",x); 返回 0； } 如果 float 有 6 位精度，如何...

c floating-point precision

回答 3 投票 0

Matlab根据计算形式产生不同的矩阵乘积结果

在 Matlab 中，我通过两种方式计算 2D 点集合的旋转：一种通过常规矩阵-矩阵乘积，另一种通过迭代向量-矩阵乘积，如下所示。 >> 点数 = % ...

matlab vectorization precision numeric hardware-acceleration

回答 1 投票 0

java同数加减双精度错误

由于浮点数不准确，java 的 double 不能精确表示每个十进制数，即引入精度错误。给定以下代码：双d1=0.20976190476190476；双...

java precision

回答 1 投票 0

VBA round(var,1) 导致浮点错误

我正在使用 VBA 计算一个值并将其打印到工作表中。计算出的值是一个“单”，我想把它四舍五入到小数点后一位。出于某种原因，“圆形”函数...

excel vba floating-point rounding precision

回答 1 投票 0

如何在 SQL 数据库中存储 python 浮点数

在 python3 中，我主要使用 float 或 np.float32/64，当将其存储到数据库中时，即使 SQL 类型是数字/小数，我们最终也会得到 0.400000000000021 或类似的东西，而不是...

python sql floating-point decimal precision

回答 4 投票 0

Dart 中的银行家舍入

谁能帮忙在 Dart 中实现银行家的舍入所以我轮到 3 d.p.到最近的 2 d.p.数字 EXCEPT 当数字介于中间时它会转到最接近的偶数 ...

dart double precision

回答 3 投票 0

我怎样才能最小化这个求和中的数值误差？

我在下面的代码示例中遇到了一个数字错误（我在下面添加了 Kahan 求和尝试和一个更聪明但仍然天真的版本；但不幸的是更糟糕......

c++ c++20 precision numeric numerical-methods

回答 1 投票 0

precision 相关问题

最新问题