precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

如何在面对浮点舍入错误的情况下找到最小累积总和的索引？

c precision numeric

回答 1 投票 0

如何在浮点舍入错误的情况下找到累积最小值的索引？

c precision numeric

回答 1 投票 0

如何以一种总是正确的方式找到库司的argmin？ call arr在-1到1之间的float64s阵列。我想找到ARR累积总和的最小值的索引。我的问题是我无法轻松地做到这一点，因为ARR中的数字非常

c precision numeric

回答 1 投票 0

为什么无法计算的值与预先计算的值完全匹配？

python precision

回答 1 投票 0

QT-在程序

我会提到我甚至不确定我要做什么是可能的。我已经与QT合作了一段时间，从未尝试过这样的事情，我发现...

c++ qt settings precision

回答 1 投票 0

C++构建器双分配

看起来很简单，但我做到了：长双A = 10E-6; float b = 10e-6; 在检查时，A等于0.000010000000000000001，这足以使我的计算在以后的时间上进行错误。也显示b。

64-bit precision windows-11 c++builder-12-athens

回答 1 投票 0

我正在尝试评估61度的多项式。但是，在SQRT（2）的点附近，我得到了一些奇怪的行为。多项式的图变得不稳定。这样做的原因。使用以下python代码

具有由

python math precision numeric polynomials

回答 0 投票 0

但是，当我在替补中玩耍时，我对这种行为感到困惑：

要交叉检查自己，我使用python repp来做同样的事情，在得到预期的结果：

haskell double precision

回答 1 投票 0

如何计算符号（a² -b * c） * sqrt（abs（a² -b * c））准确地使用浮点算术？

问题我想知道是否有一种数字准确的计算方法符号（a² -b * c） * sqrt（abs（a² -b * c））带有浮点算术，因为它遭受了（从大多数到le ...

floating-point precision numeric floating-accuracy

回答 0 投票 0

是所有英特尔/AMD CPU的浮点数学确定性？

x86 floating-point x86-64 precision sse

回答 1 投票 0

C++长双（128位）精度

<= 0) return 1; for (long i ...

x86-64 precision c++23 long-double 128-bit

回答 1 投票 0

用于货币代表的哪个课程？

我应该使用什么课程来代表金钱来避免大多数舍入错误？我应该使用小数点还是简单的内置号码？是否有任何现有的货币类并支持货币

python currency rounding-error arbitrary-precision precision

回答 5 投票 0

CastFloat to Int具有一致的结果累积平台/编译器/CPUArchs

c++ gcc floating-point rounding precision

回答 1 投票 0

弦格式删除浮点错误？

c# formatting precision

回答 1 投票 0

有效的累积log_sum_exp

I有一个带有1M行的数据框，其中一列表示对数后验概率。这些值中有许多非常接近0，因此我必须使用log_sum_exp（）而不是...

r precision

回答 1 投票 0

为什么5.0 / 2返回2.50000000000000（比例为16），而不是2.5（比例为1）？ fiddle 选择5.0 / 2 ，pg_typeof（5.0 / 2）; pg_typeof 2.5000000000000000 数字为什么结果是2.5000000000000000？当我们将2.5插入数字列或从数字中选择2.5 ...

sql postgresql precision numeric arbitrary-precision

回答 1 投票 0

Float在OpenGL中溢出，尽管不到32位。 Float test_1 = 1.79450992E+38; float test_2 = 127; float temp = abs（test_1） / exp2（test_2）; float temp_2 = abs（1.79450992e+38） / exp2（127.0）; 温度输出为0， temp_2输出为1.05472 温度...

temp输出为0和 temp_2输出为1.05472

opengl floating-point glsl shader precision

回答 1 投票 0

INTEL X86_64组件比较签名的双精度浮标

inxmm0寄存器我有一个值，例如

assembly x86-64 intel precision sse

回答 1 投票 0

如何选择浮点数的epsilon值？ [已关闭]

由于数字表示有限，我们知道 0.1 + 0.2 != 0.3，因此我们需要检查 hat abs(0.1+0.2 - 0.3) < ε. The question is, what ε value should we generally choose for

math floating-point precision epsilon

回答 3 投票 0

我可以依靠多少位数字？

floating-point precision numerical-computing

回答 1 投票 0

precision 相关问题

最新问题