precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

为什么 IEEE 浮点精度中是 2x - x == x？

我希望这仅在尾数的最后一位为0时成立。否则，为了减去它们（因为它们的指数相差1），x将首先失去一点精度，结果

python precision ieee-754

回答 1 投票 0

向量上的glm运算返回不正确的值

Glm 内部使用 float 并以非常高的精度计算值。问题在于，使用此类值进行常规操作可能会返回不正确的结果。考虑这个 gdb 输出： 49 ...

c++ floating-point precision glm-math

回答 1 投票 0

ULP 1 时的舍入 - Java 和 C++

问题的原因源于我在计算 C++ 中的 std::exp(x) 与 Java 中的 Math.exp(x) （x 类型为 double）时观察到的结果差异。我注意到算法...

java c++ floating-point double precision

回答 1 投票 0

Windows 下 Visual Studio 2012 / Intel 编译器的 C++ 双精度失败

我在 Windows 下使用 Visual Studio 和 Intel 编译器时遇到双精度问题。 #包括 #包括 int main() { 双结果 = 42；内部...

c++ visual-studio gcc precision icc

回答 2 投票 0

在 Python 中复制 VBA 的精确计算

我有 VBA 代码，需要用 Python 编写。我是 Python 新手，对此感到抱歉。子 cdec_test() Dim val1, val2, result1, result2, x1, x2 作为变体 val = CDec(5930 / 3000) 'val1 : 1.97666666...

python excel vba rounding precision

回答 1 投票 0

toPrecision 正在将小数点后的尾随零添加到预期总数中

经过长时间的搜索，我问这个问题。我的任务是将号码总数限制为 8 个。 toPrecision 正在按预期工作，除了以下情况：一些测试用例： 4828.39019785 -...

javascript decimal precision

回答 3 投票 0

toPrecision() 选择舍入方向

Javascript 的 toPrecision 向上舍入一半，所以 (123.46).toPrecision(4) // 123.5 (123.44).toPrecision(4) // 123.4 但是选择舍入方向的直接方法是什么（向上...

javascript precision

回答 2 投票 0

在Python中，为什么numpy数组的预分配无法限制其打印精度？

这是一个最小的例子：将 numpy 导入为 np np.set_printoptions（线宽=1000，精度=3） # 第一次尝试未能限制 x 的打印精度 x = np.array([无]) x[0] = 1/3 打印（x） #

python numpy printing precision numpy-ndarray

回答 1 投票 0

符号会影响浮点数的精度和准确度吗？

在浮点运算中，如果两个数字具有相同的二进制表示形式，那么对这些数字执行的任何操作的结果都应该相同，并且使用 == s 进行相等比较...

c++ floating-point precision

回答 1 投票 0

我发现错误的结果是由于浮点数精度造成的吗？

我正在尝试实现一个 GJK 算法，该算法应该返回两个凸形状之间的距离，将来我计划使用它来进行连续碰撞检测。在计算中...

c++ precision

回答 1 投票 0

无限精度的数学库是如何实现的？

所以我知道浮点精度（以及像 1.1 这样的东西如何不能用二进制精确表达）等等，但我想知道：那么，数学相关的库如何实现无限精度...

precision floating-accuracy

回答 7 投票 0

如何在运行时改变C中浮点数的精度？

如何根据用户输入使变量浮点复数或双复数？我正在尝试绘制 Mandelbrot 集，并且我对 float 和 double 有相同的长代码，但在某些情况下 float 不是

c types precision

回答 1 投票 0

MySQL 8 时间戳精度（纳秒）

是否可以以纳秒精度存储在 MySQL DATETIME 或其他等效数据类型中？根据小数秒文档，在我看来这是不可能的（最大 6 位亚秒

mysql datetime timestamp precision arbitrary-precision

回答 1 投票 0

System.Text.Json 反序列化-序列化数字会为某些 .NET 版本提供稍微偏离的数字

我有一个测试，其中带有数字的 json 被反序列化，然后序列化，然后比较两个 json（原始和反序列化序列化）的字符串相等性。该项目是为 net8.0 和

json .net precision mstest system.text.json

回答 1 投票 0

检测 numpy 浮点数中的精度损失

如果两个数字相差太大，最小的数字就会“丢失”。这是否会引发我可以检查的任何标志？在float32中，有效位有24位二进制数字，因此...

python numpy floating-point precision

回答 1 投票 0

mpmath 和 mathmatica 输出差异

编辑，因为我的主要问题在于 mp.math 的结果不正确。我最终需要对复数进行非常精确的计算，这就是为什么我尝试使用 mp 中的 mp 模块...

precision arbitrary-precision mpmath

回答 1 投票 0

GMP mpf 精度到有效位数的硬性规则是什么

GMP 目前开箱即用，精度为 64 位精度（我认为这就是 mp_bitcnt_t 的名称）。对我来说，我认为这最多可以达到 1x10e-22 左右的值（我在哪里

precision gmp

回答 1 投票 0

HackerRank 上的 JavaScript 项目 Euler #1

我在 HackerRank 上的 Project Euler #1 测试用例上遇到了一些问题，希望有一些关于 HackerRank 的 JS 经验的人能够提供帮助。下面是我的代码。据我所知，...

javascript functional-programming precision

回答 6 投票 0

如何在Python中将精度提高数百位小数

我需要计算非常低温度下的本征载流子浓度，该浓度需要非常小的值（低至10-678），并由Python四舍五入为0。您建议我做什么才能做到

python precision

回答 1 投票 0

如何让python在计算中使用15位以上的小数？

在这个问题中，我声称这种五边形的构造将永远收敛。我在这里使用 Geogebra 绘制了前 50 次迭代。然而，放大第 50 次迭代会导致

python decimal precision

回答 1 投票 0

precision 相关问题

最新问题