precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

经过长时间的搜索，我问这个问题。我的任务是将号码总数限制为 8 个。 toPrecision 正在按预期工作，除了以下情况：一些测试用例： 4828.39019785 -...

javascript decimal precision

回答 3 投票 0

Javascript 的 toPrecision 向上舍入一半，所以 (123.46).toPrecision(4) // 123.5 (123.44).toPrecision(4) // 123.4 但是选择舍入方向的直接方法是什么（向上...

javascript precision

回答 2 投票 0

在Python中，为什么numpy数组的预分配无法限制其打印精度？

这是一个最小的例子：将 numpy 导入为 np np.set_printoptions（线宽=1000，精度=3） # 第一次尝试未能限制 x 的打印精度 x = np.array([无]) x[0] = 1/3 打印（x） #

python numpy printing precision numpy-ndarray

回答 1 投票 0

符号会影响浮点数的精度和准确度吗？

在浮点运算中，如果两个数字具有相同的二进制表示形式，那么对这些数字执行的任何操作的结果都应该相同，并且使用 == s 进行相等比较...

c++ floating-point precision

回答 1 投票 0

我发现错误的结果是由于浮点数精度造成的吗？

我正在尝试实现一个 GJK 算法，该算法应该返回两个凸形状之间的距离，将来我计划使用它来进行连续碰撞检测。在计算中...

c++ precision

回答 1 投票 0

无限精度的数学库是如何实现的？

所以我知道浮点精度（以及像 1.1 这样的东西如何不能用二进制精确表达）等等，但我想知道：那么，数学相关的库如何实现无限精度...

precision floating-accuracy

回答 7 投票 0

如何在运行时改变C中浮点数的精度？

如何根据用户输入使变量浮点复数或双复数？我正在尝试绘制 Mandelbrot 集，并且我对 float 和 double 有相同的长代码，但在某些情况下 float 不是

c types precision

回答 1 投票 0

MySQL 8 时间戳精度（纳秒）

是否可以以纳秒精度存储在 MySQL DATETIME 或其他等效数据类型中？根据小数秒文档，在我看来这是不可能的（最大 6 位亚秒

mysql datetime timestamp precision arbitrary-precision

回答 1 投票 0

System.Text.Json 反序列化-序列化数字会为某些 .NET 版本提供稍微偏离的数字

我有一个测试，其中带有数字的 json 被反序列化，然后序列化，然后比较两个 json（原始和反序列化序列化）的字符串相等性。该项目是为 net8.0 和

json .net precision mstest system.text.json

回答 1 投票 0

检测 numpy 浮点数中的精度损失

如果两个数字相差太大，最小的数字就会“丢失”。这是否会引发我可以检查的任何标志？在float32中，有效位有24位二进制数字，因此...

python numpy floating-point precision

回答 1 投票 0

mpmath 和 mathmatica 输出差异

编辑，因为我的主要问题在于 mp.math 的结果不正确。我最终需要对复数进行非常精确的计算，这就是为什么我尝试使用 mp 中的 mp 模块...

precision arbitrary-precision mpmath

回答 1 投票 0

GMP mpf 精度到有效位数的硬性规则是什么

GMP 目前开箱即用，精度为 64 位精度（我认为这就是 mp_bitcnt_t 的名称）。对我来说，我认为这最多可以达到 1x10e-22 左右的值（我在哪里

precision gmp

回答 1 投票 0

HackerRank 上的 JavaScript 项目 Euler #1

我在 HackerRank 上的 Project Euler #1 测试用例上遇到了一些问题，希望有一些关于 HackerRank 的 JS 经验的人能够提供帮助。下面是我的代码。据我所知，...

javascript functional-programming precision

回答 6 投票 0

如何在Python中将精度提高数百位小数

我需要计算非常低温度下的本征载流子浓度，该浓度需要非常小的值（低至10-678），并由Python四舍五入为0。您建议我做什么才能做到

python precision

回答 1 投票 0

如何让python在计算中使用15位以上的小数？

在这个问题中，我声称这种五边形的构造将永远收敛。我在这里使用 Geogebra 绘制了前 50 次迭代。然而，放大第 50 次迭代会导致

python decimal precision

回答 1 投票 0

检查两个顶点是否相等是否正确且一致？

我正在编写一个 Typescript 游戏，其中有绘制到画布上的顶点，以及来自它们的一些边。我想确定来自不同顶点的某些边是否相交。为此，我就是我们...

typescript floating-point geometry line precision

回答 1 投票 0

极坐标截去小数

我正在尝试将数据框中的浮点数截断为所需的小数位数。我发现这可以使用 Pandas 和 NumPy 来完成，但我也看到它可能是

python dataframe precision python-polars

回答 1 投票 0

极坐标截去小数

我正在尝试将数据框中的浮点数截断为所需的小数位数。我发现这可以使用 Pandas 和 NumPy 来完成，但我也看到它可能是

python dataframe precision python-polars

回答 1 投票 0

binance api 中的“精度”到底意味着什么？

我正在使用 python ccxt 在 binance 上下卖单。 order = Exchange.create_order(symbol, '市场', '卖出', 金额) 我已经获取了所需的精度，得到了 5。市场 = Exchange.load_m...

python precision binance ccxt significant-digits

回答 1 投票 0

tensorflow - 如何使用 16 位精度浮点

问题 float16 可以在 numpy 中使用，但不能在 Tensorflow 2.4.1 中使用，从而导致错误。 float16 是否仅在具有 16 位支持的 GPU 的实例上运行时才可用？混合精度今天，大多数

python tensorflow keras precision half-precision-float

回答 1 投票 0

precision 相关问题

最新问题