precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

从英寸转换为厘米时会失去精度，反之亦然

当我从英寸转换为厘米并再次将厘米转换为英寸时，我实际上失去了精度值。 // 英寸换算为厘米公共静态字符串convertInchesToCentimeter（字符串英寸...

java double precision

回答 2 投票 0

如何在javascript中使数字的精度高于21

如何在javascript中使数字的精度高于21？我收到这个号码 8.426661309628124e+22 什么时候应该是这个 8.4266613096281243382112 当我使用 toPrecision(21) 时，我得到...

javascript precision

回答 1 投票 0

0.001 .. 0.999 范围内有多少个数字不能表示为浮点数？

每个人都知道，并非所有数字都可以表示为浮点数。例如 0.1 没有精确的浮点表示。已经有一个问题了，可以有多少个值

floating-point precision

回答 1 投票 0

C# 无法将“System.Double”类型的对象转换为“System.Single”类型

在判断这个问题已经得到解答之前，请先阅读描述。我有下面这个简单的代码：字典 d = 新字典(); d.添加(&

c# .net casting type-conversion precision

回答 4 投票 0

GCP Pub/Sub 到 BigQuery 向 NUMERIC 列写入错误值

我将采用以下格式将 JSON 发布到 Pub/Sub： {“阅读”：“11202.8”} 数字被编码为字符串以强制明确的精度。使用 P...

google-cloud-platform google-bigquery precision google-cloud-pubsub numeric

回答 1 投票 0

为什么 IEEE 浮点精度中是 2x - x == x？

我希望这仅在尾数的最后一位为0时成立。否则，为了减去它们（因为它们的指数相差1），x将首先失去一点精度，结果

python precision ieee-754

回答 1 投票 0

向量上的glm运算返回不正确的值

Glm 内部使用 float 并以非常高的精度计算值。问题在于，使用此类值进行常规操作可能会返回不正确的结果。考虑这个 gdb 输出： 49 ...

c++ floating-point precision glm-math

回答 1 投票 0

ULP 1 时的舍入 - Java 和 C++

问题的原因源于我在计算 C++ 中的 std::exp(x) 与 Java 中的 Math.exp(x) （x 类型为 double）时观察到的结果差异。我注意到算法...

java c++ floating-point double precision

回答 1 投票 0

Windows 下 Visual Studio 2012 / Intel 编译器的 C++ 双精度失败

我在 Windows 下使用 Visual Studio 和 Intel 编译器时遇到双精度问题。 #包括 #包括 int main() { 双结果 = 42；内部...

c++ visual-studio gcc precision icc

回答 2 投票 0

在 Python 中复制 VBA 的精确计算

我有 VBA 代码，需要用 Python 编写。我是 Python 新手，对此感到抱歉。子 cdec_test() Dim val1, val2, result1, result2, x1, x2 作为变体 val = CDec(5930 / 3000) 'val1 : 1.97666666...

python excel vba rounding precision

回答 1 投票 0

toPrecision 正在将小数点后的尾随零添加到预期总数中

经过长时间的搜索，我问这个问题。我的任务是将号码总数限制为 8 个。 toPrecision 正在按预期工作，除了以下情况：一些测试用例： 4828.39019785 -...

javascript decimal precision

回答 3 投票 0

toPrecision() 选择舍入方向

Javascript 的 toPrecision 向上舍入一半，所以 (123.46).toPrecision(4) // 123.5 (123.44).toPrecision(4) // 123.4 但是选择舍入方向的直接方法是什么（向上...

javascript precision

回答 2 投票 0

在Python中，为什么numpy数组的预分配无法限制其打印精度？

这是一个最小的例子：将 numpy 导入为 np np.set_printoptions（线宽=1000，精度=3） # 第一次尝试未能限制 x 的打印精度 x = np.array([无]) x[0] = 1/3 打印（x） #

python numpy printing precision numpy-ndarray

回答 1 投票 0

符号会影响浮点数的精度和准确度吗？

在浮点运算中，如果两个数字具有相同的二进制表示形式，那么对这些数字执行的任何操作的结果都应该相同，并且使用 == s 进行相等比较...

c++ floating-point precision

回答 1 投票 0

我发现错误的结果是由于浮点数精度造成的吗？

我正在尝试实现一个 GJK 算法，该算法应该返回两个凸形状之间的距离，将来我计划使用它来进行连续碰撞检测。在计算中...

c++ precision

回答 1 投票 0

无限精度的数学库是如何实现的？

所以我知道浮点精度（以及像 1.1 这样的东西如何不能用二进制精确表达）等等，但我想知道：那么，数学相关的库如何实现无限精度...

precision floating-accuracy

回答 7 投票 0

如何在运行时改变C中浮点数的精度？

如何根据用户输入使变量浮点复数或双复数？我正在尝试绘制 Mandelbrot 集，并且我对 float 和 double 有相同的长代码，但在某些情况下 float 不是

c types precision

回答 1 投票 0

MySQL 8 时间戳精度（纳秒）

是否可以以纳秒精度存储在 MySQL DATETIME 或其他等效数据类型中？根据小数秒文档，在我看来这是不可能的（最大 6 位亚秒

mysql datetime timestamp precision arbitrary-precision

回答 1 投票 0

System.Text.Json 反序列化-序列化数字会为某些 .NET 版本提供稍微偏离的数字

我有一个测试，其中带有数字的 json 被反序列化，然后序列化，然后比较两个 json（原始和反序列化序列化）的字符串相等性。该项目是为 net8.0 和

json .net precision mstest system.text.json

回答 1 投票 0

检测 numpy 浮点数中的精度损失

如果两个数字相差太大，最小的数字就会“丢失”。这是否会引发我可以检查的任何标志？在float32中，有效位有24位二进制数字，因此...

python numpy floating-point precision

回答 1 投票 0

precision 相关问题

最新问题