precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

如何在 Fortran 90 中为数组元素设置双精度

我对 Fortran 代码不太熟悉，想将其与一些 C 代码进行比较。我对一个想要具有双精度的数组有以下定义（因为我想比较数字

arrays fortran double precision gfortran

回答 1 投票 0

截断浮点数而不向上舍入

我有一个浮点数，我想截断到 3 位，但我不想四舍五入。例如，将 1.0155555555555555 转换为 1.015（而不是 1.016）。我将如何去做这件事......

ruby math floating-point decimal precision

回答 9 投票 0

发生这种情况是因为精度还是其他原因？

我正在尝试在 Matlab 中求解一个大型线性系统，117 x 117。但每次我运行代码时，给出输出“NaN”并给出警告“矩阵对于工作精度是奇异的&q...

matlab precision linear-algebra

回答 1 投票 0

FPGA 中可以执行多少次加法运算来代替一次乘法运算？

FPGA 上可以执行多少次加法运算而不是一次乘法运算？就使用的资源而言 - 例如 - 能源和逻辑区域成本。我想知道多个

addition precision bitwise-operators fpga multiplication

回答 1 投票 0

pytorch bfloat16 epsilon 减法得到相同的结果

我试图在非常窄的值范围内扫描一些参数，并使用 bfloat16 epsilong 作为步长，以避免出现诸如 a-b==a 对于非常小的 b 之类的问题，但是我偶然发现了这种情况：

pytorch floating-point precision

回答 1 投票 0

为什么 Golang 为我提供了几种不同的单位转换？

我正在尝试建立一个管理系统来运行我的单位，但我遇到了一个我不明白的问题。我的印象是 Golang 在选择哪个时不知道站在哪里......

go precision

回答 1 投票 0

计算器怎么能显示这么多位数的PI？

我正在玩手机上的计算器，我发现我可以在那里看到任意位数的圆周率。我知道双精度浮点数的精度最高可达 16 位数字，所以我...

floating-point double calculator precision

回答 1 投票 0

将用户输入限制为小数点后两位时，处理浮点问题的最佳方法是什么？

我目前正在创建一个应用程序，允许用户输入重量并选择他们喜欢的单位（公斤和磅之间）。截至目前，数据库是用 Django 编写的，并存储每个用户 wei...

javascript floating-point precision

回答 1 投票 0

使用 MLP 分类器，少数类精度、召回率、fscore 全部变为零

我使用 SkLearn 上提供的 MLP 分类器训练了我的模型。我使用代码分割数据 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y, random_sta...

machine-learning scikit-learn precision precision-recall mlp

回答 1 投票 0

两个“整个”双精度数的乘积能否始终正确表示？

这似乎是一个非常基本的问题，但我对浮点数的知识越来越模糊。假设我有两个双精度数（根据 IEEE 754），它们都精确地代表一个整数，例如......

floating-point precision

回答 1 投票 0

Ruby 代码删除无关紧要的小数位？

我想要一个优雅的代码，它删除了无关紧要的结束零，例如： 29.970 => 29.97 29.97 => 29.97 25.00 => 25 25.0 => 25 我试过：参数.to_r.to_f.to_s 但是...

ruby string decimal precision rational-number

回答 2 投票 0

如何得到最小的数字A，即N倍于另一个数字B，以及更大或等于数字C

我想得到一个数字（floatB）的N倍的最小数字（floatA），并且这个数字必须大于或等于另一个数字（floatC），例如浮动_c = 20.0 浮动_b = 7.0 比数字...

floating-point precision

回答 1 投票 0

在Python中计算系数为1/2^1000的和

我创建了以下 python 脚本，该脚本旨在在 while 循环内计算总和，一旦总和变得足够小就终止。我遇到的问题是在第一行...

python precision

回答 1 投票 0

如何在 javascript 中精确等待特定时间

我正在测量用户键入一些文本时按键之间的时间，使用 Performance.now() 并保存它。现在，我想重播用户输入的内容，可能使他能够参加比赛......

javascript performance timer settimeout precision

回答 1 投票 0

更改 Oracle 中数字列的精度

目前我有一列声明为数字。我想将列的精度更改为 NUMBER(14,2)。所以，我运行了命令更改表 EVAPP_FEES 修改 AMOUNT NUMBER(14,2)' 对于

sql oracle precision

回答 4 投票 0

代表Java和Postgres中货币汇率的十进制数

我们考虑两种储蓄和计算货币以及货币汇率的选择。汇率选项： 1 - 使用整数。将每个数字乘以 10^7 所以...

java postgresql precision

回答 1 投票 0

是否可以对浮点算术错误中的 a 和 b 的值进行逆向工程，例如 (a -b) == 0.499，而它应该是 0.5？

在我的应用程序中，我计算经过的时间（a-b），得到0.4999978542327881（由python打印），我猜如果它没有被python四舍五入打印的话，它实际上是0.4999978542327880859375...

floating-point precision

回答 1 投票 0

如何在C++中的google测试中匹配双向量的元素？

在 Google 测试框架中，要断言两个双精度数相等，我们可以使用： ASSERT_DOUBLE_EQ(val1, val2); 代替 ASSERT_EQ(val1, val2); 以避免精度问题。比较 vec 的元素...

c++ unit-testing precision googletest

回答 1 投票 0

尝试理解Mathf。大约[重复]

有人可以举一个最简单的例子，当 Mathf.Approximately 给出 true 时吗？尝试以下操作，它总是错误的：调试.Log(Mathf.Approximately(0.0001f, 0.0f)); // 错误的调试.日志（数学。

c# unity-game-engine precision equality

回答 1 投票 0

在使用 g++13 的 x86 CPU 上将 bfloat16 与 C++23 结合使用

我正在尝试使用 bfloat16 作为在 HPC 集群上工作的应用程序的格式。为此，我安装了 g++13，据说它支持 bfloat16 格式，但这并没有一致地工作...

c++ g++ precision c++23 half-precision-float

回答 1 投票 0

precision 相关问题

最新问题