precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

如何解释数据库中数字的精度和小数位数？

我在数据库中指定了以下列：decimal(5,2) 人们如何解释这一点？根据 SQL Server Management studio 中查看的列属性，我可以看到它

sql database decimal scale precision

回答 5 投票 0

在c++中将浮点转换为字符串后丢失精度[重复]

我已将字符串值转换为浮点数并尝试为其设置精度。设置精度后，我得到的值被截断。 #包括 #包括在...

c++ string floating-point precision

回答 1 投票 0

为什么 np.exp(1000) 给出溢出警告，而 np.exp(-100000) 不给出下溢警告？

跑步时： >>> 将 numpy 导入为 np >>> np.exp(1000) ：1：运行时警告：exp 中遇到溢出显示溢出警告。但那为什么下面的不给...

python numpy precision

回答 1 投票 0

C/C++ 中 pow() 函数的实现是否因平台或编译器而异？

调试内置pow()函数的输出花了一天的时间。我的编译器和在线编译器的输出不同。那是一个很长的故事。我写了以下最小的，完整的，...

c++ precision terminology pow

回答 3 投票 0

如何格式化浮点数以省略分数末尾的零

我想格式化一个浮点数，使其最多有 3 个小数位，但如果最后一个小数位为 0，则忽略它们。输入：预期输出 1.1234 : 1.123 1.120：1.12 1.100：1.1 1.0 ...

floating-point format precision string-formatting monkeyc

回答 1 投票 0

打印__float128，不使用quadmath_snprintf

在我关于 32 位十进制数字的浮点/双精度分析的问题中，一个答案说看一下 __float128。我使用了它，编译器可以找到它，但我无法打印它，因为......

c++ c floating-point precision floating-point-precision

回答 4 投票 0

C 为什么 DBL_MANT_DIG 宏定义为 53 [重复]

我想知道为什么 DBL_MANT_DIG 设置为 53，即使 ieee 754 标准使用 52 个尾数位。它也计算符号位吗？

c floating-point precision ieee-754

回答 1 投票 0

如何纠正 Floor(t / dt) * dt != t 中的数值不稳定？

我有两个浮点数 t 和 dt。典型值为 t = 1 和 dt = .01f。我想在从 0 到 t 的每个“时间”执行一个函数 foo，步长为 dt。如果碰巧 t 不可整除...

c++ precision numeric floating-accuracy floor

回答 1 投票 0

对 MATLAB 集成的误解

大家！你们能解释一下为什么要精确集成吗？四边形( @(x)x.^3-2.*x,0,2) 是 -2.220446049250313e-016 而不是零，就像它应该的那样？

matlab floating-point precision numerical-integration

回答 1 投票 0

Python+Scipy+Integration：处理带有尖峰的函数中的精度误差

我正在尝试使用 scipy.integrate.quad 在非常大的范围（0..10,000）内集成函数。该函数在其大部分范围内为零，但在非常小的范围内有一个尖峰（例如 1,602.....

python scipy precision numerical-methods numerical-integration

回答 2 投票 0

浮点数可以容纳的最大数字，同时仍保留一定的小数精度

我想知道 32 位浮点数可以容纳的最大正数，同时仍然能够表示大约 1/1000 的十进制分辨率。因此，例如如果浮点数代表千瓦...

floating-point precision

回答 1 投票 0

所有 IEE754 类型的 CUDA 中的 std::floating_point 概念

我想知道 CUDA 是否提供了类似于 std::floating_point 的概念，但包括所有 IEE754 类型，例如__一半。我在下面提供了一个示例代码来测试 __half 模板的乐趣...

c++ cuda precision c++-concepts half-precision-float

回答 1 投票 0

如何克服Python中对浮点数列表求和时的精度错误？

在Python3中，0.35 * 10与将10个数字的列表求和0.35显示的结果不同。 Python 3.8.1（v3.8.1:1b293b6006，2019 年 12 月 18 日，14:08:53） [Clang 6.0 (clang-600.0.57)] 达尔文输入“...

python math precision

回答 1 投票 0

如何克服Python3中对浮点数列表求和时的精度错误？

python python-3.x math precision

回答 1 投票 0

为什么浮点运算在go中会产生不同的结果[已关闭]

以下是Go中的示例代码：包主导入“fmt” func mult32(a, b float32) float32 { 返回 a*b } func mult64(a, b float64) float64 { 返回 a*b } 函数主() { fmt.Println(3*4.3) ...

go floating-point precision ieee-754

回答 2 投票 0

如何在 Fortran 90 中为数组元素设置双精度

我对 Fortran 代码不太熟悉，想将其与一些 C 代码进行比较。我对一个想要具有双精度的数组有以下定义（因为我想比较数字

arrays fortran double precision gfortran

回答 1 投票 0

截断浮点数而不向上舍入

我有一个浮点数，我想截断到 3 位，但我不想四舍五入。例如，将 1.0155555555555555 转换为 1.015（而不是 1.016）。我将如何去做这件事......

ruby math floating-point decimal precision

回答 9 投票 0

发生这种情况是因为精度还是其他原因？

我正在尝试在 Matlab 中求解一个大型线性系统，117 x 117。但每次我运行代码时，给出输出“NaN”并给出警告“矩阵对于工作精度是奇异的&q...

matlab precision linear-algebra

回答 1 投票 0

FPGA 中可以执行多少次加法运算来代替一次乘法运算？

FPGA 上可以执行多少次加法运算而不是一次乘法运算？就使用的资源而言 - 例如 - 能源和逻辑区域成本。我想知道多个

addition precision bitwise-operators fpga multiplication

回答 1 投票 0

pytorch bfloat16 epsilon 减法得到相同的结果

我试图在非常窄的值范围内扫描一些参数，并使用 bfloat16 epsilong 作为步长，以避免出现诸如 a-b==a 对于非常小的 b 之类的问题，但是我偶然发现了这种情况：

pytorch floating-point precision

回答 1 投票 0

precision 相关问题

最新问题