precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

为什么我必须隐式指定Fortran中函数的双精度返回值？

我是Fortran的新手，我正在尝试使用公共块。我的代码是简单的程序主隐式双精度（p）实* 8 :: x，y common / yvalue / y x = 3d0 y = 3d0 print * ...

fortran precision fortran90

回答 2 投票 1

C中float和double之间的精度

我知道有几个主题与我的相同，但我仍然没有真正得到它，所以我期待有人可以用更简单但明确的方式解释这一点，而不是粘贴其他...

c floating-point precision

回答 2 投票 -1

什么是评估精确召回值的ML算法的正确方法？

所以我知道Precision和Recall代表什么。精确优化误报和召回假阴性。到底什么是应该采取的业务的成本目标...

machine-learning statistics precision

回答 1 投票 0

如何在Python中的scipy.integrate.quad中使用参数epsabs？

我试图通过为scipy.integrate.quad指定参数epsabs来使我的积分更精确，这里说我们将从1e-16到1.0从scipy整合函数sin（x）/ x ^ 2 ....

python scipy precision integrate quad

回答 1 投票 1

对varchar postgresql的双精度

我必须修改一个表格，其数据类型的字段为double精度到varchar，alter是成功执行的，但是数据发生了变化，我无法理解postgres在它到来时会做什么...

postgresql casting precision

回答 2 投票 1

浮点精度不在字符串格式化

当我编写一个简单的wprintf函数并使用动词符号L“％。2f”向它传递一个浮点数时，它只是在屏幕上打印“f”而不是格式为0.00的数字。一世 ...

c++ string format precision

回答 2 投票 2

PHP和单元测试断言带小数

我有一个方法返回一个像1.234567890的浮点数。我想测试它确实这样做。但是，似乎这个返回的浮点数在不同的平台上有不同的精度，所以我怎么...

php unit-testing phpunit assert precision

回答 5 投票 25

为什么在将SQL Real转换为Numeric时，规模会略微增加？

我在SQL中的Quantity字段中将值（0.15）存储为Real数据类型。只是玩，当我作为数字转换时，缩放有一些非常小的变化。我不确定为什么会这样，而且......

sql floating-point precision sqldatatypes

回答 1 投票 0

向量双重双浮点算法

存在双精度浮点不足够的工作负载，因此需要四倍精度。这很少在硬件中提供，因此解决方法是使用双倍，...

floating-point double vectorization precision

回答 1 投票 1

PI和浮点数的准确性

Pi的单/双/扩展精度浮点表示精确到小数位数？

floating-point precision floating-accuracy

回答 10 投票 11

如何从生成的代码中自动消除双精度数学？

在针对ARM Cortex M *内核的嵌入式项目中，我们使用基于ARM clang的工具链（v6）。我们使用float类型来表示浮点数学。当我们尽量减少占地面积时，我们发现......

floating-point arm embedded clang precision

回答 1 投票 2

避免快速划分（互惠）

有没有办法用分区编写C代码来命令编译器不要在代码中需要常规除法精度的几个特定位置使用快速除法（通过倒数数学）...

c math precision

回答 2 投票 2

数字左侧为零的精度问题[重复]

我的函数如下：static function applyPrecision（$ vals）{$ originalNumber = $ vals ['reading']; if（is_numeric（$ originalNumber））{$ precision =（$ vals ['precision']！...

php precision

回答 2 投票 0

oracle：查询具有数字列的输出比例和精度 - 字段数据类型=数字

我有一个数字数据类型的列。在本专栏中，我有比例和精度的值，但也只有比例可用。当我查询输出规模的数据时，我想...

sql oracle numbers scale precision

回答 2 投票 0

在Javascript中解压缩半精度浮点数

我正在尝试使用包含大量16位浮点数的javascript读取二进制文件。相当肯定它是IEEE标准，小端。阅读这两个是非常简单的......

javascript precision

回答 4 投票 4

python中浮点精度的最佳实践

今晚早些时候，我的一位朋友把这个可爱的问题递给了我。问题是：在MATLAB中创建一个程序来检查一个点是否在三角形内。不要忘记检查是否......

python floating-point double precision

回答 4 投票 3

大负数的指数

如何在Python上计算诸如np.exp（-28000）之类的数字？答案是5E-12161左右。我被告知，由于双精度浮点格式，我只能计算......

python numpy floating-point precision exponential

回答 3 投票 0

将浮点数限制为两个小数点

我想要一个四舍五入到13.95。 >>> a 13.949999999999999 >>> round（a，2）13.949999999999999圆函数不能按我预期的方式工作。

python floating-point rounding precision

回答 24 投票 1399

在double和float数据类型之间混淆

我在C ++中的double和float之间感到困惑。例如：Q。对于每种类型状态，它的常数：a。）1.0 b。）2.8e-10据我所知，a。）部分是浮点数（因为它不太精确）......

c++ types floating-point double precision

回答 3 投票 1

是否可以在（g）awk脚本中处理长整数或大整数？

由于awk处理所有数字具有双精度，长整数（作为long int类型，或更常见的：long），将以53位（或16.5位数字）到达屋顶。这意味着，如果该计划......

awk precision long-integer

回答 1 投票 4

最新问题

© www.soinside.com 2019 - 2024. All rights reserved.