precision 相关问题

有关编程中数值精度的问题。对于分类精度,请使用标签[precision-recall]。

BigQuery - 如何计算浮点值小数点后的位数

在 BigQuery 表中,我有一个 FLOAT 数据类型的列。我需要将此列中的值格式化为小数点后 3 位数字,但前提是该值本身的小数点后位数少于 3....

回答 1 投票 0

在 C++ 中处理 double 除以 2 的大幂

我的问题是,当你必须除以2的大幂时,应该如何处理除法,这可能是一件微不足道的事情,但我没有找到任何有用的材料。我基本上是在问...

回答 1 投票 0

bfloat 类型比 VK_KHR_16bit_storage 扩展提供的 fp16 有什么好处吗?

在vulkan api中,有两个使用16位类型的扩展,即VK_KHR_16bit_storage和VK_KHR_shader_float16_int8。所以,如果硬件支持这些扩展,fp16类型变量可以被解析...

回答 1 投票 0

我正在寻找精度为 0.01 盎司的 WebHID 秤

我正在开发一个 WebHID 项目并使用 Dymo 秤。不幸的是,Dymo 秤的精度仅为 0.1 盎司,而我需要 0.01 盎司。有谁知道 WebHID 和

回答 1 投票 0

小立方函数的正确性

我想出的这个函数在什么范围内找到小于整数 n 的最大立方体有效? def lesser_cube(n): k = int(n**(1/3)) 如果 k**3 < n else (k-1)**3 64**(...

回答 1 投票 0

将 ASCII 代码点值存储在浮点数中可以防止将其解释为字符(在 C 中)

浮动c; c = 'a'; 而 (c <= 'z') { write(1, &c, 1); c++; } write() is data type-agnostic. It should deliver the correct code point values to the terminal. The terminal should then

回答 1 投票 0

np.float64 和 np.double 有什么区别?

我尝试运行以下代码来找出numpy中float64和double之间的区别。结果很有趣,因为 double 类型花费的时间几乎是

回答 3 投票 0

当数据列/行中存在文本时,使用具有定义的浮点精度的 pandas read_excel

我对Python相当陌生(MATLAB和工程背景)并且遇到了一个问题。 我收到了这些 excel 文件,其中包含标题部分,然后是下面的数据部分...

回答 1 投票 0

Pandas Dataframe 按行显示精度

我正在使用 pandas 将结果输出到 LaTeX。我目前设置精度(要打印的小数位数)如下: 将 pandas 导入为 pd df = pd.DataFrame({'a':[1234.56, 0.01, 1234.56],'b':...

回答 2 投票 0

不使用 java.util.Date 的 Java 纳秒时间

我需要极其精确和准确的时间以及尽可能少的垃圾收集 (GC),最好是每天 1 次。 System.currentTimeMillis() 不够精确,System.nanoTime() 则...

回答 2 投票 0

C# 浮点运算和类型转换中的意外结果

我在 C# 代码中遇到了涉及浮点运算和整数类型转换的意外行为。这是代码的简化版本: 静态无效主(字符串[]参数) { 在...

回答 1 投票 0

HLSL:强制浮点运算顺序以防止舍入错误

在 HLSL 中编写着色器时,有时您可能会遇到非常大的浮点数,并且对于大浮点数,它们很难保持精度。当我写下打击代码时,我

回答 1 投票 0

为什么 Python 的 sum() 和 Pandas 的 sum() 会产生不同的结果

为什么 Pandas sum() 和 Python sum() 在浮点数列表上产生略有不同的结果,在对结果进行舍入时产生差异 >>> 将 pandas 导入为 pd >>...

回答 1 投票 0

C# 可以存储比双精度数更精确的数据吗?

double 无法满足我的需要。我正在编写一个分形程序,放大几次后我就失去了精度。 我有一种数据类型可以容纳更精确的浮点数...

回答 3 投票 0

toStringAsFixed() 返回 Dart 中给定数字的向上取整值

我想在 Dart 中获取双精度数的一位小数。我使用 toStringAsFixed() 方法来获取它,但它返回一个向上取整的值。 双 d1 = 1.151; 双 d2 = 1.150; print('$d1 是 ${d1.

回答 2 投票 0

Python 和 C++ long double 给出不同的结果

我正在尝试调试一段 C++ 代码和另一段返回不同结果的 Python 代码之间的不一致。 总的来说,我一直期待浮点运算

回答 1 投票 0

张量流中的F1分数

在训练模型时,我试图在 ResNeXt 和 ResNet 上获得二元分类问题的 f1 分数。当我使用 tf.keras.metrics.F1Score 函数时,我收到以下错误...

回答 1 投票 0

如何解释数据库中数字的精度和小数位数?

我在数据库中指定了以下列:decimal(5,2) 人们如何解释这一点? 根据 SQL Server Management studio 中查看的列属性,我可以看到它

回答 5 投票 0

在c++中将浮点转换为字符串后丢失精度[重复]

我已将字符串值转换为浮点数并尝试为其设置精度。设置精度后,我得到的值被截断。 #包括 #包括 在...

回答 1 投票 0

为什么 np.exp(1000) 给出溢出警告,而 np.exp(-100000) 不给出下溢警告?

跑步时: >>> 将 numpy 导入为 np >>> np.exp(1000) :1:运行时警告:exp 中遇到溢出 显示溢出警告。 但那为什么下面的不给...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.