precision 相关问题

有关编程中数值精度的问题。对于分类精度，请使用标签[precision-recall]。

bfloat 类型比 VK_KHR_16bit_storage 扩展提供的 fp16 有什么好处吗？

在vulkan api中，有两个使用16位类型的扩展，即VK_KHR_16bit_storage和VK_KHR_shader_float16_int8。所以，如果硬件支持这些扩展，fp16类型变量可以被解析...

gpu glsl precision vulkan float32

回答 1 投票 0

我正在寻找精度为 0.01 盎司的 WebHID 秤

我正在开发一个 WebHID 项目并使用 Dymo 秤。不幸的是，Dymo 秤的精度仅为 0.1 盎司，而我需要 0.01 盎司。有谁知道 WebHID 和

precision scale webhid

回答 1 投票 0

小立方函数的正确性

我想出的这个函数在什么范围内找到小于整数 n 的最大立方体有效？ def lesser_cube(n): k = int(n**(1/3)) 如果 k**3 < n else (k-1)**3 64**(...

python integer precision

回答 1 投票 0

将 ASCII 代码点值存储在浮点数中可以防止将其解释为字符（在 C 中）

浮动c； c = 'a'; 而 (c <= 'z') { write(1, &c, 1); c++; } write() is data type-agnostic. It should deliver the correct code point values to the terminal. The terminal should then

c floating-point character precision system-calls

回答 1 投票 0

np.float64 和 np.double 有什么区别？

我尝试运行以下代码来找出numpy中float64和double之间的区别。结果很有趣，因为 double 类型花费的时间几乎是

python numpy precision

回答 3 投票 0

当数据列/行中存在文本时，使用具有定义的浮点精度的 pandas read_excel

我对Python相当陌生（MATLAB和工程背景）并且遇到了一个问题。我收到了这些 excel 文件，其中包含标题部分，然后是下面的数据部分...

python pandas precision

回答 1 投票 0

Pandas Dataframe 按行显示精度

我正在使用 pandas 将结果输出到 LaTeX。我目前设置精度（要打印的小数位数）如下：将 pandas 导入为 pd df = pd.DataFrame({'a':[1234.56, 0.01, 1234.56],'b':...

python pandas latex precision

回答 2 投票 0

不使用 java.util.Date 的 Java 纳秒时间

我需要极其精确和准确的时间以及尽可能少的垃圾收集 (GC)，最好是每天 1 次。 System.currentTimeMillis() 不够精确，System.nanoTime() 则...

java date time garbage-collection precision

回答 2 投票 0

C# 浮点运算和类型转换中的意外结果

我在 C# 代码中遇到了涉及浮点运算和整数类型转换的意外行为。这是代码的简化版本：静态无效主（字符串[]参数） { 在...

c# casting floating-point rounding precision

回答 1 投票 0

HLSL：强制浮点运算顺序以防止舍入错误

在 HLSL 中编写着色器时，有时您可能会遇到非常大的浮点数，并且对于大浮点数，它们很难保持精度。当我写下打击代码时，我

floating-point precision hlsl rounding-error

回答 1 投票 0

为什么 Python 的 sum() 和 Pandas 的 sum() 会产生不同的结果

为什么 Pandas sum() 和 Python sum() 在浮点数列表上产生略有不同的结果，在对结果进行舍入时产生差异 >>> 将 pandas 导入为 pd >>...

python pandas sum floating-point precision

回答 1 投票 0

C# 可以存储比双精度数更精确的数据吗？

double 无法满足我的需要。我正在编写一个分形程序，放大几次后我就失去了精度。我有一种数据类型可以容纳更精确的浮点数...

c# types double precision

回答 3 投票 0

toStringAsFixed() 返回 Dart 中给定数字的向上取整值

我想在 Dart 中获取双精度数的一位小数。我使用 toStringAsFixed() 方法来获取它，但它返回一个向上取整的值。双 d1 = 1.151；双 d2 = 1.150； print('$d1 是 ${d1.

dart double precision

回答 2 投票 0

Python 和 C++ long double 给出不同的结果

我正在尝试调试一段 C++ 代码和另一段返回不同结果的 Python 代码之间的不一致。总的来说，我一直期待浮点运算

python c++ numpy floating-point precision

回答 1 投票 0

张量流中的F1分数

在训练模型时，我试图在 ResNeXt 和 ResNet 上获得二元分类问题的 f1 分数。当我使用 tf.keras.metrics.F1Score 函数时，我收到以下错误...

python tensorflow precision resnet

回答 1 投票 0

如何解释数据库中数字的精度和小数位数？

我在数据库中指定了以下列：decimal(5,2) 人们如何解释这一点？根据 SQL Server Management studio 中查看的列属性，我可以看到它

sql database decimal scale precision

回答 5 投票 0

在c++中将浮点转换为字符串后丢失精度[重复]

我已将字符串值转换为浮点数并尝试为其设置精度。设置精度后，我得到的值被截断。 #包括 #包括在...

c++ string floating-point precision

回答 1 投票 0

为什么 np.exp(1000) 给出溢出警告，而 np.exp(-100000) 不给出下溢警告？

跑步时： >>> 将 numpy 导入为 np >>> np.exp(1000) ：1：运行时警告：exp 中遇到溢出显示溢出警告。但那为什么下面的不给...

python numpy precision

回答 1 投票 0

C/C++ 中 pow() 函数的实现是否因平台或编译器而异？

调试内置pow()函数的输出花了一天的时间。我的编译器和在线编译器的输出不同。那是一个很长的故事。我写了以下最小的，完整的，...

c++ precision terminology pow

回答 3 投票 0

如何格式化浮点数以省略分数末尾的零

我想格式化一个浮点数，使其最多有 3 个小数位，但如果最后一个小数位为 0，则忽略它们。输入：预期输出 1.1234 : 1.123 1.120：1.12 1.100：1.1 1.0 ...

floating-point format precision string-formatting monkeyc

回答 1 投票 0

precision 相关问题

最新问题