问题描述
|
我正在执行计算,但没有得到我期望的答案。我在计算时损失了一些规模。
计算公式为:651/1000 * -413.72063274 = -269.33213191(至8 d.p)
在sql Server中,我这样做:
declare @var numeric(28,8)
declare @a numeric(28,8)
declare @b numeric(28,8)
set @var = -413.72063274
set @a = 651.00000000
set @b = 1000.00000000
select CAST((@a/@b) * @var as numeric(28,8)) as result_1,CAST(CAST(@a as numeric(28,8))
/CAST(@b as numeric(28,8)) as numeric(28,8))
*CAST(@var as numeric (28,8)) as result_2
结果是
result_1:-269.33213200(正确为6dp)
result_2:-269.332132(正确为6dp)
如何获取查询以返回:-269.33213191(正确为8dp)?
解决方法
对于这种特定情况,您可以通过先将所有值相乘并将最终结果除以该乘数来作弊。
declare @var numeric(28,8)
declare @a numeric(28,8)
declare @b numeric(28,8)
declare @m numeric(28,8)
set @var = -413.72063274
set @a = 651.00000000
set @b = 1000.00000000
set @m = 10000000
select CAST(((@a*@m) * (@var*@m) / (@b*@m)) AS NUMERIC(28,8)) / @m
-- Result: -269.3321319137
编辑
另一方面,在不使用乘法器的情况下,跟随保持了其精度
select CAST(@a * @var AS NUMERIC(28,8)) / @b
-- Result: -269.3321319140
,BOL中描述了将乘法和除法从“3ѭ”转换为“3ѭ”的规则。
*结果精度和小数位数的绝对最大值为38。
结果精度大于38,
相应的比例缩小为
防止结果不可或缺
不会被截断。
但未明确说明截断的执行方式。在此处记录。但是有时仅使用试错法会更容易!
以下中间强制转换可为您提供所需的结果。你能和那些人住在一起吗?
DECLARE @var NUMERIC(19,8)
DECLARE @a NUMERIC(19,8)
DECLARE @b NUMERIC(19,8)
SET @var = -413.72063274
SET @a = 651.00000000
SET @b = 1000.00000000
DECLARE @v SQL_VARIANT
SET @v = CAST(@a/@b AS NUMERIC(24,10))* CAST(@var AS NUMERIC(23,8))
SELECT CAST(SQL_VARIANT_PROPERTY(@v,\'BaseType\') AS VARCHAR(30)) AS BaseType,CAST(SQL_VARIANT_PROPERTY(@v,\'Precision\') AS INT) AS PRECISION,\'Scale\') AS INT) AS Scale
,您从除法开始,然后相乘。精度的损失在于除法。此值四舍五入为8 dp,结果乘以3位数(413)值(因此缺少最后两位数)
一种解决方案是对中间结果使用更高的精度,或者先进行乘法。
(@a * @var)/ @b在数学上等于您的计算,但可能会得出更准确的结果。