トップ「Precision」の質問

プログラミングの数値精度に関する質問。

フロートを小数点以下2桁に制限する

aを13.95に丸めたい。>>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 […] 続きを読む…

python floating-point rounding precision

floatとdoubleの違いは何ですか?

倍精度と単精度の違いについて読みました。 ただし、ほとんどの場合、 floatとdoubleは互換性があるように見えます。つまり、どちらを使用しても結果に影響はないようです。 これは本当に本当ですか? フロートとダブルはいつ交換可能ですか? それらの違いは何ですか?

c++ c floating-point precision

coutを使用してdouble値を完全な精度で印刷するにはどうすればよいですか?

だから私は私の最後の質問に対する答えを得ました(なぜ私がそれを考えなかったのか分かりません)。 私は、印刷されたdouble使用してcout私はそれを期待していなかったとき丸いました。 完全な精度を使用してcout doubleを印刷させるにはどうすればよいですか?

c++ floating-point precision iostream cout

10進数と2進数! -どちらをいつ使用すればよいですか?

私はC#でdoubleを使用している人々を見続けています。 ダブルスが時々精度を失うことをどこかで読んだことを私は知っています。 私の質問は、いつdoubleを使用する必要があり、いつdecimal型を使用する必要があるのか​​ということです。 お金の計算に適したタイプはどれですか? (つまり、1億ドル以上)

c# double decimal precision currency

ミリ秒の精度でDateTime.Nowを取得します

ミリ秒の精度で実際の時間のタイムスタンプを正確に作成するにはどうすればよいですか?16.4.2013 9:48:00:123のようなものが必要です。 これは可能ですか? 1秒間に10回値をサンプリングするアプリケーションがあり、それらをグラフで表示する必要があります。

c# datetime precision milliseconds

小数点以下2桁までの浮動小数点数を表示するJavaScript

小数点以下2桁までの数値を表示したかったのです。JavaScriptでtoPrecision(2)を使用できると思いました。ただし、数値が0.05場合、 0.0500を取得します。 私はむしろそれが同じままであることを望みます。JSbinでご覧ください。これを行うための最良の方法は何ですか?いくつかのソリューションをコーディングすることを考えることができますが、このようなものが組み込まれていると思います(私は願っています)?

javascript floating-point precision

C ++で小数点以下2桁を表示する

同様のトピックはすでにフォーラムで議論されています。 しかし、私は次のコードでいくつかの異なる問題を抱えています:double total; cin >> total; cout << fixed & […] 続きを読む…

c++ precision

単精度浮動小数点演算と倍精度浮動小数点演算の違いは何ですか?

単精度浮動小数点演算と倍精度浮動小数点演算の違いは何ですか?私は特にビデオゲーム機に関連する実用的な用語に興味があります。 たとえば、Nintendo 64には64ビットプロセッサが搭載されていますか?搭載されている場合、倍精度浮動小数点演算が可能でしたか? PS3とXbox360は、倍精度浮動小数点演算または単精度のみを実行できますか。一般的には、倍精度機能が使用されます(存在する場合)。

floating-point precision processor operations

データベース内の数値の精度とスケールをどのように解釈しますか?

データベースに次の列が指定されています:decimal(5,2)これをどのように解釈しますか?SQL Server Management Studioで表示される列のプロパティによると、10進数(数値の精度、数値のスケール)を意味していることがわかります。精度とスケールは実際にはどういう意味ですか?これは、5桁と小数点以下2桁の小数として解釈するのは簡単です...つまり12345.12PS同僚から正しい答えを見つけることができましたが、オンラインで答えを見つけるのに非常に苦労しました。 そのため、今後の参考のために、スタックオーバーフローに関する質問と回答をここに文書化してもらいたいと思います。

sql database decimal scale precision

Pythonの倍精度浮動小数点値?

floatよりも精度の高いデータ型はありますか?

python types precision