Google Groups no longer supports new Usenet posts or subscriptions. Historical content remains viewable.

Dismiss

電子頭脳設計図概要 9110910200 版

26 views

Skip to first unread message

YAMAGUTIseisei

unread,

Jan 24, 2019, 3:54:58 AM1/24/19

YAMAGUTIseisei wrote:
> PR : シンギュラリティ系有料メールマガジン発行を構想致しております
> 無料メールマガジン版 ( 別途有料版開始時打切 )
> http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7
>
>
>
> Google 翻訳
>
>
> http://arxiv.org/abs/1505.02142/
> arXiv：1505.02142v2 [q-bio.NC] 2016年2月9日
>
>
> ハイデルベルクニューロモルフィックコンピューティングプラットフォームへのHTMモデルの移植
>
>
> セバスチャンビローデル1、*、
> Subutai Ahmad 2、†
>
> 1キルヒホッフ物理研究所、ハイデルベルク、ドイツ
> 2 Numenta、Inc.、レッドウッドシティー、CA
>
> *電子メール：sebastian.billaudelleATkip.uni-heidelberg.d
> †電子メール：sahmadATnumenta
>
>
>
> 抽象
>
> Hierarchical Temporal Memory（HTM）は、新皮質の詳細な研究に基づいた機械知能の計算理論です。
> ヒューマンブレインプロジェクト（HBP）の一部として開発されたハイデルベルクニューロモルフィックコンピューティングプラットフォームは、スパイキングニューロンのネットワークをモデリングするためのミックスドシグナル（アナログおよびデジタル）大規模プラットフォームです。
> このホワイトペーパーでは、HTMネットワークをこのプラットフォームに移植する最初の取り組みについて説明します。
> ? スパイキングネットワークモデルを使用して重要なHTM操作をシミュレートするためのフレームワークについて説明します。
> HTM の鍵となるオペレーションをシミュレートするためのフレームワークに付いてスパイキングネットワークモデルを用い説明します。
> ? ry 、特定の空間プールと一時的なメモリの実装、および基本的な特性 ry 。
> その後、特定の空間プーリングとテンポラル記憶の実装、及び基本的特性が維持されていることを示すシミュレーションについて説明します。
> ? SpikeTiming Dependent Plasticity（STDP）、および大まかな配置配線計算を使用して塑性ルールのフルセットを実装する際の問題について説明します。
> 塑性ルールのフルセットを実装する際の問題に付いて、スパイクタイミング依存可塑性 ( STDP : Spike-Timing-Dependent Plasticity ) 及び大まかな配置配線計算を用い説明します。
> さらなる作業が必要ですが、私達の最初の研究はハイデルベルクプラットホームで効率的に大規模HTMネットワーク（可塑性規則を含む）を走らせることが可能であるべきであることを示します。
> より一般的には、高レベルのHTMアルゴリズムを生物物理学的ニューロンモデルに移植することは、将来の研究にとって有益な調査分野となることを約束します。
>
> 1 前書き
>
> 哺乳類の脳、特に人間の脳は、多様な感覚入力を処理し、複雑な空間的および時間的パターンを学習し認識し、そして文脈および以前の経験に基づいて行動を生み出すことができる。
> コンピュータは数値計算を実行するのに効率的ですが、認知タスクを解決するには不十分です。
> 特に脳と新皮質を研究することは、知的生物と人工システムの間のギャップを埋める新しいアルゴリズムを開発するための重要なステップです。
> Numentaはそのようなアルゴリズムの開発と同時に新皮質の原理の研究に専念している会社です。
> 彼らのHierarchical Temporal Memory（HTM）モデルは、神経科学の結果と理論に基づいて現実世界の問題を解決するように設計されています。
>
> ソフトウェアで大規模ニューラルネットワークを効率的にシミュレートすることは、まだ挑戦です。
> モデルが特徴とする生物物理学的な詳細が多いほど、それが必要とする計算資源も多くなります。
> ? 例えば計算を並列化することによって、そのような実装形態の実行を高速化するための様々な技術が存在する。
> その様な実装形態の実行を高速化する為の各様の技術、例えば並列計算が存在する。
> 専用ハードウェアプラットフォームも開発中です。
> ? ry を特徴とすることが多い ry 。
> SpiNNakerプラットフォームのようなデジタルニューロモルフィックハードウェアは、高度に並列化された処理アーキテクチャと最適化された信号ルーティングをフィーチャする事が多い[Furber et al。、2014]。
> 一方、アナログシステムは、電子マイクロ回路におけるニューロンの動作を直接エミュレートします。
> Hybrid Multi-Scale Facility（HMF）は、BrainScale Sプロジェクト（BSS）およびHuman Brain Project（HBP）の範囲内で開発されたミックスドシグナルプラットフォームです。
>
> 本稿では、HTMネットワークをHMFに移植する取り組みを紹介します。
> スパイキングニューラルネットワークに基づいてHTMをシミュレートするためのフレームワーク、ならびにHTMの概念である空間プーリングおよび時間的記憶のための具体的なネットワークモデルが紹介されています。
> HTMネットワークの基本特性を検証するために、動作をソフトウェア実装と比較します。
> ターゲットプラットフォームでのこれらのモデルの全体的な適用性、シナプス可塑性の影響、および接続ルーティングの考慮事項について説明します。
>
> 1.1 階層的時間メモリ
>
> HTMは、新皮質の原理に基づく機械知能のための一連の概念とアルゴリズムを表しています[Hawkins et al。、2011]。
> これは、空間的および時間的パターンを学習し、以前に見られたシーケンスから予測を生成するように設計されています。
> ? ry 学習を特徴とし、 ry を操作します。
> 継続的な学習をフィーチャし、ストリーミングデータをオペレートします。
> ? ry 領域からなる。
> ＨＴＭネットワークは、１つまたは複数の階層的に配置されたリージョンからなる。
> ? ry 列に編成 ry 。
> 後者はカラムとして編成されたニューロンを含みます。
> 機能原理は、元のホワイトペーパー[Hawkins et al。、2011]で詳細に説明されている2つのアルゴリズムに取り込まれています。
> 以下の段落は、紹介の概要として意図されており、この作業に関連する特性を紹介しています。
>
> 空間プーラーは、バイナリ入力ベクトルを列のセットにマップするように設計されています。
> これまでに見た入力データを認識することで、安定性が増し、システムのノイズに対する影響を受けにくくなります。
> その振る舞いは、以下の特性によって特徴付けることができます。
>
> 1。
> ? 円柱状の活動はまばらです。
> カラム状アクティビティは疎です。
> ? 通常、2,048列のうち40列がアクティブになります。これは約2％の希薄度です。
> 通常、2,048 カラムの内 40 カラムがアクティブになります。これは約2％のスパース性です。
> アクティブな列の数は各タイムステップで一定であり、入力スパース性には依存しません。
>
> 2。
> ? ry 、最も入力が多いk列をアクティブ ry 。
> 空間プーラーは、受取った入力が最多なカラム達 k 本をアクティブにします。
> ? ２列間の結合の場合、アクティブ列は、例えば、その隣接列と比較して特定のセルの構造上の利点を通して、ランダムに選択される。
> 2 カラム間の結合の場合、例えば、近隣カラムと比較しての特定セルの構造的利点を通して、アクティブカラムはランダムに選択される。
>
>
> 1
>
> Billaudelle等。
>
>
> 3。
> ? 低い対ごとのオーバーラップカウントを有する刺激は、低い対ごとのオーバーラップカウントを有するスパースコラム表現 ry 。
> 低いペア間オーバラップカウントを有する刺激は、低いペア間オーバラップカウントを有するスパースカラム表現にマッピングされ、一方、高いオーバラップは、高いオーバラップを有する表現に投影される。
> したがって、類似の入力ベクトルは類似の柱状活性化を導き、一方、分離刺激は異なる列を活性化する。
>
> 4。
> 列はアクティブになるために最小入力（例えば１５ビット）を受け取らなければならない。
>
> ? 一時メモリは、列内の単一セルに作用し、 ry 。
> 時間的記憶は、カラム内の単一セル毎に於て動作し、さらに空間プールの出力を処理します。
> ? 時系列は ry 。
> テンポラルシーケンスはネットワークによって学習され、予測の生成や異常の強調表示に使用できます。
> ? 個々の細胞は、それらの遠位樹状突起上 ry 。
> 個々の細胞は、それらが持つ末梢樹状突起上の他のニューロンからの刺激を受ける。
> この横方向入力は時間的文脈を提供する。
> 細胞の遠位連結性を改変することによって、時系列を学習し予測することができる。
> ? 一時記憶の振る舞いは、 ry 。
> 時間的記憶の振舞は、次のようにまとめることができます。
>
> 1。
> 個々の細胞はそれらの遠位樹状突起に側方入力を受ける。
> ある閾値を超えると、細胞は予測（脱分極）状態に入る。
>
> 2。
> 列が近位入力 ry 。
> カラムが近位 ( 主要 ) 入力によってアクティブになると、予測状態にあるセルのみがアクティブになります。
>
> 3。
> 予測セルのない列が近位入力によりアクティブになると、その列内のすべてのセルがアクティブになります。
> ? This phenomenon is referred to as columnar bursting.
> ? この現象は柱状破裂と呼ばれる。
> この現象は columnar bursting と呼ばれる。
>
> 1.2 ハイデルベルクニューロモルフィックコンピューティングプラットフォーム
>
>
> 図1
>
>
> 384枚のHICANNチップを含むウェハ。
> 切断されていないウェハは、追加の金属層がレチクル間の接続性および電力分布を確立するために適用されるカスタムの後処理工程を経る。
> （写真は、ハイデルベルクのElectronic Vision（s）グループの好意による）
>
>
> ? ry 、伝統的な高性能クラスタとニューロモルフィックシステムから ry 。
> HMFは、伝統的高性能クラスタとニューロモーフィックシステムとからなるハイブリッドプラットフォームです。
> これは主にハイデルベルクのKirchhoff-Institute for PhysicsとTU Dresdenで開発され、BSSとHBPから資金を受けている[HBP SP9 partner、2014]。
> ? このプラットフォームの中核は、図1に示すように、ウエハ規模の高集積アナログ ry 。
> このプラットフォームのコアは、図 1 に示す様に、ウエハ規模集積の高入力計数アナログニューラルネットワーク（HICANN）チップです。
> このチップのユニークなデザインの一部は、アナログニューロン回路とデジタル通信インフラストラクチャを特徴とするミックスドシグナルアーキテクチャです。
> ハードウェアニューロンの固有の時定数が短いため、システムは生物学的リアルタイムと比較して10ラ10^4のスピードアップ係数で加速されたタイムスケールで動作します。
>
> HICANNは、512個のニューロンまたは樹状突起膜回路を特徴としています。
> 各回路は２つのシナプス入力上の２２６個のシナプスを介して刺激することができる。
> デフォルトでは、後者は興奮性刺激と抑制性刺激にそれぞれ設定されています。
> しかしながら、それらは、例えば異なるシナプス時定数または逆転電位を有する２つの興奮性入力を表すように設定することができる。
>
> 複数の樹状膜を接続することによって、最大14ラ10^3個のシナプスを有するより大きなニューロンを形成することができる。
>
> 1枚のウエハには、200ラ10^3個のニューロンと45ラ10^6個のシナプスを持つ384個のチップが含まれています。
> 複数のウェーハを接続して、さらに大きなネットワークを形成することができます。
> BSSのインフラストラクチャは6枚のウェーハで構成されており、HBPの最初のマイルストーンとして20枚のウェーハに拡張されています。
>
> 1.3 スパイキングニューロンモデル
>
> ? ry 変える異なる技術が存在する。
> スパイキングニューロンのネットワークをシミュレートするための複雑さを変える各種技術が存在する。
> ? ry 使用する参照実装は、 ry 。
> HTMネットワークに使用するリファレンス実装は、離散時間ステップをもつ第1世代のバイナリニューロンに基づいています[Numenta、Inc]。
> ? ただし、第3世代モデルは、動的 ry 。
> 第3世代モデルは、但し、動的時間の概念を取り入れ、ニューロン間通信ベースの個々のスパイクを実装します。
>
> 元のHodgkin-Huxley方程式[Hodgkin and Huxley、1952]から出発して、異なるレベルの詳細と抽象化を特徴とする複数のスパイキングニューロンモデルが開発されました。
> HICANNチップは、適応指数積分発火モデル（AdEx）ニューロンを実装しています[Brette and Gerstner、2005]。
> ? 基本的には、これは単純な ry 。
> それのコアは、単純なLeaky Integrate-and-Fire（LIF）モデルを表していますが、詳細なスパイク動作、およびスパイクトリガおよびサブスレッショルド適応を特徴としています。
> Hodgkin-Huxley型モデルニューロンのスパイク時間の約96％、および皮質ニューロンから記録されたスパイクの約90％が正しく予測されることがわかりました[Jolivet et al。、2008]。
> ? ＨＭＦ上で、したがって以下のシミュレーションでも、ニューロンは、シナプス電流のきめ細かい制御および例えばシャント抑制の実行を可能 ry のシナプスと対にされる。
> HMF 上に於て、従って以下のシミュレーション内でも、ニューロン達は、シナプス電位の細粒度な制御をそして短絡効果 ( シャント効果 ) 等の実装を、可能にするコンダクタンスベースのシナプス達と対にされる。
>
>
> 2
>
> ハイデルベルクニューロモルフィックコンピューティングプラットフォームへのHTMモデルの移植
>
>
> 2 スパイキングネットワークモデル
>
> ? ニューロモルフィック ry プラットフォームまたは ry ことは、個々の細胞集団ならびにモデルの接続性を定義する抽象的な ry 。
> ニューロモーフィックハードウェアプラットフォームの又は動的ソフトウェアシミュレーションのためのニューラルネットワークモデルを実装する事は、細胞集団個々とモデル的接続性とを定義する抽象的ネットワーク記述を必要とする。
> ? この作業の主な目的は、 ry 課せられるトポロジカルおよびパラメータの制限 ry 、ソフトウェア参照モデルの機械的および機能的実装を開発することでした。
> この取組の第一義は、ハードウェアプラットフォームによって課せられる、トポロジの又パラメータの制限内にとどまりながら、ソフトウェアリファレンスモデルの機械的なそして機能的な実装を開発する事でした。
> より完全なネットワークなどのより複雑なシステムに進む前に、より詳細な生物物理学的アプローチを単一のHTMニューロンとその樹状特性のシミュレーションから始めるべきです。
>
> 次のセクションでは、基本的なHTMプロパティを組み込んだ空間プールモデルと時間メモリモデルについて説明します。
> これらのモデルは、既存のソフトウェア実装の基本的な動作を再現することができます。
>
> ? ry Pythonで設定されました ry 。
> シミュレーションは、PyNNライブラリを使用してPythonでセットアップされました[Davison et al。、2008]。
> 広範囲のソフトウェアシミュレータをサポートすることに加えて、この高水準インタフェースはHMFプラットフォームによってもサポートされています[Billaudelle、2014a]。
> シミュレーションのバックエンドとしてNESTを使用しました[Gewaltig and Diesmann、2007]。
> ニューロンごとに複数のシナプス時定数を可能にするために、AdExモデルのカスタム実装が書かれました。
>
> 2.1 空間プーラー
>
>
> 図2
>
> C
> 4 I 2 3 1
>
> 空間プールのタイミングベースの実装
> 各列は単一のセルCで表され、入力ベクトル1からスパース入力を受け取ります。
> 接続されているアクティブ入力の数がしきい値を超えると、列がアクティブになります。
> 膜電圧の立ち上がり時間は同時入力の数に大きく依存します。シナプス前活性がより高い細胞は、刺激がより少ない細胞よりも先に発火します。
> 抑制的プールＩは円柱状スパイク２を蓄積し、その際にカウンターとして作用する。
> 一定数の列がアクティブになると、プールはすべての列を抑制してシャットダウンし、それ以上のアクティビティを防止します3。
> ? ry 、すべてのカラムにサブサンプリングフィードフォワード阻害を適用します4。
> このkWTAモデルを安定させるために、全カラムがサブサンプリングフィードフォワード抑制を受取ります4。
> これにより、高い入力アクティビティに対する決定期間が効果的に長くなります。
>
>
> その核となる空間プーラーは、k-Winners-TakeAll（kWTA）ネットワークに似ています。m個の列のうちk個が各タイムステップでアクティブになるように選択されます。
> 実際、kWTAネットワークは、新皮質に自然に発生する回路の近似としてしばしば言及されています[Felch and Granger、2008]。
> そのようなシステムの連続時間およびVLSI実装は、文献 ry 。
> その様なシステムの、時間的連続と VLSI との実装は文献[ErlansonおよびAbu-Mostafa、1991年、Tymoshchuk、2012年、Maass、2000年]で議論されている。
> ? ry 希薄性レベル ry 。
> 以下の実装では、大量の入力があっても安定した疎性レベルを維持するための新しいアプローチについて説明します。
>
> この目的のために開発されたネットワークを図2に示します。
> これは純粋に時間ベースのアプローチに従い、LIFニューロン用に設計されています。
> ソースごとに1つの入力イベントに基づいて非常に高速な決定プロセスが可能になります。
> 各列は、スパイクソースからのフィードフォワード入力を累積する単一のセルで表されます。
> ? ry 上昇時間は、細胞によって見られるシナプス前事象の数と共に減少 ry 。
> ここで、膜電圧の上昇時間は、細胞視点のシナプス前イベントの数と共に減少する：最も多くの入力を受ける細胞は他のものより先に発火する。
> 単一の細胞からなる抑制性プールはネットワークの活性を集める。
> 低い膜および高いシナプス時定数は事象の信頼できる合計を導く。
> ? ry 収集され、セルのしきい値を超えた場合、プールはネットワークのすべてのセルを強く抑制し、その後のスパイクイベントを抑制します。
> 一定数のスパイクが収集され、そしてセルの敷居値を超えた場合、プールは以後のスパイクイベントを抑えるネットワークの、全セルを強く抑制します。
>
> ? ry シャント抑制 ry 。
> このモデルは、微妙なフィードフォワードシャント効果を追加することによって拡張されています。
> ? ry 、全体の入力活動νin ry 。
> 抑制性コンダクタンスは、全体の入力アクティビティたる ν in と共に増加する。
>? ry は漏れ項に寄与します。
>逆転電位が漏れ電位と一致するように設定されていると、コンダクタンスは漏洩項に貢献します :
:
> gl0 = gl + ginh（νin）。
>
> これはニューロンの反応を効果的に遅くし、ネットワークの決定期間を長くします。
> ? ry 希薄性レベル ry 。
> この抑制により、結果として得られるシステムは、わずかに遅い応答時間を犠牲にして、多数の入力で安定した疎性レベルを達成することができます。
>
> 同数のシナプス前事象を受ける列間の結合状況は、興奮性フィードフォワード接続の重みにわずかなガウスジッタを加えることによって解決される。
> これはいくつかのコラムに他のコラムよりも構造上の利点を与え、同じ刺激に対してわずかに速い反応をもたらします。
> ジッタの標準偏差σjを大きくすることで、選択基準をぼかすことができます。
>
> ? 2.2 一時記憶
> 2.2 時間的記憶
>
> 空間プールと同様に、テンポラルメモリの実装は、速い反応時間とスパイクタイミングベースの応答パターンのために設計されました。
> 完全なネットワークは、それぞれｎ個のＨＴＭセルを有するｍ個の同一の列からなる。
> これらの細胞をモデル化すること自体が課題です。
> ? 多コンパートメント ry が最適です。
> マルチコンパートメントニューロンモデルが最適表現です。
> そのようなモデルのニューロモルフィックハードウェアチップの実装が計画されており、その方向への最初のステップが既に取られている[Millner、2012]が、現在のシステムはこの機能を提供していない。
>
>
> 3
>
> Billaudelle等。
>
>
> HTM細胞は主にコンパートメント ry 。
> HTM 細胞は第一義としてコンパートメントの活性特性に依存するため、図3に示すように、3つの個々のLIF細胞でモデル化できます。
>
>
> 図3
>
> P
> 2 1
> 単一の予測要素
> D 4 3 I 5 S
>
> ? ry 時間的記憶の実現
> 可塑性を含まない時間的記憶の実装。
> ? ry 生物学的に影響を受けていません）。
> 列内のすべてのHTM細胞は、異なるコンパートメントをモデル化した3つの個々のLIF細胞でモデル化されています（遠位樹状突起D、体細胞S、側方抑制セグメントI - 生物学的インスパイアされていません）。
> ? 列ごとに、複数のセルトリプルと、列競合 ry セルPがあります。
> カラム毎に、トリプルセル ( トリオ ) が複数組と、カラム競合に参加して列全体の近位入力を収集する1つの「先頭」セル P とがあります。
> ? ry の活性は、列１の個々の細胞体細胞に ry 。
> この細胞のアクティビティは、カラム 1 の個々の細胞の細胞体に転送される。
> ? ry 、これは全ての体細胞の発火をもたらす。
> 以前の予測がなければ、これは全ての細胞体、細胞、の発火をもたらす。
> ? ry 、遠位区画は前の時間ステップの ry 。
> しかしながら、末梢区画は前の時間ステップからの入力を合計する。
> しきい値に達すると、抑制コンパートメントと細胞体が脱分極されます3 4。
> ? ry が起動し、列5 ry 起動し、列5 ry 。
> 近位インプット2と一緒に、抑制パーティションが発火し、列 5 内の他のすべてのセルを抑制します。
>
>
> 列は、単一セルを使用して近位入力を収集します。
> 実際、このセルは、セクション2.1に示すように、空間プールネットワークの一部になることがあります。
> カラムがアクティブになると、この細胞はスパイクを放出し、HTM細胞の細胞体を表すニューロンと抑制性細胞の両方を興奮させます。
> ? しかしながら、抑制性の投影は、標的コンパートメントのみを活性化 ry 。
> 抑制性の投影は、しかしながら、孤立したターゲット区画、を活性化するのに十分なほど強くはない。
> ? ry 部分的な偏光解消を ry 。
> 代わりに、それは部分的な脱分極をもたらすだけです。
> ? しかしながら、体細胞ニューロンは単一のシナプス前事象の発火 ry 。
> 体細胞ニューロンは、しかしながら、単一のシナプス前イベントの発火閾値に達する。
> ? これは、円柱状の破裂メカニズム ry 、すべての体細胞区画は ry 。
> これは、カラム的バーストメカニズム（すなわち、時間的記憶特性３）として十分である：予測入力がなければ、すべての細胞体区画は近位刺激への応答として発火する。
>
> 遠位入力は、それらの樹状セグメント区画によって各細胞について個々に処理される。
> 細胞の樹状突起セグメントは、他の細胞の細胞体から入力を受け取ります。
> 発火閾値を超えると、同じトリプレットの抑制性ヘルパー細胞を部分的に脱分極します。
> このシナプス投影は、比較的長いシナプス時定数としきい値電圧に一致する反転電位とで設定される。
> これは、予測状態が次のタイムステップに運ばれることを確実にし、遠位入力のみによって細胞が活動的になることを妨げる。
> 近位入力では、すでに脱分極したヘルパー細胞が体細胞区画の前に発火します。
> ? ry の体細胞を ry 。
> 後者はそれ自体のトリプレットの細胞体を除いて即座に抑制されます。
> ? 説明したように、阻害区画はすべての細胞を横方向に阻害するので、この基本的な予測メカニズムは複数の細胞が予測されるときには失敗する。
> 説明した様に、この基本的な予測メカニズムは複数の細胞が予測される時には、抑制区画が全ての細胞を横方向に抑制する事を経て失敗する。
> ? ry の体細胞 ry 。
> 解決策は、予測された細胞の細胞体コンパートメントも脱分極することです。
> 要約すると、このメカニズムは時間的記憶特性1と2を満たします。
>
>
> 3 結果
>
> 前のセクションで示したネットワークモデルは、それらの動作を調査するためにソフトウェアでシミュレートされました。
>
> 以下にそれぞれの実験とその結果を示す。
> さらに、塑性則および位相的要件がHMFに関して議論されています。
>
> 3.1 ネットワークシミュレーション
>
>
> 図5
>
> 80
> 70
> 60
> 50
> 40
> 30
> 20
> ? 10年
> 10
> 0
> ＃
>
> 入力イベント
> 0 20 30 40 50 60
>
> すべての列
> アクティブコラム
>
> 各列が受け取る重複スコアの分布を示すヒストグラム。
> 空間プールネットワークによってアクティブ化された列が強調表示されます。
> ? ry 持つ競合他社だけ ry 。
> これは、最も高いインプットを持つ競合達だけがアクティブ状態に入ることを確認します。
> さらに、同じ重複スコアを持つ列間の結合状況は正しく解決されます。
>
>
> 空間プールは、1,000列にまたがるネットワークとサイズ10,000の入力ベクトルについて分析されました。
> シミュレーションを高速化するために、刺激ベクトルを接続性行列に乗算することによって入力接続性をソフトウェアで前処理しました。
>
> 最初の実験は、基本的なkWTA機能を検証するために設計されました。
> ランダムパターンがネットワークに提示されました。
> 図5に示すように、列ごとのアクティブ入力数 - 入力オーバーラップスコア - をヒストグラムで視覚化できます。
> その特定の刺激によって活性化された列を強調表示することによって、人はネットワークの選択基準を調査することができます。
> 空間プールの要件に準拠して、最も入力数の多い列を表す最も右側のバーだけが強調表示されます。
>
> さらに、同じ入力カウントを受け取る列間の関係を解決するモデルの機能が示され ry として選択されず、少数の列のみが ry 。
> 更に、同カウントの入力を受取るカラム達の関係を解決するモデルの能力が立証されています。決定境界のバーは全体としては選択されず、少数のカラムのみが選択されました。
> これは空間プール特性2を検証します。
>
>
> 図6
>
> 6
> 5
> 4
> 3
> 2
> 1
> 出力スパース性[％]
>
> 入力スパース性[％]
> 1 2 3 4 5 6
>
> アクティブな列の相対数は、入力ベクトルのスパース性に対してプロットされます。
> 一定レベルの入力希薄性に達すると、列はアクティブ状態に入り始めます。
> ? シナプス前活性が高まると、円柱状の競争が激しくなり、出力の希薄性はプラトーに達する。
> シナプス前活性が高いと、カラム状の競争が激しくなり、出力の疎性はプラトーに達する。
> ? 曲線の正確な経過は、 ry 。
> 曲線の正確な軌跡は、プラトーのサイズと同様に、ニューロンのパラメータによって操作できます。
> エラーバーは５回の試行にわたる標準偏差を示す。
>
>
> ? 2番目のシナリオでは、図6に示すように、スパース性が異なる入力ベクトルが ry 。
> 第 2 シナリオ内では、図 6 に示す様に、変化のあるスパース性を持つ入力ベクトルがネットワークに入力されました。
> アクティブ列の数は、幅広い入力スパース性にわたってほぼ一定のままです。
>
>
> 4
>
>
>
> 図7
>
> 1.0
> 0.8
> 0.6
> 0.4
> 0.2
> 0.0
> 出力オーバーラップ
>
> 入力オーバーラップ
> 0.0 0.2 0.4 0.6 0.8 1.0
>
> 参照データ
> シミュレーション1
> シミュレーション2
> シミュレーション3
> シミュレーション4
> シミュレーション5
>
> 入力ベクトルのオーバーラップスコアの依存関係としての出力オーバーラップ。
> ５回のシミュレーション実行の各々において、刺激はランダムベクトルから始めて徐々に変化した。
> 空間プーラに要求されるように、２つの類似した入力刺激は類似した出力パターンにマッピングされるが、分離した入力ベクトルは低いオーバーラップスコアをもたらす。
> ? ry 、この図にも示されている既存 ry 。
> シミュレーションは、この図に示されてもいる様に既存のソフトウェア実装からデータを完全に再現します。 ?
>
>
> さらに、プロットは、列がアクティブになるためには最小限の入力を受け取る必要があることを示しています。
> ? ry と空間 ry 4を検証します。
> これは、根底にあるkWTAアプローチと、空間プール特性1および4とを検証します。
>
> 特性3で表される空間プールの一般的な機能性を検証するために、3番目の実験が設定されました。
> 可変オーバーラップを有する入力データセットは、初期ランダムバイナリベクトルから開始して生成された。
> ? ry 、入力の重なりを掃引しながら、柱状活動と初期 ry 。
> 各刺激について、入力のオーバラップを掃引しながら、カラム的アクティビティと初期データセットとの重なりを計算した。
> ? ry 出力の重複スコア ry 。
> 入力と出力のオーバラップスコアの結果の関係を図7に示します。
> オリジナルの仕様[Hawkins et al。、2011]に直接従った、空間プーラーのカスタムPython実装で実行された同様の実験の結果も含まれています。
> ? ry 参照データと完全に一致するため、特性3を検証します。
> 多重シミュレーションを実行すると、得られたすべての結果がリファレンスデータと完全に一致し、従って特性 3 の検証となります。
>
> 実験は、このセクションで提示されたモデルが空間プーラーの要件を満たしており、堅実なkWTA実装と見なすことができることを示しました。
> もちろん、具体的な結果は個々のネットワークサイズと構成によって異なります。
> この場合、ネットワーク - 最も重要なのは柱状ニューロンの時定数 - はT = 50 msの比較的短い時間ステップに設定されています。
> さまざまなパラメータセットを選択することで、ネットワークをさまざまな運用シナリオに合わせることができます。たとえば、モデルの安定性がさらに向上します。
>
> ? 一時記憶は、 ry 。
> 時間的記憶は、第１の配列予測実験において検証された。
> ? 参照ソフトウェアの実装は、 ry 。
> リファレンスソフトウェア実装は、長さ3の3つの分離シーケンスでトレーニングされました。
> 連続した配列はランダムな入力パターンによって分離された。
> 訓練されたネットワークのラテラル接続はダンプされ、シミュレーションにロードされました。
> 同じ刺激を与えた場合、図8に示すように、LIFベースの実装ではシーケンスを正しく予測できました。
>
>
> 5
>
>
>
> 3.2 学習アルゴリズム
>
>
> 図9
>
> 1.0
> 0.8
> 0.6
> 0.4
> 0.2
> 0.0
> 出力オーバーラップ
>
> 入力オーバーラップ
> 0.0 0.2 0.4 0.6 0.8 1.0
>
> ? 参照データ
> リファレンスデータ
>
> シミュレーション1
> シミュレーション2
> シミュレーション3
> シミュレーション4
> シミュレーション5
>
> 訓練された空間プールのための出力と入力の重なりの依存性
> ? ry と、カスタムソフトウェアの実装からの参照データが表示されます。
> 5回の独立したシミュレーションの実行結果と、カスタム実装ソフトウェアからのリファレンスデータとが示されています。
>
>
> ? ry ことは、特に高速化 ry 。
> ニューロモルフィックハードウェアでオンライン学習メカニズムを実装する事は特に、高速化されたシステムにとっては課題です。
>
> ? ry 特徴としていますが[ ry ]、実装するのはより複雑です。
> HMFは最近傍スパイクタイミング依存塑性（STDP）と短期塑性（STP）の実装をフィーチャしていますが[Friedmann、2013a、Billaudelle、2014b]、より複雑な更新アルゴリズムを実装するのは困難です。
> Numentaのネットワークは、これらのメカニズムを超えた構造的可塑性規則に依存しています。
>
> ? ry 刺激は学習 ry 対して著しく変化します。
> 空間プールの刺激達の変化は学習された入力パターン達に対して顕著です。
> ? ry 条件下でその機能を検証することは重要です。
> これらの条件下でのその官能性の検証は重要です。
> HTM仕様にできるだけ厳密に従うために、監視された更新規則が外側のループに実装されました。各タイムステップについて、接続の永続値を含む行列が前のタイムステップのアクティビティパターンに従って更新されます。
>
> これにより、元のホワイトペーパーに示されている構造的可塑性の概念を実装できます。
> ターゲットプラットフォームでは、HICANNチップの次期バージョンで計画されているPlasticity Processing Unit（PPU）で学習アルゴリズムを実装することができます[Friedmann、2013b]。
>
> ? 上記の実施形態の ry 図９に示す。
> 上記実装のシミュレーション結果を図 9 に示す。
>
> HTM構造塑性則を古典的な最近傍STDPモデルで置き換える実験では、望ましい結果は得られませんでした。
> ＨＴＭ学習規則は、細胞活性に寄与するセグメントにおける不活性シナプスへの負の修正を必要とする。
> 対照的に、STDPは非アクティブシナプスに影響を与えません。
>
>
> 3.3 地図とルート
> ハードウェアプラットフォームに抽象ネットワークモデルを適用するには、ニューロン集団を配置し、シナプス接続をルーティングするためのアルゴリズムが必要です。
> 最良のシナリオでは、この処理ステップは、ネットワークグラフのハードウェアトポロジへの同形投影をもたらす。
> ? ただし、極端 ry では、シナプス ry 。
> 極端な接続性が要求されるネットワークでは、但し、シナプス損失が予想されます。
>
> シミュレートされたネットワークをマッピングすることは、ルーティングアルゴリズムにとって難題ではありません。
> 時間的記憶は、シナプス喪失なしに単一のウエハに投影することができる。
> ? 横 ry も同じことが依然として当てはまり、約200万のシナプスが生じる。
> 約 200 万のシナプスに於て横方向の全対全接続性を仮定しても同じ事が依然として当嵌る。
> 後者のネットワークは、ハードウェアシナプスを作成および削除しなくても、学習アルゴリズムの探索を可能にする100％の潜在的プールを持つネットワークに対応します。
>
> ? ry 、セルあたりの求心性接続数とニューロン数の間の ry 。一方、 ry 。
> ハードウェアプラットフォームでは、セルあたりの求心性連結接続数と多数のニューロンとの間のトレードオフを考慮する必要があります。一方、単一のニューロンがおおよそ14ラ10^3個のシナプスを聴取できるように樹状膜回路を接続することは可能であるが、そのようなネットワークはウエハ当たり約3ラ10^3個のニューロンのみからなることができる。
> たった２２６個のシナプスで、２００ラ１０^３個未満のニューロンがウェハ当たりに割り当てられることができる。
>
> ? しかし、概念実証モデルを生産目的 ry することは、投影 ry トポロジーにも挑戦する。
> コンセプト実証モデルをプロダクト目的に有用なサイズに拡大する事は、しかし、投影アルゴリズムへのと同様にハードウェアトポロジへにもチャレンジとなる。
>
> 最小限の便利なHTMネットワークは、それぞれ8セルの1024列にまたがります。
> このようなシナリオでは、ニューロンは32個の樹状突起セグメントにラテラル入力を受け取ります。
> 樹状突起セグメント当たり約１ラ１０^３の求心性接続を可能にすると、このネットワークは、約１ラ１０^６樹状膜回路、すなわち６枚のウエハ上で実現することができる。
> ＢＳＳ用にセットアップされた既存のシステムはこのシナリオには十分であろう。
> さらに大規模なネットワークでも、HBPのプラットフォームに移行できます。
>
>
> 4 結論と見通し
>
> スパイクニューラルネットワークとしてマシンインテリジェンスアルゴリズムを実装し、ニューロモルフィックハードウェアプラットフォームに移植するには、精度とスケーラビリティの観点から高い要求があります。
>
> 本稿では、動的シミュレーションでHTMをうまくモデル化できることを示しました。
> ? 空間プーラーおよび一時記憶 ry 。
> 空間プーラー及び時間的記憶ネットワークの基本機能は、AdExニューロンに基づいて再現することができます。
>
> ? ry 、概念ソフトウェアの証明はHMFに簡単に転送できます。 ry 。
> 理論的には、コンセプトネットワークの実証は HMF に簡単に転用できます。これは、高レベルのソフトウェアインタフェースが交換可能になるように設計されているためです。
> もちろん、実際のハードウェアプラットフォームでモデルをエミュレートすると、新たな課題が発生します。
>
>? HTMの学習規則をHMFで利用可能な固有の可塑性機能に適 ry 。
>HTM の学習規則を HMFで利用可能なネイティブ可塑性フィーチャに適応させることは重要ではないことが判明しました。
>
> 学習規則は、従来のSTDPの現在の実装では再現できませんでした。
>
>
> 6
>
>
>
> ? ニューロモルフィックコアに直接埋め込まれた自由にプログラム可能なマイクロプロセッサとして、 ry 。
> ニューロモーフィックコアに直接組込まれた自由なプログラマブルなマイクロプロセッサとして、PPUはHTMルールを実装するためにシステムの可塑性メカニズムを拡張する機能を提供します。
> ? PPUに関するHTM更新 ry 。
> PPU 上の HTM 更新規則の完全な実装を計画するには、さらなる調査が必要です。
>
> ? ry 、製造プロセスにおける変動や変動など ry 。
> アナログニューロモルフィックハードウェアは、製造プロセスにおけるドーパント変動等によるトランジスタの不整合の影響を受けやすい[Mihai A。Petrovici、2014]。
> これらの変動を補正するには、個々のニューロンを慎重に校正する必要があります。
> 問題の複雑さと相互依存変数の数が多いため、完璧なキャリブレーションを達成するのは困難です。
> したがって、ネットワークモデルは、コンピューティング基板上の特定の空間的および試行錯誤的変動に関して耐性があることが要求される。
> 少しランダム化されたパラメータで追加のモンテカルロシミュレーションを実行することは、提示されたネットワークの頑健性を調査するために重要です。
>
> 最後に、マルチコンパートメントニューロンモデルは、ニューロモルフィックプラットフォームの新しいバージョンで計画されています。
> この拡張機能セットを利用すると、生物物理学的詳細のレベルが大幅に向上します。
> これにより、HTMで使用される詳細な樹状モデルが説明され、ホワイトペーパーおよびリファレンス実装に近づくのに役立ちます。
>
> ? HTMモデルの非常に加速された実行への道を開くことに加えて、ry おいて詳細なレベルを ry 。
> HTMモデルの高アクセラレート実行への道を舗装する事に加え、HMFはそのニューロン実装に於てハイレベルな詳細さを提供します。
> ? 多区画拡張と柔軟な可塑性の枠組みにより、HTM ry が価値があることを証明します。
> 多区画拡張と柔軟な可塑性フレームワークとにより、HTM理論に関するさらなる低レベルの研究のためのツールとしてこのプラットフォームに価値があると判明すると我々は見込んでいます。
>
>
> 謝辞
>
> Jeff Hawkins教授に感謝します。
> Dr. Karlheinz Meier、Paxon Frady、そしてNumentaチーム。
>
>
> 参考文献
>
> セバスチャンビローデル。
> PyHMF - PyNN互換インターフェース HMFシステム、2014a。
>
> セバスチャンビローデル。
> ? ry モルフィック ry 上の短期可塑性のキャラクタリゼーションと較正
> ニューロモーフィックハードウェアチップ上での描出と短期可塑性較正
> 学士論文、ハイデルベルク大学、2014b。
>
> Romain BretteとWulfram Gerstner。
> ? 神経活動の ry 積分 - 発火 ry
> 神経活性の有効な記述としての適応指数関数積分-発火モデル
> Journal of neurophysiology、94（5）：3637-3642、2005。
>
> Andrew P Davison、DanielBru"derle、Jochen Eppler、Jens Kremkow、Eilif Muller、Dejan Pecevski、Laurent Perrinet、およびPierre Yger。
> Pynn：神経回路網シミュレータ用の共通インタフェース
> ニューロインフォマティクスのフロンティア、2008年2月。
>
> ルース・エランソンとヤセル・S・アブ・モスタファ。
> デコーダとしてのアナログニューラルネットワーク
> 神経情報処理システムの進歩、585-588頁、1991年。
>
> Andrew C FelchとRichard H Granger。
> ? ry 仮説異なる ry 発散性能
> 超幾何接続性仮説 : 異なるシナプス接続性分布を持つ脳回路の散開性能
> Brain research、1202：3--13、2008。
>
> サイモンフリードマン。
> ニューロモルフィックハードウェアにおける学習への新しいアプローチ
> ? ry 大学、2013年、2013年。
> 博士論文、ハイデルベルク大学、学位論文、。2013年、2013年a。
>
> サイモンフリードマン。
> ニューロモルフィックハードウェアにおける学習への新しいアプローチ
> ? ry 、2013年。
> 博士論文、ハイデルベルク大学、学位論文、2013年、2013年b。
>
> SBファーバー、Fギャルッピー、Sテンプル、LAプラナ。
> スピネーカープロジェクト
> 0018-9219、（99）：1 - 14、2014。
> SpiNNaker ?
>
> Marc-Oliver GewaltigとMarkus Diesmann。
> ? 巣（ ry ）。
> Nest ( 神経シミュレーションツール ) 。
> Scholarpedia、2（4）：1430、2007。
>
> Jeff Hawkins、Subutai Ahmad、およびDonna Dubinsky。
> 皮質学習アルゴリズムと階層的時間メモリ、2011年。
> URL http://numenta.org/resources/HTM_CorticalLearningAlgorithms.pdf
> 。
>
> HBP SP9パートナー。
> ニューロモルフィックプラットフォーム仕様
> ヒト脳プロジェクト、 ry 。
> ヒューマンブレインプロジェクト、2014年3月。
>
> ALホジキンとAFハクスリー。
> 膜電流の定量的記述と神経における伝導と興奮への応用
> Journal of Physiology、117：500-544、1952。
>
> ルノー・ジョリヴェット、フェリックス・シューマン、トーマス・K・バーガー、リチャード・ノー、ウルフラム・ゲルストナー、そしてアーンド・ロス。
> 定量的単一ニューロンモデリング競合
> Biological cybernetics、99（4-5）：417-426、2008。
>
> ヴォルフガングマース。
> ? 唯一の非線形演算としてwinner-take-allを使った ry
> winner-take-all を唯一の非線形演算として使ったニューラル計算
> Citeseer、2000年。
>
> PaulMu"llerOliver Breitwieser Mikael Lundqvistライル・ミュラーMatthias EhrlichアランDestexhe Anders LansnerRen誕 Schu"ffnyJohannes Schemmel Karlheinz MeierさんMihai A. Petroviciさん、Bernhard Voggingerさん。
> 混合信号ニューロモルフィックモデリングプラットフォームにおけるネットワークレベル異常の特性化と補償
> ミクスドシグナルニューロモーフィックモデリングプラットフォームにおけるネットワークレベル異常の描出と補填
> PLOS ONE、2014年10月。
> doi：dx.doi.org/10.1371/journal.pone.0108590
> 。
> URL http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0108590
> 。
>
> セバスチャンミルナー。
> 多区画ニューロンモデルエミュレーションの開発
> ? 大学、2013 ry 。
> 博士論文、ハイデルベルク大学、学位論文、2013年、2012年。
>
> ? ry 会社ヌメンタ
> 株式会社ニューメンタ ?
> インテリジェントコンピューティングのためのNumentaプラットフォーム（NuPIC）。
> URL http://numenta.org/
> 。
>
> PavloV。ティモシュチュク
> ? アナログk勝者テイクオール神経回路の連続時間モデル
> アナログ k-winners-take-all 神経回路の時間連続的モデル
> ? ry 、およびLazaros Iliadisの編集者、 ry 。
> Chrisina Jayne、Shigang Yue、及び Lazaros Iliadis 、編集者、ニューラルネットワークの工学応用、コンピュータおよび情報科学におけるコミュニケーションの第311巻、94～103頁。
> Springer Berlin Heidelberg、2012。
> ISBN 978-3-642-32908-1。
>
>
> 7
>
>
>
> 図4
>
> セル1
>
> -50
> -55
> -60
> -65
> -70
> Vdistal [mV]
>
> -50
> -55
> -60
> -65
> -70
> Vinh [mV]
>
> -50
> -55
> -60
> -65
> -70
> Vsoma [mV]
>
> セル2
>
> -50
> -55
> -60
> -65
> -70
> Vdistal [mV]
>
> -50
> -55
> -60
> -65
> -70
> Vinh [mV]
>
> -50
> -55
> -60
> -65
> -70
> Vsoma [mV]
>
> セル3
>
> -50
> -55
> -60
> -65
> -70
> Vdistal [mV]
>
> -50
> -55
> -60
> -65
> -70
> Vinh [mV]
>
> -50
> -55
> -60
> -65
> -70
> Vsoma [mV]
>
> t [ミリ秒]
> 0 50 100 150 200 250 300 350 400
>
> ? ry 含む一時記憶列をトレースします。
> ニューロンは、3つのHTMセルを含む時間的記憶カラムをトレースします。
> これらの細胞のそれぞれは、体細胞区画、抑制性ヘルパー細胞および2つの樹状セグメントによって表される。
> ? ry 近位入力によって作動され、無段階、ステップあたり１つまたは複数 ry ランダムな遠位刺激を ry 。
> このカラムは、時間ステップごとに近位 ( 主要樹状突起 ) 入力によって活性化され、ステップ当り 0 又は 1 つ又は複数の細胞を予測するランダムな末梢刺激を受取る。
> 自動分類アルゴリズムによって示されるように、列はこれらの予測に対して正しい応答パターンを示します。
>
>
> 8
>
>
>
> 図8
>
> セルインデックス
>
> 7
> 6
> 5
> 4
> 3
> 2
> 1
> 0
>
> a1
>
> b1
>
> c1
>
> セルインデックス
>
> 7
> 6
> 5
> 4
> 3
> 2
> 1
> 0
>
> a2
>
> b2
>
> c2
>
> セルインデックス
>
> 7
> 6
> 5
> 4
> 3
> 2
> 1
> 0
>
> a3
>
> b3
>
> c3
>
> セルインデックス
>
> 7
> 6
> 5
> 4
> 3
> 2
> 1
> 0
>
> ランダム
>
> ランダム
>
> ランダム
>
>
> ? 列インデックス
> カラムインデックス
> 0 20 40 60 80 100 120
>
> 列インデックス
> 0 20 40 60 80 100 120
>
> 列インデックス
> 0 20 40 60 80 100 120
>
> ? ry の一時記憶の実装は、 ry 。
> LIFニューロンベースの時間的記憶の実装は、異なるパターンを正しく予測します。
> 予測された細胞は青く、活性細胞は紫色で表示されます。
> ネットワークは128列にまたがり、8つのHTMセルのそれぞれが2つの樹状突起セグメントを介して遠位刺激を収集します。
>
> 遠位入力のための接続性は外部的に構成された。
> ? ry 別々の配列を ry 。
> モデルは、サイズ3の3つの別々のシーケンスを提示された。
> ? ry 、ランダム入力疎分散表現（ＳＤＲ）に ry 。
> 個々のパターンは、ランダム入力を持つ疎分散表現 ( SDR , Sparse Distributed Representation ) によって分離された。
>
>
> 9
>
>
>
> 体細胞 ⇔ 細胞体
>
>
>
> --
> フリーソフトウエア関連ボランティアの皆様に感謝申上げますと共に
> 当原稿執筆コストへの御配慮に厚く御礼申上げます
> 三菱 UFJ 銀行平針支店 ( 普 ) 0111481 ヤマグチセイセイ
> 郵便局 218普2449768 ヤマグチセイセイ
> Yahoo pt 1362821068616323 Rakuten pt 1100-3310-4065-1717
> http://yahoo.jp/HsDIGs?#_2TB_0S03224
>
>
>
>>73 yamaguti 190123 1605 mAoFHgII?2BP(0)
>>>19 yamaguti 190111 1500 c91waTfv? ¥|>320 ー 190102 2006 EwKUrMOW
>> |>1月26日ワークショップ「その先：人工知能に意識
>> |>http://www.nufs.ac.jp/outline/30th-anniversary/event/190126/##
>> |>
>> |>、9 ～15：00個別発表、15：40～18：00に基調講 ¥>英語。通訳はありませ
>> :
>> |>講演者金井良太（株アラヤ代表取締役 CEO
>> |>戸田山和久（名古屋大　社会システム情メディア社会系教授
>>
>> >960 ー 180417 1724 BH3i6q0B
> :
>>> 神経科学からAI分野に参入し、汎用AIのネクストステージを見据える
>>>http://www.dreamgate.gr.jp/contents/case/company/60164
>>> 「オランダのユトレヒト大学やアメリカのカリフォルニア工科大学、イギリスのサセックス大学などの研究者を経て起業」
>>>
>>> 金井先生「私が構想する『意識を持つAI』は、インターネットと同じで革新的なもの」
> :
>
> 個別発表
> Lok-Chi Chan（国立台湾大学）
> Ying-Tung Lin（国立陽明大学、台湾）
> Kengo Miyazono（広島大学）
> Graham Peebles（大阪大学）
> Masatoshi Yoshida（生理学研究所）
> Tony Cheng（ケンブリッジ大学）

YAMAGUTIseisei

unread,

Jan 28, 2019, 11:31:54 AM1/28/19

YAMAGUTIseisei wrote:
> PR : シンギュラリティ系有料メールマガジン発行を構想致しております
> 無料メールマガジン版 ( 別途有料版開始時打切 )
> http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7
>
>
>

> メタ AI ( キルゾーン AlphaStar ? )
> http://google.jp/search?q=ai+OR+al+killzone+npc+OR+miyayou##
>
>
>>837 YAMAGUTIseisei 181014 1912 6JUQzgf8? ¥>>41 yamaguti 181009 1337 viDZhWE2? ¥> >280 名前：YAMAGUTIseisei E-mail：1537288223sage854-888 投稿日：2018/10/01(月) 10:33:23.53 ID:clFG90EB?2BP(0)
>>>> DeepMind 強い AI/AL 射程目鼻
>>>> >277-279 >263 >205 >7 >11 ¥>＞のDeepMind、人工知能 ry Unityと提携 ¥>＞GoogleがUnityと提携 ry ーム制作用のツー
>>>＞人間レベルのAI、あと5～10年 ry と40%の専門家 ry
>> http://gizmodo.jp/2018/09/agi-in-a-decade.html
>>> :
>>>> >10 yamaguti 180929 1520 Bswyb4M3? ¥>37 yamaguti
>>>> :
>> HPKY-UniversalTransformer 汎用仮想空間統合レンダ ( Unity ベースビジュアル DSL )
>> GQN ⇔ 物理空間準融合対応フレームワーク
>> http://google.jp/search?q=ai+OR+al+killzone+npc+OR+miyayou##
>> http://rio2016.2ch.net/test/read.cgi/future/1529408476/159# DSL Suityoku
>> http://google.jp/search?q=phyre-engine+PLAYSTATION3+OR+Cell+OR+vita+OR+xbox360-px+OR+suitti+OR+sumaho+OR+furi-##
>> http://rio2016.2ch.net/test/read.cgi/future/1504872499/132#SLING##1519958054/40-42## ¥>110 yamaguti 180525 0007 CCQZEsyA? ¥>45 yamaguti 0911 0856 GkbIB6hZ
>> http://rio2016.2ch.net/test/read.cgi/future/1538193488/20#143#1508026331/384#993##358## RihaKigen 2018 Teisei
>> :
>> = 物理空間融合レンダ = 仮想空間融合レンダ = 意味空間融合レンダ = 人格システム
>> 意味粒度概念空間
>> :
>>
>> >68 yamaguti 180920 1033 EmLF0I+9? ¥>9 yamaguti 0929 1518 Bswyb4M3?
>> http://rio2016.5ch.net/test/read.cgi/future/1489922543/273-285## ¥> : ¥>＞＞ dahara1 氏
>> :
>> >482 自然言語解釈 ¥>282 >272-276 180916 21:42 m2szPimC?
>> DeepMind : DNC のスロットベーススロットをスロットに見立てる等 ( 下手すれば 2018 年にも目鼻 )
>> 目鼻 → 1 年以内 ? 一まずの変革完了 ( ≒ 曲りなり特異点 ? ) → 1 年以内 ? 接地構造手直し完了 ( ≒ 特異点 ? )
>> :
>> 、計算的に様々なタスクに応用できるチューリング完全なUniversal Transformers
>> 汎用
>> :
>>ry : HTM HPKY Cog DSL HPKY-UniversalTransformer CellBeAL SW26010AL PezyBbiAL NeuralLaceAL
>
>
>
> --
> フリーソフトウエア関連ボランティアの皆様に感謝申上げますと共に
> 当原稿執筆編集の甚大コストへの御配慮に厚く御礼申上げます

> 三菱 UFJ 銀行平針支店 ( 普 ) 0111481 ヤマグチセイセイ
> 郵便局 218普2449768 ヤマグチセイセイ
> Yahoo pt 1362821068616323 Rakuten pt 1100-3310-4065-1717
> http://yahoo.jp/HsDIGs?#_2TB_0S03224
>
>
>

> YAMAGUTIseisei wrote:
>>>73 yamaguti 190123 1605 mAoFHgII? ¥>19 yamaguti 0111 1500 c91waTfv? ¥>320 ー 0102 2006 EwKUrMOW

>>> |>1月26日ワークショップ「その先：人工知能に意識
>>> |>http://www.nufs.ac.jp/outline/30th-anniversary/event/190126/##
> :
>>、9 ～15：00個別発表、15：40～18：00に基調講

> :
>>> |>講演者金井良太（株アラヤ代表取締役 CEO
>>> |>戸田山和久（名古屋大　社会システム情メディア社会系教授

> :
>> 個別発表
>> Lok-Chi Chan（国立台湾大学）
>> Ying-Tung Lin（国立陽明大学、台湾）
>> Kengo Miyazono（広島大学）
>> Graham Peebles（大阪大学）
>> Masatoshi Yoshida（生理学研究所）
>> Tony Cheng（ケンブリッジ大学）
>

> 開催: 現代英語学科主催WLAC、創立30周年記念事業委員会後援
> オーガナイザ: 佐藤亮司（現代英語学科）
> 略歴
> 名古屋外国語大学創立30周年記念事業
>
>
>
> 訂正
>
>>HTM の鍵となるオペレーションをスパイキングネットワークモデルを用いシミュレートするためのフレームワークについて説明します。
:

--
YAMAGUTIseisei ( str_h__namae = { :sei => "山口" , :mei => "青星" } )
http://hello.to/seisei/ mailto:seisei@.68..net tel:081-70-5152-1104
heiwa furiisekkusu 1tu

YAMAGUTIseisei

unread,

Feb 17, 2019, 10:18:22 AM2/17/19

>> 27 yamaguti 190205 1226 X9C1Zb0H? ¥>18 yamaguti 190123 1423 mAoFHgII?
>> | YAMAGUTIseisei wrote:
>> :
>> a0>453 ー 181021 0435 WKNnVBDC
>> a0>Googleは機械学習の欠点を熟考
>> a0>ry 層学習」のアプローチが、人間の認知能力達成することに失認める
>> a0>http://www.zdnet.com/article/google-ponders-the-shortcomings-of-machine-learning/
>> a0|
>> ||a0>DeepMindは、ニューラルネットワーク自体を使用する必要がないという驚くべき主張をする
>> ||7|
>> a0| 192 yamaguti‾貸 170921 2300 FFAhevfW
>> a0| 簡易版強い AL なら NN の体を成している必要すらない
>> ||7|
>> a0| 196 名前：yamaguti‾貸 E-mail：この国だけに配慮致します立場でないので申上げます投稿日：2017/09/21(木) 23:15:48.90 ID:FFAhevfW
>> a0| 中規模以上は結局 NN らしい NN がある方が良い可能性も捨切れないが
>> ||7|
>> a0>270 YAMAGUTIseisei 180908 0007 sHJfJTCE?
>> ||7| :
>> |f0| + データと
>> f0| ↑ 学習済高低レイヤモジュール : 充実 ( 不足致命的ならず ) ?
>> |||a0| 必ずしも充実不要 ( 一見致命的不足状態も条件次第で可 )
> :
> データなし + ネットワークらしいネットワーク又グラフ等なし可 ( 禅無空 ) = 存在根源 = 自律性/知性/好奇心/真理/愛
> :
>> ||a0| 関連時間方向粒度 : 疑似接地 ( 超高精度耳年増 )
>> |||| :
>> |7>114 ー 181112 0057 0MkkS2fo ¥>: ¥>脳を作ろうとするから駄目。外界と体 ¥>、意味は外界にある
>> |||| http://rio2016.2ch.net/test/read.cgi/future/1519958054/50#1497369524/971#1489922543/50# Bunpou SintaiSei
>> |||| リンク先
>> ||||> 529 yamaguti‾kasi 170212 2049 BZYpOz1d
>> |||| :
>> ||||>◎ 身体性リンク ( 例 : ロボットデータ流用 , 定義ファ

>
>
>
> --
> フリーソフトウエア関連ボランティアの皆様に感謝申上げますと共に
> 当原稿執筆編集の甚大コストへの御配慮に厚く御礼申上げます
> 三菱 UFJ 銀行平針支店 ( 普 ) 0111481 ヤマグチセイセイ
> 郵便局 218普2449768 ヤマグチセイセイ
> Yahoo pt 1362821068616323 Rakuten pt 1100-3310-4065-1717
> http://yahoo.jp/HsDIGs?#_2TB_0S03224

YAMAGUTIseisei

unread,

Mar 11, 2019, 12:25:37 PM3/11/19

> Google 翻訳 http://www.cs.virginia.edu/‾evans/cs655/readings/smalltalk.html
>
>
> バージニア大学コンピュータサイエンス学科
> CS655：プログラミング言語
> 2001年春
>
>
> Smalltalkの背後にある設計原則
>
>
> ダニエルHHインガルス
>
> 学習研究グループ
> ゼロックスパロアルトリサーチセンター
>
> BYTE Magazine、1981年8月。（c）ニューヨークのThe McGraw-Hill Companies、Inc.。
> http://users.ipa.net/‾dwighth/smalltalk/byte_aug81/design_principles_behind_smalltalk.html
> からコピー
> Dwight Hughesによってスキャンされ、（再作成されたグラフィックを含む）HTMLに変換された。
>
>
>
> Smalltalkプロジェクトの目的は、すべての人の創造的な精神にコンピュータサポートを提供することです。
> ? ry ハードウェアを ry から流れます。
> 私たちの仕事は創造的な個人と利用可能な最高のコンピューティングハードウェアとを含むビジョンから湧き出ます。
> ? 私たちは2つの研究分野に ry モデルの間のインターフェースとして働く記述言語（プログラミング言語）とそれにマッチする相互作用の言語（ユーザーインターフェース）。コンピュータのそれに人間のコミュニケーションシステム。
> 私達は 2 つの根本分野に集中することを選択しました：人間の心の中の各モデルと計算ハードウェアの中のそれらとの間のインタフェースとして稼働する記述言語 ( プログラミング言語 ) 、
> そして、インタラクション言語 ( ユーザインタフェース ) たる、コンピュータのそれにマッチするヒューマンコミュニケーションシステム。
> 私たちの研究は2年から4年のサイクルをたどり、それは科学的方法と平行していると見ることができます。
>
> ? * 現在のシステム ry
> * カレントシステム内でアプリケーションプログラムを構築する（観察をする）
> * その経験に基づいて、言語を再設計する（理論を定式化する）
> * 新しい設計に基づいて新しいシステムを構築します（テスト可能な予測を作成します）。
>
> Smalltalk-80システムは、このサイクルで5回目を迎えました。
> この記事では、私達が私達の仕事の過程で観察した一般原則のいくつかを提示します。
> プレゼンテーションではSmalltalkの「母性」について頻繁に触れますが、原則自体はより一般的であり、他のシステムを評価したり将来の作業を導いたりするのに役立ちます。

> ? ただウォームアップするために、 ry 偏りに主に責任があるという原則 ry ：
> 単にウォームアップ実行の為には、私は技術的よりも社会的であり、そしてそれがSmalltalkプロジェクトの特定の偏りにとって大きな役割を果たす、という原則から始めます：
>
> ? パーソナルマスタリー： ry することであるならば、 ry 。
> 自己マスタリー：システムが創造的な精神を提供するならば、それは一人の個人にとって完全に理解可能でなければなりません。
>
> ここで重要なのは、人間の可能性は個人の中に現れるということです。
> この可能性を実現するために、私達は一人の個人によって習得することができる媒体を提供しなければなりません。
> ユーザーとシステムの一部との間に存在するあらゆる障壁は、最終的には創造的表現に対する障壁となります。
> ? 変更できない、または十分に一般的ではないシステムの部分は、障害の可能性が高い原因です。
>システムの、変更できないか又は十分には汎用的でないか、の部分は障害要因に大いになり得ます。
> システムの一部が他の部分とは異なる動作をする場合、その部分は制御するために追加の努力が必要になります。
> そのような追加の負担は最終結果を損なう可能性があり、その分野における将来の努力を妨げるであろう。
> したがって、設計の一般原則を推測することができます。
>
> ? 良いデザイン： ry は統一された枠組みの中に保持 ry 一般的なもの ry 。
>良い設計：システムは、最小限の変更不可能な部分で構築する必要があります。これらの部分はできるだけ汎用的にしてください。そしてシステムのすべての部分は統一フレームワークの中に保持されるべきです。
>
> 言語
> コンピュータで使用する言語を設計する際に、役に立つヒントを見つけるために遠くを見る必要はありません。
> 人々の考え方やコミュニケーションの仕方について私たちが知っていることはすべて適用可能です。
> 人間の思考とコミュニケーションのメカニズムは何百万年もの間設計されてきました、そして我々はそれらを健全なデザインのものとして尊重するべきです。
> ? ry 、その逆ではなく時間を ry 。
> さらに、今後数百万年間この設計を使用しなければならないので、コンピュータモデルを心と互換性のあるものにすると、そうしない色々な選択肢よりも時間を節約できます。

> ? ry おける主要な構成要素を ry 。
> 図１は、我々の議論における原理的構成要素を示している。
> 人は体と心を持っていると表現されます。
> 身体は主要な経験の場であり、そしてこの議論の文脈では、それは宇宙が知覚され、それを通して意図が実行される物理的な経路です。
> 経験は心の中で記録され処理されます。
> ? 創造的思考は（そのメカニズムに入らずに） ry 。
> 創造的思考 ( そのメカニズムに立入る事を除く ) は心の中に自然に現れる情報と見なすことができます。
> 言語はその情報の鍵です。
>
> 言語の目的 : コミュニケーションの枠組みを提供する。
>
> 2人の個人間の相互作用は、図1では2つの円弧として表されています。
> 実線の円弧は、明示的なコミュニケーションを表しています。実際の言葉や動きが発声され、認識されます。
> ? ry 背景を形成 ry 。
> 破線の弧は暗黙のコミュニケーションを表しています。それは、明示的なコミュニケーションの文脈を形成する文化と経験の共有です。
> ? ry ような混乱の周りに構築されます。
> 人間の相互作用において、実際のコミュニケーションの多くは共有された文脈への参照を通して達成されます、そして、人間の言語はそのような機微の周りに構築されます。
> これはコンピュータにも当てはまります。

> コンピュータが図1の参加者の1人として見なされることがあるのは偶然ではありません。
> ? ry 、「本体」は、 ry 表示および人間 ry するために提供される。
> この場合、「体」は、情報の視覚的表示の為と人間のユーザからの入力を感知する為とに提供される。
> コンピュータの「心」には、内部メモリと処理要素、およびそれらの内容が含まれます。
> 図1は、コンピューター言語の設計にいくつかの異なる問題が関係していることを示しています。
>
> 範囲：コンピュータを使用するための言語の設計は、内部モデル、外部メディア、および人間とコンピュータの両方におけるこれらの間の相互作用に対処する必要があります。
>
> この事実は、Smalltalkをより制限された意味でコンピュータ言語を見る人々に説明することの難しさの原因です。
> ? ry は単に手順 ry 方法ではなく、 ry 手法でもありません。
> Smalltalkは単なる、手順を体系化するためのより良い方法でも、ストレージ管理のための別の手法でも、ありません。
> ? ry 単なる拡張 ry 階層、またはグラフィカルユーザインタフェースではありません。
> それは単なる、拡張可能なデータ型の階層でも、グラフィカルユーザインタフェースでも、ありません。
> ? ry 示した対話をサポート ry 。
> 図1に示したインタラクションをサポートするために必要なのは、これらすべてのこと、およびその他のすべてのことです。
>
>
> 図1：言語デザインの範囲
>
>
> 2人の間（または1人の人とコンピューターの間）のコミュニケーションには、2つのレベルでのコミュニケーションが含まれます。
> 明示的な通信には、特定のメッセージで送信される情報が含まれています。
> ? ry 、2人の人間に共通 ry 。
> 暗黙のコミュニケーションには、二者に共通の関連する仮定が含まれています。
>
>
>
> ? 通信オブジェクト
> コミュ二ケーティングオブジェクト
>
> ? 心は即時のものでも記録されたものでも、広大な経験の世界を観察します。
> 心は広大な、即時と記録済との両方の、経験の宇宙を観察します。
> ? この経験をそのままにすることで、宇宙 ry 。
> この経験をシンプルにそのままにして置く事で、宇宙との一体感を導き出すことができます。
> ? しかし、文字通り宇宙に参加するために参加 ry 。
>しかし、宇宙の中の、文字通り
>一部として
>、参加したいのであれば、区別をつける必要があります。
> ? ry 、同時に残りはすべてその物ではなくなる。
> そうすることで、人は宇宙の中の物を識別し、同時に、それでない物に残り全てがなる。
> それ自体で区別することは始まりですが、区別するプロセスはそれ以上容易にはなりません。
> ? ry について話をするたびに、 ry 。
> 「あそこのあの椅子」に付いて話す事を希望する度に、あの椅子を見分けるプロセス全体を繰り返さなければなりません。
> これが参照の行為が起こるところです：我々はオブジェクトとユニークな識別子を関連付けることができます、そして、その時から、その識別子の言及だけがオリジナルのオブジェクトを参照するのに必要です。

> ? ry システムは、頭脳の中でそれらと互換性があるモデル ry 。
> 私たちは、コンピュータシステムは、心の中の各モデルとの互換性があるモデルを提供するべきであると言った。
> したがって：
>
> ? ry 、その世界のオブジェクト ry 統一された手段を提供 ry 。
> オブジェクト：コンピュータ言語は「オブジェクト」の概念をサポートし、その宇宙のオブジェクトを参照するための統一された意味 ( 意味論的な ) を提供するべきです。
>
> ? ry 全体に対してオブジェクト指向のメモリモデルを ry 。
> Smalltalkストレージマネージャは、システム全体のメモリに対してオブジェクト指向モデルを提供します。
> システム内のすべてのオブジェクトに一意の整数を関連付けることで、均一な参照が簡単に実現されます。
> この均一性は、システム内の変数が大きく異なる値をとることができ、しかも単純なメモリセルとして実装できることを意味するので重要です。
> オブジェクトは式が評価されるときに作成され、それらは統一参照によって受け渡しされることができるので、それらを操作する手続きでそれらの格納のための準備は必要ではありません。
> ? ry 回収されます。
> あるオブジェクトへの参照がすべてシステムから消えてしまうと、そのオブジェクト自体は消滅し、そのストレージは埋立てられます。
> ? ry の比喩を完全 ry 。
> このような振る舞いは、オブジェクトのメタファを完全にサポートするために不可欠です。
>
> ストレージ管理 : 真に「オブジェクト指向」であるためには、コンピュータシステムは自動ストレージ管理を提供しなければならない。
>
> ? ry を調べる方法は、プログラムが自分たちがしていることをやっているように見えるかどうかを確認することです。
> ある言語がうまく機能しているかどうかを見出す方法は、彼らプログラムがしている事を彼らがやっている、かの様な彼らを見る事ができるかどうかです。
> 彼らがストレージの管理に関連するステートメントをふりかけているならば、それらの内部モデルは人間のそれとうまく一致していません。
> ? ry 話すそれぞれのことのために誰かを準備 ry トピックを通り抜けてそれが忘れられること ry
> あなたが彼らに話す事それぞれの為の何かを準備しなければならないか、またはあなたが与えられたトピックを遂行し且つそれを忘れる事ができるとき彼らに知らせなければならないことを想像できますか？

> 私たちの宇宙のそれぞれの物はそれ自身の人生を持っています。
> ? ry に、脳は各精神的対象の記憶と共に独立した処理を提供する。
>同様に、独立した処理を夫々の精神オブジェクトのストーリッジと共に脳は提供する。
> これはデザインの3番目の原則を示唆しています。

> ? ry よって一様に呼び出すことができるオブジェクト ry 。
> メッセージ：コンピューティングは、メッセージを送信することによって統一的呼出しができるオブジェクト固有の機能と見なす必要があります。
>
> オブジェクトストレージが明示的に処理されるとプログラムが煩雑になるのと同じように、処理が外部的に行われるとシステム内の制御が複雑になります。
> 数に5を加える処理を考えてみましょう。
> ほとんどのコンピュータシステムでは、コンパイラはそれがどんな種類の数であるかを把握し、それに5を加えるためのコードを生成します。
> ? 正確な種類の数はコンパイラによって決定できないため、 ry 。
> 数の正確な種類はコンパイラによる決定ができない為、これはオブジェクト指向システムには十分ではありません（詳細は後述）。
> ? ry 調べる一般的な加算 ry 。
> 考えられる解決策は、近似アクションを決定するために引数の型を調べる汎用加算ルーチンを呼び出すことです。
> ? ry 、この重要なルーチンは、 ry 。
> これは良いアプローチではありません。というのも、このクリティカルなルーチンを、自分のクラスの数字を試してみたいという初心者が編集しなければならないことを意味するからです。
> ? オブジェクトの内部構造に関する詳細な知識がシステム全体に散らばっているため、これもまた不適切な設計です。
> それは貧弱な設計でもあり、何故なら、オブジェクトの内部構造に関する詳細な知識がシステム全体に散らばっている為です。
>
> ? ry します。受信側が目的の操作を実施する方法を最も ry 上で、番号に対するメッセージとして目的の操作の名前を引数 ry 。
> Smalltalkは、より明確な解決策を提供します。欲求されたオペレーションを実行する方法を受信側が最もよく知っていることを理解した上で、欲求された操作の名前を数に対するメッセージとして引数とともに送信します。
> ? データ構造を強打したり略奪したりするビットグラインディングプロセッサの代わりに、私たちは互いに礼儀正しく彼らの様々な欲求を実行するように要求する行儀の良いオブジェクトの世界を持っています。
> データ構造を強姦したり略奪したりするデータプロセッサの代わりに、彼らの様々な欲求を実行する為に礼儀正しく打診し合う行儀良いオブジェクトの宇宙を、私達は持っています。
> ? メッセージの送信は ry であり、メッセージはオブジェクト間を移動するので、これは当然のことです。
> メッセージの転送はオブジェクトの外側で行われる唯一のプロセスであり、必然的に、その際にはオブジェクト間をメッセージが旅します。
> ? 優れたデザインの原則は、言語について言い換えることができます。
> グッドデザインその原則は、言語に付いても言えます。
>
> ? ry 、あらゆる分野で一様に適用 ry 。
> 統一的なメタファー：言語は、あらゆるエリアで統一的に適用できる強力なメタファーを中心に設計する必要があります。
>
> この分野での成功例としては、リンク構造のモデルに基づいて構築されたLISPがあります。 APLは、配列のモデルに基づいて構築されています。 Smalltalkは、通信オブジェクトのモデルに基づいて構築されています。
> ? ry 構築されている基本単位と同じように見なされます。
> いずれの場合も、大規模アプリケーションは、システムを構築している基本単位を参照するのと同じ方法で参照されます。
> ? ry オブジェクト間の相互作用は、コンピューターとそのユーザー間の最高レベルの相互作用と同じ方法で表示されます。
> 特にSmalltalkでは、最も原始的なオブジェクトの間のインタラクションは、コンピュータとそのユーザとの間の最高レベルのインタラクションと同じ方法で参照されます。
> ? ry 、が低整数であっても、 ry する一連のメッセージ（プロトコル）を ry 。
> Smalltalkのすべてのオブジェクトは、たとえそれが小さな整数であっても、そのオブジェクトが応答できる明示的な通信を定義するメッセージのセット ( プロトコル ) を持っています。
> 内部的には、オブジェクトはローカルストレージを持ち、すべての通信の暗黙のコンテキストを構成する他の共有情報にアクセスすることができます。
> ? ry は、被加数がメッセージを受信した番号の現在値であるという暗黙の前提を持っています。
> たとえば、メッセージ+ 5（5を加算）は、数がメッセージ受信するに既に持っている値が被加数であるという暗黙の前提を運びます。
>
>
> 組織
>
> 統一メタファーは、複雑なシステムを構築するためのフレームワークを提供します。
> いくつかの関連する組織原則が、複雑さの管理の成功に貢献しています。
> まず始めに：
>
> モジュール性：複雑なシステムのどのコンポーネントも、他のコンポーネントの内部の詳細に依存するべきではありません。
>
>
> 図2：システムの複雑さ
>
>
> システム内のコンポーネント数が増えるにつれて、不要な相互作用の可能性が急速に高まります。
> このため、コンピュータ言語はそのような相互依存の可能性を最小にするように設計されるべきです。
>
>
> この原理は図2に示されています。
> システムにN個のコンポーネントがある場合、それらの間にはおおよそNの2乗の潜在的な依存関係があります。
> コンピュータシステムが複雑なヒューマンタスクを支援することになるのであれば、それらはそのような相互依存を最小限に抑えるように設計されなければなりません。
> ? ry 目的を実行するために受信者が使用した方法から ry 。
> メッセージ送信メタファは、メッセージの目的（その名前で具現化されている）を、その目的の実行の為に受信者によって使用されたそのメソッドから切り離すことによってモジュール性を提供する。
> オブジェクトの内部状態へのすべてのアクセスはこの同じメッセージインタフェースを介して行われるため、構造情報も同様に保護されています。
>
> ? ry は、よく似た ry で軽減できます。
> システムの複雑さは、似たコンポーネントをグループ化することでしばしば軽減できます。
> このようなグループ化は、従来のプログラミング言語でのデータ型指定、およびSmalltalkのクラスを通じて行われます。
> クラスは他のオブジェクトを記述します - それらの内部状態、それらが認識するメッセージプロトコル、そしてそれらのメッセージに応答するための内部メソッド。
> そのように記述されたオブジェクトはそのクラスのインスタンスと呼ばれます。
> ? ry 適合します。それら ry 、オブジェクト記述のための適切なプロトコルと実装を記述する。
> クラス自体もこのフレームワークに適合します : それらはクラスClassの単なるインスタンスであり、適切なプロトコルと実装とをオブジェクト記述の為に記述する。
>
> ? 分類：言語 ry オブジェクトを分類し、システムのカーネルクラスと同等に新しいクラスのオブジェクトを追加する手段 ry 。
> クラス化 : 言語は、類似のオブジェクトをクラス化する為の、そしてオブジェクトの新しいクラスをシステムのカーネルクラスと同等に追加する為の、手段を提供する必要があります。
>
> ? ry of ness ness.
> ry of nessness.
> ? 分類はネスの客観化です。
> クラス化は性質性の客観化です。
> ? ry 文字通り「あのもの」であると同時に「その椅子のようなもの」として抽象的にとられています。
> 言い換えれば、人間が椅子を見るとき、経験は文字通りな「あのもの」であると同時に抽象的な「その椅子のようなもの」であると二通り得られています。
> ? ry chair ness.
> ry chairness.
> ? ry 抽象化は、それ自身が心の中の別のオブジェクト、プラトンの椅子または椅子のネスとして現れます。
> そのような抽象化は、「似た」経験を融合するという心の素晴らしい能力から生じます、そしてこの抽象化はそれ自身を、心の中の別のオブジェクトである所の純精神的な、椅子又は椅子性として顕在化します。
>
> ? ry 、クラスが拡張の主なメカニズムです。
> Smalltalkでは、クラスは拡張の重要なメカニズムです。
> ? ry 、ノート、メロディ、スコア、ティンバー、プレーヤーなどの表現とインタラクションプロトコルを ry 。
> 例えば、音楽システムは、 Note 、 Melody 、 Score 、Timbre 、 Player 等の、表現とインタラクションプロトコルとを記述する新しいクラスを追加することによって作成されるでしょう。
> ? ry 「等脚」節は重要です。
> それが設計されたようにシステムが使用されることを保証するので、上記の原則の「同等」節は重要です。
> ? ry 、メロディはピッチ、 ry 表す整数の ry 、言語が整数と同じくらい簡単にメモを処理できる場合、ユーザはメロディをメモの ry します。。
> 言い換えると、メロディは、ピッチ、長さ、その他のパラメータを表す Integers のアドホックコレクションとして表すことができますが、 Notes を Integers と同じくらい簡単に言語が扱える場合、ユーザはメロディを音符のコレクションとして自然に記述します。
> ? ry がそれを提供する場合、人間は当然最も効果的な表現を選択します。
> 設計の各段階で、システムが提供する場合、最も効果的な表現を人間は当然選択します。
> ? ry ます。
> モジュール性の原則は、システム内の手続き型コンポーネントにとって興味深い意味合いがあります :
>
> 多態性：プログラムはオブジェクトの動作だけを指定し、それらの表現は指定しないでください。
>
> ? ry 、与えられたオブジェクト ry が決して宣言するべきではなく、整数プロトコルに応答するということだけであるということです。
> この原則の従来の言い方は、所与オブジェクトがSmallIntegerまたはLargeIntegerであることをプログラムは、決して宣言すべきでなくそして整数プロトコルに応答するだけにすべき、です。
> ? ry 一般的な説明は、 ry 。
> そのような汎用的な記述は、現実世界のモデルにとって非常に重要です。
>
> 自動車交通シミュレーションを考えてみましょう。
> そのようなシステムにおける多くの手順は、関係する様々な車両を参照するだろう。
> ? ry 、道路掃除人を ry 。
> たとえば、道路清掃車を追加したいとします。
> コードが操作するオブジェクトに依存している場合、この単純な拡張を行うには、かなりの量の計算（再コンパイルの形で）と起こり得るエラーが関係します。
> メッセージインタフェースはそのような拡張のための理想的なフレームワークを確立します。
> 道路清掃車が他のすべての車両と同じプロトコルをサポートしていれば、シミュレーションにそれらを含めるための変更は不要です。
>
> ? ファクタリング： ry しか表示されません。
> 因数分解 ( 因枢分解韻枢分解 ) : システム内の各独立したコンポーネントは1箇所にしか現出しません。
>
> この原則には多くの理由があります。
> まず第一に、システムへの追加が一箇所でのみ行われる必要がある場合、それは時間、労力、およびスペースを節約します。
> ? ry 簡単に見つけること ry 。
> 第2に、ユーザーは特定のニーズを満たすコンポーネントをより簡単に配置する事ができます。
> ? ry 同期化し、相互 ry 。
> 第3に、適切な因数分解がないと、変更を同期化しそして相互に依存するすべてのコンポーネントが一貫していることを保証する際に問題が発生します。
> ? 因数分解の失敗は ry 違反になることがわかります。
> 因枢分解での失敗がモジュール性の違反に達する様をあなたは目にします。
>
> ? Smalltalkは継承を通じて、よく練られたデザインを奨励します。
> 継承を通じたよく因枢分解されたデザインをSmalltalk は奨励します。
> すべてのクラスはそのスーパークラスから動作を継承します。
> ? この継承はますます一般的なクラスにまで拡張され、 ry デフォルトの動作 ry 。
> より一層一般的なクラス達を通じてこの継承は拡張し、最終的にはシステム内のすべてのオブジェクトのデフォルト動作を記述するクラスObjectで終わります。
> ? ry デフォルトの動作が継承され、さまざまな場所で同じ概念が繰り返されません。
> 上記の交通シミュレーションでは、 StreetSweeper （および他のすべての車両クラス）は一般的なVehicleクラスのサブクラスとして記述されているため、適切なデフォルト動作を継承し、様々な場所での同概念の繰返しを避けます。
> 継承は、ファクタリングのさらに実用的な利点を示しています。
>
> ? ry よく調整されていれば、 ry 。
> レバレッジ：システムがよく因枢分解されていれば、ユーザーと実装者の両方にとって大きなレバレッジが得られます。
>
> 順序付けられたオブジェクトのコレクションをソートする場合を考えてみましょう。
> Smalltalkでは、ユーザーはOrderedCollectionクラスでsortというメッセージを定義します。
> これが完了すると、システム内のすべての形式の順序付きコレクションが、継承を通じてこの新しい機能を即座に取得します。
> ? 余談ですが、比較プロトコルはテキストと数字の両方をサポートするクラスで認識されるため、同じメソッドでテキストとソート番号をアルファベット順に並べ替えることができます。
> 余談ですが注目すべきは、テキストと数字との両方をサポートするクラスで比較プロトコルは認識されるため、テキストアルファベット順化をだけでなく数値ソートをもがその同一メソッドは可能です。
>
> 実装者にとって構造の利点は明らかです。
> まず、実装するプリミティブが少なくなります。
> たとえば、Smalltalkのすべてのグラフィックは単一のプリミティブ操作で実行されます。
> ? 1つの作業だけで、実装者はすべての命令に愛情のこもった注意を捧げることができ、効率のわずかな ry ことを知っています。
> 1 つの作業をするだけで、全ての命令に愛情篭った注意を実装者は捧げる事ができ、効率の其々僅かな改善がシステム全体で増幅される事を知ります。
> ? ry 、どの一連の基本操作で十分であるかを尋ねるのは自然です。
> コンピューティングシステム全体をサポートするには、どんなプリミティブ操作セットならば足るかを尋ねる事は自然です。
> この質問に対する答えは仮想マシン仕様と呼ばれます。
>
> 仮想マシン：仮想マシン仕様は、テクノロジを適用するためのフレームワークを確立します。
>
> ? Smalltalk仮想マシンは、保存用のオブジェクト指向モデル、処理用の ry 。
> Smalltalk バーチャルマシンは、ストーリッジのオブジェクト指向モデル、プロセッシング用のメッセージ指向モデル、および情報の視覚的表示用のビットマップモデルを確立します。
> ? ry コード、そして ry することで、システムの他の利点を損なうことなくシステムのパフォーマンスを劇的に向上させることができます。
> マイクロコードを、そして最終的にはハードウェアを使用する事を介し、システムの他の美点に如何なる妥協も伴わずのシステムパフォーマンス劇的向上が可能です。
>
>
> ユーザーインターフェース
> ユーザーインターフェイスは、 ry 。
> ユーザインタフェースは単純に、コミュニケーションの大部分が視覚的な言語です。
> ? ry は確立された人間の文化と非常に重なるので、 ry 。
> 視覚的表現は確立済人間文化と著しくオーバラップするので、審美性はこの分野で非常に重要な役割を果たします。
> コンピュータシステムのすべての機能は、最終的にはユーザーインターフェイスを通じて提供されるため、ここでも柔軟性が不可欠です。
> ? ry 指向の原則と言えます。
> ユーザーインターフェイスの十分な柔軟性を実現するための有効条件は、オブジェクト指向な原則と言えます。
>
> ? ry コンポーネントは、観察と操作のために意味のある方法でそれ自体 ry 。
> 反応原理：ユーザーがアクセス可能なすべてのコンポーネントはそれ自身を観察と操作との為に、意味のある方法で提示できるべきです。
>
> この基準は、通信オブジェクトのモデルによって十分にサポートされています。
> 定義上、各オブジェクトは対話のための適切なメッセージプロトコルを提供します。
> このプロトコルは本質的にまさにその種のオブジェクトに特有のマイクロ言語です。
> ? ry キーボード操作 ry 使用を通して ry 。
> ユーザインタフェースのレベルでは、スクリーン上の各オブジェクトに適した言語が視覚的に（テキスト、メニュー、写真として）提示され、キーボード活動とポインティングデバイスの使用とを介して感知されます。
>
> オペレーティングシステムはこの原則に違反しているように思われることに注意してください。
> ? ry プログラマーは、他の点では一貫性のある記述の枠組みから離れ、どんな文脈が構築されていようとも、まったく異なる、通常は非常に原始的な環境を扱わなければなりません。
> ここでプログラマは、一貫性ある記述フレームワークから逆に立去り、構築済な如何なる文脈も置去りにして、全く異なったそして通常とても原始的な環境を取回します。
> これはそうである必要はありません：
>
> ? ry 集まりです。ないはずです。
> オペレーティングシステム：オペレーティングシステムは、言語に収まらないものの集まりです。それらを一つにすべきでない。
>
> ? これは、Smalltalk言語に ry 。
> これらは、Smalltalk言語内に自然に組み込まれてきた従来のオペレーティングシステムコンポーネントの例です。
>
> * ストレージ管理 -
> 全自動
> ? ry され、それ以上の参照が存在しなくなったとき ry 。
> オブジェクトは、そのクラスへのメッセージによって作成され、そして存在するそれらへの参照がもはやなくなった時に回収されます。
> 仮想メモリを介したアドレス空間の拡張も同様に透過的です。
> * ファイルシステム -
> ? ry 持つファイルやディレクトリなど ry 。
> ファイルアクセスをサポートするメッセージプロトコルを持つ Files や Directories などのオブジェクトを通じて、通常のフレームワークに含まれます。
> * ディスプレイの取り扱い -
> ? ディスプレイは単に継続的に見えるFormクラス ry 。
> ディスプレイは継続的可視な単なる Form クラスのインスタンスであり、そのクラスで定義されているグラフィカル操作メッセージは可視画像を変更するために使用されます。
> * キーボード入力 -
> ? ry に、状態を判断したり、一連のイベントとして履歴 ry 。
> キーボード入力 - ユーザー入力デバイスも同様に、それら状態を判断したり、イベントのシーケンスとして履歴を読み取ったりするための適切なメッセージを持つオブジェクトとしてモデル化されています。
> * サブシステムへのアクセス -
> ? ry 大規模な記述領域を利用でき、ユーザーとの対話を伴うサブシステムはユーザーインターフェイスのコンポーネントとして参加できます。
> サブシステムは、Smalltalk内に独立したオブジェクトとして自然に組み込まれています。そこでは、既存の大規模な記述の宇宙をキャンバスにでき、それらは、ユーザインタフェース内のコンポーネントとして参画できるユーザとのインタラクションを取込んでいます。
> ? ry は、一連のスタックフレームを所有 ry 。
> Smalltalkプロセッサの状態は、スタックフレームのチェーンを所有するProcessクラスのインスタンスとしてアクセスできます。
> * デバッガ -
> ? デバッガは、中断された ry 。
> デバッガは、サスペンドされたプロセスの状態を操作するためのアクセス権を持つ、単なるSmalltalkサブシステムです。
> ? ry 唯一の実行時エラーは、 ry 。
> Smalltalkで発生する可能性があるほぼ唯一のランタイムエラーは、メッセージが受信者によって認識されないことです。
>
> ? Smalltalkにはそれ自体「操作システム」はありません。
> Smalltalk はそれ自体では「操作システム」を持ちません。
> ? ry 必要な基本操作は、その他の点では通常のSmalltalkメッセージに応答して基本メソッド ry 。
> ディスクからページを読み取るなどの必要なプリミティブ操作は話が別であり通常の Smalltalk メッセージに応答するプリミティブメソッドとして組み込まれています。
>
> 今後の取り組み
>
> 予想されるように、Smalltalkでの作業はまだ残っています。
> 説明が最も簡単な部分は、このホワイトペーパーの原則の継続的な適用です。
> たとえば、Smalltalk-80システムは階層継承のみをサポートしているため、ファクタリングが不十分です。
> 将来のSmalltalkシステムはこのモデルを任意の（複数の）継承に一般化するでしょう。
> また、メッセージプロトコルは形式化されていません。
> ? 組織はプロトコルを ry 。
> オーガナイぜーションはプロトコルを規定していますが、プロトコルがクラス間で一貫していることは現在のところスタイルの問題です。
> これは、一貫して共有できる適切なプロトコルオブジェクトを提供することで簡単に解決できます。
> これにより、多態性の利点を失うことなく、プロトコルによる変数の正式な型指定が可能になります。
>
> ? ry ことがより容易ではありません。
> 他の残りの仕事は明瞭にする事が容易と言うに足りません。
> この論文では扱われていない、人間の考えには明らかに他の側面があります。
> ? ry できる比喩として識別 ry 。
> これらは既存の言語モデルを補完することができるメタファとして識別されなければならない。
>
> 時には、コンピュータシステムの進歩は憂鬱なほど遅いように思われます。
> ? 蒸気機関車が ry を忘れています。
> 蒸気機関が私たちの祖父母にとってハイテクであったことを我々は忘れています。
> 私は状況について楽観的です。
> ? 実際、コンピュータシステムはより ry 。
> コンピュータシステムは、実際、よりシンプルになり、その結果、より使いやすくなっています。
> ? ry を閉じたいと思います。
> 私はこのプロセスを支配する一般原則を纏めたいと思います :
>
> ? ry き換えられるべきです。
> 自然な選択：健全なデザインの言語とシステムは存続するでしょう、より良いものだけによって置換えられて。
>
> 時計が刻々と動いている間でさえ、創造的な精神のためのますます優れたコンピュータサポートは進化しています。
> ? すぐ助けに行くからね。
> 救援は途中まで来ています。
>
> CS 655 バージニア大学
> CS 655：プログラミング言語
> evansATcs.virginia.e
> ? ry 22秒
> 最終更新日：月曜日3月19日17時13分22秒 2001 年

> 訂正 : 世界の構造を学習する事を新皮質内カラムがどの様に可能にするかの理論
>> 世界の構造を学習する事を新皮質内カラムが如何にして可能たらしめるかの理論
>
>
> 訂正 : ハイデルベルクニューロモルフィックコンピューティングプラットフォームへのHTMモデルの移植
>
>> ? そのようなシステムの連続時間およびVLSI実装は、文献 ry 。
>> ? さらに、同じ入力カウントを受け取る列間の関係を解決するモデルの機能が示され ry として選択されず、少数の列のみが ry 。
>> シミュレーションはこの図に示されてもいる様に、データを既存ソフトウェア実装によって完全再現します。

YAMAGUTIseisei

unread,

Apr 28, 2019, 11:17:28 AM4/28/19

>Google 翻訳 http://webcache.googleusercontent.com/search?q=cache:mazonka.com/st/lcss.pdf#iT0urchwkbIJ
>
> ページ1
>
>
> ? Subleqに基づく単純な ry
> Subleq ベースのシンプルなマルチプロセッサコンピュータ
>
>
> Oleg MazonkaとAlex Kolodin
> mazonkaATgmail alex.kolodinATgmail
>
> 2011年5月（改訂3、草案8）
>
>
>
> 抽象
>
>? Subleq（結果の減算と分岐は0より小さいか等しい）は、命令セットコンピュータ（OISC）の命令 ry 言語の両方です。
>Subleq ( 減算 ( Subtract ) しそして結果が 0 より小さい ( Less than ) か等しい ( Equal ) ならば分岐 ( Branch ) ) は 1 命令セットコンピュータ ( One Instruction Set Computer , OISC ) の、命令セットとプログラミング言語との両方です。
> 我々は、低コストFPGAボード上に28個の1命令Subleqプロセッサのアレイをハードウェアで実装することについて説明します。
> 私たちのテスト結果は、Subleq OISCマルチプロセッサの計算能力は現代のパーソナルコンピュータのCPUの計算能力に匹敵することを示しています。
> さらに、Cスタイルの言語からSubleqまで、コンパイラの実装の詳細を提供します。
>
> 内容
>
> 1. はじめに . . . . 2
> 2. Subleqアセンブリ言語 . . . 3
> 3. ハードウェア設計 . . . . 6
> 3.1 概要 . . . . 6
> 3.2 インタフェースの説明 . . 7
> 3.3 Subleqプロセッサ . . . 7
> 4. Subleq用のCコンパイラ . . . 8
> 4.1スタック . . . . 8
> 4.2 式 . . . . 10
> 4.3 関数呼び出し . . . 11
> 4.4 スタック変数 . . . 14
> 4.5 掛け算 . . . . 15
> 4.6 条件ジャンプ . . . 16
> 5. 結果 . . . . . 17
> 5.1 テスト＃1 . . . 17
> 5.2 テスト＃2 . . . 18
> 6. 結論 . . . . . 19
> 7. 付録 . . . . . 21
> ? 7.1 Cと乗算 ry
> 7.1 乗算ありの C . . . 21
> 7.2 乗法なしのC . . . 21
> 7.3 Subleqコード . . . 22
> 参考文献 . . . . . 23
>
>
> ?1?
>
> ページ2
>
>
> 1. はじめに
>
> ? ry 、命令数が1に減少します。
> OISC（One Instruction Set Computer）は、従来のCPUを搭載した究極のRISC（Reduced Instruction Set Computer）であり、命令数が1に縮小されています。
> ? ry 、オペコードの必要性がなくなり、より ry 要素が可能になり、同じ数の論理 ry ウェアでより多くの命令を実装することが可能になる。
>利用可能なプロセッサ命令が1つだけである事はオペコードの必要性を抹消しそして、より単純な計算要素を許容、従ってより多くのそれらを実装する事を、論理ゲートを同数有したハードウェアで可能とする。
> 我々の目標は、単一の低コストプログラマブルチップ上に可能な限り多くのプロセッサを備えた機能的なマルチプロセッサシステムを構築することだったので、
> OISCは自然な選択であり、残りのステップは適切なシングルプロセッサ命令セットの選択であった。
>
> 現在知られているOISCは大きく3つの大きなカテゴリーに分けることができます。
>
> ? 1.トランスポートされたアーキテクチャのマシン。
> 1.転送トリガ型アーキテクチャのマシン。
> ? ビット操作機械; 2。
> 2. ビットマニピュレーションマシン ;
> 3.算術ベースのチューリング - コンプリート・マシン。
>
> トランスポートトリガアーキテクチャ（TTA）は、計算がデータ転送の副作用である設計です。
> 通常、共通アドレス空間内のいくつかのメモリレジスタ（トリガポート）は、命令がそれらを参照するときに割り当てられた動作を実行します。
> 例えば、単一メモリ対メモリコピー命令[1]を利用するOISCでは、書き込み時に算術および命令ポインタジャンプを実行するポートをトリガすることによってこれが行われる。
> 魅力的な単純さにもかかわらず、このようなOISCには2つの大きな欠点があります。
> 第1に、CPUは、トリガポートを制御する別個の機能ユニットを有する必要がある。
> 第2に、2つの異なるハードウェア設計は2つの異なるアセンブリ言語を使用する可能性が高いため、設計の一般化は困難です。
> ? ry 、このクラスのOISCは実装されていませんでした。
> これらの欠点のため、このクラスの OISC を我々の実装として除外しました。
>
> Bit Manipulating Machinesは最も簡単なクラスです。
> ? ry 、命令[2]のオペランドの1つで指定されたアドレスに無条件に実行を渡します。
> BitBitJumpと呼ばれるビットコピーマシンは、メモリ内の1ビットをコピーし、命令のオペランドの1つで指定されたアドレスに無条件に実行を渡します [2] 。
> このプロセスは、普遍的な計算が可能であることが判明している（すなわち、
> ? ry でき、他の普遍的なマシンを解釈する ry コピーすることにより、実行されるコードを条件付きで修正することができるからである。
>任意のアルゴリズムを実行することができ、そして任意の他のユニバーサルマシンをインタプリトすることができる）。なぜなら、ビットをコピーすることにより、コードを実行に先立って条件付きで修正することができるからである。
> Togaコンピュータと呼ばれる別のマシンは、ビットを反転し、反転の結果に応じて条件付きで実行をパスします[3]。
> BitBitJumpに似た、さらに別のビット演算マシンは、同時にいくつかのビットをコピーします。
> ? ry 、計算上の汎用性の問題が解決される[4]。
> この場合、あらかじめ定義されたジャンプテーブルをメモリに保持することにより、汎用的計問題が解決される[4]。
> ビット操作マシンの単純さにもかかわらず、安価なFPGAで普通に利用可能なメモリよりも多くのメモリを必要とするため、我々はそれらを排除しました。
> ? ビット操作操作で機能 ry 。
> ビットマニピュレーションで機能するマルチプロセッサマシンを作成するには、プロセッサあたり少なくとも1Mbのメモリが必要です。
> したがって、私たちは、より少ないメモリを持つより複雑なプロセッサーが私たちの目的にとってより良い選択であると判断しました。
>
>
> ?2?
>
> Page 3
>
>
> 算術ベースのチューリング完結型マシンは、算術演算と条件付きジャンプを使用します。
> ? ry の以前のクラス ry 、このクラスは普遍的なものであり、抽象的表現ではチューリング完全です。
> ユニバーサルコンピュータである2つの前述のクラスの様ではなく、このクラスはユニバーサルな、そして抽象的表現に於ての、チューリング完全です。
>? ry 、メモリ内のアドレス ry 。
>命令は、メモリ内アドレスであってもよい整数で動作する。
> ? ry 、異なる算術演算[5]に基づいて、このクラス ry のOISCが存在する。
> 現在、異なる算術演算に基づいた、このクラスのいくつかの既知の OISC が存在する [5] 。
> ? 追加？ Addleq、減少？ DJN、増分？ P1eqと減算？ Subleq （結果の減算と分岐は0より小さいか等しい）。
> 加算 - Addleq、デクリメント - DJN、インクリメント - P1eq 、そして減算 - Subleq ( 減算そして結果が 0 より小さいか等しい際に分岐 ) 。
> 後者は最も古く、最も一般的であり、間違いなく最も効率的である[6] [7]。
> ? ry .2つは減算用、2つは条件ジャンプ用です。
> Subleq命令は3つのオペランドで構成されています.2つは減算用、1つは条件ジャンプ用です。
>
> ? Subleqの周りにハードウェアを ry 。
> Subleq 系にハードウェアを構築しようとする試みは以前から行われていました。
> 例えば、David A RobertsはSubleq CPUを設計し、ソフトウェアSubleqライブラリ[8]を書いた。
> 彼の実装は、キーボード入力、端末、制御ROM、および16MbのRAMを備えた単一のCPUであり、私たちよりはるかに複雑です。
> さまざまなインターネットサイトで記述された他の同様のデザインがいくつかありました。例えば[9]。
> しかし、それらのすべては、実用的な実装がなされていない概念実証シミュレーションでした。
>
> 以下のセクションでは、構築したシステムのコンポーネントについて説明します。
> 第2節では、Subleq抽象機械とそのアセンブリ記法を概説する。
> セクション3では、マルチプロセッサコアのハードウェア実装について説明します。
> セクション4では、高水準プログラミング言語をSubleq命令コードに変換するために使用される手法について簡単に説明します。
> セクション5と6では、デバイスのスピードテスト結果を比較し、ディスカッションと要約を示します。
> 付録では、階乗を計算するコードがCおよびSubleqの表記法で示されています。
>
>
> Subleqソフトウェア< - USB - >ドライバ、プログラミング環境
>
> 図1 FPGAボードはUSBケーブルでPCに接続
>
>
> 図1は、USBケーブルを使用してデバイスとコンピュータを接続した状態を示しています。
>
> 2. Subleqアセンブリ言語
>
> Subleq抽象機械は、各セルが整数を保持する無限のメモリ配列上で動作する。
> この数は、別のメモリセルのアドレスとすることができる。
> 番号は0から始まります。
> ? プログラムは、アドレスゼロで第1の命令を用いてメモリから読み出された一連の命令として定義される。
> プログラムは、 0 番地にある最初の命令からメモリより読出されたシーケンスとして定義される。
> Subleq命令には3つのオペランドがあります。
>
> A B C
>
> ? 1つの命令ABC ry 。
> 1 つの命令 A B C を実行すると、Bに格納されたアドレスのメモリセルの内容からAに格納されたアドレスのメモリセルの値が減算され、その結果がBのアドレスのセルに書き戻されます。
> Bの減算後の値がゼロ以下の場合、実行はCで指定されたアドレスにジャンプします。さもなければ、実行は次の命令、すなわちCに続くメモリセルのアドレスに進む。
>
>
> ?3?
>
> Page 4
>
>
> アセンブリ記法は、Subleqでコードを読み書きするのに役立ちます。
> 構文は次のとおりです。
>
> ？ラベル;
> ？疑問符;
> ？縮小命令;
> ？マルチ命令;
> ？リテラルと式。
> ？データセクション。
> ？コメント。
>
> ラベルは、コロンが後に続く特定のアドレスの記号的な名前です。
> 次の例では
>
> A B C
> A:2 B:1 0
> C:B B 0
>
> 各行は3つのオペランドを持つ1つの命令を表します。
> ここで、A、B、Cは抽象名ではなく、メモリ内の特定のセルのラベル（アドレス）です。
> たとえば、ラベルAは4番目のセルを参照し、値2で初期化されます。
> ? 最初の命令は、セルBの値からセルAの値を減算し、その値を1とし、結果をセルBに格納します。この値は-1になります。
> 最初の命令は、セル A の値をセル B の値、その値 1 から減算し、結果をセルBに格納します。それは -1 になります。
> 結果はゼロより小さいので、値Cは第3行の命令の第1オペランドのアドレスであるため、次に実行される命令は第3行である。
> これはBからBを減算してゼロにするので、実行はアドレス0に渡されます。
> これらの3行がプログラム全体である場合、最初の命令の第1オペランドはアドレス0を有する。
> この場合、実行はB -2となる最初の命令に戻される。
> そのプロセスは永遠に続く。
> 実行される命令は1行目と3行目のみであり、セルBの値は1、-1、0、-2、0、-2、0などのように変化します。
>
> 疑問符はメモリ内の次のセルのアドレスとして定義されます。
>
> A B ?
> B B 0
>
> ? ?と同じです
> は以下と同じです
>
> A B C
> C:B B 0
>
> ? 命令フォーマットの縮小は便利 ry 、つまり？
> 縮小命令フォーマットは便利なショートカットです：3つではなく2つのオペランドが次の命令のアドレス、つまり ; ? 、
> ? 1つのオペランドだけが第2のものを第1のものと同じであるとみなすので、
> そしてオペランド 1 つだけだと第 2 のものを第 1 のものと同じであるとみなすので、
>
> A
>
> ? ?と同じです
> は以下と同じです
>
> A A
>
>
> ?4?
>
> Page 5
>
>
> ? ?と同じです
> そして以下と同じです
>
> A A ?
>
> 同じ行に複数の命令が置かれている場合は、最後の命令にセミコロンが続く必要があります。
> ? 次のコードは、
> 次のコードは値をA から B へコピーします：
>
> ? AからB：Z; B; AZ; ZB
> Z; B; A Z; Z B
>
> A：72のような整数はコード内の定数として使用されます。
> リテラルは、ASCII値を仮定して整数の代わりに使用できます。
> たとえば、A： 'H'はA：72と同じです。 A： "Hi"はA： 'H' 'i'と同じです。
> 加算、減算、括弧、および単項マイナスを式で使用できます。
> ? ZZ←+3 ABCDEF
> コード
>
> Z Z ?+3
> A B C
> D E F
>
> は、Zをゼロに設定し、第3の命令DE Fにジャンプする。
>
> ? 命令を減らすことができるため、アセンブラは3つのオペランドで完全な命令を生成するタイミングを知る必要があります。
> 命令を縮小できる為、アセンブラは 3 オペランドな完全な命令をいつ生成するかを知る必要があります。
> このような生成を避けるために、行頭のピリオドが使用されます。
> したがって、プログラムデータはそのような行に置くことができます。
> コード
>
> A A ?+1
> . U:-1
> U A
>
> ? Aに1を ry 。
> は A に 1 を設定します。
> 2行目にピリオドがないと、コードは次のように解釈されます。
>
> A A ?+1
> U:-1 (-1) ?
> U A
>
> コメントはハッシュ記号＃で区切られています。＃から行末まではすべてコメントです。
> 負のアドレスにジャンプすると、プログラムが停止します。
> 第3オペランドとして通常は（-1）を使用してプログラムを停止します。たとえば、次のようになります。
>
> ＃停止
> Z Z (-1)
>
> 3番目のオペランドであることを示すためには、（-1）の前後のかっこが必要です。したがって、命令は次のように解釈されません。
>
> Z Z-1 ?
>
> ? プログラム ry 。
> Subleq プログラムをインタラクティブにする（データを要求して作業中にユーザに応答する）ために、入力および出力動作は、存在しないメモリセルに対する動作として定義することができる。
> これには同じ（-1）アドレスを使用できます。
> 第2オペランドが（-1）の場合、第1オペランドの値が出力になります。
> 第1オペランドが（-1）の場合、第2オペランドは入力ストリームから値を取得します。
> 入出力操作はバイト単位でASCIIコードで定義されています。
> プログラムが255より大きい値を出力しようとすると、その動作は未定義です。
>
> ? ry [10]の「Hello ry 。
> 以下はLawrence Woodman helloworld.sq [10] から適応させた「Hello world」プログラムです。
>
>
> ?5?
>
> Page 6
>
>
> これは非常に簡潔ですが、Subleq効率の良い例です。
>
> L:H (-1); U L; U ?+2; Z H (-1); Z Z L
> U:-1 H:"hello, world¥n" Z:0 こんにちは、世界¥ n
>
> Subleqでは、Zと呼ばれる特別な変数が非常に小さな範囲内で中間の一時変数として使用されることがよくあります。
> ? ry 、使用ごとに0 ry 。
> 通常、この変数はゼロで初期化され、毎使用後に 0 になっていると仮定します。
>
> 上記のプログラムは5つの命令で構成されています。
> ? The first instruction prints the character pointed by its first operand (the first pointer) which is initialised to the beginning of the data string ? the letter 'h'.
> ? ry が指す文字を出力します。文字 'h'。
> 最初の命令は、データ文字列の先頭に初期化された最初のオペランド（最初のポインタ）が指す文字 - 'h' を出力します。
> ? The second instruction increments that pointer ? the first operand of the first instruction.
> ? ry ポインタをインクリメントしますか？最初の命令の最初のオペランド。
> 2番目の命令はそのポインタ -最初の命令の最初のオペランド- をインクリメントします。
> 第3の命令は、第4の命令の第2のオペランドである第2のポインタをインクリメントする。
> ? ry テストし、値が ry 。
> 第4の命令は、第2のポインタが指す値をテストし、その値がゼロであるときにプログラムを停止させる。
> ? ポインターがZ：0のデータストリングの終わりの後のセル1に到達するとゼロに ry 。
> データストリングの終わりの一つ後の Z:0 なセルにポインタが到達すると零になります。
> ? ry ループバックするので、プロセスは停止条件 ry 。
>5番目の命令はプログラムの先頭にループし戻るので、プロセスは /HALT ( /アサート /ネゲート ) 条件が満たされなくなるまで続きます。

> 3. ハードウェア設計
>
> 3.1 概要
>
> ? ry 実装の基礎として使用しました。
> アルテラのCyclone III EP3C16 FPGAをハードウェア実装のベースとして我々は使用しました。
> ? ry （約30米ドル） ry 。
> その選択は、このFPGA ICチップの比較的低価格 ( 高くとも約 $30 ) と、そのためのテストハードウェアの可用性に基づいています。
>
> 使用したテストボードにはDDR2 RAM ICが装備されていますが、RAMへのアクセスは一度に1プロセスに制限されています。
> 真の並列実装では、プロセッサごとに別々の内部メモリブロックが割り当てられているため、FPGA内の使用可能なメモリ量によってプロセッサ数が制限されます。
> EP3C16 FPGAには、それぞれ8Kビットの16ビットメモリブロック56個があります。
> ? 32ビットのSubleqプ ry 。
> 我々の 32bit Subleq プロセッサを1つ実装するには、最低2つのメモリブロックが必要です。そのため、FPGAには28個のプロセッサしか搭載できません。
> 私たちは16ビット実装を選択し、より多くのプロセッサ（最大56）を持つことができますが、それぞれに割り当てられるメモリはわずか1Kバイトです。
>
> ? ry データをFPGAにロードするために使用されるUSBとSPI（ ry ）間ののブリッジとして構成された外部サイプレスFX2 CPUの ry 。
> FPGAは、コードとデータとを FPGA にロードする為に有用な SPI ( シリアルペリフェラルインターフェイス ) と USB との間のブリッジとして構成されたエクスターナルなサイプレス FX2 CPU の助けを借りてUSBバスに接続されています。
> インターフェイスブリッジは、PCソフトウェアに対して透過的です。
>
>
> ( FPGA
> MEMORY < - > PROCESSOR1 < - > (
> メモリ< - >プロセッサ2 < - >
> メモリ< - >プロセッサ3 < - >
> : : < - > SPI < - > CONTROL_CPU < - > USB
> メモリ< - >プロセッサ7 < - >
> メモリ< - >プロセッサ8 < - > ))
>
> 図2 ボードのブロック図
>
>
> ?6?
>
> Page 7
>
>
> 図2はボードの通信ブロック図です。
> ? ry でコード化され、 ry 。
> このソリューションはVHDLでコーディングされ、アルテラのWebサイトから自由に入手できるQuartus II Web Editionソフトウェアでコンパイルされています。
> ? ry 当社の ry 。
> 我々のコードは、大規模FPGAで使用可能な最大63プロセッサまでスケーラブルです。
> 63プロセッサの制限はSPIバスのアドレッシングの実装によるもので、必要に応じて増やすことができます。
>
> 28個のプロセッサはすべて独立して動作し、PCBに取り付けられた基準発振器からFPGA PLLの1つで生成された単一の150 MHzクロックによって同期されます。
>
> プロセッサ数を増やすには、FPGAを搭載したボードをUSBバス経由で簡単に接続することができます。
>
> 3.2 インターフェースの説明
>
> 各プロセッサには、割り当てられたメモリへのシリアルインタフェースとステータスバイトがあり、単一アドレスのシリアルロードからアクセスできます。
> ? シリアルインタフェースは、処理が停止すると、 ry 。
> シリアルインタフェースは、プロセッシングが停止すると、メモリのデータバスとアドレスバスを引き継ぎます。
>
> FPGA内部のアドレス空間は、プロセッサインデックスとメモリアドレスという2つの数値によってアドレス指定されたテーブルとして編成されています。
> インデックス0から1バイトを読み取ると、FPGA内部のプロセッサ数が返されます。
> この設計では、戻り値は28です。
> 1から28のインデックスがプロセッサに割り当てられ、2048バイト（512ビットの32ビットワード）のメモリがそれぞれ使用可能です。
>
> プロセッサメモリへの書き込みは、2048バイトのバッファを順次ロードする動作である。
> プロセッサのメモリからの読み出しは異なります。最初に返されるワード（4バイト）はプロセッサのステータスで、残りはメモリの内容です。
>
> ? ステータスバイト - 最初の単語の ry 停止し、実行しません。
> ステータスバイト - 最初のワードの最初のバイト - は次の3つの状態のいずれかになります。0xA1 - 実行中、0xA2 - 停止したか、0xA0 - 電源が入ってから停止そして実行せず。
> プロセッサのメモリに書き込むと自動的に実行が開始されるため、別のコマンドで処理する必要はありません。
> プロセッサのメモリから読み出すと、そのプロセッサが停止します。
> ? 例外はプロセッサーを停止させない状態の最初のバイトを読み取ることです。
> そのプロセッサを停止させない 1 つ例外はステータスの先頭バイトの読取りです。
> さらに、プロセッサは、セクション2で述べたように、Subleq停止オペランド（-1）によって停止することができます。
> 上記のSubleqアセンブリ言語セクションで説明した入力や出力などの他の負の参照も、このアーキテクチャでIO操作が定義されていないためプロセッサを停止します。
>
> 3.3 サブレックプロセッサ
>
> ステートマシンアルゴリズムは以下のように擬似コードで表現できます。
>
> 　　IP = 0
> 　　while (IP >= 0)
> 　　{
> 　　　　A = memory[IP] // A =メモリ[IP]
> 　　　　B = memory[IP+1]
> 　　　　C = memory[IP+2]
> 　　　　if (A < 0 or B < 0): // if（A <0またはB <0）：
> 　　　　{
> 　　　　　　IP = -1
> 　　　　}
> 　　　　else:
> 　　　　{
> 　　　　　　memory[B] = memory[B] - memory[A]
> 　　　　　　if (memory[B] > 0)
> 　　　　　　　　IP = IP + 3
> 　　　　　　else:
> 　　　　　　　　IP = C
> 　　　　　　}
> 　　　　}
>
>
> ?7?
>
> Page 8
>
>
> IPは命令ポインタ、memory []はメモリセルの値、A、B、Cは整数である。
>
> Subleqプロセッサ・コアは、デュアル・ポート・メモリ・アクセスを構築するために使用したQuartus IIソフトウェアのRAM 2ポートメガファンクションの助けを借りて書かれています。
> ? ry 、処理クロックティックを節約します。
> 実装されたソリューションは、2つの異なるアドレス（メモリ[A]とメモリ[B]）で同時にコンテンツにアクセスすることを可能にし、処理クロック数を節約します。
> この実装の欠点は、単一のポートメモリの実装と比較して、データバスとアドレスバスにアクセスするための1クロックティックの追加レイテンシです。
> ただし、デュアルポートのメモリアクセスあたりの処理クロックティックの合計は、単一ポートに必要なメモリアクセスよりもまだ少ないです。
>
> コアは、プロセッサのメモリがロードされると自動的に起動するステートマシンに基づいています。
> ? いずれの読み出しまたは書き込み操作においても、または負 ry 遭遇すると、処理は停止するが、計算 ry なく、いつでも第1の状態バイトを読み取ること ry 。
> 読出又は書込のいずれの操作、又は負のオペランドに遭遇しての処理停止、に於ても計算に影響を与えることなく、いつでも先頭のステータスバイトを読取る事ができる。
>
> 4. Subleq用Cコンパイラ
>
> ? ry するコンパイラ ry 。
> この節では、簡単なCコードをSubleq [11]にコンパイルする自前コンパイラのいくつかの要素について簡単に説明します。
> ? ry テストの1つで、コンパイル ry 。
> コンパイラは私たちのテストの 1 つで用い、同じ C ソースからコンパイルされたネイティブ C コードと Subleq コードとの実行の間で直接比較が可能です。
> ? The compiler is a high-level language interface to OISC ?
> ? ry コンパイラ ry インタフェースですか？私たちに知られている唯一のこのようなコンパイラは、執筆の時点で。
> そのコンパイラはOISCの高水準言語インタフェースです - その様なコンパイラとして執筆時点で私たちに知られている唯一の。
>
> 4.1 スタック
>
> ? ry 主要なCプログラミング言語の概念は、 ry 。
> C プログラミング言語の主要な概念は、関数とスタックです。
> ? ry は、コードの下のメモリを使用することで実現 ry 。
> Subleqでのスタックの実装は、下記コード的なメモリ使用で実現できます。
> ? ryの自己修正を使用 ry 、スタックの値に配置して取得することができます。
> コードの自己書換を使用すると、スタックに置いたりその値から復元したりできます。
> 関数呼び出しでは、リターンアドレスをスタックに配置する必要があります。
> 以下のCコードを考えてみましょう：
>
> void f()
> {
> ...
> }
>
> void main()
> {
> ...
> }
>
> f();
> ...
> }
>
>
> ?8?
>
> Page 9
>
>
> 上記をマシンコードにコンパイルした後、次の操作を実行する必要があります
> ? 1）fを呼び出した直後 ry 。
> 1）f を呼出す直後の命令のアドレスをスタックに置かなければならない。
> 2）関数fのコードへジャンプする必要があります
> 3）関数fの終わりに、スタックからのアドレスを抽出する必要があり、
> 4）抽出されたアドレスに実行を転送する必要があります。
> ? C標準によれば、 ry 。
> C標準に従い、関数mainは適切なC関数です。すなわち、それ自身を含む他の関数から呼び出すことができます。
> したがって、プログラムには別のエントリポイントが必要です。このエントリポイントは、次のコードではsqmainと呼ばれます。
> 上記のCコードは次のようにコンパイルされます：
>
> 0 0 sqmain
> _f:
> ...
> #return
> ?+8; sp ?+4; ?+7; 0 ?+3; Z Z 0
> _main:
> ...
> #call f
> dec sp; ?+11; sp ?+7; ?+6; sp ?+2; 0
> ?+6; sp ?+2; ?+2 0 _f; . ?; inc sp
> ...
> #return
> ?+8; sp ?+4; ?+7; 0 ?+3; Z Z 0
> sqmain:
> #call main
> dec sp; ?+11; sp ?+7; ?+6; sp ?+2; 0
> ?+6; sp ?+2; ?+2 0 _main; . ?; inc sp
> 0 0 (-1)
> . inc:-1 Z:0 dec:1 sp:-sp
>
> セルスタックポインタspは、プログラム内の最後のメモリセルです。
> それは、それ自身のアドレスの負の値で初期化されます。
> ? A negative value is used here to speed up the code execution ?
> ? ry 化しますか？
> ここで負の値を使用してコード実行を高速化します - データが実際の値の負数として記録されている場合、減算操作を使用すると、いくつかのステップを節約することがあります。
> 命令dec spはspから1を引くので、その実際の値は1だけ増加する。
> ? Below is an excerpt calling the function f in more readable form ? relative references ?
> ? ry 、関数fをより読みやすい形で呼び出す抜粋です。相対的な参照？ラベルに置き換えられます。
> 以下は、関数 f を呼出すより読み易い形 - 相対的な参照 - ラベルに置換えられます - の抜粋です。
>
> dec sp
> A; sp A
> B; sp B
> A:0 B:0
> C; sp C
> D C:0 _f
> . D:?
> inc sp
>
> ? ry クリアすることです。これは、前回の使用時に残っていた値があるためです。
> 4行目の命令は、スタック内のセルをクリアする為で、前回の使用時に値を残した事に因ります。
> ? しかし、スタック内の最上位セルをクリア ry 。
> しかしながら、スタック内のトップセルをクリアすることは、命令自体のオペランドをクリアしてからspポインタの値で初期化する必要があるため、単一ステップのタスクではありません。
> ? ry です。
> したがって、実行コマンドシーケンスは次のとおりです :
> スタックポインタを増加させることによってスタック内に新しいセルを割り当てる（第1行）。
> 命令の第1オペランドをクリアする。このオペランドをスタックポインタの新しい値で初期化する（2行目）。
> ? do the same with the second operand of the instruction ?
> ? ry 同じことをしますか？
> 命令の第2オペランドと同じことをします - クリアして初期化する（3行目）。
> ? その命令を実行すると、スタック内の割り当てられたセル ry 。
> そしてそれからこの命令を実行すると、スタック内のアロケートされたセルがクリアされます（4行目）。
>
> ? 次の2つの命令は、 ry 。
> 同じ様に次の 2 つの命令は、セルCをクリアして初期化します。
> ? The instruction DC:0 _f ry .
> The instruction D C:0 _f ry .
> ? 命令D C：0_fは、 ry 。
> 命令 D C:0 _f は、命令inc spのアドレスをスタックにコピーし、_ fにジャンプする。
> ? これは、Dが次 ry 保持しているため（ ry ）、Cはスタック ry 指しているためです。
> これが機能するのは、Dが次のメモリセルの値を保持している（覚えていますか？）、そして C がスタック上の現在消去されているトップセルを指しているのが理由です。
>
>
> ?9?
>
> Page 10
>
>
> ? ry 、ラベル_fにジャンプします。
> スタックに書き込まれた負の値は、ラベル _f へのジャンプを強制します。
>
> 関数fの内部では、スタックポインタを変更することができますが、関数が終了する前にそれを復元すると仮定します。
> したがって、リターンコードはスタックから抽出されたアドレスにジャンプしなければなりません：
>
> A; sp A
> B; A:0 B
> Z Z B:0
>
> ここでスタックポインタspの値はAに書き込まれ、命令A：0 Bは格納されたアドレスをBにコピーする。
> ? ry が負に格納され、 ry 。
> アドレスが負で格納され、正の値が復元されています。
>
> ? ry だけではありません。
> スタックはリターンアドレスを格納するだけという訳ではありません。
> これについては、後のサブセクション4.3と4.4で説明します。
>
> 4.2 式
>
> ? C言語の操作は、キーワード・ ry と式で ry 。
> C 言語のオペレーションは、キーワード・ステートメントと式とで構成されるステートメントで構成されます。
> ? The syntax of keyword statements and expressions are best represented by Backus-Naur Forms (BNF) ?
> ? ry （BNF）によって最もよく表現されますか？文脈自由文法を表す標準的な方法。
> キーワードステートメントと式の構文はBackus-Naur Forms（BNF） - 文脈自由文法を表す標準的な方法 - によってベストに表現されます。
> 古典的な例は、算術式の文法です：
>
> expression:= 式：=
> term ? 期間
> expression + term ? 式+用語
> expression - term ? 表現 - 用語
> term:=
> primary 一次
> term * primary ? 期間*プライマリ
> term / primary ターム/プライマリ
> primary:= プライマリ：=
> identifier 識別子
> constant 定数
> ( expression ) （表現）
>
> これらの相互に再帰的な定義は、文法的に有効な任意の式のツリー表現を構築するためにparserと呼ばれるプログラムによって使用できます。
> このような ry 役割は、一連の命令を整理 ry 。
> ひとたびこのようなツリーが構築されれば、コンパイラの役割は、命令のシーケンスを整理して、すべてのサブツリーの結果がツリーに渡されるようにすることです。
> たとえば、式のツリー：
>
> a + ( b - c )
>
> ? ノード ry 変数a、およびノー??ド「 - 」と変数bおよびcからなるサブツリーからなる。
> は、ノード「+」、変数 a、および、ノード「 - 」と変数 b および c とからなるサブツリー、からなる。
>
>
> 図
>
> a
>
> +
> b
> -
> c
>
>
> ? ry 。これは後でさらに使用 ry 。 ry 。
> 計算を行うために、コンパイラは、サブツリーの結果を格納するために一時変数を使用する必要があります。これは後に加算で使用する必要があります。この式がより大きな式の一部である場合、潜在的にさらに使用される可能性があります。
> ? ry では、一時的なものは1つ ry 、 ry の一時的なものが必要です。
> この特定の例では、テンポラリは 1 つだけ必要ですが、一般的には多くのテンポラリが必要です。
> 式は次のコードにコンパイルされます：
>
> t; b Z; Z t; Z
> c t
> a Z; Z t; Z
>
>
> ?10?
>
> Page 11
>
>
> 最初の行は値bを一時的なtにコピーします。
> 2行目は、一時的な値から値cを減算します。
> ? ry 、コンパイラはサブツリーで終了します。
> この時点で、サブツリーを携えてコンパイラは終了します。
> その結果は、生成されたコードと、計算されたサブツリーの値を保持する一時変数tです。
> 今度はコンパイラが追加用のコードを生成します。
> ? その引数は変数aと一時tです。
> その今度の引数は変数 a とテンポラリ t です。
> ? 3行目にaを追加します。
> a を t に 3 行目で加算します。
> 今、tは式全体の結果を保持します。
> この式がより大きな式の一部である場合、tはツリーの上位ノードへの引数としてツリーに渡されます。
> そうでない場合は、評価が終了したため、t値は破棄されます。
>
> より高度な文法には、代入、逆参照、単項演算などがあります。
> しかし、各文法構造は、対応するサブツリーによって表現され、後にコンパイラによって処理されてコードを生成することができる。
> ? 例えば、Cで表される逆 ry 減算は次のようになります。
> 例えば、逆参照された値からの減算の C 表記つまり :
>
> 　　*k -= a
>
> ? 翻訳されなければならない
> は次の様に変換されなければならない
>
> 　　t; k Z; Z t; Z
> 　　a t:0
>
> ここでは、間接参照のために一時変数をコード内で使用する必要があります。
> ? 命令の順序は次のとおりです。 kをtにコピーする。 aからkを引く。
> 命令の手順は : t をクリア。 k を t にコピーする。 k がポイントするメモリから a を引く。
>
> ここでは、文法処理のいくつかの要素が触れられている。
> ? ry するために数ページしかかかりません。
> C文法は、BNFをリストするだけの為に数ページ使います。
> ? ry 文法は、 ry 。
> しかし、より大きくより複雑な文法が、同様の方法でコンパイラによって解決される。
>
> 4.3 関数呼び出し
>
> ? ry 、スタックに押し込んでポップ ry 。
> 上のサブセクション4.1では、スタックにプッシュしポップする方法が示されていました。
> 関数が引数を取るとき、それらは戻りアドレスとともにスタックにプッシュされなければならない。
> 関数の復帰時にスタックを復元する必要があります。
> 2つの引数を取る関数を考えてみましょう：
>
> 　　int f(int a, int b);
> 　　　　...
> 　　　　f(a,b);
>
> 関数fへの呼び出しは、次のようなものに変換されなければなりません
>
> 　　# 1 push b ＃1プッシュb
> 　　# 2 push a ? ＃2プッシュ
> 　　# 3 push return_address
> 　　# 4 goto f
> 　　# return_address:
> 　　# 5 sp -= 3
>
> ? ry 別の式の一部にすることができます。コンパイラ
> Cの引数は式にすることができ、関数への呼び出しは別の式の一部 - サブ式にすることができます。即ちコンパイラは次のようなより複雑なケースを適切に処理する必要があります
>
>
> ?11?
>
> Page 12
>
>
> int f(int a, int b)
> {
> ...
> return f; fを返す。
> }
> ...
> int k;
> k=f;
> k(f(1,2),3); // call via variable - indirect call //変数経由で呼び出し - 間接呼び出し
> k = f(1,2)(3,4); // call by return value //戻り値で呼び出す
>
> ここでは簡単のため、Cの関数型int（*）（int、int）はintとして表されています。
> ? ry は1つの変数タイプのみ ry 。
> Subleqは変数の型を 1 つのみサポートしています。
> ? したがって、より精巧なタイピングシステムは、言語に余分な機能を導入しません。
> 従って言語に、余分な機能をより精巧なタイピングシステムが齎しません。
>
> ? ry として適切に計算 ry 。
> スタックにプッシュされた引数は、サブ式（サブツリー）として恙なく計算できます。
> ? 実際の関数呼び出しのこの意味では、プログラム変数または一時変数のいずれかがスタック ry されることはありません。
> この意味では、プログラム変数又は一時変数、のどちらも実際の関数呼出でスタックにプッシュされるいわれはありません。
>
> 　　# 1 push B ＃1プッシュB
> ?　　　　＃ ry [spは負であることを覚えています]
> 　　　　＃スタック内の次のセルをクリアする[ sp が負である事を忘れない ]
> ?　　　　＃下の行はCの構文と同じです：*（++ sp）= 0;
> 　　　　＃ *(++sp)=0; という C 構文と下の行とは同じです：
> 　　　　dec sp; t1; sp t1; t2; sp t2; t1:0 t2:0
> 　　　　＃Cの構文と同じです：* sp + = B;
> 　　　　t3; sp t3; b Z; Z t3:0; Z
>
> 　　＃2プッシュA
> 　　　　? # the same with A ? B ?
> 　　　　＃Aと同じ
> 　　　　dec sp; t4; sp t4; t5; sp t5; t4:0 t5:0
> 　　　　t6; sp t6; a Z; Z t6:0; Z
>
> 　　＃3 push return_address
> 　　　　dec sp; t7; sp t7; t8; sp t8; t7:0 t8:0
> 　　　　t9; sp t9; t10 t9:0 goto_address
> 　　　　. t10: return_address
>
> 　　＃4 goto f
> 　　　　goto_address: Z Z f
> 　　＃5 sp - = 3
> 　　　　return_address: const(-3) sp
>
> ? 表記const（-3）spは
> ノート : const(-3) sp は以下の短縮
>
> 　　unique_name sp
> 　　...
> 　　unique_name:-3
>
> ? ry 扱っていません。
> 上のコードは戻り値も間接呼び出しもまだ扱っていません。
> 戻り値は特別な変数（レジスタ）に格納できます。
> ? ry サブ式でする場合は、戻り値をすぐに一時的に値にコピー ry 。
> プログラムがサブ式の戻り値を使用するならば、戻り値を return 後すぐにテンポラリにコピーする必要があります。
> ? ry アドレスを一時的に保持する参照解除によって ry 。
> 間接呼び出しは、関数のアドレスを保持しているテンポラリを間接参照する事によって実現できます。
> それは簡単ですが、より複雑なコードです。
>
> スタックポインタは、関数がスタック（ローカル）変数を要求するときに関数内で変更できます。
> ローカル変数にアクセスするには、通常、ベースポインタbpが使用されます。
> ? 関数の ry 。ローカル変数の基本参照 ry いますか？各ローカル変数には、ベースポインタからの関連オフセットがあります。関数の終わりにスタックポインタを復元するために使用 ry 。
> それは関数の入り口で初期化されます。それはローカル変数のベース参照として使用されています - 各ローカル変数は、ベースポインタから紐付けられたオフセットを持ちます。そしてそれはスタックポインタ復元の為に関数の終わりで使用されます。
> ? ry できます。つまり、各関数は、終了時のベースポインタの終了時に入力および復元時に保存する必要があります。
> 関数は他の関数を呼び出すことができ、つまり、各関数が、ベースポインタをエントリ時点で保存しそして終了時に復元する必要を意味します。
> ? ry ます。
> したがって、関数本体は次のコマンドでラップする必要があります :
>
>
> ?12?
>
> Page 13
>
>
> 　　1. # push bp 1.＃プッシュbp
> 　　2. # sp -> bp
> 　　3. # sp -= stack_size
> 　　# ... function body ＃...関数本体
> 　　5. # bp -> sp
> 　　6. # pop bp
> 　　7. # return ? 7.＃返品
>
> またはSubleqコードで。
>
> 　　dec sp; ?+11; sp ?+7; ?+6; sp ?+2; 0
> 　　?+6; sp ?+2; bp 0
> 　　bp; sp bp
> 　　stack_size sp
>
> 　　# ... function body ＃...関数本体
>
> 　　sp; bp sp
> 　　?+8; sp ?+4; bp; 0 bp; inc sp
> 　　?+8; sp ?+4; ?+7; 0 ?+3; Z Z 0
>
> ? ry 、解析中の関数 ry 。
> stack_sizeは定数で、パーシングに伴って関数ごとに計算されます。
> ? bp ry 不十分であることが判明しました。
> 要するに bpを保存するだけでは不十分です。
> 関数呼び出しは、式の中で起こることがあります。
> ? ry 、表現の一時的なものを保存 ry 。
> そのような場合には、式の全てのテンポラリを保存しなければならない。
> ? 新しい機能は、 ry 同じ一時メモリセルを ry 。
> 新しい関数は、それ自身の必要性のために同じテンポラリメモリセルを使用することになります。
> 式f（）+ g（）に対して、呼び出しの結果は変数t1とt2に格納される。
> ? ry いる関数gがt1を変更 ry 。
> 関数fの結果が格納されている t1 を関数 g が変更すると、問題が発生します。
>
> ? ry 、すべての機能を使用しているすべての一時的なデータをスタック ry 。
> 解決策は、各関数毎にそれが使用している全テンポラリをスタックにプッシュし、終了時にそれらを復元することです。
> 以下の関数を考えてみましょう：
>
> 　　int g()
> 　　{
> 　　　　return k+1; // k + 1を返す。
> 　　}
>
> ? ry に翻訳されます：
> それは次のようにトランスレートされます：
>
> 　　_g:
> 　　　　# save bp
> 　　　　dec sp; ?+11; sp ?+7; ?+6; sp ?+2; 0
> 　　　　?+6; sp ?+2; bp 0
> 　　　　bp; sp bp
>
> 　　　　# push t1 ＃プッシュt1
> 　　　　dec sp; ?+11; sp ?+7; ?+6; sp ?+2; 0
> 　　　　?+6; sp ?+2; t1 0
> 　　　　# push t2 ＃プッシュt2
> 　　　　dec sp; ?+11; sp ?+7; ?+6; sp ?+2; 0
> 　　　　?+6; sp ?+2; t2 0
>
> 　　　　# calculate addition ＃加算を計算する
> 　　　　t1; t2
> 　　　　_k t1
> 　　　　dec t1
> 　　　　t1 t2
> 　　　　# set the return value [negative] ＃戻り値を設定する[負]
> 　　　　ax; t2 ax ? 斧; t2 ax
>
> 　　　　# pop t2
> 　　　　?+8; sp ?+4; t2; 0 t2; inc sp
> 　　　　# pop t1
> 　　　　?+8; sp ?+4; t1; 0 t1; inc sp
>
> 　　　　# restore bp
> 　　　　sp; bp sp
> 　　　　?+8; sp ?+4; bp; 0 bp; inc sp
> 　　　　# exit ＃出口
> 　　　　?+8; sp ?+4; ?+7; 0 ?+3; Z Z 0
>
>
> ?13?
>
> Page 14
>
>
> コードのどこかに他の関数の呼び出しがある場合、他の関数が実行時にそれらを保存して復元するため、一時変数t1とt2は計算値を保持します。
> ? ry すべての一時的なデータはスタック ry されるので、使用された一時的なデータの数を減らすために支出されます。
> 関数内で使用された全てのテンポラリがスタックにプッシュされる事を以て、使用されるテンポラリの数を減らす為の支払となります。
> ? これは、使用された一時的なものを、使用された一時的なもののプールに解放することによって、これを行うことができます。
> これは、使用されたテンポラリを、使用テンポラリのプールに逃がすだけで可能です。
> ? ry 、新しい一時的なものが要求 ry 新しい一時的なものが割り当てられます。
> その後、新しいテンポラリが要求されると、プールが最初にチェックされ、そのプールが空の場合にのみ新しいテンポラリがアロケートされます。
> ? 表現
> 式
>
> 　　1+k[1]
>
> ? コンパイルする
> は以下の通りにコンパイルされる
>
> 　　t1; t2; _k t1; dec t1; t1 t2
> 　　t3; t4; ?+11; t2 Z; Z ?+4; Z; 0 t3; t3 t4;
> 　　t5; t6; dec t5; t4 t5; t5 t6
> 　　# result in t6 ? ＃t6の結果 # 結果は t6 の中
>
> ? ry 時間軸のプール ry 、時間軸の数 ry 半分になります。
> テンポラリのプールが導入されると、テンポラリの数は半分になり :
>
> 　　t1; t2; _k t1; dec t1; t1 t2
> 　　t1; t3; ?+11; t2 Z; Z ?+4; Z; 0 t1; t1 t3
> 　　t1; t2; dec t1; t3 t1; t1 t2
> 　　# result in t2 ? ＃結果はt2になります＃結果は t2 の中
>
> ? ry 削除するコードが ry 。
> 対応するプッシュおよびポップ操作を削除しコードが大幅に削減されます。
>
> 4.4スタック変数
>
> bpがスタックに置かれ、spがデクリメントされてメモリが割り当てられると、すべてのローカル変数が使用可能になります。
> コンパイラはアドレスを知らないため間接的にしかアクセスできません。
> ? 例えば、関数f in
> 例えば、以下の関数 f
>
> 　　int f(int x, int y)
> 　　{
> 　　　　int a, b=3, c[3], d=5;
> 　　　　...
> 　　}
> 　　f(7,9);
>
> ? スタックサイズが6に等しい4つのローカル変数があります。
> は 6 に等しいスタックサイズと共にある 4 つのローカル変数、を持ちます。
> ? ry 関数が入力されると、スタックは次の値を ry ：
> この関数が開始されると、スタックは下記の値を持ちます：
>
> ... y[9] x[7] [return_address] [saved_bp] a[?] b[3] c0[?] c1[?] c2[?] d[5] ...
> ^ ^
> (bp) (sp)
>
> コンパイラは、bpからの各変数のオフセットについて知っています。
>
>
> ?14?
>
> Page 15
>
>
> 可変オフセット
> 　　y 　　-3
> 　　x 　　-2
> 　　a 　　1
> 　　b 　　2
> 　　c 　　3
> 　　d 　　6
>
> したがって、コードでは、配列を指さないローカル変数への参照は*（bp + offset）で置き換えることができます。
> ? arrayの ry 。
> 配列の名前は最初の要素のアドレスなので、配列cは（bp + offset）に置き換えなければなりません。
> 名前は変数を参照するのではなく、[]で参照することは変数を参照します。
> Cで
>
> 　　c[i]
>
> ? is the same as ?
> is the same as
> ? と同じです
> は以下と同じで
>
> 　　*(c+i)
>
> この例では次のように解釈できます。
>
> 　　*((bp+3)+i)

> 4.5 乗算
>
> Subleqにおける唯一の些細な乗算は2倍の乗算であり、
>
> 　　t=a+a: t; a Z; a Z; Z t; Z
>
> ?、式を使用できます
> 2つの数字を乗算するには、以下の式を使用できます
>
> 　　A*B = (2A)*(B/2) + A*(B%2)
>
> ? ry 整数とモジュール分割が必要です。
> これは単純な再帰式ですが、整数と剰余演算とが必要です。
> 除算は、次のアルゴリズムとして実装できます。
> ? ry 与えられたとき、Bは2だけ増加し、次の増加がBよりAより大きくなるまで増加する。
> 2つの数AとBが与えられた時 B を、 B が A より大きくなるまで 2 倍する。
> ? ry させると同時に、別の変数Iを2だけ増やします。これは1に初期化されています。
> Bを増加させ同時に、 1 に初期化されている別の変数 I を 2 倍します。
> ? ry と、私は除算の結果の一部を保持しますか？残りはABと元のBを ry 。
> BがAより大きくなると、 I は除算の結果の一部を保持し - 残りは A - ( 訳注 : 前回の ) B と元の B とを使用してさらに計算されます。
> これは再帰的にすべてのIを蓄積することができます。
> A <Bの最後のステップでは、Aはモジュラスです。
> このアルゴリズムは、Cの短い再帰関数として実装できます。
> ? 終了時に、この関数は引数jの結果と除算モジュラスとして整数除算を返します。
> この整数除算その結果と、そして引数 j の除算モジュラスとを、この関数は終了時に返します。
>
> 　　int a, int b, int * j)
> 　　{
>
> 　　　　if( a < b ) { *j=a; return 0; } // 0を返します。
>
> 　　　　int b1=b, i=1, bp, ip;
>
> 　　next: // 次：
> 　　　　bp = b1; ip = i;
> 　　　　b1 *= 2; i *= 2;
> 　　　　if( b1 > a )
> 　　　　　　return ip+divMod(a-bp,b,j);
> 　　　　goto next; ? // 次へ進む。 // next へ行く;
> 　　}
>
>
> ?15?
>
> Page 16
>
>
> この機能は最適ではありません。
> 再帰を別の外部ループに置き換えることで、より効率的な関数を実現できます。
> 非常に精巧な計算を必要とする乗算、整数およびモジュラ除算演算は、ライブラリ関数として実装できます。
> つまり、各乗算a * bは、呼び出し_mul（a、b）に置き換えることができ、後でコンパイラは関数の実装を（必要に応じて）追加することができます。
>
> 4.6 条件ジャンプ
>
> Cでは、ゼロと評価されるブール式は偽であり、非ゼロは真です。
> ? Subleqでは、すべてのブール式が平等または不等号に基づいてゼロに評価されるため、ブール式を処理するときにコードが長くなります。
> Subleq ではブール式を扱う場合にコードが長くなりますが何故なら全てのブール式評価が 0 との等又不等に基づく為です。
>
> ? ry 偽と正の値を真として扱 ry 。
> より良い方法は、ゼロ以下を偽とし正の値を真として扱うことです。
> ? if-expression if（expr）{<body>}が1つの命令にすぎない場合
> すると if-式 if(expr){<body>} はたった 1 つの命令
>
> Z t next
> <body>
> next: ... 次： ...
>
> ? tは式 ry 。
> になり t が式exprの結果です。
> ? ただし、（x + 1）{...}がブール値への暗黙的な変換の場合など、Cと完全に互換性を保つために、 ry 。
> 但し注意として、 C ( 例えば、ブール値への暗黙的な変換としての if(x+1){...} ) との完全互換の為に、整数式がブール値として使用されるすべてのケースを検出する必要があります。
> ? ry です。
> 幸い、そのようなケースはほんのわずかです :
>
> if(expr)
> while(expr)
> for(...,expr,...)
> ! expr
> expr1 && expr2
> expr1 || expr2
>
> ? ry できるので、コンパイラはブール値や整数式を気にする必要がなく、より ry 。
> この作業はパーサ内で行うことができ、するとコンパイラは、ブーリアンか整数か式に付いてを気にする必要がなくそしてより単純なコードを生成することができます。
>
> ? ry 、次のようになります。
> ブール変数が式で整数として使用される場合、次の様に :
>
> 　　引数f（a> 0）を渡し、
> ?　　関数の戻り値（a> 0）から戻り値。
> 　　関数 return(a>0); から戻り値。
> 　　代入x =（a> 0）。
> 　　他の算術式x = 1 + 5 *（a> 0）。
>
> 変数はCスタイルに変換する必要があります。つまり、負の結果はゼロになります。
> これは、以下のように簡単に行うことができます。
>
> 　　x Z ?+3; x; Z ? x≠z + 3であり、バツ; Z
>
>
> Z x ? + 3 x > 0 次の行のアドレス + 3 ( = 4 - 1 ) 番地つまり次の次の行から実行
> Z Z ■ → ? グーグー
> x Z ■ →
> Z x == 0
>
> x < 0
>
> ? 図3条件付きジャンプを表す図
> 図3 条件ジャンプを表すダイアグラム
>
>
> ?16?
>
> Page 17
>
>
> ? ry 0より小さい、等しい、またはより大きい場合の簡潔 ry とおりです。
> 値が0より小さいか等しい、か、より大きいかの簡潔なチェックは次の通りで :
>
> 　　Z x ?+3; Z Z G; x Z E; Z; L:
>
> ここで、L、E、およびGは、xがそれぞれ0より小さい、等しい、または大きい場合の実行に合格するアドレスです。
> 図3に実行のスキーマを示します。
> ? xが変わらず、Zがゼロであることに注意してください。
> x は変化しない、そしてどんな exit に於ても Z はゼロである、に注意。
>
> 5.結果
>
>
>
> 図4 FPGAボード、28個のSubleqプロセッサ、プロセッサあたり2 Kb割り当て
>
>
> 図4は、USBケーブルを介してFPGAボードに給電した状態を示しています。
> ボードは約5 x 7センチメートルの大きさで、28個のSubleqプロセッサを搭載しており、プロセッサあたり2 KBのメモリが割り当てられ、クロック周波数150 MHzで動作します。
>
> ボードの効率をテストするために、我々は2つの数学的問題を選んだ。
> 最初は、算術演算グループの関数剰余のサイズを計算します。
> ? ry 2番目のモジュールは、二重階乗を計 ry 。
> 2番目に、モジュラ二重階乗を計算します。
>
> 5.1 テスト＃1
>
> ? ry テストでは、次のプロセスの関数残基の順序を見つける問題を選択しました。
> 最初のテストで我々が選択したのは以下に示す、関数残基の順序を見つける問題 :
>
> 　　xi +1 = 2 xi mod M
> 　　yi +1 = 2( xi + yi ) mod M
>
> ? x ry 、Mはある値です。
> で、 xとyは1に初期化された整数、modはモジュロ演算、M はとある値です。
> 点（x0 = 1、y0 = 1）から出発して、方程式は対のシーケンスを生成する。
> ? この問題は、解決策が難しく、M（M 2未満）よりも頻繁に答えが多いため、この問題を選択しました。
> 解法が難しく、答えが M よりもしばしば非常に大きい ( しかし M 2 未満 ) 為、この問題を我々は選択しました。
> ? ry 数Mが選択されたので、計算 ry 。
> 数 M がその様に選択される計算は数分で完了することができました。
> ? ry 新しいペアのペア ry 同じになります。
> このシーケンスが十分に長い場合、生成された新しい数のペアは、シーケンス内で以前に生成されたペアとやがて同じになります。
> タスクは、同じ値を持つ結果が最初に出現するまでに完了する必要のあるステップの数を見つけることです。
> 我々のテストでは、Mの選択値はM = 5039であり、反復回数は12693241と計算された。
>
>
> Page 17
>
> ?18?
>
>
> ? ry のACプログラムは、 ry ます。
> この問題を解決するための C プログラムは、乗算または除算を使用せずに記述することができます :
>
> 　　int x=1, y=1, m=5039;
> 　　int c=0, ctr=1, t;
> 　　int x0=0, y0=0;
>
> 　　int printf();
> 　　int main()
> 　　{
>
> 　　　　while(1) ? // 一方、（1）
> 　　　　{
> 　　　　　　y += x; y += y; x += x;
> 　　　　　　while( x>=m ) x-=m;
> 　　　　　　while( y>=m ) y-=m;
>
> 　　　　　　if( x==x0 && y==y0 ) break;
>
> 　　　　　　if( ++c==ctr )
> 　　　　　　{
> 　　　　　　　　x0=x; y0=y;
> 　　　　　　　　c=0; ctr+=ctr;
> 　　　　　　}
> 　　　　}
> 　　　　printf("point: %d %d loop: %d of %d¥n",x0,y0,c+1,ctr); printf（ "ポイント：％d％dループ：％dの％d ¥ n"、x0、y0、c + 1、ctr）;
> 　　}
>
> ? ry ます。
> このプログラムは、以下の場合にテストされています :
>
> 1. Subleqコンパイラでコンパイルし、FPGAボード上のプロセッサの1つで実行します。
> 2. Subleqコンパイラでコンパイルし、PC＃1（Intel Q9650 at 3GHz）でエミュレートします。
> 3. Microsoft C / C ++コンパイラ（v16）で完全最適化してコンパイルし、PC＃1で実行します。
> 4. 2と同じですが、PC＃2（1.7GHzのPentium 4）で動作します。
> ? 5. PC＃2で3回実行と同じ
> 5. 3 と同じ事を PC#2 で
>
> 以下の表は、各テストの実行時間を秒単位で示しています。
>
> 1 Subleq on 1プロセッサFPGA 94.0
> 2 Subleq on PC＃1 46.0
> 3 C on PC＃1 0.37
> 4 PC＃2上のSubleq 216
> ? PC＃2の5C 0.54
> 5 PC#2 の C 0.54
>
> これらの結果から、FPGA上の単一プロセッサの速度は、Subleq命令をエミュレートする場合、通常のPCのCPUの速度と同じオーダーの大きさであると結論づけられます。
> PC上のネイティブコードは約100倍高速に動作します。
>
> 5.2テスト＃2
>
> ? ry 計算であった。
> 第2のテストは、モジュラー二階乗の計算、つまり
>
> 　　 N n
> 　　(N !)! mod M = ?? i mod M
> 　　 n =1 i =1
>
>
> Page 18
>
> ?19?
>
>
> このテストケースでは、マルチプロセッサSubleqシステムのフルパワーを使用することができました。上記の式の乗算は28個のプロセッサすべてで並列に計算できるためです。
> N = 5029およびM = 5039の場合、結果は95であり、これらの数値はテストで使用された。
> 数Mはテスト＃1と同じであり、数NはASCII印刷可能範囲内の結果（95）を与えるように選択された。
> ? ry た。
> 計算は次の構成で実行されました :
>
> ? 1.手書きFPGAボードのSubleqコード実行[ ry
> 1. 手書きの Subleq コードを FPGA ボード上実行 [付録7.3]
> ? ry コード（最初のテストではPC＃1と同じ）
> 2. PC上でエミュレートされたSubleqコード ( 最初のテストを PC#1 上でと同じ )
> ? ry じCコ ry ルされ、PC上で実行される同等のCコード[付録7.1]
> 3. 同じ C コンパイラでコンパイルされた同等の C コードそして PC上で実行 [ 付録7.1 ]
> 4. Subleqコンパイラでコンパイルされ、PC上でエミュレートされた同じCコード
> 5. CコンパイラでコンパイルしてPC上で実行する乗算演算なしの等価Cコード[付録7.2]
> 6. Subeqコンパイラでコンパイルされ、PC上でエミュレートされた5と同じCコード
>
> ? ry いるように?O（N^2）ではなく、モジュラ ry 、問題への解決に?O（NlogN）演算 ry 、使用 ry 。
> 付録に示されている様な、 ‾O( N^2 ) でなくモジュラ累乗を利用する場合には、問題への解法に ‾O( NlogN ) 演算が必要なので、我々が使用したコードは100％効率的ではありませんでした。
> ただし、これは相対的なパフォーマンスを評価する際には重要ではありません。
>
> 結果を以下の表に示す。
> 値は秒単位の実行時間です。
>
> 1 FPGA上のSubleq、28プロセッサで並列 62.0
> 2 PC上のサブレック（エミュレーション） 865
> ? ry 付き3 C、PC上で実行可能な実行0.15
> 3 乗算付 C 、実行形態を PC 上で実行 0.15
> ? ry 付き4 C、PC 12060でエミュ ry たSubleq
> 4 乗算付 C 、PC でエミュレートされたSubleq 12060
> ? ry なしの5 C、PC 7.8で実行可能な実行
> 5 乗算なしの C 、実行形態を PC 上で実行 7.8
> ? ry なしの6 C、PC 9795でエ ry たSubleq
> 6 乗算なしの C 、PC でエミュレートされたSubleq 9795
>
> 28のFPGAプロセッサは、PC上で同じSubleqコードのエミュレーションを容易に凌駕します。
> ? ry にコンパイルされた乗算のないCコードは、乗算付きのCコードよりも高速に実行されます。 ry 関数ほど効率 ry 。
> Subleqにコンパイルされそしてエミュレートされた実行で、乗算なしの C コードは乗算ありの C コードよりも高速です。これは、コンパイラのライブラリ乗算関数がこの例で記述された乗算関数程には効率的でないためです。

> 6.結論
>
> ? 安価なCyclone ry 使用して、並列 ry デバイスを構築しました。
> 高価でない Cyclone III FPGAを使用し我々は、並列に動作するプロセッサを備えたOISCマルチプロセッサ・デバイス構築に成功しました。
> ? Each processor has its own memory limited to 2 Kb.
> ? ry 、2 Kb ry 。
> 各プロセッサには、 2 KBに制限された独自のメモリがあります。
> この制限のために、例えばビットコピー [2] の様な更に単純な個別プロセッサ命令セットを持つマルチプロセッサボードを構築することはできませんでした。何故ならこの場合、実際に有用な計算タスクを実行するために必要最小限のメモリは1プロセッサあたり‾ 1Mbのメモリです。
> ? ry 限られていても、他 ry 使用するなど、より高度なプログラムを実行することはできませんでした。 ry 。すべての計算コードが各プロセッサに割り当てられたメモリ内に収 ry 。
> 私たちのデバイスで利用可能なメモリが限られているだけでなく、他のプロセッサのエミュレータやより複雑な計算アルゴリズムを使用するといった、より高度なプログラムの実行の余地も与えられませんでした。各プロセッサに割り当てられたメモリの中に計算コードその全てが収まる必要があるからです。
>
>
> Page 19
>
> ?20?
>
>
> ? ry 、より高価なFPGAであるにもかかわらず、より高速で高速なものを選択することで、各 ry 。
> Stratix Vなど、より高価であれどより大規模でより高速な FPGA を選択する事により、各プロセッサで使用できるメモリのサイズを増やすことができます。
> ? その後、より ry CPUを実装 ry 。
> すると、より速い処理クロックとより多くの CPU とを上手く実装することができます。
> CPUステートマシンのVHDLコードを最適化して計算速度を向上させることもできます。
> 十分なメモリがあれば、他のプロセッサアーキテクチャをエミュレートし、他のCPU用に書かれたアルゴリズムを使用するか、オペレーティングシステムを実行することが可能です。
> ? 記憶の制約とは別に、この最小限のアプローチ ry はスピードの低下であった。
> メモリの制約とは別に、この最小限主義者アプローチのもう一つの欠点は低速度であった。
> 私たちのボードは、CPUクロックの速度がかなり遅い（150MHz）。
> 前述のように、より高価なFPGAははるかに高速なクロック速度で動作することができます。
>
> 一方、設計の簡素化により、スタンドアローン型の小型マルチプロセッサー・コンピューターとして実装できるため、物理的サイズとエネルギー消費の両方が削減されます。
> 適切なハードウェアを使用すると、安価な電卓で使用されるものと同様の低電力太陽電池でそのようなデバイスに電力を供給することも可能です。
> ? ry 実装は拡張性があります - ホストの電源に大きな負荷をかけることなく追加のボードを接続することにより、プロセッサの数を増やすことは容易です。
> 私たちの実装はスケーラブル - 追加ボードの接続により、ホストの電源の負荷の大きな影響なくのプロセッサ数増は容易です。
>
> ホストPCは、コードをロードして結果を読み取るために高速である必要はありません。
> 我々の実装はFPGAベースであるため、FPGAを再プログラミングすることによって、特定のタスクに合わせてカスタマイズされた他のタイプの実行時再ロード可能なCPUを作成することが可能です。
>
> 結論として、我々はOISCコンセプトの実現可能性を実証し、それをOISCマルチプロセッサシステムの機能プロトタイプ構築に適用した。
> 我々の結果は、適切なハードウェアおよびソフトウェア実装では、非常に単純なOISCマルチプロセッサ設計ですでに相当な計算能力を達成できることを示しています。
>
>
> Page 21
>
> ?21?
>
>
> 7.付録
>
> ? ry コードを示します。
> このセクションでは、モジュラー二階乗を計算するコード片を示します。
>
> ? 乗算付きの7.1C
> 7.1 乗算付の C
>
> ? ry 、組み込みの ry 。
> 次のCプログラムは、ビルトインの組み込みの乗算と除算を使用してモジュラー二階乗を計算します。
>
> 1 　　int printf();
> 2 　　int main()
> 3 　　{
> 4 　　　　int a=5029;
> 5 　　　　int b=1;
> 6 　　　　int m=5039;
> 7 　　　　int x=1;
> 8 　　　　int i,j;
> 9
> 10 　　　　for( i=a; i>b; i-- )
> 11 　　　　for( j=1; j<=i; j++ )
> 12 　　　　x = (j*x)%m;
> 13
> 14 　　　　printf("%d",x);
> 15 　　}
>
> ? ry の複素ループです。
> 10行目から12行目は、bからモジュロmまでの倍数の二重ループです。
>
> 7.2 乗法なしのC
>
> ? ry が、乗算と除算の組み込み操作はありません。
> このCプログラムは、7.1のプログラムと同じ計算を行いますが、ビルトインな乗除算はありません。
> 乗算と除算の関数は明示的に記述されます。
>
> 1 　　int DivMod(int a, int b, int *m)
> 2 　　{
> 3 　　　　int b1, i1, bp, ip;
> 4 　　　　int z = 0;
> 5
> 6 　　start: 6スタート：
> 7 　　　　if( a<b ){ *m=a; return z; } zを返します。
> 8
> 9 　　　　b1=b; i1=1;
> 10
> 11 　　next:
> 12 　　　　bp = b1; ip = i1;
> 13 　　　　b1 += b1; i1 += i1;
> 14
> 15 　　　　if( b1 > a )
> 16 　　　　{
> 17 　　　　　　a = a-bp;
> 18 　　　　　　z += ip;
> 19 　　　　　　goto start;
> 20 　　　　}
> 21
> 22 　　　　if( b1 < 0 ) return z; （b1 <0）がzを返す。
> 23
> 24 　　　　goto next;
> 25 　　}
> 26
> 27 　　int Mult(int a, int b)
> 28 　　{
> 29 　　　　int dmm, r=0;
> 30
> 31 　　　　while(1)
> 32 　　　　{
> 33 　　　　　　if( !a ) return r;
> 34 　　　　　　a=DivMod(a,2,&dmm);
> 35 　　　　　　if( dmm ) r += b;
> 36 　　　　　　b += b;
> 37 　　　　}
> 38 　　}
> 39
> 40 　　int printf();
> 41
> 42　　int a=5029, b=1, m=5039;
> 43 　　int k=0, x=1, t;
> 44
> 45 　　int main()
> 46 　　{
> 47 　　start: k=a;
> 48 　　loop: t=Mult(k,x); ループ：t = Mult（k、x）;
> 49 　　　　DivMod(t,m,&x);
> 50
> 51 　　　　if( --k ) goto loop; gotoループ。
> 52 　　　　if( --a > b ) goto start;
> 53
> 54 　　　　printf("%d",x);
> 55 　　}
>
> 行1-25は、4.5で説明した分割アルゴリズムを実装していますが、再帰呼び出しを削除することで最適化されています。
> 乗算（27?38行目）は、4.5に示す式の直接的な実装です。
>
>
> Page 21
>
> ?22?
>
>
> ? ry 7.3でSubleqの実装 ry 。
> Cループは、次のサブセクション7.3 での Subleq 実装と同様のプロセスフローを作るためにgoto文に置き換えられています。
>
> ? 7.3 サブコード
> 7.3 Subleq コード
>
> CからのコンパイルされたSubleqがメモリに収まらなかったため、Subleqコードのモジュラー二階乗計算は手動で書かれています。
> ? 以下のコードは83の命令を持っています。これは32ビットワードの1Kbにも適合します。
> 83 の命令を持つ、 32 ビットワードの 1KB に適合するコードを以下に。
>
> 1 　　0 0 Start スタート
> 2
> 3 　　. A:5029 B:1 MOD:5039
> 4 　　. Z:0 K:0 X:1
> 5
> 6 　　Start: 開始：
> 7 　　A Z; Z K; Z
> 8
> 9 　　Loop: ループ：
> 10 　　mu_a; K mu_a
> 11 　　mu_b; X mu_b
> 12
> 13
> 14 　　Mult: マルチ：
> 15 　　mu_r
> 16
> 17 　　mu_begin:
> 18 　　t2; mu_a t2 mu_return:N2
> 19
> 20 　　dm_a; mu_a dm_a
> 21 　　dm_b; C2 dm_b
> 22 　　dm_return; N3L dm_return
> 23 　　t2 t2 DivMod
> 24
> 25 　　N3:
> 26 　　dm_m t2 ?+3
> 27
> 28 　　mu_b mu_r
> 29
> 30 　　mu_a; dm_z mu_a
> 31 　　mu_b Z; Z mu_b; Z Z mu_begin
> 32
> 33 　　. mu_a:0 mu_b:0 mu_r:0
> 34
> 35 　　#Mult ? ＃教室 # 乗算
> 36
> 37
> 38 　　N2:
> 39 　　dm_a; mu_r Z; Z dm_a; Z
> 40 　　dm_b; MOD dm_b
> 41
> 42 　　dm_return; N1L dm_return
> 43 　　Z Z DivMod
> 44
> 45 　　N1:
> 46 　　X; dm_m X
> 47
> 48 　　C1 K ?+3
> 49 　　Z Z Loop ループ
> 50
> 51 　　C1 A
> 52 　　B A END
> 53 　　B Z; Z A; Z
> 54 　　K K Start スタート
> 55
> 56 　　END: 終了：
> 57 　　X (-1)
> 58 　　Z Z (-1)
> 59
> 60 　　DivMod:
> 61
> 62 　　dm_z
> 63 　　dm_m
> 64
> 65 　　dm_start:
> 66 　　t1; dm_b t1
> 67 　　dm_a t1 ?+6
> 68 　　dm_a dm_m; Z Z dm_return:0
> 69
> 70 　　dm_b1; dm_b Z; Z dm_b1; Z
> 71 　　dm_i1; C1 dm_i1
> 72
> 73　　dm_next:
> 74 　　dm_bp; dm_b1 dm_bp
> 75 　　dm_ip; dm_i1 dm_ip
> 76
> 77 　　dm_b1 Z; Z dm_b1; Z
> 78 　　dm_i1 Z; Z dm_i1; Z
> 79 　　t1; dm_b1 t1
> 80 　　dm_a t1 dm_next
> 81
> 82 　　dm_bp dm_a
> 83 　　dm_ip Z; Z dm_z; Z Z dm_start
> 84
> 85 　　. dm_a:0 dm_b:0 dm_z:0
> 86 　　. dm_m:0 dm_b1:0 dm_ip:0
> 87 　　. dm_i1:0 dm_bp:0 t1:0
> 88
> 89 　　#divMod
> 90
> 91 　　. N1L:-N1 N3L:-N3 t2:0
> 92 　　. C1:1 C2:2 0
>
> 3行目と4行目は、上記のCの例で変数を定義する方法と同様の変数を定義しています。
> Aは二重階乗が計算される数を定義する。 Bは開始番号です - 私たちの場合は1ですが、一般的には任意の数にすることができます。
> タスクが並列プロセッサ間で分散されると、範囲BからAはより小さな範囲に分割され、独立してプロセッサに提出される。
> 完了すると、結果は収集され、さらに処理されます。
> MODはアルゴリズムのモジュラスです。
> ZはSubleqゼロレジスタです。
> KはAから1までの中間値です。
> ? X ry 。
> そして Xは累積された結果です。
>
> 7行目がKを初期化する。
> 10行目と11行目は、14行目と35行目の間に書かれた乗算アルゴリズムの仮引数を準備します。
> 乗算アルゴリズムのこのコードは、前のサブセクションで記述された関数Multにほぼ1対1に相当します。
>
>
> Page 22
>
> ?23?
>
>
> ? ry 関数が関数であり、 ry 。
> 唯一の複合体は、ここで編成されたDivMod機能が関数であり、そのコードが23行目と43行目から再利用されているということです。
> ? ry 、関数の正式な引数と戻りアドレスを初期 ry 。
> これを可能にするには、関数の仮引数をリターンアドレスに初期化する必要があります。
> リターンアドレスは、間接ラベルN1LおよびN3Lを介してコピーされます。
>
> ? ry 、除算の結果 ry 。
> 39行と40行は、乗算の結果を受け取り、除算の引数を初期化します。
> 42行と43行はリターンアドレスを初期化し、DivModを呼び出します。
> 46行目は結果をXに抽出します。
>
> ? ry 小さいかどうかを ry 。
> 48行と49行はKを減分し、1より小さいかをチェックします。
> そうでなければ、反復全体が、Kを1だけ小さくして繰り返される。
> Kがゼロに達した場合は、進みます。
>
> 行51-54はAを減分し、AがBに達したかどうかをチェックする。
> ? はいの場合は、ENDとラベル付けします。
> もし yes ならば、ラベル END へ飛びます。
> ? そうでない場合は、7行目に戻り、もう一度プロセス全体を繰り返しますが、AをA、新しい値をAとします。
> もしそうでないならば、 7 行目へ飛びそしてプロセス全体を再び繰返しますが今度は、小さくなった A とそして当然 A の新しい値な K と共に始まります。
>
> ? 57行目は、結果を印刷することです。
> 57 行目は帰結として結果表示します。
> この命令は、Subleqをエミュレートするときに便利です。
> しかし、FPGAボード上での計算では、ボードに入出力処理の概念がないため、この命令は存在しません。
> 次のライン58は有効なSubleq停止コマンドである。
>
> 60?89行目は、上記のサブセクションのCで提示された関数DivModの対応するSubleqコードです。
>
> ? ry 、DivMod、一時的なt2、2つの定数1と2の呼び出しの戻りアドレスを定義します。
> 最後に、91行目と92行目は、DivMod 呼出しのリターンアドレスと、テンポラリ t2 と、2 つの定数 1 と 2 とを定義します。
> ? ry 4.5からの乗算式の除 ry 。
> 後者は、4.5 にある乗算式内の除算に必要です。
>
> 参考文献
>
> 1。
> ジョーンズ、ダグラスW.
> （1988年6月）。
> "究極のRISC"。
> ACM SIGARCH Computer Architecture News（ニューヨーク：ACM）16（3）：48？55。
> 2。
> Oleg Mazonka、 "ビットコピー：究極の計算の単純さ"、
> Complex Systems Journal 2011、Vol 19、N3、pp.263-285
> 3。
> http://esolangs.org/wiki/TOGA_computer
> 4。
> http://esolangs.org/wiki/ByteByteJump
> 5。
> ? http://esolangs.org/wiki/ Subleqの参照セクションの派生言語
> http://esolangs.org/wiki/Subleq# の参照セクション内の派生言語
> 6。
> ? ; Mavaddat、F。 Parhami、B.
> Mavaddat, F.; Parhami、B.
> （1988年10月）。
> "URISC：究極の縮小命令セットコンピュータ"。
> 国際J.電気工学教育（マンチェスター大学出版）25（4）： 327?334
> 7。
> http://esolangs.org/wiki/Subleq
> 8。
> http://da.vidr.cc/projects/subleq/
> 9。
> http://www.sccs.swarthmore.edu/users/06/adem/engin/e25/finale/
>
>
> Page 23
>
> ?24?
>
>
> 10。
> http://techtinkering.com/articles/?id=22
> 11。
> http://esolangs.org/wiki/Higher_Subleq

> 訂正 : Smalltalkの背後にある設計原則
>
>
>>図1：言語設計のスコープ
>>、その識別子の言及だけがオリジナルオブジェクト参照の為に必要です。
>>とある言語が上手く機能しているかを見出す方法は、彼らプログラムがしている事を彼らがやっているかの様であるか、彼らを見る事です。
>>メッセージ送信メタファは、メッセージの意図（その名前で具現化されている）を、その意図の実行の為に受信者によって使用されるそのメソッドから、切離すことによってモジュール性を提供する。
>>、心の中の別オブジェクト、純精神的な椅子又は椅子性として顕在化します。

> 訂正 ( 後半 )
>>操作するオブジェクトにコードが依存している場合、
>>第2に、ユーザーは特定のニーズを満たすコンポーネントをより簡単に位置指定する事ができます。
>>因枢分解での失敗がモジュール性の破れに達する様をあなたは目にします。
>>反応原理：ユーザーがアクセス可能なすべてのコンポーネントはそれ自身を観察と操作との為の有意義な方法で提示できるべきです。
>>独立オブジェクト群たるサブシステムが自然に組み込まれている Smalltalk: そこでは既存の大規模な記述の宇宙をキャンバスにできます。そしてそれらは、ユーザインタフェース内のコンポーネントとして参画できるユーザ、とのインタラクションを取込んでいます。

> 見出し
>>スコープ : コンピュータを使用するための言語のデザインは、内部モデル、外部メディア、およびこれらの間での、人間とコンピュータとの両方におけるインタラクション、を取回さねばなりません。
>>? 良いデザイン： ry 一般的なもの ry は統一された枠組みの中に保持 ry 。
>>メッセージ：コンピューティングは、メッセージを送信することによって統一的呼出しができるオブジェクト固有機能と見なす必要があります。
>>因数分解 ( 因枢分解韻枢分解 ) : システム内の各独立コンポーネントは 1 箇所にしか現出しません。
>
>
> 見出し直前 ( : )
>>ウォームアップだけを得る為には、私は技術的よりも社会的であり、そしてそれがSmalltalkプロジェクトの特定の偏りにとって大きな役割を果たす、という原則から始めます：
>>、設計の一般原則を推測することができます :
>>言語はその情報の鍵です :
>>、オブジェクトのメタファを完全にサポートするために不可欠です :
>>これはデザインの3番目の原則を示唆しています :
>>グッドデザインその原則は、言語に付いても言えます :
>>、シミュレーションにそれらを含めるための変更は不要です :
>>継承は、ファクタリングのさらに実用的な利点を示しています :
>>バーチャルマシン仕様と呼ばれます :
>>ユーザーインターフェイスの十分な柔軟性を実現するための有効条件は、オブジェクト指向な原則と言えます :

> 訂正重要度低
>>? 良いデザイン： ry 一般的なもの ry は統一された枠組みの中に保持 ry 。
>>、経験は文字通りな「あのもの」と抽象的な「その椅子のようなもの」との双方を得られます。
>>継承を通じたよく因枢分解された設計をSmalltalk は奨励します。
>>Smalltalk バーチャルマシンは、ストーリッジ用のオブジェクト指向モデル、
>>? ユーザーインターフェイスは、 ry 。
>>Smalltalk はそれ自体では「オペレーションシステム」を持ちません
>>ディスクからページを読み取るなどの必要なプリミティブオペレーションは話が別であり

YAMAGUTIseisei

unread,

Jul 7, 2019, 7:00:37 AM7/7/19

> PR : シンギュラリティ系有料メールマガジン発行を構想致しております
> 無料メールマガジン版 ( 別途有料版開始時打切 )
> http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7
>
>
>

> Google 翻訳 http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1809.07356
>
>
> ページ1
> arXiv：1809.07356v1 [eess.SP] 2018年9月19日
> 一般的な色付きジャーナル、VOL。 XX、NO。 XX、XXXX 2017
> 1
>
>
> SSVEPマグニチュード変動の予測モデル : ブレインコンピュータインタフェースにおける連続制御への応用
>
>
> Phairot Autthasan、Xiangqian Du、Binggwong Leung、Nannapas Banluesombatkul、Fryderyk K l、Thanakrit Tachatiemchan、Poramate Manoonpong、Tohru YagiとTheerawit Wilaiprasitporn、メンバー、IEEE
>
>
> 抽象
> ? ry 、脳反応から一般的に認識されている視覚刺激頻度である。
> 定常状態視覚誘発電位ベースの脳 - コンピュータインターフェース（ＳＳＶＥＰＢＣＩ）は、脳反応からの周期的な視覚刺激認識の典型である。
> 各周波数は、機械を制御するための1つのコマンドを表します。
> 例えば、異なる周波数を有する複数の標的刺激を使用してロボットの移動速度を制御することができる。
> ? 各目標刺激 ry 。
> 各標的刺激周波数は速度レベルに対応する。
> ? ry 有する選択選択パラダイム ry 速度を離散的に制御することができる。
> このような従来のＳＳＶＥＰＢＣＩは離散的な情報を有する取捨選択パラダイムであり、これによりユーザは移動可能な物体の速度の離散的制御ができる。
> これにより、オブジェクトの動きが滑らかでなくなる可能性があります。
> この問題を克服するために、本研究では、連続制御のための連続情報を持つSSVEP ‐ BCIの概念設計を提案し、ユーザが物体の移動速度を滑らかに制御できるようにした。
> SSVEPマグニチュード変動の予測モデルは、提案された設計において重要な役割を果たします。
> したがって、この研究は主にBCIのためのSSVEPマグニチュード予測の使用に関する実現可能性研究に焦点を当てています。
> ? したがって、固定周波数の時間を使用して、さまざま ry 収集するための基本 ry 。
> 故に、固定周波数の回数を使用し様々な刺激強度からSSVEP応答を収集する為に基本的な実験が行われます。
> ランダムフォレスト回帰（RF）は、これらの予測タスクにおいて単純回帰およびニューラルネットワークより優れています。
> ? ry シミュレータに流すことに ry 。
> 最後に、提案されたＳＳＶＥＰＢＣＩの利点は、１０人の健康な被験者からの実際のＳＳＶＥＰ応答を脳制御ロボットシミュレータにストリーミングする事によって実証される。
> ? ry 結果は、周波数認識 ry 。
> この研究からの結果は、周期的認識とマグニチュード予測の両方を含む提案されたSSVEP-BCIが将来の連続制御応用のための有望なアプローチであることを示している。
>
>
> この作品は、タイ研究基金とGrant MRG 6180028（ジュニア科学才能プロジェクト、NSTDA、タイ）の下の高等教育委員会の事務所によって支援されました。
>
> ? ry は、タイのラヨーンにあるVidyasirimedhi科学技術研究所のバイオインスパイアドロボット工学および神経工学研究室に所属しています。
> T.Wilaiprasitporn、P.Autthasan、N.Banluesombatkul、およびB.Leungは、バイオインスパイアドロボット工学および神経工学研究室、情報科学・情報テクノロジ校、タイのラヨーンにある Vidyasirimedhi 科学技術研究所、に所属しています。 theerawit.w vistec ac th
>
> Fryderyk K lはミュンヘン工科大学のミュンヘン工科大学、ドイツのミュンヘンにあります。
>
> ? ry 神経工学研究室、ならびにE AIおよび ry 。
>P.Manoonpongは、タイのラヨーンにあるVidyasirimedhi科学技術研究所のバイオインスパイアードロボット工学および神経工学研究室、並びに義体的 AI 及び神経ロボット学研究室、BioRoboticsのためのセンター、Msk Mc-Kinney Mller研究所、デンマークの Odense M、DK-5230 にある南デンマーク大学に所属しています。
>
> ? ry は、東京工業大 ry のYagi Labと一緒にいます。
> X. DuとT. Yagiは、日本・東京の東京工業大学機械工学科の Yagi 研究室に所属しています。
>
> Thanakrit Tachatiemchanはタイ・バンコクのチュラロンコン大学数学・コンピュータ科学科に所属しています
>
> 索引用語
> SSVEP-BCI、連続BCI、SSVEPマグニチュード予測、SSVEP刺激強度、脳制御シミュレータ
>
> I. 前書き
>
> 電子部品と計算資源のコストの劇的な減少は、21世紀の研究者にとってブレイン - コンピュータインターフェース（BCI）をより魅力的なものにしました。
> ? ry と通信することが ry 。
> BCIによって、人々は脳の反応や信号を介して機械とコミュニケートする事ができます。
> その結果、BCI関連技術の開発は、運動機能の実行が困難な人々に利益をもたらす可能性があります[1]。
> 筋萎縮性側索硬化症（ALS）はそのような疾患の例です。
> ? ry 運動画像（MI）。
> BCIの研究は主に3種類の脳反応に焦点を当てています：事象関連電位（ERP）、定常状態視覚誘発電位（SSVEP）、および運動イメージ（MI）。
> ＥＲＰおよびＳＳＶＥＰは通常、人間の感覚系の視覚的、聴覚的または触覚的刺激によって生成される。
> ? ry には、実際には運動を実行することなく、 ry 。
> 一方、ＭＩ信号を生成するためには、何らかの運動を実際には実行することなく、運動機能（手または足の運動など）を実行することを想像しなければならない。
> ? ry 脳波記録法（EEG） ry 。
> 脳反応を測定するための最も広く普及している方法は脳波計 ( EEG ) であり、それは主にそれが非侵襲的で他のものと比較して幾分安いからである。
> 脳の反応を得るために、EEGは頭皮全体の電位の変化を測定します。
> 電位の変化は、脳内で発火する何十億ものニューロンから発生します。
>
> 前述の3つの応答（ERP、SSVEP、およびMI）のうち、SSVEPは入手が容易なので最も実用的です。
> ? ry 使用できるのは何人（そしてどのような種類の）人ですか？ [2]。
> 最近、ある研究グループが次の質問に答えるために一連の実験を行いました。SSVEPベースのBCIを使用できる人数の多さは（そしてどのような種類の人々 ) ? [2]。
> ? 調査の実験結果によると、ほとんどの参加者は、以前にBCIを経験したことがなくても、SSVEPベースのBCIを許容できる精度 ry ことを示 ry 。
> BCI をそれまでに未経験てあれど、 SSVEP ベースの BCI を殆どの参加者が許容可能精度で使用できる事を研究の実験結果は示しています。
> ? 参加者は、刺激がちらつくことに煩 ry 。
> 刺激が何らかの方法でちらつく事に、参加者は煩わされませんでした。
> さらに、実験はノイズの多い環境で行われ、SSVEPベースのBCIの実用性が確認されました。
> ? この研究は、挑戦 ry マシン相互作用に向けたSSVEPベースのBCIの視覚刺激の活用に焦点 ry 。
> この研究は、 SSVEP ベース BCI にとっての視覚刺激を、挑戦的な問題であり続ける連続的で滑らかなブレインマシンインタラクションに向け利活用する事に焦点を当てています。
> ? ry のBCI調査における ry 。
> ただし、この調査の詳細を説明する前に、SSVEPベースの BCI 研究におけるマイルストーンのいくつかを検討することが重要です。
>
>
> 2ページ
> 2
>
>
>
> 図1
> ? ry BCIの概念設計（ ry 対する強度予測 ry 。
> 従来のSSVEP-BCI のコンセプト設計（a）と、同じ制御アプリケーションに対するマグニチュード予測付きの提案されたSSVEP-BCI（b）。
>
>
> 2007年に、標準相関分析（CCA）と呼ばれる最先端のSSVEP認識技術がSSVEPベースのBCIで使用するために開発されました[3]。
> ? ry 、プロテーゼ ry 。
> その後、2008年に、電子プロテーゼを制御するためのSSVEPベースのBCIの適用が先駆的なBCI研究グループによって提案されました[4]。
> ? ry な選択選択 ry 。
> このシステムは、義肢の動きまたはジェスチャを生成するための典型的な取捨選択ＳＳＶＥＰベースのＢＣＩを含んでいた。
> ? ry 人々を含むSSVEP ry 。
> 別の先駆的なグループは、視線移動を実行することができない障害を持つ人々等を対象とした SSVEPベースのBCIのパフォーマンスに関する詳細な研究を行いました。
> ? このグループは、そのよう ry 使用するのを助ける ry 。
> そのような人々が視線を変えることなくシステムを使用するのを、このグループは、助けることができる刺激パターンを提案しました[5]。
> ? ry 当て、スティミュラスロックトレース間相関（SLIC）[6]という新しいアルゴリズム ry 。
> 2010年には、別の研究グループがSSVEPベースのBCIのユーザーフレンドリーな設計に焦点を当て、そして、 SLIC ( stimulus-locked inter-trace correlation , 刺激に固定したトレースの間の相関 ) [6] と名付けられた新アルゴリズムを提案しました。
> SLICの背後にある主な概念は、ERPとSSVEPの検出を組み合わせることです。
>
> 2012年には、BCIのパフォーマンスを向上させるためのハイブリッドBCIシステムが提案されました。
> ハイブリッドBCIはさまざまな種類の脳の反応を利用します。
> ハイブリッドERP / SSVEPベースのBCIが、連続的な同時2次元カーソル制御のために導入されました[7]。
> ? ry、このシステムは離散情報を有する伝統的な選択の選択としてＳＳＶＥＰを使用した。
> しかしながら、離散情報取捨選択な伝統的な SSVEP をこのシステムは使用した。
> 後に、ERPとSSVEPの反応を組み合わせたハイブリッドスペラーが、情報転送速度（ITR）を増加させる目的で開発されました[8]、[9]。
> ? ry が、関節周波数 ry 。
> 最近、1つの研究グループが、統合周波数および位相変調SSVEP刺激を用いた高速SSVEPベースのBCIを報告しました。
> 彼らのオフライン研究は、BCIの使用経験のある参加者が250ビット/分以上のITRに達したことを示した[10]。
> ? ry 当てていましたが、 ry 研究[11]、[12]などのスムーズ ry アプリケーションの ry 。
> これまでのところ、ほとんどのSSVEPベースのBCIは、装置を起動/制御するために個別の情報を使用することに焦点を当てており、ロボット補綴物動作制御に関するこれまでの研究の様なスムーズに制御されるアプリケーション [11]、[12] 用の連続情報ではありません。
>
> 既存のＳＳＶＥＰＢＣＩは、主にＥＥＧ反応からの周波数認識に頼っている。
> ユーザーがアプリケーションの移動速度を連続的に増減させる（すなわちロボットの動きを速くする）ことを可能にするブレインマシン制御システムのための新しいSSVEP-BCIパラダイムを開発するために、この研究はマグニチュード変動が目標を達成するのを助けると仮定します。
> ? ry されて、実現可能性研究はSSVEP刺激強度を使用してSSVEPマ ry ードを操作する実用性について実行 ry 。
> 人間の注意レベルとSSVEPゲインに関する神経科学的研究[13]に触発されて、 SSVEP マグニチュードを SSVEP 刺激強度を使用して操作する実用性の上に実現可能性研究が実行されます。
> この実験では、研究者らは刺激周波数を一定に保ちながらSSVEP刺激強度を変えた。
> さらに、ここではシングルチャンネルEEGのみが使用されています。
> 実験的に記録されたEEGを使用して、研究者らはSSVEPマグニチュード変動に関する3つの予測モデルの比較研究を行った。
> 多項式回帰（Poly）、ランダムフォレスト回帰（RF）、およびニューラルネットワーク（NN）が潜在的なモデルとして提案されています。
> ? ry 二乗平均誤差 ry 、1件除外相互検証 ry 。
> 予測の平均二乗誤差（MSE）を評価するために、一個抜き交差検証が実行されます。
> 結果は、RFアプローチを使用したSSVEPマグニチュード変動の予測モデルが、低MSEでの計算時間予測の点でPolyとNNの両方を上回ることを示しています。
> 最後に、この研究の利点は、実験からの記録されたEEG応答を脳制御ロボットシミュレータにストリーミングバックすることによって実証されます。
> シナリオは、既存のSSVEP-BCIシステムに対する提案されたSSVEP-BCIパラダイムの利点を実証するために設定されます。
> ? ry 刺激頻度と強度を変化させることで一緒 ry 研究の結果は円滑に制御された応用のための ry 。
>SSVEP刺激の頻度変化と強度変化とを一緒に考慮したこの研究の成果は、滑らかに制御されたアプリケーションの為のオンラインSSVEP ‐ BCIのさらなる開発のために有望である。

> このホワイトペーパーの残りの部分は、強度予測を伴うSSVEP-BCIの概念設計に関するセクション（セクションII）で構成されています。
> セクションIIIはデータ取得と2つの実験的研究を提示します。
> ? ry V and ry .
> 最後に、結果、考察、そして結論はそれぞれセクションIV、V、VI に含まれています。
>
> II。マグニチュード予測付きSSVEP-BCI
>
> ? ry 使用して移動可能なスピードマシンやロボット ry 。
> 従来のSSVEP-BCIパラダイムを使用して可変速機械やロボットを制御するには、図1（a）に示すように視覚刺激を設計する必要があります。
> 黒い画面上に7つのターゲット刺激があり、それらは異なる周波数で点滅しています。
> 数値が大きいほど速度が速くなり、手のアイコンが付いた刺激はオブジェクトの移動を止めるために使用されます。
> 要約すると、従来のＳＳＶＥＰＢＣＩパラダイムのユーザは、画面上の目標速度番号（目標刺激）に注意を向けることによって可動速度機械を絶えず制御することができる。
>
> ? ry SSVEPの大きさの変動 ry 。
> しかし、この論文の利点（SSVEP マグニチュード変動に対する予測モデル）を活用するための新しい設計を使用することで、視覚刺激の複雑さを図1（b）に示すように減らすことができます。
> ? ry 、パラダイムは、機械の可動速度を同時に制御するための信号として、ＳＳＶＥＰ周波数認識と ry 両方を使用 ry 。
> このようにして、パラダイムは、 SSVEP 周波数認識と予測マグニチュード変動との両方を同時に、機械の可動速度を制御する為の信号として使用するであろう。
> 黒い画面上の3つの刺激は、異なる周波数でちらつき、概念設計のために使用されます。
> ? ユーザが目標の刺激に参加し、それでも凝視 ry している場合、それは、目標の刺激 ry よってユーザがＳＳＶＥＰの大きさを操作するのを助 ry 。
> 一旦ユーザがターゲット刺激に参加し尚、凝視を維持している事、それは、 SSVEP マグニチュードをターゲット刺激強度（固定周波数）を変えることによって操作するユーザを、助けることができる。
> ? ry ます。
> マグニチュード変動の結果が示すように、BCIシステムは制御対象の速度をスムーズに増減させることができ、以下の利点があります :
> 1）
> この設計により、ユーザーは視線移動によるわずかな遅れで機械を円滑に制御することができます。
> 2）
> ? 少数の刺激周波数のために、 ry 刺激に焦点を合わせるとき ry 。
> 小さな刺激周波数により、それらの無人のものは、標的刺激にフォーカスする時にユーザをいらいらさせたり妨害したりする可能性が低い。
> したがって、ＣＣＡ手法の周波数認識率が低下する可能性は低い。
>
>
> 3ページ
> 著者ら：IEEEトランザクションおよびジャーナルのための論文の作成（2017年2月）
> 3
>
>
> 3）
> より低い視覚刺激の複雑さは、使用者の眼の疲労を軽減することができる。
>
> 1つの重要な問題は概念設計がシステムを扱うためにSSVEPマグニチュード変動のための予測モデルを使わなければならないということです。
> ? このように、この ry 予測でSSVEP-BCIに ry 。
> 従って、この論文はマグニチュード予測付 SSVEP-BCI に向けた最初のステップをカバーしています。
> まず、本研究はSSVEPマグニチュード変動の予測モデルの調査に焦点を当てています。
> ? ry を容易にするために、 ry 。
> これを促進する為に、さまざまな強度のSSVEP応答を含むデータセットを収集するように実験を設定します。
> 第二に、この研究は実験から記録されたSSVEP応答を使用してロボットシミュレーションを制御することが可能であることを示しています。
>
> III。材料および方法
>
> ? ry では、大きさが変化するSSVEP応答 ry プロトコルを紹介します。
> このセクションでは、マグニチュード変動な SSVEP 応答（データセット）を取得するための実験プロトコルが示されます。
> SSVEPマグニチュード変動の予測モデルを構築するという目的を達成するために、それぞれ多項式回帰（Poly）、ランダムフォレスト回帰（RF）、およびニューラルネットワーク（NN）からなる、最先端の機械学習およびニューラルネットワークアプローチが検討されました。
> ? 脳に制御されたロボ ry 。
> ブレインコントロールなロボットシミュレータへの最も適切なアプローチはその後組み込まれました。
> ? 最後に、SSVEP-BCIの実現可能性と利点をマグニチュード変動でテストするために、シミュ ry 。
> 最後に、マグニチュード変動な SSVEP-BCI の、実現可能性と利点とをテストする為にシミュレータの内部で実験が行われました。
>
> A. データ取得この実験の参加者は、２０歳から２５歳までの１０人の健康な人々であった（ｎ＝１０）。
> 実験は1975年のヘルシンキ宣言（2000年に改訂）に従い、日本の東京工業大学の内部審査委員会によって承認された。
>
> 1） EEG記録：
> ? ry アンプを250 Hzのサンプリングレート、すなわちOpenBCIで使用しました[14]。
> この研究では、オープンソースで低コストのEEGアンプ即ち OpenBCI[14]を 250 Hz のサンプリングレートで使用しました。
> 実用的な目的のために、全ての実験中にデータを記録するために単一チャンネルＥＥＧ（０）を使用した。
>
> 2）刺激プロトコル：
>
>
> 0 ブラック
> 5秒「条件1」
> 10秒
> :
> 60秒ブラック
> 65秒「条件3」
> 70秒
> :
> 時間[秒]
> （合計3.87分）
>
>
> 図2
> ４つの刺激条件が被験者に無作為に提示され、それぞれ５０秒間持続した。
> ? ry 面と条件付きの手がかりは、すべて条件の開始前に ry 。
> 黒い画面、と、条件付き合図、と、の両方は、全条件の開始時にそれぞれ4秒間表示されました。
>
>
> 現実世界の応用の継続的な開発における研究結果の実用性を確実にするために、実験は通常の環境（電磁シールドのない部屋）で行われた。
> 被験者は、17インチモニターの前に座って、画面から30 cm離れた顎当てに頭を置き、画面の中央に常に注意を払うように依頼されました。
> 図2にSSVEPスティミュラスプロトコルを示します。
> ４つの刺激条件が被験者にランダムな順序で提示された。
> 各条件は５０秒間続いた。
> ? 黒い画面と条件付きの合図が、それぞれの状態が始まる前に、それぞれ ry 。
> 黒い画面、と、条件付き合図、と、の両方が、全条件の開始時に、それぞれ4秒間表示されました。
> 条件は以下の通りであった。
> 1）
> ? ry 白黒 ry 。
> 7.5 Hzで点滅する270ピクセル×270ピクセルの白/黒の四角形が画面中央に表示されます。
> 最大光度では常にちらつきます。
> 光の強度は、レベル0（最小強度）からレベル255（最大強度）までさまざまです。
> ? ry 他の状態に対する基準として役立つ（条件１）。
> この状態は従来のＳＳＶＥＰ刺激であり、他の条件に対する基準として貢献する ( 条件 1 ) 。
> 2）
> 同じ正方形が105の強度レベルで点滅し始めます。
> ? その後、50秒間、光の強さを1秒 ry 。
> 光の強さを、その後 50 秒間、 1 秒間に3レベルずつ上げます。
> ? この状態は、被験 ry させるのに役立つと考 ry す（cond.2）。
> この条件は、被験者がSSVEPの大きさを増加させるのを助けると考えられています ( 条件 2 ) 。
> 3）
> ? ry 強度（225）で ry 。
> 同じ正方形が最大強度 ( 255 ) で点滅し始めます。 ?
> ? その後、50秒間、光の強さが1秒 ry 。
> 光の強さが、その後 50 秒間、1秒間に3段階減少します。
> ? この状態は、被験 ry させるのに役立ちます（cond.3）。
> この条件は、被験者がSSVEPの大きさを減少させるのを助けると考えられています ( 条件 3 ) 。
> 4）
> 正方形は強度レベル180で点滅し始めます。
> 50のうちの最初の20秒間では、強度は最大に達するまで1秒間に3レベルずつ増加します。
> ? ry は、状態が終了するまで、 ry 。
> 次の30秒間は、条件の終了まで、光の強度は1秒間に3レベル減少します（条件4）。
>
> 研究の残りのためにデータセットを準備するために、５０Ｈｚのノッチフィルタ（電気的ノイズを除去するため）および７．３７．７Ｈｚのバンドパスフィルタ（バターワース、次数２）をＥＥＧデータに適用した。
> ? ry 従って分割された。
> ＳＳＶＥＰ応答は、フィルタリングされた信号から得られ、次いで実験条件に従って区画化された。
> 最終的に、10人の被験者からの50秒の長いSSVEP応答が各状態について得られた。
>
> B. 実験I： SSVEPマグニチュード変動の予測モデル
>
>
>
> 図3：マシンの速度を制御するために提案されたSSVEPベースのBCIのアーキテクチャ。
>
>
> 1）データ準備：
> ? ry 、訓練セット（９人の対象×４条件×５０秒の長さのデータ）については９人の対象から、そして試験セットについては残りの１人（１件×４条件×５０秒長データ）から無作為にＥＥＧ信号を選択した。
> それぞれが４つの条件を有する１０人の対象の前述のＳＳＶＥＰ応答から、テストセットに付いては１人（１件×４条件×５０秒長データ）からそして訓練セット（９件×４条件×５０秒の長さのデータ）に付いては残りの９人の対象から無作為にＥＥＧ信号を選択した。
> 図３に示すように、各被験者からのＥＥＧ信号を２組のデータについて計算した。
> 第１の組は入力信号（ａ）からなっていた。
> ? ry 信号は、最初に、３秒 ry ウィンドウおよび２秒のオーバーラップを有する一連のサブサンプルまたはブロックに変換された。
> 各被験者からのＥＥＧ信号は、 2 秒のオーバーラップを有する 3 秒（３秒×２５０Ｈｚ＝７５０データポイント）のスライディングウィンドウの、サブサンプルかブロックかのシーケンスに最初に変換された。
>
>
> 4ページ
> 4
>
>
>
> ? ry ７５０のデータ点または特徴。
> ステップ１が完了した後、以下の構造について４８ブロックのデータが得られた：４条件×４８ブロック×７５０の、フィーチャ又はデータポイント。
> ? ry 2では、各被験者の入力 ry ために各データポイントを2乗 ry 。
> 次に、ステップ2 では被験者の各データポイントを、入力信号を得る為に 2 乗しました。
> 第２組のデータは標的信号（ｂ）からなっていた。
> ３から始めて、各ブロックの平均値を入力信号から計算した。
> 従って、各条件について４８個の値が得られた。
> その後、ステップ４において、各条件について多項式関数（二次関数（poly2）または三次関数（poly3）のいずれか）を用いて曲線当てはめを行った。
> 最後に、標的シグナルは４条件×４８標的値（それぞれ４８点を有する４つの曲線）であった。
> データ準備が完了した後、各被験者の入力信号およびターゲット信号は、以下の手法を使用してＳＳＶＥＰ振幅予測に使用された。
>
> 2）ニューラルネットワークアプローチ（ＮＮ）：
> リカレントニューラルネットワーク（ＲＮＮ）は、従来のフィードフォワードニューラルネットワークから拡張され、その反復的な隠れ状態のために、ＥＥＧなどの時系列データから本質的な特徴を抽出する能力を有する。
> 各タイムステップでの活性化は、前のステップのデータを使用して計算されます。
> ? ry Units（GRU）の層から始まります。 RNNs [15]の繰り返しユニットタイプの1つ。
> この研究で提案されているNNモデルは、Gated Recurrent Units [15] ( GRU ; RNNs の反復ユニットタイプの1つ ) の層から始まります。
> ? その更新ゲートは、モデルが従来のRNNよりも長いシリーズのための入力トリームにおける特定 ry 存在を思い出させる。
> それの更新ゲートは、入力ストリームにおける、従来型 RNN のよりも長いシリーズの為の、特定の特徴の存在を想起するモデル、を作る。
> その後、時系列データの予測に適しているため、完全接続（FC）レイヤを使用しました。
>
> 図３に示すように、ＮＮモデルをデータで訓練するために、入力信号をサンプル数×時間ステップ×特徴に再形成した（ａ）。
> 研究者らは、各条件の各ブロックを1つのサンプルと見なすことにしました。
> また、各サンプルの750個のデータポイントは実際には3秒の時系列データを表しているため、タイムステップ数は750になりました。
> さらに、特徴として各データポイントの値のみを使用する代わりに、各条件で0から47までの範囲のブロックIDも使用されました。
> ? ry 、デー ry 値とブロックIDを含む2つの機能があります。
> たとえば、各タイムステップには、それのデータポイント値とブロック ID とを含む2つの特徴があります。
> したがって、各被験者について、１９２サンプル×７５０時間ステップ×２特徴が得られた。
> 標的信号（ｂ）については、各条件における各ブロックも１つのサンプルと見なした。
> したがって、これらを各被験者について１９２サンプル×１目標値に再成形した。
>
> ? ry 。これはモデルが最良のパラメータ構成を与えるまで調整されました。
> この研究におけるNNモデルはKeras [16]を使って実装されました。これはモデルが下記の様な最良のパラメータ構成を与えるまで調整されました :
>
> ? 256単位のGRUの層。
> 256 ユニットの GRU のレイヤ。
> GRUレイヤでは確率0.3のドロップアウトが使用されました。
> ? One-hidden node with linear activation was applied for regression (FC).
> #1 hidden ry ?
> ? ry を伴う一隠れノードを回帰 ry 。
> 線形活性化を伴う隠れノード 1 つを回帰（FC）に適用した。
> オプティマイザはAdamで、学習率は0.001です。
> バッチサイズは864サンプル（トレーニングセットの半分）に設定されました。
> 平均二乗誤差（ＭＳＥ）を損失関数として使用した。
>
> 最後に、最善の重み（テスト用のトレーニングモデルからの損失が最も少ないもの）を使用して、モデルを2,000エポックでトレーニングしました。
>
> 3）ランダムフォレスト回帰アプローチ（RF）：
> ランダムフォレストは強力な教師付き学習アルゴリズムです。
> 分類と回帰の両方のタスクに使用できます。
> このモデルの重要な利点の1つは、すべての特徴をサブセットに分割し、それらのそれぞれを使用して複数の決定木を構築することによって、過剰適合を防ごうとすることです。
>
>
> 5ページ
> 5
>
>
> その後、多数決投票またはこれらの決定木からの結果の平均を使用して予測が実行されます。
>
> 図3に示すようにデータをRFモデルに挿入するために、前のアプローチと同様に、入力信号の各ブロックを1つのサンプル（a）に再整形しました。
> ? したがって、各被験者から、サンプルあたり ry 有する１９２個のサンプル（４条件×４８ブロック）が得 ry 。
> 従って、 192 個のサンプル ( 4 条件× 48 ブロック、サンプル当り７５０個の特徴を有する ) が各被験者から得られた。
> その後、最後の機能として、ブロックIDが各条件に対して0から47の範囲で追加されました。
> その結果、入力の最終形状は192サンプル×751フィーチャになりました。
> 標的シグナル（ｂ）について、それは１９２サンプルを有する１Ｄテンソルに再成形された。
>
> この研究のRFモデルはScikit-learnを使って実装された[17]。
> ツリーの最大深度を除いて、すべてのパラメータがデフォルト値に設定されています。
> ? 各折り目は、それが最良 ry 与えるので、１から５０の範囲内にあるように ry 。
> 各 Fold は、最良の訓練喪失結果を与える範囲としての、 1 から 50 までに収まるように選択された。
> 最後に、その数がテストに使用されました。
>
> 4）多項式回帰アプローチ（Poly）：
> Polyは、この研究のベースラインとして使用される単純な予測モデルです。
> SSVEPデータをPolyモデルに入力するために、RFモデルによる実験と同じ方法でデータを作成しました。
> ここでは、PolyモデルはScikit-learn [17]を使って実装されました。
> ? ry おいて2度と3度の多項 ry 除いて、すべて ry 。
> 評価に於て、 2 次と 3 次の多項式関数を除いて全てのパラメータはデフォルト値に設定されました。
>
> 5）評価：
>
>
>
> アプローチ
> ? ry 誤差t SE
> 平均二乗誤差 ± SE
> 条件1
> 条件2
> 条件3
> cond4。
> 計算時間予測t SE
> すべての条件
>
> Poly poly2 ポリポリ2
> 4.8380 t 3.0190
> 0.6324 t 0.5840
> 0.1287 t 0.0782
> 0.5583 t 0.3666
> 2.1806 t 0.0561
>
> Poly poly3 ポリポリ3
> 5.1487 t 3.5327
> 0.6228 t 0.5831
> 0.0818 t 0.0582
> 0.3794 t 0.2494
> 2.4829 t 0.0909
>
> RF poly.2 RFポリ2
> 0.1580 t 0.1086
> 0.0277 t 0.0228
> 0.0090 t 0.0049
> 0.0509 t 0.0343
> 0.0026 t 0.0001
>
> RF poly.3 RFポリ2
> 0.1569 t 0.1088
> 0.0303 t 0.0258
> 0.0083 t 0.0046
> 0.0530 t 0.0371
> 0.0026 t 0.0002
>
> NN (GRUs) poly2 NN（GRU）ポリ2
> 0.0926 t 0.0566
> 0.0207 t 0.0147
> 0.0094 t 0.0039
> 0.0397 t 0.0229
> 5.1167 t 0.2642
>
> NN (GRUs) poly3 NN（GRU）ポリ3
> 0.0750 t 0.0440
> 0.0181 t 0.0136
> 0.0080 t 0.0037
> 0.0270 t 0.0160
> 4.8472 t 0.0626
>
>
> 表１：
> ６つのアプローチ間の平均二乗誤差と計算時間予測との比較。
> 太字の数字は他のものよりもかなり大きい、p <0.01。
>
>
> ? 一人一人離脱交差検証 ry 。
> 一個抜き交差検証を使用して、すべてのモデルを訓練および評価した。
> ? したがって、10倍、 ry 。
> 従って、10 Fold 、それぞれ訓練用の9人の被験者（1,728サンプル）および試験用の1人の被験者（192サンプル）からなる。
> ターゲット信号には2つのタイプがあるため、この調査では次の予測モデルを使用しました。比較のため、Poly poly 2、Poly poly 3、RF poly 2、RF poly 3、NN（GRU）poly 2、NN（GRU）poly 3。
> したがって、2つの値を使用して各アプローチのパフォーマンスを測定しました。
> 1つ目はMSEを使用して計算された各モデルの精度、2つ目は予測のための計算時間です。
> ? ry 、一元配置反復測定分散分析 ry 。
> これら３つのアプローチを比較するために、球形度の仮定（実験結果の統計分析）に基づいて、一元配置分散分析（ＡＮＯＶＡ）を用いた。
> データが球形度の仮定に違反したときに補正を適用した。
> ? 事後分析のためにボンフェローニ補正および対比較を行った。
> 一対比較とボンフェローニの補正とを事後解析の為に行った。
>
> C. 実験II：脳制御ロボットシミュレータ
>
>
>
> 図4
> ? ry 脳制御ロボ ry 。
> オンラインのような脳制御なロボットの実験プロトコルの図。
> ? ry 提案されたケース ry 。
> 実験プロトコルは、従来のSSVEP-BCIを超える提案ケースの利点を実証するように設計されています。
> ? ry 始まり、その後に一定 ry 期間が続きます。
> プロトコルは期間速度の増加から始まり、一定の最大速度、速度の減少、そして一定の最小速度の期間、と続きます。
> 最後の期間は動きを止めました。
>
>
> ? この部分では、 ry 。
> このパートでは、研究者らは、脳制御ロボット刺激装置を介して、提案されたSSVEP-BCIが従来の場合よりも優れていることを実証することを目指しています。
> ? ry 時間の両方 ry 、ＳＳＶＥＰ振幅変動 ry 。
> 実験Ｉの結果のように、ＲＦｐｏｌｙ２モデルは、小さい誤差と制御アプリケーションのための短い計算時間との両方の観点から、 SSVEP マグニチュード変動のための最も適切な予測モデルであることが分かった。
> したがって、RF poly 2アプローチのみがV-Repシミュレータに組み込まれました[18]。
> 提案されたSSVEP-BCIの概念を従来のものと比較して評価するためにV-Rep内のVortex物理エンジンモードが構築された。
> ? ここでは、80 ry cm 3の立方体と60 kgのロボットを備えた改良型Pioneer P3DXロボットを使用 ry 。
> ここではロボット、 60 kg で 80×80 cmのプレートと10 cm^3 の立方体とをその Pioneer P3DX ロボットの上に備えた改造型、を使用しました。
> ? オンラインの ry 速度プロファイル（VP）を作成しまし ry 。
> オンライン風の研究用にロボットシミュレータを設定するために、実験プロトコルに従って速力プロファイル（VP）が作成されました（図4）。
> 実験1から収集したデータセットを使用して、cond.2とcond.3からの予測信号をオンラインのようなSSVEP応答（脳の信号）に関連付けました。
> ? ry として使用されました。
> これらの脳の信号はスピードコントローラの入力としてその後使用されました。
> 制御装置は標準移動平均（ＭＡ）アルゴリズムを脳信号に適用した。
>
>
> 6ページ
> 6
>
>
> 最後に、MAの結果は、ロボットの移動速度を変えるためのVPとして使用されます。
> ? ry 、増減速度期間 ry 動作した。
> 以下の規則を使用して、コントローラは、速度期間増減について実験プロトコルに従って２つの状態間で交互に動作した :
>
> ? 増加する速度期間： ry が高ければ ry 速度値 ry 。
> 速度期間の増加：入力値がより高ければ現在の速力値が更新され、そうでなければ値は安定したままです。
> ? 減少する速度期間： ry が低い場合 ry 速度値 ry 。
> 速度期間の減少：入力値がより低い場合は現在の速力値が更新され、それ以外の場合は値は安定したままです。
>
> 以下のサブセクションに示すように、研究ＩおよびＩＩにおいて提案されたＳＳＶＥＰＢＣＩの性能を調査するために、前述の実験プロトコルを使用して脳制御ロボットシミュレータを設定した。
>
> 1）研究I：処理ウィンドウの長さと滑らかな動きとの間のトレードオフ：
> この研究の目的は、ユーザーが許容できる速度でオブジェクトを滑らかに動かすのを助けるためにスピードコントローラに最も適した処理ウィンドウの長さを見つけることです。
> 実験プロトコールを図4に示す。
> 輸送作業を完了するとき、ロボットは速度コントローラの出力に従って動くことになっていました。
> 出力を作成するために、脳信号は、先に説明したように、２つの規則に従ってＲＦポリ２予測モデルと単純ＭＡの両方を使用して速度プロファイル（ＶＰ）に変換された。
> 研究者たちは、物体（あるいはこの実験では箱）の運搬における安定性と平均移動速度の両方を考慮しました。
> 箱の安定性は、ロボットプレート空間（２Ｄ平面）上の箱内の中心質量の偏差によって測定した。
> この研究における箱の偏差は、2D平面上の箱の元の位置と最終位置の間のユークリッド距離でした。
> 最適な処理窓の長さを得るために、長さを１秒のステップで１から５秒まで変えた。
> ? ry の10倍からの偏差と比較しました（1人の被験者を除外した交差検証）。
> 最後に、平均速度の平均をボックスの 10 Fold 分のずれと比較しました ( 一個抜き交差検証 ) 。
> ? 一元配置反復測定分散分析 ry 。
> 一元配置分散分析（ＡＮＯＶＡ）を統計分析に使用した。
>
> 2）研究II：従来のSSVEP-BCIと提案されたSSVEP-BCIを使用した脳制御ロボットシミュレータの比較：
> 提案されたSSVEP-BCIが滑らかな制御アプリケーションにおいて従来のケースより優れていることを実証するために、研究Iと同じ実験プロトコルを実行した。
> 提案されたＳＳＶＥＰＢＣＩのＶＰを得るために、１秒の重ならない窓（研究Ｉからの最適窓長）を有するＲＦｐｏｌｙ２に基づく予測モデルが適用された。
> ? ry 速度に変化しました。
> これに対して、従来のSSVEP-BCIは、増加期間と減少期間の両方で直ちに一定の速度に変更されました。
> 従来の場合の各被験者のVPは、提案されたSSVEP-BCIからの同じ被験者VPの最大値および最小値を使用して設定された。
> ロボット制御タスクの性能を評価するために、平均速度とボックスの偏差を測定値として使用しました。
> 最後に、2つのケースの実験結果を標準のt検定を使用して比較しました。

> IV。結果
>
> このセクションでは、各実験の結果を別々に報告します。
> ? 結果私は ry 。
> 結果 I はSSVEPマグニチュード変動の予測モデルの比較を提供します。
> ? ry IIIは、脳 ry シミュレータによる提案 ry 実証している。
> 結果IIおよびIIIは脳制御ロボットシミュレータを介し、提案されたSSVEP-BCIの実現可能性および利点を実証する。
> 適切な実験では、定量的（MSE、計算時間予測、平均速度、およびボックスの偏差）および定性的尺度（グラフィカル）が考慮されます。
>
> A. 結果I： SSVEPマグニチュード変動の予測モデル
> この研究の目的は、SSVEPマグニチュード変動を予測するための最も適切なモデルを選択することです。
> ここでは6つの予測モデルが比較されています。 Poly poly 2、Poly poly 3、RF poly 2、RF poly 3、NN（GRU）poly 2、NN（GRU）poly 3。
> 表１に示されるように、全ての予測モデルからのＭＳＥの平均は有意には異ならない。
> しかし、計算時間予測の平均比較には統計的な違いがあります。
> ? 温室 - ガイザー補正を用いた一方向反復測定ANOVA ry 。
> Greenhouse-Geisser の方法を用いた一元配置反復測定分散分析ANOVAにより、F（1.377、12.395）= 383.877、p <0.01が報告された。
> ? ry 、ボンフェローニ補正およびペアワイズ比較は、textitRFポリ2およびRFポリ3モデルの両方について ry 。
> さらに、一対比較及びボンフェローニの方法は、 textitRF poly2 と RF poly3 との両方のモデルに付いての計算時間予測が他のモデルより有意に低いことを示した（p <0.01）。
> ただし、RF poly2は多項式次数の計算量が少ないため、残りの研究ではRF poly2を選択しました。
> 定性的な結果を得るために、予測されたシグナルは、図５に示されるように各実験条件について時間ステップごとにプロットされた。
>
> B.:結果II：脳制御ロボットシミュレータ
> 1）処理ウィンドウの長さと滑らかな動きとの間のトレードオフ：
> ウィンドウの長さは、オンラインの脳制御アプリケーションで重要な役割を果たします。
> このサブセクションでは、1 5秒の範囲でウィンドウの長さを変えた場合の平均速度の平均とボックスのずれの平均を比較します。
>
>
> 7ページ
> 7
>
>
>
> (a) (b) (c) (d) ? （あいうえお）
>
>
> 図5
> ? ry 対する生のSSVEP応答のデモ。
> 予測モデルRF poly2に対する raw SSVEP レスポンスのデモ。
> ? 一番下の行は、実際の（SSVEP入力）信号と予測信号の ry 。
> 下段は、実際の ( SSVEP入力信号 ) と予測信号との比較を示しています。
> ? ry （d）のモデルを評価するために、一人一人の交差検定（10人に1人）が使用されます。実験条件1、条件2、条件2からの実際および予測信号の例それぞれ.3、およびcond.4。
> 図5（a） - （d）は、実験条件 1 、条件 2 、条件.3 、及び条件.4 からの、実際の及び予測の信号の例で、各々、モデルを評価する為に一個抜き交差検証（10 に 1 つ）が使用されます。
>
>
>
>
> （a）（b）
>
>
> 図6
> ? ry 速度と偏差の平均値。 ry 。
> 1 5秒の範囲でウィンドウの長さを変えたときのボックスの平均速度とずれとの平均。（a）は増加する速度期間、（b）は減少する速度期間です。
>
>
> 表II：
> ? ry 際のSSVEP ‐ BCIのための従来の方法と提案された方法の比較
> 移動ロボット上の箱を維持する際の、従来のと提案された SSVEP-BCI のとの為の計測の比較
> ? 3つの対策があります ry ボックスの偏差（ ry 。
> 3 つの対策があります。ロボットシミュレータからの平均速度（太字が大きい）、増加期間におけるボックスのずれ（太字が小さい）、減少期間（太字が小さい）です。
> ? *その数 ry 。
> *はその数が他のものよりもかなり小さいことを意味します、p <0.01。
>
>
> 8ページ
> 8
>
>
>
> （a）（b）（c）（d）（e）（f）
>
>
> 図7：
> 3人の被験者からのVPの比較。
> 上段（ａ）（ｃ）は提案されたＳＳＶＥＰＢＣＩからのＶＰを示し、下段（ｄ）（ｆ）は従来のＳＳＶＥＰＢＣＩからのＶＰを示す。
>
>
>
>
> （a） ( 訳注 : ずれ小 ) （b） ( 訳注 : ずれ大 )
>
>
> 図8
> 異なるパラダイムを持つパイオニアP3DXロボットの動きの例。
> ? ry は、移動速度ロボット ry 。
> 図８（ａ）は、可変速ロボットを制御するための提案されたパラダイムの一例を示す。
> 図８（ｂ）は、移動速度ロボットを制御するための従来のパラダイムの一例を示す。
>
>
> 9ページ
> 9
>
>
> ? 温室 - ガイザー補正を用いた一方向反復測定ＡＮＯＶＡは、それぞれ増加期間Ｆ（２．４２１、 ry 、ｐ＜０．０１、および減少期間Ｆ（１．３８７、 ry 、ｐについて、処理ウィンドウ ry 報告した。 = 0.068です。
> Greenhouse-Geisser 補正を用いた一元配置反復測定分散分析 ANOVA は、増加と減少との期間の其々 F(2.421, 21.792) = 21.633, p<0.01 、および F(1.387, 12.483) = 3.687, p=0.068 について、プロセッシングウィンドウ長にわたる平均速度の有意差を報告した。
> ? ペアワイズ比較では、 ry 。
> 一対比較では、１秒処理ウィンドウからの平均速度の平均は、３秒、４秒、および５秒からの平均速度より有意に高い、ｐ＜０．０５。
> ? ry からの平均速度よりも有意 ry 。
> 減少期間については、１秒処理ウィンドウからの平均速度の平均は、２秒および３秒からのそれよりも有意に高い、ｐ＜０．０５。
> 平均速度は1秒の処理ウィンドウの長さで有意に高かったが、ボックスの結果の偏差は、図6に示すように処理ウィンドウの長さに渡って異ならなかった。
> 脳制御ロボットシミュレータの実験環境によると、１秒の処理ウィンドウ長は他の長さと比較して許容可能な精度でより高い情報転送速度を有することができると推論することができる。
> 2）従来のSSVEP-BCIと提案されたSSVEP-BCIを使用した脳制御ロボットシミュレータの比較：
> ? ry IIは、従来のSSVEP-BCIと提案されたSSVEP-BCIの利点 ry 。
> 表II は提案された SSVEP-BCI の、従来のそれを越える利点を示しています。
> ? ry ＢＣＩからの速度の平均が従来の速度の平均に近い ry の偏差は、増加する期間（ｔ（９）＝４．７６）に対し ry 著しく低い。、ｐ＜０．０５）。
> 提案されたＳＳＶＥＰＢＣＩからの平均速度の平均、が従来の物のそれに近いとしても、提案されたモデルにおけるロボット移動中のボックスのずれは、増加期間 ( t(9)=4.76, p<0.05 ) に於て従来のもののそれよりも著しく小さい。
> 減少期間についての結果は統計的差異を示さなかったが、提案されたモデルはより低いボックス偏差を与えた。
> ? 図７の定性的結果は、１０人 ry 者が、提案されたＳＳＶＥＰと従来のＳＳＶＥＰＢＣＩからのＶＰの比較を行うことを示している。
> 図 7 は、 10 人中３人の被験者が行う所の、提案 SSVEP-BCI と従来 SSVEP-BCI とからの VP の比較たる質的結果を示す。
> ? 配達作業に ry の捕獲を図8に示す。
> 配達タスクにおける脳制御ロボットシミュレータのキャプチャは図 8 に示される。
> ロボットの速度は実験プロトコルによって異なります。
>
> V. 考察
>
> ? ry 主要な問題が生じる。
> 実験結果によって、３つの主要な題目が浮かび上がる。
> ? ry 要約しています。
> 最初に、研究者らはオンライン脳制御ロボットのさらなる開発のための有望な側面を要約します。
> 次に、この研究が進行中の研究とどのように関連しているかについて説明します。
> ? ry おける最終目標を表明しています。
> 最後に、研究者らは、人と機械の間のギャップを埋めるためのオンライン連続SSVEP-BCIの開発に於ける、最終目標を表明します。
>
> ? ry は、対象がＳＳＶＥＰ反応の大きさを操作するのを助け ry 。
> 視覚刺激強度の変動は、 SSVEP 反応のマグニチュードを被験者が操作するのを、助けることができる。
> 最新の機械学習アプローチ、すなわちランダムフォレスト回帰（RF）は、SSVEPマグニチュード変動を処理するための予測モデルとして提案されました。
> ? ry 使用した1件除外相互検証は、 ry 比較して、SSVEPの大きさの変化の予測 ry 。
> RFモデルを使用した一個抜き交差検証は、多項式回帰モデルおよびニューラルネットワークモデルと比較して、 SSVEP マグニチュードの変動の予測において最高のパフォーマンスを示しました。
> したがって、RFモデルは、この研究で提案されているSSVEP-BCIのさらなる開発に有望である。
> 提案されたSSVEP-BCIシステムで実際のオンラインモードで実験がまだ行われていなくても、シミュレータで実証された環境的かつ実用的なシナリオで、10人の被験者から実際の脳の信号をストリーミングバックし、提案されたシステムが実現可能で斬新であることを保証します。
> ? ry 、箱は目的地まで運搬する際の速度、誤差、および脳制御ロボットからの滑らかさに関してシステムが評価される。
> オンラインのようなシミュレーションを通して、箱を目的地まで運搬する際の脳制御ロボットからの、速度、誤差、および滑らかさに関して、システムが評価する。
> さらに、SSVEP刺激の概念設計はシンプルでユーザーフレンドリーです。
> ? ry 上の刺激の刺激に対し ry 。
> 測定された脳信号に対して、単一のＥＥＧチャネル（Ｏｚ）を有するスクリーン上のちらつく刺激に対しては３つの周波数しかない。
>
> SSVEP-BCI. SSVEPマグニチュード変動の予測モデルに関する研究結果が示すように、予測SSVEPマグニチュードパラダイムは周波数認識パラダイムに統合され、新しいオンラインSSVEP-BCIを達成することができます。
> ? ry 、連続的なＳＳＶＥＰＢＣＩを提供 ry 。
> 定常的な脳の反応の頻度と大きさの両方を考慮に入れると、連続的 SSVEP-BCI を提供することができ、それによってユーザは装置（例えば移動ロボット）を円滑に制御することができる。
> ? さらに、スパース脳波チャネルを使用してオンライン ry 処理するために提案されたSSVEP-BCIを統合することを計画 ry 。
> 更に、提案 SSVEP-BCI をスパース脳波チャネルを使用して統合することをオンラインモードでロボットアームを処理する為に我々は計画しています。
> 予測ＳＳＶＥＰの大きさからの予測信号の連続的な増加または減少は、例えばロボットアームの速度を加速または減速することによってコマンド機能にマッピングすることができる。
>
> 提案されたＳＳＶＥＰＢＣＩの性能を改善するためには、連続的な大きさの予測に対する雑音に対するロバスト性が重要である。
> ? ry からも振幅情報を測定 ry 。
> この問題を克服するための１つのアプローチは、目標ＳＳＶＥＰ周波数だけでなく近隣周波数からもマグニチュード情報を測定する簡単な適応アルゴリズムである。
> ? 目標頻度から ry 使用して、予測モデルはおそらく天気の大きさの変動を分類することがノイズまたはSSVEP応答の実際の変動からの影響であると仮定 ry 。
> ターゲット周波数からの絶対値の代わりに相対値を使用し我々は仮定します。 SSVEP 応答に於て天候のマグニチュードの変動の影響の原因は、ノイズである又は実際の変動である、と予測モデルは恐らくクラス分類する、と。
> ? ry として、我々は、連続的な情報を破損していないＳＳＶＥＰ応答と同じくらい閉じた状態に維持するために時間的記憶 ry を適用しよう ry 。
> 別のアプローチとして、 SSVEP 非破損応答であるかの様な連続的な情報を維持する為の時間的記憶モジュールとして振舞う分散型リカレントニューラルフォワードモデルを我々は適用しようとしている［１９］。
> したがって、この作業の貢献は、将来のBCIベースの制御への入り口として機能することができます。
>
> VI。結論
>
> これは、新しいSSVEP-BCIに向けたSSVEPマグニチュード予測に関する最初の研究です。
> さまざまなSSVEPマグニチュード応答に関する実験からデータセットを作成しました。
> ランダムフォレスト回帰は、瞬間的なSSVEPマグニチュード予測のためのアルゴリズムとして提案されました。
> ? ry 結果は、leave-one-subject-out交差検証 ry から得られた。
> 実験結果は、一個抜き交差検証を使用して10人の被験者から得ており、有望と見込まれる。
> ? ry されたＳＳＶＥＰの大きさの瞬間的な変化は、脳制御用途（例えば ry 。
> 予測された SSVEP マグニチュード、に於ての瞬間的変化は脳制御アプリケーション（例えばロボット制御）用の速度制御装置にマッピングすることができる。
> ここでは、模擬移動ロボットを用いてオンラインのようなシステムを実施した。
> 実験では、ロボットの移動速度を制御するために、さまざまな大きさの実際のSSVEP応答をストリームバックしました。
> ? ry 単一の（０）ＥＥＧチャンネル ry 。
> 実用的な目的のために、全ての実験を通して単一の (Oz) EEG チャンネルを使用した。
> ＳＳＶＥＰマグニチュード予測の利点は、それがロボットを制御するときに安定性を維持する能力を有することである。
> 近い将来、この作業の成果は、移動ロボットやロボットアームの速度を加速または減速するなど、他のスムーズな脳制御アプリケーションにも実装されます。
>
>
> 10ページ
> ? 10年
>
>
> 参考文献
>
> [1]
> JR Wolpaw、N。Birbaumer、DJ McFarland、G。Pfurtscheller、およびTM Vaughan、
> 「通信と制御のためのブレインコンピュータインタフェース」
> ? ry 、ｖｏｌ。 113、いいえ。６、ｐｐ．７６７７９１，２００２。
> 臨床神経生理学, vol. 113, no. 6, pp. 767 791, ２００２。
> [2]
> B.アリソン、T。ルース、D。バルブエナ、A。Teymourian、I。Volosyak、A。Graser、
> ? `` Bci ry ：何人（そして ry の）の人が ry ？ '' 「」
> 「 Bci人口統計：どれだけの人数の ( そしてどのような種類の ) 人がssvep bciを使うことができますか？」
> ? ry 、vol。 18、いいえ。２、ｐｐ．１０７１１６， ry 。
> 神経系とリハビリテーション工学に関するIEEEのトランザクション, vol. 18, no. 2, pp. 107 116, ２０１０。
> [3]
> Z. Lin、C. Zhang、W. Wu、およびX. Gao、
> ? ry ベースのbcisの ry 周波数認識」
> 「ssvepベース bci 用の正準相関分析に基づく周期的認識」
> ? ry 関するＩＥＥＥ取引 ry 、ｖｏｌ。 54、いいえ。６、ｐｐ．１１７２１１７６， ry 。
> 生物医学工学に関する IEEE トランザクション , vol. 54, no. 6, pp. 1172 1176, ２００７。
> [4]
> GR Muller-PutzとG. Pfurtscheller
> 「ssvepベースのbciを使用した電気補綴物の制御」
> ? ry 、ｖｏｌ。 55、いいえ。１、ｐｐ．３６１３６４、 ry 。
> 生物医学工学に関するＩＥＥＥトランザクション, vol. 55, no. 1, pp. 361 364, ２００８。
> [5]
> BZ Allison、DJ McFarland、G. Schalk、SD Zheng、MM Jackson、およびJR Wolpaw、
> 「定常状態視覚誘発電位を用いた独立したブレインコンピュータインターフェースに向けて」
> ? ry 、ｖｏｌ。 119、いいえ。２、ｐｐ．３９９４０８， ry 。
> 臨床神経生理学, vol. 119, no. 2, pp. 399 408, ２００８。
> [6]
> A.ルオとTJサリバン、
> 「時間領域分類器を使用した、ユーザフレンドリなssvepベースのブレインコンピュータインタフェース」
> ? ry 、ｖｏｌ。 7、いいえ。２、ｐ。 2010年2月10日。
> 神経工学ジャーナル, vol. 7, no. 2, p. 026010, 2010.
> [7]
> ? ry C。Brunner、C。Altst W、 ry
> BZ Allison、C. Brunner、C。Altst穩ter、IC Wagner、S。Grissmann、およびC. Neuper、
> ``連続同時2次元カーソル制御のためのハイブリッドerd / ssvep bci ''
> ? 神経科学の方法のジャーナル、vol。 209、いいえ。２、ｐｐ．２９９３０７， ry
> 神経科学メソッドジャーナル , vol. 209, no. 2, pp 299 307, ２０１２。
> [8]
> E. Yin、Z. Zhou、J。Jiang、F。Chen、Y. Liu、およびD. Hu。
> ? ry ハイブリッドbciスペル」
> 「ssvepをp300パラダイムに取り入れた新しいハイブリッド bci スペラー」
> ? ry 、ｖｏｌ。 10、いいえ。２、ｐ。 2013年2月12日。
> 神経工学ジャーナル, vol. 10, no. 2, p. 026012, 2013.
> [9]
> E. Yin、Z. Zhou、J。JIang、F。Chen、Y。Liu、およびD. Hu。
> ? ry ハイブリッドbciスペルアプローチ」
> 「p300とssvepを組み合わせたスピーディーなハイブリッド bci スペリングアプローチ」
> ? ry 、ｖｏｌ。 61、いいえ。２、ｐｐ．４７３４８３、 ry 。
> 生物医学工学に関するＩＥＥＥトランザクション, vol. 61, no. 2, pp. 473 483, ２０１４。
> [10]
> 王Y.、X。Chen、X. Gao、S。Gao、
> 「SSVEPベースのブレインコンピュータインターフェースのベンチマークデータセット」
> ? ry 、vol。 25、いいえ。１０、ｐｐ．１７４６１７５２、 ry 。
> 神経システムとリハビリテーション工学に関するIEEEトランザクション, vol. 25, no. 10, pp. 1746 1752, ２０１０年１０月。
> [11]
> B.アリソン、B.グレイマン、およびG.プルトシェラー、
> ? ブレイン - コンピュータインタフェースヒューマン - コンピュータインタラクションの革命化
> ブレイン-コンピュータインタフェース : ヒューマン-コンピュータインタラクションを革命する
> Springer、2010年。
> [12]
> X. Chen、Y. Wang、S。Zhang、S。Gao、Y. Hu、X. Gao、
> 「相互変調周波数を用いたマルチクラスssvep-bciのための新しい刺激法」
> ? ry 、ｖｏｌ。 14、いいえ。２、ｐ。 2017年2月13日。
> 神経工学ジャーナル, vol. 14, no. 2, p. 026013, 2017.
> [13]
> YJ Kim、M. Grabowecky、KA Paller、K. Muthu、およびS. Suzuki、
> ? ry おける同期ベースの反応獲得を誘導 ry
> 「注意は定常状態の視覚誘発電位に於ける同期ベースの反応ゲインを誘導する」
> Nature neuroscience、vol。 10、いいえ。１、ｐ。 117、2007。
> [14]
> 「オープンソースのブレインコンピュータインターフェイス」
> http://openbci.com/
> 。
> [15]
> K. Cho、B。Van Merri、C. C. Gulcehre、D。Bahdanau、F。Bougares、H。Schwenk、およびY. Bengio、
> 「統計的機械翻訳のためにrnnエンコーダ - デコーダを使用したフレーズ表現の学習」
> arXivプレプリントarXiv：1406.1078、2014。
> [16]
> F. Chollet et al。、
> “ Keras”
> http://github.com/fchollet/keras/
> 、2015年。
> [17]
> ? ry Ｖ。ミシェル、Ｂ． Cournapeau ry
> Ｆ．ペドレゴサ、Ｇ．ヴァロコー、Ａ．グラムフォート、Ｖ。ミシェル、Ｂ． Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau、M。Brucher、M。Perrot、およびE. Duchesnay、
> 「Scikit-learn：Pythonでの機械学習」
> ? ry 、ｖｏｌ。１２、ｐｐ．２８２５２８３０， ry 。
> 機械学習研究ジャーナル, vol. 12, pp. 2825 2830, ２０１１。
> [17]
> F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay,
> `` Scikit-learn: Machine learning in Python, ''
> Journal of Machine Learning Research2011.
> [18]
> ? ry SPNシン、
> MFE Rohmer、SPN Singh,
> 「V-rep：多用途でスケーラブルなロボットシミュレーションフレームワーク」
> ? Procで。インテリジェント ry （IROS）、2013年。
> インテリジェントロボットとシステムに関する国際会議（IROS）議事録、2013年。
> [19]
> S. Dasgupta、D. Goldschmidt、F. Wrgtter、およびP. Manoonpong、
> 「歩行ロボットの複雑な行動のためのシナプス適応およびcpgベースの制御を用いた分散リカレントニューラルフォワードモデル
> ? ry 、ｐ。 2015年10月10日。
> Neuroroboticsのフロンティア、vol。９, p. 10, 2015.
> ? ry 。入手可能： http : // ry
> [オンライン]。有効: http://www.frontiersin.org/article/10.3389/fnbot.2015.00010

--
YAMAGUTIseisei ( str_h__namae = { "sei" => "山口", "mei" => "青星" } )

http://yahoo.jp/HsDIGs?#__Sponsor_-_2TB_0S03224
heiwa furiisekkusu 1tu

訂正 Subleq ベースのシンプルなマルチプロセッサコンピュータ
>値が0より小さい、等しい、またはより大きい場合の簡潔なチェックは次の通りで :

YAMAGUTIseisei

unread,

Sep 2, 2019, 10:58:22 AM9/2/19

YAMAGUTIseisei wrote:
> PR : シンギュラリティ系有料メールマガジン発行を構想致しております
> 無料メールマガジン版 ( 別途有料版開始時打切 )
> http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7
>
>

> 設計概要自体の代りに周辺情報 ( 論文翻訳等 ) をお届け致しております
>
>
>
> YAMAGUTIseisei wrote:
>>> 体細胞 : 細胞体
>> 細胞層 : セルラレイヤ
>>> 配列 : シーケンス
>>> 遠位樹状近位樹状基礎樹状基本樹状先端樹状頂端樹状心尖樹状 :
>>> 末梢樹状主要樹状基底樹状基底樹状尖端樹状尖端樹状尖端樹状 ( 尖樹状 )
>>> :
>>>>Google 翻訳 http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083
>>>>
>>>>
>>> :
>>>> なぜニューロンは何千ものシナプスを持っているのか、新皮質に於けるシーケンス記憶の理論
>>>>
>>>> Jeff Hawkins *、Subutai Ahmad Numenta、Inc、レッドウッドシティー、カリフォルニア州、アメリカ
>>>> *対応する著者のEメール：jhawkinsATnumenta、sahmadATnumenta
>>>>
>>>>
>>>>キーワード：新皮質、予測、新皮質理論、アクティブな樹状突起、シーケンス記憶
>>>>
>>>> この原稿のバージョンは、2015年10月30日現在で公開されています。
>>>>注意として図と表はこのPDFの最後にあります。
>>>>最新の引用情報については ry

この原稿のバージョンは、2015年10月30日現在で公開されています。
? 図 ry 。
注意として図と表はこのPDFの最後にあります。
最新の引用情報については著者に連絡してください。

1

抽象
新皮質ニューロンは何千もの興奮性シナプスを持っています。
? ニューロンがそれほど ry をどのように統合し、これがどのような大規模なネットワーク行動を可能にするのかは謎です。
それほど多くのシナプスからの入力をニューロンがどの様に統合しこれがどの様な種類の大規模ネットワーク動態を可能たらしめるのかは謎です。
? ry 特性がニューロンが複数のパターンを認識することを可能にすることが ry 。
樹状突起の非線形特性が複数パターン認識をニューロンに可能にさせる事が以前に提案されている。
? 本稿では、アクティブな樹状突起に沿って配置 ry ニューロンは、たとえ大量 ry パターンの変動があっても、正確 ry に細胞活動の何百という独特のパターンを認識することを学ぶことができることを示すことによってこのアイデアを拡張 ry 。
本稿に於てこのアイデアを、セルラアクティビティの何百ものユニークパターンをアクティブな樹状突起に整然配置された数千のシナプスを持つニューロンが例え大量のノイズやパターンバリエーションがあろうとも正確にそして頑強に認識する事を学習する事ができる事を示す事によって、我々は拡張します。
? 次に、ニューロン ry 電位につながるニューロン ry モデルを提案し、ニューロンの古典的な受容野 ry 活動電位を直ちに生成することなく、 ry として機能する。
そして、ニューロンによって認識されたパターンのいくつかが活動電位を誘発するニューロンモデル、を我々が提案しニューロンの古典的受容野を定義する一方で、ニューロンによって認識されるパターンの大部分は、活動電位の即時生成なしに、ニューロンをわずかに脱分極することによって予測としての活動をする。

次に、これらの特性を持つニューロンに基づいたネットワークモデルを提示し、ネットワークが時間ベースのシーケンスのロバストモデルを学習することを示します。
? ry 類似性と推論および行動における配列記憶の重要性を考えると、我々はこの形式の配列記憶 ry 。
新皮質全体の興奮性ニューロンの類似性と、推論及び振舞いに於けるシーケンス記憶の重要性と、に鑑み我々はこの形式のシーケンス記憶が新皮質組織の普遍的な性質であることを提案する。
? ry さらに、新皮質の細胞層が推論と振る舞いの異 ry ために同 ry バリエーションを実装することを提案する。
我々は更に、同じシーケンスメモリアルゴリズムのバリエーションを推論と振舞いとの異なる側面を達成する為に新皮質内の細胞レイヤが実装している事を提案する。
? ry ニューロンとネットワークモデルは、ネットワークが細胞活性化のまばらな分散コードを使用する限り、広 ry 。
我々が導入するニューロンのとネットワークのモデルは、セルラアクティベーションの疎分散コードをネットワークが使用する限り、広範囲のパラメータにわたってロバストです。
? ry 数に比例して変化します。
ネットワークのシーケンス容量は、各ニューロンのシナプス数に伴ってリニアにスケールします。
? ry したがって、ニューロンは感覚刺激と運動シーケンスの多くの ry を必要とします。
従って、感覚刺激と運動シーケンスとの中の多くの時間的パターンを学ぶために何千ものシナプスをニューロンは必要とします。

1。前書き
? 新皮質の ry 。
新皮質内の興奮性ニューロンは何千もの興奮性シナプスを持っています。
? 細胞体に最も近い近位シナプスは、細胞 ry 。
近位シナプス、これらは細胞体に最も近い、は細胞が活動電位を生成する可能性に比較的大きな影響を与える。
しかしながら、大部分のシナプスは遠位であり、または細胞体から遠く離れている。
? ry 活性化は、体細胞にほとんど影響を及ぼさず、何千年もの遠位シナプスが細胞の応答を決定するのに重要な役割を果たすことができることを長年にわたって想像するのは困難 ry 。
単一の遠位シナプスの活性化は細胞体に於て小さな影響を持っておりそして、細胞の応答を何千もの遠位シナプスが決定するに於て重役を演じる事がどうすれば可能か、を想像するのは長年困難でした（Major et al。、2013）。
? ry 枝が能動的な処理要素であることがわかりました。
樹状突起の分枝が能動的なプロセッシング要素であると我々は今知っています。
? ry 、局所的な樹状 ry スパイク、およびその結果としての有意で持続的な体細胞の脱分極を引き起こす可能性がある（ ry 。
空間的および時間的に近接した範囲内でのいくつかの遠位シナプスの活性化は、ローカル樹状突起NMDAスパイク及びその結果として、細胞体の有意且つ持続的な脱分極を誘発する事ができる（Anticら、2010年; Majorら、2013年）。
これにより、樹状突起分枝が独立したパターン認識装置として作用することを示唆する研究者もいます（Poirazi et al。、2003; Polsky et al。、2004）。
? しかし、樹状突起 ry かかわらず、なぜニューロン ry 皮質の処理において何をするのかは不明である。
樹状突起の能動特性を理解する上で多くの進歩があったにも関わらずその事は、何故ニューロンがそんなに多くのシナプスを持っているのか、そしてそれらの正確な役割が記憶および皮質処理に於て何なのかが謎であると突き付ける。

? なぜニューロンがアクティブな樹状突起を持っているのかという理論 ry スパイクニューラルネットワーク ry 使われているもののような、 ry ネットワークは、アクティブな樹状 ry 使用します。そして、それらが実際の神経組織の重要な機能的側面を欠いていることを強く示唆します。
アクティブな樹状突起をニューロンが持っているのは何故か、という理論を欠いている、ディープラーニング（LeCun et al。、2015）やスパイキングニューラルネットワーク（Maass、1997）で使われている様なほとんどすべての人工ニューラルネットワークが、アクティブな樹状突起のない、そして非現実的に少ないシナプスのある人工ニューロンを使用している事は、実際の神経組織の鍵となる機能的側面を彼らが見失っている事を強く示唆しています。
? ry 理解し、新皮質 ry したいのであれば ry それらの何千ものシナプスおよび活動的樹状 ry を理解 ry 。
新皮質がどのように機能するのかを理解しそして新皮質と同じ原理で機能するシステムを構築したいと我々が希望するのであれば、生物学的ニューロンがそれらのシナプス数千個及びアクティブな樹状突起をどのように使用するかを我々は理解する必要があります。
? ry 、ニューロンは単独では理解 ry 。
もちろん、ニューロン群は隔離してあっては理解できません。
? それぞれ何千ものシナプスを持つニューロンのネットワークが共通の目的に向かってどのように協調して機能するのかという補完的な理論も必要です。
何千ものシナプスを各々伴うニューロンの、ネットワークがどの様にして共通の目的に向かって共に機能するのかという補完的な理論をも我々は必要とします。

本稿ではそのような理論を紹介します。
? 最初に、我々は、活性な樹状突起と何千ものシナプスを持つ ry が、何百という独特のパターンの細胞活性を認識できることを示 ry 。
最初に、アクティブな樹状突起と、何千ものシナプスと、を持つ典型的な錐体ニューロンが、細胞アクティビティの何百というユニークパターンをどの様にして認識できるか、を我々は示します。
? ry 我々は、全体 ry がまばらである限りニューロンが大量 ry 下でも数百 ry を認識できることを示す。
全体的な神経活性が疎である限り、大量のノイズおよび変動性の存在下でも、数百のパターンをニューロンが認識できる、事を我々は示す。
次に、樹状木のさまざまな部分への入力がさまざまな目的に役立つニューロンモデルを紹介します。
このモデルでは、ニューロンの遠位シナプスによって認識されるパターンが予測に使用されます。
? 各ニューロンは、細胞が活動的になる前にしばしば起こる何百ものパターンを認識することを学 ry 。
細胞がアクティブになるよりも、しばしば先行する何百ものパターン、を認識する事を各ニューロンは学びます。
? ry 学習パターン ry 。
これらの学習済パターンのいずれかを認識することは、活動電位を直接引き起こすことなく細胞を脱分極することによる予測として作用する。
最後に、この性質を持つニューロンのネットワークがパターンのシーケンスをどのように学習し、思い出すかを示します。
? ネットワークモデルは、脱分極したニューロンが素早く発火し、近くの他のニューロンを抑制することに依存しているため、ネットワークの活性化が予測に偏っています。
脱分極ニューロンが迅速発火して他の近傍ニューロンを抑制する、事にネットワークモデルが依存しており、従って、ネットワークのアクティベーションをそれの予測の方へバイアスします。
シミュレーションを通じて、シーケンスメモリネットワークがオンライン学習、複数同時予測、および堅牢性などの多数の望ましい特性を示すことを説明します。

? ry 推論と行動のため ry 重要性を考えると、我々は、シーケンスメモリが ry 特性であり、したがって ry 表すことを提案する。
新皮質全体のニューロンの類似性と、推論と振舞いの為のシーケンスメモリの重要性と、を考えると、シーケンス記憶が新皮質全体の神経組織の特性であり、従って新皮質がどのように機能するのかを理解するための新しく重要な統一原理を表す、事を我々は提案する。

2。結果

2.1。ニューロンは複数のパターンを認識する
? ニューロンはそのシナプス上の単一パターンの活動を認識すると考えるのが一般的です。
一般常識的に考えられている単一ニューロンとしては、それのシナプスに於けるアクティビティの単一パターンを認識します。
? 「概念ニューロン」 ry 。
「ポイントニューロン」と呼ばれることもあるこの概念は、ほとんどすべての人工ニューラルネットワークの基礎を形成しています（図1A）。

[図1ここについて原稿の終わりを見る]

? 活動的樹状突起は、ニューロンの多くの独特なパターンを認識するニューロンの異なる見解を示唆している（ ry 。
ユニークパターン多数をニューロン群は認識するがそこに於て、アクティブな樹状突起はそのニューロンの異なる見解を示唆する（Larkum and Nevian、2008; Poirazi et al。、2003; Polsky et al。、2004）。
実験結果は、樹状突起上の空間的に近接した8-20個のシナプスの同時活性化が非線形的に結合し、NMDA樹状突起スパイクを引き起こすことを示している（Larkum et al。、1999; Major et al。、2013; Schiller and Schiller、2001; Schiller et al。、2000）。
? ry したがって、少数の隣接シナプスがパターン ry 。
従って、近隣シナプスの小セットがパターン検出器として機能します。
? その結果、細胞 ry 突起上 ry シナプスが一連の独立したパターン検出器として機能することになります。
それは、細胞の樹状突起の上の何千ものシナプスが独立パターン検出器のセットとして活動する事、を支援します。

2

? ry 検出されると、体細胞にNMDAスパイクとそれに続く脱分極が起こります。
これらのパターンのいずれかの検出は、 NMDAスパイクとそれに続く脱分極を細胞体に於て起こします。

? 8 20個のシナプスが、大量の細胞の活動パターンを確実に認識できないように ry 。
細胞の大集団に於てのアクティビティのパターンの確実な認識をシナプス 8-20 個ではできない、様に思われるかもしれません。
? ry がまばらであるならば ry 。すなわち、人口に比べて活動的なニューロンはほとんどありません（ ry 。
しかしながら、認識されるべきパターンが疎であるならば、ロバストな認識は可能である。即ち、総数比で僅かなニューロンがアクティブです（Olshausen and Field、2004）。
たとえば、ある時点で1％（2,000）のセルがアクティブになっている200Kセルの集団を考えます。
? ry Kの細胞に ry ようにします。
特定のパターンが200Kの細胞群に発生したときにニューロンが検出するように我々は望みます。
ニューロンの樹状突起のセクションが2,000個のアクティブセルのうちのわずか10個に新しいシナプスを形成し、NMDAスパイクを生成するためのしきい値が10である場合、10個のシナプスすべてが同時に活性化を受けると樹状突起はターゲットパターンを検出します。
樹状突起は、同じ10個のアクティブセルを共有する他の多くのパターンを誤って検出する可能性があることに注意してください。
? ry 場合、10個のシナプスが異なる ry アクティブ ry 。
しかし、パターンがまばらである場合、異なるランダムパターンに対して 10 シナプスがアクティブになる可能性はわずかです。
? ry では9.8 ry 。
この例では僅か 9.8 x 10 ^ -21です。

誤った一致の確率は、次のように正確に計算できます。
? まばらなパターン ry 場合、与えられた時点でのセル ry n、その集団内のアクティブ ry 。
スパースパターンa≪ nの場合、セル集団のサイズをn、その集団内の与えられた時点でのアクティブセルの数をaとします。
樹状突起セグメント上のシナプスの数をｓとし、ＮＭＤＡスパイク閾値をθとする。
? 少なくともθ個のシナプスがアクティブになる場合、すなわち少なくともθ個のシナプスが現在アクティブなセルと一致する場合、セグメントはパターンを認識すると言 ry 。
シナプス少なくともθ個がアクティブになる場合即ち、シナプス少なくともθ個と現アクティブセルとが一致する場合、パターンをセグメントが認識すると我々は言います。

? ry ます。
パターンのランダムな分布を仮定すると、誤った一致の正確な確率は次の式で与えられます :

! !!!
ラ

（1） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#3

分母は、単純にＮ個の全細胞の集団中のａ個の活性細胞を含む可能なパターンの総数である。
分子は、1つの樹状セグメント上のθ個以上のシナプスに接続するパターンの数を数えます。
? ry の詳細 ry 2015）にあります。
この方程式のより詳細な説明は（Ahmad and Hawkins、2015）内で見付ける事ができます。

? この式は、非線形樹状セグメントがサブ ry パターン内の少数のセルだけ ry ロバストに分類 ry 。
この式は、サブサンプリング（分類されるべきパターン、の中の少数のセル、だけにシナプスを形成すること）によってパターンをロバストに非線形樹状セグメントが分類できることを示している。
S1 Textの表Aは、式（1）から計算された代表的な誤り率を示しています。

NMDAスパイクを生成するのに必要な数よりも多くのシナプスを形成することによって、認識はノイズと変動に対して頑強になります。
? ry 必要な2倍のシナプスを20個形成すると、50％のセルが変更されても樹状 ry できます。または非アクティブ
たとえば、樹状突起のNMDAスパイクしきい値が10で、認識したいパターンに必要なシナプスの 2 倍たる 20 個を形成すると、例え 50 % のセルがもし変更されるか又は非アクティブであるか、の場合であれども樹状突起はターゲットパターンを認識できます。
? ry a false positive error.
余分なシナプスはまた誤検知エラーの可能性を高めます。
? エラーの可能性は高まりましたが、式（1）は、パターンがまばらであるときにはまだ小さいことを示 ry 。
パターンが疎である時には、エラーの可能性が増大しようともそれはまだ些細、であると式（1）は示しています。
? ry 2倍にして50 ry 。
上記の例では、シナプスの数を2倍にしそれ故50％なノイズ許容度を導入すると、エラーの可能性はわずか1.6 x 10 ^ -18まで増加します。
S1テキストの表1Bに、シナプス数がしきい値を超えたときの代表的なエラー率を示します。

与えられたパターンを認識するシナプスは、樹状セグメント上に共存する必要があります。
それらが互いの40μm以内にある場合、NMDAスパイクを生成するのにわずか8つのシナプスで十分です（Major et al。、2008）。
シナプスが樹状突起セグメントに沿って広がっている場合、最大20個のシナプスが必要とされる（Major et al。、2013）。
樹状セグメントには数百のシナプスを含めることができます。したがって、各セグメントは複数のパターンを検出できます。
? 異なるパターン ry が樹状 ry 上で一緒に混合されている場合、異なるパターンからのシナプスを同時活性化することによってエラーのさらなる可能性をもたらす。
異パターンを認識するシナプスがもしも一緒に樹状セグメント上で混交されているならば、異パターン由来なシナプス同時活性化による更なる誤り可能性を招く。
? ry と認識されるパターンの希薄さによって異なります。
このタイプのエラーの可能性は、樹状突起セグメントを共有するシナプスセットの数と被認識パターン疎性と、に依存します。
? 広い範囲の値に対して、 ry 。
広範囲の値に対しての、この種のエラーの可能性はまだ低いです（S1テキストの表C）。
? ry は多少正確 ry には40 ry 、やや不正確 ry と混合する ry 。
したがって、特定のパターンを認識するためのシナプスの配置は幾分正確です（それらは同じ樹状セグメント上にあり、理想的には相互に40μm以内にある必要があります）が、幾分不正確でもあります（他のシナプスと混交するとエラーを起こしにくい）。

? ry するために平均 ry 割り当てられ、ニューロンが6,000個のシナプスを持つと仮定すると、細胞は約300個の異なるパターンを認識 ry 。
各パターンを認識する為の平均20個のシナプスが割当てられ、そしてそのニューロンはシナプスを 6000 個持つ、と仮定すると、約300個の異パターンを細胞は認識することができます。
? これはおおよその概算 ry は、多数の細胞内で何百ものパターンを確実に認識することを学習できること ry 。
これはラフな概算ですが、アクティブな樹状突起を持つニューロンは、何百ものパターンを確実に認識する事を細胞の大集団の中にあって学習できる、事が明らかになります。
これらのパターンのいずれかを認識すると、細胞が脱分極します。
新皮質内のすべての興奮性ニューロンは何千ものシナプスを有し、そして我々が知る限りでは、それらはすべて活性樹状突起を有するので、各興奮性新皮質ニューロンは何百ものパターンの神経活動を認識する。

? ry なく、代わり ry ネットワークがどのように予測を行い、シーケンスを学習するかに役割を果たすことを提案 ry 。
次のセクションでは、ニューロンによって認識されるパターンの大部分が活動電位に直接つながるのではなく代わりに、ニューロンのネットワークが予測を行ってシーケンスを学習する役割をどの様に果たすかを提案します。

? ry 3つの源
２．１．１。皮質ニューロンへのシナプス入力の3つのソース

ニューロンは、樹状木の異なる部分に分離されているさまざまなソースから興奮性入力を受け取ります。
図１Ｂは、新皮質における最も一般的な興奮性ニューロンである典型的な錐体細胞を示す。
セルへの入力を3つのゾーンに分けて示します。
? 近位ゾーン ry 。
近位 ( 主要 ) ゾーンはフィードフォワード入力を受け取る。
? 基底帯は、大部分が同じ皮質領域内の近 ry からの文脈的入力を受け取る（ ry 。
基底ゾーンは文脈的入力の大部分を、同じ皮質リージョンの中の近くの細胞から受取る（Petreanuら、2009年； Rahら、2013年； Yoshimuraら、2000年）。
? 心尖部は ry 。 ry 、棘状星細胞です。 ry から先端の樹状突起 ry 考えられます。）
尖端ゾーンはフィードバック入力を受け取る（Spruston、2008）。（新皮質で2番目に一般的な興奮性ニューロンは、有棘星状細胞です。錐体細胞から尖端樹状突起を除いたものに似ていると考えられると我々はサジェストします。）
我々は、ニューロン上のシナプス統合の３つのゾーン（近位、基底、および頂端）が以下の目的を果たすことを提案する。

近位シナプスは細胞の古典的受容野を定義する

? 近位樹状 ry シナプスは、体細胞に比較的 ry 。
主要樹状突起（典型的には数百）上のシナプスは、細胞体に於ての比較的大きな影響を及ぼし、したがって、ニューロンの基本的な受容野反応を定義するのに最適な位置にある（Spruston、2008）。

3

? ry が身体活動 ry 入力がまばらにアクティブ ry 。
近位シナプスのサブセットの同時活性化がもしも細胞体活動電位を生成するのに十分である場合、および近位シナプスへの入力がもしもスパース的アクティブである場合、近位シナプスは、先に論じたのと同じ方法で複数の固有のフィードフォワードパターンを認識する。
? ry の和集合として ry 。
したがって、細胞のフィードフォワード受容野はフィードフォワードパターンの連合として考えることができます。

? 基礎シナプスは連続的に遷移を学ぶ
基底シナプスはシーケンス内遷移を学習する

? ry 、ニューロン ry 突起がニューロン ry する細胞活動のパターンを認識することを提案し、このようにして基底 ry は活動パターン ry 。
我々は、ニューロン発火に先行する細胞アクティビティパターンをニューロンの基底樹状突起が認識する事を提案、この方法で基底樹状突起はアクティビティパターン間の遷移を学習し記憶する。
基底樹状突起上でパターンが認識されると、NMDAスパイクが発生します。
? ry スパイクによる脱分極は体細胞に到達するまでに振幅が減衰するため、基底樹状突起がパターンを認識すると体細胞 ry するが体細胞活動電位を生成 ry に十分ではない ry ）。
NMDAスパイクそれ単一での脱分極に於てはそれが細胞体到達までに時間と共に振幅減衰その為、パターン認識時に於て基底樹状突起は、細胞体を脱分極するが細胞体活動電位生成には不充分である（Antic et al。、2010; Major et al。、2013）。
? ry 閾値下偏光解消が ry 。
我々は、この閾値下脱分極が細胞の重要な状態であることを提案する。
これは、セルがまもなくアクティブになり、ネットワークの動作に重要な役割を果たすという予測を表しています。
? ry 、その後十分な ry 。
わずかに脱分極した細胞は、そうでない場合に充分なフィードフォワード入力を受け取った場合よりも早く発火します。
? 早く発射する ry 入力に対して非常にまばらな活動パターン ry 。
早く発火することにより、それは近隣のセルを抑制し、正しく予測された入力達へと報いた過疎アクティブパターンを作り出す。
? ry ついては、後で詳しく説明します。
このメカニズムについて、後のセクションの中で我々は詳しく説明します。

? 頂端シナプス ry 期待を ry
尖端シナプスはトップダウンの期待 ( 訳注 : 待望予想 ) を呼び起こす

ニューロンの先端樹状突起もまた、パターンを認識するとNMDAスパイクを生成します（Cichon and Gan、2015）。
頂端NMDAスパイクは、体細胞に直接影響を与えません。
? その代わりに、 ry を引き起こす可能性がある（ ry 。
その代わり、それは先端樹状突起におけるCa 2+スパイクを誘発する事ができる（Golding et al。、1999; Larkum et al。、2009）。
単一の頂端Ｃａ２＋スパイクは体細胞を脱分極するが、典型的には体細胞活動電位を生成するのに十分ではない（Ａｎｔｉｃら、２０１０）。
? 頂端のCa 2+スパイク、基礎NMDAスパイク、および体の活動電位の間の相互作用は、進行 ry 条件下 ry 、頂端樹状 ry 。
尖端 Ca 2+ スパイクと、基底 NMDA スパイクと、細胞体活動電位と、の間のインタラクションは、進行中の研究の分野です（Larkum、2013）。しかし、多くの条件の下で、尖端樹状突起上の認識されたパターンは細胞を脱分極し、したがって基底樹状突起上の認識されたパターンと同様の効果を有すると言える。
我々は、頂端樹状突起によって引き起こされる脱分極がトップダウン期待値を確立するために使用されることを提案する。これは別の予測形態として考えることができる。

２．１．２。 HTMモデルニューロン

図１Ｃは、我々が我々のソフトウェアシミュレーションで使用する錐体ニューロンの抽象的なモデルを示す。
セルの樹状突起をしきい値一致検出器のセットとしてモデル化します。それぞれに独自のシナプスがあります。
樹状突起／一致検出器上のアクティブなシナプスの数がしきい値を超えると、セルはパターンを検出する。

一致検出器は、錐体細胞の近位樹状突起、基底樹状突起、および頂端樹状突起に対応する3つのグループに分けられる。
? ry および点状ニューロン ry 。
このモデルニューロンを生物学的ニューロン及びポイントニューロンと区別するために「HTMニューロン」と呼びます。
HTMはHierarchical Temporal Memoryの略語で、私たちの新皮質モデルを説明するのに使われています（Hawkins et al。、2011）。
? ry あたり最大40個のシナプスを持つ128個の樹状突起/一致検出器を持 ry 。
この論文のシミュレーションで使用したHTMニューロンは、樹状突起あたり 40 以下個のシナプスを持つ128個の、樹状突起/一致検出器、を持っています。
明確にするために、図１Ｃはわずかな樹状突起およびシナプスのみを示す。

2.2。ニューロンのネットワークはシーケンスを学ぶ

? 新皮質のすべての組織は活動的な樹状 ry ニューロンで構成されているので、それは新皮質がするすべての根底にある共通 ry 。
アクティブな樹状突起と何千ものシナプスとを持つニューロンで新皮質の全組織が構成されているのでそれは、新皮質がする全ての事の根底に横たわる共通のネットワーク原理があることを示唆しています。
? これは、どのようなネットワーク特性がそれが感覚的推論、予測、言語、および運動計画の必要な構成要素であるほど基本的であるかという問題につながります。
この事は、感覚推論と、予測と、言語と、加えて運動プランニングと、の必要構成要素である程に基本的なそれ、とはどの様なネットワーク特性であるかという問いへと導きます。

? ry 基本的な操作は ry 。
我々は、全ての新皮質組織の最も基本的なオペレーションはパターンのシーケンスの学習と想起であることを提案します（Hawkins and Blakeslee、2004）。これはKarl Lashleyが「脳生理学の最も重要で最も無視されている問題」と有名に呼んでいたものです（Lashley、1951年）。
? ry 細胞層が共通の配列記憶アルゴリズムの変形形態を実装すること ry 。
より具体的には、本発明者らは、新皮質の各細胞レイヤが共通シーケンス記憶アルゴリズムのバリエーションを実装している事を提案する。
我々は、セルラレイヤが異なる目的のためにシーケンスメモリを使用することを提案する。それが、セルラレイヤがサイズ及び接続性のような詳細において異なる理由である。
? 本稿では、そのバリエーションを詳しく説明せずに、基本的なシーケンスメモリアルゴリズムであると考えていることを説明します。
本稿で我々は、我々が信じる基本的シーケンスメモリアルゴリズムを、そのバリエーションの細緻にまで立入らずに、示します。

我々は、新皮質をモデル化するために我々のネットワークに要求されるいくつかの特性を列挙することにより、配列記憶の探索を始めた。
1）オンライン学習
学習は継続的でなければなりません。
世界の統計が変化した場合、ネットワークは新しい入力ごとに徐々にそして継続的に適応する必要があります。
2）高次予測
? ry シーケンスで正 ry をするには、過去 ry 。
複雑なシーケンスを伴って正しい予測を成すには、過去からの文脈情報を取り込む能力が必要です。
ネットワークは、最良の予測を行うために必要な時間的コンテキストの量を動的に決定する必要があります。
「高次」という用語は、この性質を有する「高次マルコフ連鎖」を指す。
3）複数同時予測
? ry 、重複した ry 。
自然データストリームには、多くの場合、オーバラップした分岐シーケンスがあります。
したがって、シーケンスメモリは同時に複数の予測を行う必要があります。
? 4）地域学習 ry
4）ローカル学習ルール
? シーケンスメモリは、各ニューロンにローカルな学習規則のみを使用する必要があります。
シーケンス記憶が使用する学習規則は各ニューロンにローカルなものだけでなければなりません。
? グローバルな目的関数を必要と ry 。
グローバルオブジェクト的関数を必要とせずに、規則は空間的にも時間的にも局所的でなければなりません。
5）堅牢性
メモリは、高レベルのノイズ、ニューロンの損失、および入力の自然な変動に対する堅牢性を示すはずです。
これらの条件下でのパフォーマンスの低下は緩やかになるはずです。

これらすべてのプロパティは、データを連続的にストリーミングするという状況で同時に発生する必要があります。

4

２．２．１。ミニコラムとニューロン：2つの表現

高次シーケンスメモリは2つの同時表現を必要とします。
一方はネットワークへのフィードフォワード入力を表し、他方は特定の時間的文脈におけるフィードフォワード入力を表す。
? ry 集団における活性化のまばらなパターン ry 。
この要件を説明するために、2つの抽象シーケンス「ABCD」と「XBCY」を検討します。各文字は、ニューロンの母集団の中のアクティベーションのスパースパターンを表します。
? ry が学習 ry 」と共に提示 ry 」と共に提示 ry 。
これらのシーケンスが一旦学習されると、ネットワークは、シーケンス「ＡＢＣ」を提示されたときに「Ｄ」を予測し、シーケンス「ＸＢＣ」を提示されたときに「Ｙ」を予測するはずである。
? したがって、サブ ry 」の間の内部表現は、2つの場合で異なる必要があります。そうでないと、「C」が表示された後に正しい予測を行うことが ry 。
従って、その 2 つの場合に於てのそれらサブシーケンス「BC」の間のそれら内部表現は異ならねばならない。さもなくば「C」提示後に、正しい予測を成す事ができません。

? ry 細胞層にどのように表れているかを示していることを示 ry 。
図2は、これら2つの表現が皮質ニューロンの細胞層に表れている事を我々がどの様に提案しているかを示しています。
図２のパネルは、新皮質の単一細胞層を通るスライスを表す（図２Ａ）。
わかりやすくするために、パネルは大幅に簡略化されています。
? 図２Ｂは、シーケンスが学習される前にネットワークが２つ ry をどの ry かを示す。
2 つの入力シーケンスをネットワークがシーケンス学習前にどの様に表すかを図 2B は示す。
図２Ｃは、シーケンスが学習された後にネットワークがどのように同じ入力を表すかを示す。
? ry は、まばらなアクティブなミニカラムのセット ry 。 ry 複数の細胞層に ry のみを参照 ry )
ネットワークへの各フィードフォワード入力は、アクティブミニカラムのスパースセットに変換されます。 ( 新皮質のミニカラムは複数のセルラレイヤにまたがっている。ここでは、1つの細胞レイヤの中の1つのミニカラム内のセルのみを我々は参照しています。 )
ミニカラム内のすべてのニューロンは、同じフィードフォワード受容野を共有しています。
? ry ミニコラム内のすべてのセル ry 。
予期しない入力が到着すると、選択されたミニカラムの中の全セルが入力パターンを認識してアクティブになります。
? ry は偏光解消されることになる。
しかしながら、以前に学習されたシーケンスの文脈では、ミニカラム内のセルのうちの１つまたは複数は脱分極する事になる。
? ry を阻害します。
脱分極細胞は活動電位を生成する最初の細胞になり、近くの他の細胞を抑制します。
したがって、予測された入力は、特定の位置において、特定の順序で、特定の要素に固有の非常にまばらなパターンの細胞活性化をもたらす。

[ここの図2原稿の終わりを見る]

? ２．２．２。基礎 ry
２．２．２。基底シナプスはシーケンス記憶の基礎である

この理論では、細胞はそれらの基底シナプスを使って入力パターン間の遷移を学習します。
新たなフィードフォワード入力のたびに、いくつかの細胞はそれらの近位シナプスを介して活性になる。
? ry そして再びパターンを見ると、脱分極し、それによって次 ry おけるそれら自身 ry 。
他の細胞は、それらの基底シナプスを使用して、この活性パターンを認識することを学び、そしてそのパターンを再び見ると、脱分極しそれによって、次の入力に於ける彼ら自身のフィードフォワード活性化を予測する。
フィードフォワード入力はセルをアクティブにし、基礎入力は予測を生成します。
次の入力が現在の予測と一致する限り、シーケンスは継続します（図3）。
図３Ａは、アクティブセルと予測セルの両方を示しており、ネットワークは以前に学習したシーケンスに従う。

[ここの図3原稿の終わりを見る]

多くの場合、ネットワークは複数の同時予測を行います。
例えば、シーケンス「ABCD」と「XBCY」を学習した後、システムをあいまいなサブシーケンス「BC」だけにさらすとします。
? ry 、システムに「D」と「Y」の両方を同時に予測させます。
この場合、「D」と「Y」との両方を同時にシステムが予測する事を我々は欲する。
図３Ｂは、入力があいまいなときにネットワークがどのようにして複数の予測を行うかを示す。
? 誤りの可能性が低いときに行うことができる同時 ry 。
誤り可能性小なまま成せる同時予測の数も、式（１）によって計算することができる。
予測は非常にまばらである傾向があるので、ネットワークが混乱することなく同時に何十ものパターンを予測することは可能です。
? ry 正しいスパース表現 ry 。
入力がいずれかの予測に一致すると、正しい過疎表現になります。
? ry 場合、列内のすべてのセル ry なり、予期しない入力を示 ry 。
入力がどの予測にも一致しない場合、カラム内の全セルがアクティブになり、予期せぬ入力であると示します。

? ミニコラム内 ry の基本シナプス ry 。
ミニカラム内のすべてのセルは同じフィードフォワード応答を共有しますが、それらの基底シナプスは異なるパターンを認識します。
? ry 、ミニコラム内 ry レベルが低くなります。
したがって、ミニカラム内のセルは、学習された異なる一時的なコンテキストで一意に応答し、入力が予想される場合は全体的アクティビティのレベルが疎になります。
これらの属性は両方とも観察されている（Martin and Schr er、2013; Vinje and Gallant、2002; Yen et al。、2007）。

図３Ａの最後のパネルのセルのうちの１つについて、セルが予測を行うために使用した３つの接続を示す。
? ry 、細胞は活動細胞 ry 。
実際のニューロンでは、そして我々のシミュレーションでは、細胞 1 つはアクティブ細胞のより大きな集団のサブセットへの15から40の接続を形成するでしょう。

２．２．３。頂端シナプスはトップダウンの期待を生み出す

? 新皮質領域間のフィードバック軸索は、細胞体 ry 5に ry 細胞の先端樹状突起とシナプス（層1）を形成することが多い。
シナプス ( レイヤ 1 ) 形成を新皮質リージョン間のフィードバック軸索は、細胞体が層2、3、および5 内にある錐体神経細胞、の尖端樹状突起と共にすることが頻繁である。
これらのフィードバック接続が何らかの形の期待またはバイアスを実行すると長い間推測されてきた（Lamme et al。、1998）。
我々のニューロンモデルは、新皮質におけるトップダウンの期待のメカニズムを示唆しています。
図4は、頂端樹状突起への安定したフィードバックパターンが、シーケンス内の複数の要素をすべて同時に予測できる方法を示しています。
新しいフィードフォワード入力が到着すると、それは予測シーケンスの一部として解釈されます。
? ry に偏らせます。
フィードバックは入力を特定の解釈にバイアスします。
繰り返しますが、パターンはまばらなので、多くのパターンを同時に予測できます。

[ここの図4原稿の終わりを見る]

したがって、同時に発生する2種類の予測があります。
? ry 、先端側樹 ry の配列要素 ry 。
基底樹状突起への横方向の連結は次の入力を予測し、尖端側樹状突起へのトップダウンの連結は複数のシーケンス要素を同時に予測する。
? ry ）、おそらく推論 ry より微妙な解釈につながる ry 。
先端樹状突起と基底樹状突起との間の生理学的相互作用は活発な研究分野であり（Larkum、2013）、推論や予測におけるそれらの役割のよりニュアンス重視な解釈を恐らくリードするでしょう。
ただし、図2、図3、および図4に示されているメカニズムが、その最終的な解釈において引き続き役割を果たす可能性が高いことを提案します。

２．２．４。シナプス学習則

私たちのニューロンモデルは、ほとんどのニューラルモデルが学習するための学習則に2つの変更を必要とします。
? 第一に、学習は「潜在 ry 成長させ除去することによって行われる（ ry 。
第一に、「潜在的な」シナプスのプールからシナプスを成長させる事と除去する事とによって学習が起きる（Chklovskii et al。、2004）。
第二に、ヘブの学習とシナプスの変化は、ニューロン全体ではなく、樹状突起セグメントのレベルで起こる（Stuart and H sser、2001）。

潜在的シナプス
? ニューロンが活動のパターン ry パターンで活動的な細胞のサブセットに接続する一組の並置 ry ）を必要とする。
ニューロンがアクティビティパターンを認識するためには、認識されるパターンに於てアクティブな細胞、のサブセットへと接続する並置されたシナプス（典型的には１５から２０）一組を必要とする。

5

? ry された一連の新しいシナプスの形成によって ry 。
新しいパターンを認識するための学習は、樹状セグメント上に配置された新シナプスのセットの編成によって達成されます。

? 図5は、シミュ ry おける新しいシナプスの形成をモデル化する方法を示しています。
図 5 が示すのは、シミュレートされたHTMニューロンに於ける、新シナプスの編成を、我々がモデル化する方法です。
? 各樹状突起セグメントについて、樹状 ry セグメントとシナプスを形成する可能性があるネットワーク内の他の細胞との間の一連の「潜在的な」シナプスを維持する（ ry 。
樹状突起セグメントと、そのセグメントとのシナプスを潜在的に可能としたそのネットワーク内他細胞と、の間の「潜在的」シナプスセットを我々は各樹状突起セグメントに維持する（Chklovskii et al。、2004）。
潜在的シナプスの数は実際のシナプスの数よりも大きい。
? ry シナプスに割り当てます。
シナプスの成長段階を表す「永続性」と呼ばれるスカラー値を、それぞれの潜在的シナプスに我々は割当てます。
? ゼロ ry 値は、シナプス ry 突起を表しますが、それは成長を始めていません。
シナプスを形成する可能性を持つ軸索と樹状突起とを、ゼロに近い永久値は、表しますがそれは成長を始めさせていません。
1.0の永続値は、大きな完全に形成されたシナプスを持つ軸索と樹状突起を表します。

[図5の原稿の終わりを見る]

永続値は、ヘブ風の規則を使用して増減されます。

? 永続値が０．３などの閾値を超える ry 。
閾値 0. 3 等を永続値がもしも超える場合、シナプスの重みは１であり、永続値が閾値以下である場合、シナプスの重みは０である。
閾値はシナプスの確立を表しますが、容易に消える可能性があります。
? ry 、しきい値の永続値を持つシナプスと同じ効果があります ry 。
永続値が1.0のシナプスは、閾値な永続値なシナプスと同じ効果を持ちますが、それほど簡単には忘れられません。
スカラー永続値を使用すると、ノイズがある場合のオンライン学習が可能になります。
以前には見られなかった入力パターンはノイズかもしれませんまたはそれは将来繰り返される新しい傾向の始まりかもしれません。
? ry のみ異なって行動する。
新たなシナプスを成長させることによって、ネットワークは新たなパターンに最初に遭遇したときにそれを学習し始めることができるが、新たなパターンのいくつかの提示の後にのみ行動を異にする。
? ry パターンが忘れるのにより長い時間がかかること ry 。
しきい値を超えて永続性が増すということは、他のものよりも経験したパターンは忘れるのにより長くかかるだろう事を意味します。

? ry ニューロンまたはシナプスの活性 ry 。
ＨＴＭニューロンおよびＨＴＭネッは、分布したパターンの細胞活性に依存しているので、ニューロンの又はシナプスのどちらであれ活性化強度はそれほど重要ではない。
したがって、HTMシミュレーションでは、ニューロンの活性化とシナプスの重みを2値状態でモデル化します。
さらに、生物学的シナプスが確率論的であることはよく知られている（Faisal et al。、2008）ので、新皮質理論はシナプス効果の正確さを要求することができない。
? スカラー ry 。
そうであれどスカラー状態と重みはパフォーマンスを向上させる可能性がありますが、理論的な観点からは必須ではなく、すべてのシミュレーションはそれらがなくてもうまく機能しています。
HTMネットワークシミュレーションで使用されている正式な学習規則は、材料と方法のセクションに記載されています。

3。シミュレーション結果

図６は、高次シーケンスメモリを実装するＨＴＭニューロンのネットワークの性能を示す。
図６で使用されるネットワークは、１ミニカラムあたり３２個のニューロンを有する２０４８個のミニカラムからなる。
各ニューロンは128個の基底樹状突起セグメントを持ち、各樹状突起セグメントは最大40個の実際のシナプスを持つ。
このシミュレーションはシーケンスメモリの特性を説明するためだけに設計されているため、頂端シナプスは含みません。
? ry 先に挙げたシーケンスメモリに必要な5つの特性すべて ry 。
このネットワークは、先に一覧されたシーケンス記憶の為の欲求された特性の 5 つ全てを示しています。

[ここの図6原稿の終わりを見る]

? ry データに適用しましたが、図 ry 。
HTMネットワークをさまざまな種類の実世界のデータに我々は適用しましたが敢て、図6では、ネットワークの特性をより明確に示すために人工データセットを使用しています。
入力は要素のストリームで、すべての要素は2％のスパースアクティベーションのミニカラム（合計2048のうち40のアクティブ列）に変換されます。
? ry 基づいてデータ ry 。
ネットワークは、入力ストリームで観察された遷移に基づいたデータの予測モデルを学習します。
図６において、ネットワークに供給されるデータストリームは、ランダム要素と反復シーケンスとの混合物を含む。
埋め込まれたシーケンスは6要素の長さで、完全な曖昧性解消と最高の予測精度のために高次の時間的文脈、例えば「XABCDE」と「YABCFG」を必要とします。
このシミュレーションでは、可能な最大平均予測精度が50％になるように入力データストリームを設計しました。これは高次表現を使用することによってのみ達成可能です。

図６Ａは、オンライン学習および高次予測を示す。
HTMネットワークの経時的な予測精度は赤で表示されます。
? ry 、ネットワークがランダム ry を発見 ry 。
予測精度はゼロから始まり、ランダム遷移内に混合された繰り返し時間的パターンをネットワークが発見するにつれて増加する。
? ry 、（列ごと ry された）一次ネットワークの精度 ry 。
比較のために、一次ネットワーク ( カラムごとに1つのセルのみを使用して作成された ) の精度を青で示しています。
十分な学習の後、高次ＨＴＭネットワークは５０％の最大可能予測精度を達成するが、一次ネットワークは約３３％の精度しか達成しない。
ネットワークが最大性能に達した後、埋め込まれたシーケンスは修正されました。
その時点で精度は低下しますが、ネットワークは継続的に学習しているため、新しい高次パターンを学習することによって回復します。

図６Ｂは、ネットワークの頑健性を示す。
? ry 我々はニューロンの無作為選択を不活性化した。
ネットワークが安定した性能に達した後、我々は無作為選択ニューロンを非アクティブにした。
最大約40％の細胞死で、性能への影響は最小限でした。
この堅牢性は、樹状突起セグメントがＮＭＤＡスパイクを生成するのに必要な量よりも多くのシナプスを形成するときに生じる、前述のノイズ耐性によるものである。
より高いレベルの細胞死では、ネットワーク性能は最初は低下するが、その後ネットワークが残りのニューロンを使用してパターンを学習するにつれて回復する。

4。討論

? ry されるモデルニューロンとは実質的に異なるモデル皮質ニューロンを ry 。
我々は、大部分の人工ニューラルネットワークで使用されるニューロンのモデル、とは実質的に異なる皮質ニューロンモデルを提示した。
? モデルニューロンの主な特徴は、 ry シナプス ry これにより、ニューロンは多数の細胞集団で何百ものユニークなパターンを ry 。
モデルニューロンの鍵となるフィーチャは、アクティブな樹状突起と何千ものシナプスとを使用することです。これによりニューロンは、細胞の大集団の中で何百ものユニークパターンを認識することができます。
? 我々は、大量 ry でも、ニューロンが多くのパターンを確実 ry を示し ry 。
大量のノイズや変動がある場合でも、多くのパターンをニューロンが確実に認識できることを我々は示しました。
このモデルでは、近位シナプスは細胞のフィードフォワード受容野を定義します。
基底および頂端シナプスは細胞を脱分極し、予測を表す。

? 我々は、これらのニューロンのネットワークが一連のデータの予測モデルを学習 ry を示し ry 。
データのストリームの予測モデルをこれらニューロンのネットワークが学習することを我々は示しました。
基礎シナプスは、次のフィードフォワード入力を予測する文脈パターンを検出します。
頂端シナプスは、シーケンス全体を予測するフィードバックパターンを検出します。
? ry ネットワークの動作は、神経活動がまばらである ry 。
ニューロンとネットワークと、のオペレーションは、ニューラルアクティビティが疎であることに依存しています。
シーケンスメモリモデルは継続的に学習し、予測を行うために可変量のコンテキストを使用し、複数の同時予測を行い、ローカル学習規則に依存し、ネットワーク要素の障害、ノイズ、および変動に対してロバストです。

6

? ry と呼びますが ry 。
ネットワークモデルを「シーケンスメモリ」と我々は呼びますが、実際には遷移のメモリです。
? シーケンスの長さや格納されているシーケンスの数に関する表現や概念はありません。
シーケンス長又は格納シーケンス数、の、表現と概念とを有しません。
ネットワークは入力間の遷移のみを学習します。
したがって、ネットワークの容量は、特定のネットワークが格納できるトランジション数によって測定されます。
? これは、個々のニューロンの予想されるデューティサイクル（列あたりのセル数/列の希薄度） ry 数の積 ry 。
これは、ニューロン個々の予想デューティ比（カラム毎のセル数 / カラムのスパース度）と、各ニューロンがその基底樹状突起上で認識できるパターンの数と、の積として計算できます。
たとえば、2％の列がアクティブで、各列に32個のセルがあり、各セルが基底樹状突起上の200個のパターンを認識するネットワークでは、約32万個の遷移を格納できます（（32 / 0.02）* 200）。
? 容量は、列あたりのセル数と各 ry パターンの数に比例して増加します。
カラムあたりのセルの数と、各ニューロンの基底シナプスによって認識されるパターンの数と、に伴って容量はリニアにスケールします。

? ry 、混乱することなく特定の入力が異なる時間的状況で何回現れることができる ry 。
別の重要な容量測定基準は、異なる時間的文脈に於て特定単一入力が混乱なく現れる事が何回できるかということです。
? これは、特定の音程が混乱することなくメロディーに現れる回数、または特定の単語が異なる文章に何回記憶されるかに似ています。
これは、混乱なく特定休符 ( 間 ) がメロディ内に現れる回数、又は異なる文の中に特定単語が何回記されるか、のアナロジとなります。
? ミニカラムに32個のセルがある場合でも、特定のパターンが32個の異なる表現しか持てないという意味ではありません。
セル 32個をミニカラムがもしも持つ場合それは、異なる表現 32 個だけを特定パターンは持つ事ができる、事を意味しません。
たとえば、入力あたり40個のアクティブ列、1列あたり32個のセル、1列あたり1個のアクティブセルを想定すると、各入力パターンには3240個の可能な表現があり、事実上無制限の数です。
したがって、実際的な制限は表現的なものではなく、メモリベースです。
? ry 、特定のスパース列セットでいくつの遷移を学習 ry 。
容量は、いくつの遷移をカラム群の特定スパースセットで学習できるかによって決まります。

これまでのところ、ネットワーク内のすべてのセルが他のすべてのセルに同じ尤度で接続できる可能性があるセルラーレイヤについてのみ説明しました。
これは小規模ネットワークではうまく機能しますが、大規模ネットワークではうまくいきません。
? ry ほとんどの地域が y 。
新皮質では、ほとんどのリージョンが位相的な組織をしていることがよく知られています。
? ry 、領域Ｖ１の細胞は、網膜のごく一部からのみフィード ry 入力を受 ry 、Ｖ１の局所領域からのみ横方向入力を受 ry 。
例えば、リージョン V1 内セルは、フィードフォワード入力を網膜の小部分からのみ受け取り、横方向入力を V1 の局所リージョンからのみ受け取る。
? HTMネットワークは、列を2D配列に配置し、ニューロンを中心とする2D ry して各樹状突起のシナプス候補を選択することで、このように構成できます。
HTM ネットワークをこの様に構成するには、カラムを 2D アレイ内に配置し、各樹状突起の各潜在シナプスをニューロン中心な 2D確率分布を使用して選択します。
? ry に編成された ry 。
トポロジ的に組織されたネットワークは、任意に大きくすることができます。

この理論から得られる検証可能な予測がいくつかあります。
1）
? ry 的に予測 ry 感覚の流れの間に全体 ry なるという実験 ry された現象 ry 。
理論は、連続的予測可能な感覚ストリーミング単一の経過中に於て実験的に観察された、全体的な細胞活性がより疎になる現象についてのアルゴリズム的説明を提供する（Martin and Schr er、2013; Vinje and Gallant、2002; Yen et al。、2007）。
? さらに、予期しない入力がより高いセルアクティビティをもたらすことを予測し、それはミニコラム内で垂直方向に相関させるべきです。
更にそれが予測するのは、予期しない入力の結果としての、ミニカラム内で垂直方向に相関させるべきな、より高いセルアクティビティです。
一方、予想される入力は、ミニコラム内では相関のないアクティビティになります。
ミニカラムがこの理論の厳密な要件ではないことは注目に値します。
? ry 応答を共有し、相互に阻害的な小グループの細胞の存在 ry 。
このモデルは、フィードフォワード応答共有接続且つ相互抑制的、な細胞、の各小グループの存在のみを必要とする。
? ry と呼びますが、柱状の側面 ry 無関係になる可能性があります。
これらのグループをミニカラムと我々は呼びますが、柱状な側面は必須ではなく、グループ化は実際のミニカラムとは無関係である事ができます。
2）
理論の第二のコア予測は、細胞活動の現在のパターンが過去の刺激についての情報を含むということです。
この予測を支持する初期の実験結果が報告されている（Nikoli et al。、2009）。
? 動的細胞活性の正確 ry 高次配列における時間的文脈 ry 。
動的細胞アクティビティの正確な性質および高次シーケンス内テンポラル文脈の役割を検証するためにさらなる研究が必要である。
3）
? ry a back action potential.
? ryに逆活動電位が続く。
シナプス可塑性は、シナプス入力を介して脱分極された樹状突起セグメントに局在化されるべきであり、その後短時間後に逆伝播活動電位 ( 逆活動電位 ? ) が続く。
この現象はまだ広く確立されていないが、この効果は報告されている（Losonczy et al。、2008）。
4）
? ry 、ほとんど、理想 ry だけ存在 ry 。
所与の軸索と所与の樹状突起セグメントとの間に形成される興奮性シナプスは、二三個だけ、理想的には１つだけ、存在するはずである。
興奮性軸索が単一の樹状突起上に非常に近接して多数のシナプスを作った場合、シナプス前細胞はNMDAスパイクを引き起こすことにおいて優位を占めるであろう。
? ry が、軸索突起が日常的に単一 ry セグメントへより ry シナプスを作った ry エラーにつながる。
単一の軸索から単一の樹状突起セグメントへの2、3、さらには4つのシナプスが許容される可能性があるが、より多くのシナプスを単一の樹状突起セグメントへ軸索突起が恒常的に作った場合、それはエラーを導く。
純粋なHebbian学習は、複数のシナプスを形成するのを促進するように思われるでしょう。
? ry ために、我々は1つが確立された後に複数のシナプスの形成 ry を予測する。
これが起こらないようにする為に、 1 シナプス確立後の複数形成を積極的に妨げるメカニズムの存在を我々は予測する。
? 軸索は問題を引き起こさずに同じニューロンの異なる樹状 ry 上にシナプスを形成することができ、それゆえ我々はこのメカニズムが樹状 ry 軸索アーバーの局所領域に空間的にすることを予測する。
軸索は同ニューロンの別樹状突起セグメント上へのシナプス形成を問題を引起こさずできそれゆえこのメカニズムが、樹状突起セグメント内または軸索側枝ローカルエリア、に空間的局在する、と我々は予測する。
5）
ＮＭＤＡ ry よって脱分極され ry を阻害する ry 。
脱分極をＮＭＤＡスパイクによってされた細胞がその後に近位入力を介して活動電位を生成するとき、それは他の全ての近くの興奮性細胞を抑制する必要がある。
これは速い、おそらく単一のスパイク、抑制を必要とします。
? 高速スパイクバスケット阻害細胞 ry な阻害の ry 高い起源です（ ry 。
Fast-spiking 型籠細胞は、この急速な抑制の最も可能性の高いソースです（Huら、2014）。
6）
ミニコラム内のすべてのセルは、共通のフィードフォワード応答を学ぶ必要があります。
? ry 、ミニカラム内のすべてのセルを同時 ry 。
これには、フィードフォワードパターンを学習しながら、そのミニカラム内の各セル出来れば全てを同時にアクティブにするためのメカニズムが必要です。
? 相互励起のためのこの要件 ry の以前の要件 ry 。
興奮性相互作用のためのこの要件は、１つまたは複数の細胞がわずかに脱分極しているときの相互抑制のための従来要件とは相反すると思われる。
これら2つの要件をどのように満たすかについては、具体的な提案はありませんが、列内のセルが相互に興奮し、他の時には相互に抑制されるメカニズムを予測します。

錐体ニューロンは海馬では一般的です。
? したがって、私たちのニューロンとネットワークモデルの一部 ry 。
故に、ニューロンとネットワークとの私達のモデルの一部は海馬に当てはまるかもしれません。
? ry は急速な学習が知られ ry シナプス形成に ry 、新しいシナプスの成長とは ry Trachtenberg et al。）。ら、２００２年）。
しかしながら、海馬は高速学習で知られており、成人ではシナプス編成に何時間もかかることがあるため、新シナプスが成長する事とは相容れない（Holtmaat and Svoboda、2009; Knott et al。、2002; Niell et al。、2004; Trachtenberg ら、２００２年）。
新しいシナプスを成長させるのではなく、細胞に多数の非活性または「サイレント」シナプスがある場合、私たちのモデルでは迅速な学習が可能になります（Kerchner and Nicoll、2008）。
その後、サイレントシナプスをアクティブシナプスに変えることで、迅速な学習が行われます。
? ry 、細胞がさらにシナプスを必要 ry 。
このアプローチのマイナス面は、更に多くのシナプスを細胞が必要とすることです。これは代謝的に高価です。

7

? 海馬領域ＣＡ２の ry 。
海馬リージョン CA2 の錐体細胞は、新皮質の錐体細胞の数倍の数のシナプスを有する（Ｍｅｇｓら、２００１）。
? これらのシナプスの大部分が沈黙していたなら ry 我々の提案されたシーケンス ry 。
これらシナプスの大部分がサイレントだったならば、それは領域CA2も我々提案なシーケンス記憶の変形を実行していることを示唆する証拠であろう。

我々の提案した生物学的配列記憶機構を機械学習の分野で使用される他の配列記憶技術と比較することは有益である。
最も一般的な手法は、隠れマルコフモデル（HMM）です（Rabiner and Juang、1986）。
? ＨＭＭは、特に音声認識において広く適用 ry 。
HMM は広範に、特に音声認識に於て、適用されている。
? 基本ＨＭＭは一次 ry 。
ベーシックな HMM は一次モデルであり、その精度は図６Ａに示す一次モデルと同様であろう。
? ＨＭＭの変形は、高次 ry よって制限 ry シーケンスをモデル ry 。
HMM のバリエーションは、制限された高次シーケンスを高次状態を手で符号化することによってモデル化することができる。
最近になって、リカレントニューラルネットワーク、特に長期短期記憶（ＬＳＴＭ）（ＨｏｃｈｒｅｉｔｅｒおよびＳｃｈｍｉｄｈｕｂｅｒ、１９９７）が普及してきており、多くの場合ＨＭＭより優れている。
? ry ネットワークとは異なり、 ry ようなものとして、それらはニューロンまたは新皮質機能 ry 。
HTMネットワークと様相を異にした、HMMもLSTMも、生物学を詳細にモデル化しようとはしません。そのようなそれらは、ニューロン的又は新皮質的な機能に対する洞察を提供しない。
? ry な機能上の利点 ry 。
これら両方の技術に対するＨＴＭモデルの主な機能的利点は、その継続的な学習能力、その優れたロバスト性、および複数の同時予測を行う能力である。
より詳細な比較はS1 Tableにあります。

? 多くの論文が配列の文脈でスパイキング ry モデルを研究 ry 。
スパイキングニューロンモデルを多くの論文がシーケンス文脈で研究している（Ghosh-Dastidar and Adeli、2009; Maass、1997）。
これらのモデルは、機械学習の文献で使用されているニューロンモデルよりも生物物理学的に詳細です。
? 彼らは、スパイク ry （ＳＴＤＰ）が、シナプス ry シーケンスおよび各 ry 遅延に対して細胞がどのように反応するようになるかを示 ry 。
シナプス前スパイクの特定シーケンスとそして各スパイク間の特定の時間遅延と、に対して細胞が敏感になって行く様に誘導する事をスパイクタイミング依存可塑性 ( STDP ) がどの様にすればできるかを彼らは示している（ＲａｏおよびＳｅｊｎｏｗｓｋｉ、２０００；ＲｕｆおよびＳｃｈｍｉｔｔ、１９９７）。
これらのモデルは、このホワイトペーパーで提案されているHTMモデルよりも詳細度が低くなっています。
? ry しており、対応する時間 ry 。
それらはシナプス後電位の積分時間を明確にモデル化しており、そこでの時間遅延は典型的にサブミリ秒から数ミリ秒である。
? ry また、典型的には非常に小さいシナプスのサブセットを扱い、そして非線形活性樹状突起を明示的にモデル化しない。
それらはまた、シナプスの微小サブセットを典型的には扱い、そしてノンリニアなアクティブな樹状突起を明示的モデル化しない。
私たちの仕事の焦点はより高いレベルにありました。
? ry は、そのようなニューロンのネットワーク化された層の、そして ry シーケンスメモリの出現の、シナプスと ry 突起のフルセットのモデルです。
この論文で提示された研究は、シナプスとアクティブな樹状突起とのフルセットそのようなニューロンがネットワーク化されたレイヤの、そして計算的に洗練されたシーケンス記憶の創発の、モデルです。
? ry な細胞層のレベルで機能する生物物理学的に詳細なモデル ry 。
将来の研究にとって興味深い方向は、これら2つのレベルのモデリングを結び付けること、すなわち完全な細胞レイヤのレベルでのオペレートをする詳細な生物物理学的モデルを作成することです。
いくらかの進歩が報告されています（Billaudelle and Ahmad、2015）が、この面でやるべきことはまだたくさんあります。

? ry おける重要な考慮事項は、一般化の問題、または ry を堅牢に処理 ry 。
学習アルゴリズムにおける 1 つの鍵となる考慮事項は、般化の問題です、又は新規パターンを堅牢処理する能力です。
? ry 、まばらなパターンの流れの中で活動的なニューロンの小さいサンプルにシナプスを形成 ry 。
我々が概説したシーケンス記憶メカニズムは、スパースパターンのストリームの中でアクティブニューロン群の各小サンプルにシナプス形成することによって学びます。
まばらな表現の性質は当然そのようなシステムを一般化することを可能にする。
ランダムに選択された2つの疎パターンは、ほとんど重なりがありません。
? ry わずかな重複（ ry 、表現が重要な意味的意味を共有 ry 。
僅かなオーバラップ（20％など）でも非常に重要であり、重要な意味論的意味を各表現が共有することを意味します。
? ry ため、セグメントは新規だが意味 ry するパターンを ry して認識する。
樹状突起閾値は、各セグメント上のシナプスの実際の数よりも低い為、意味的に関連するしかし新規なパターン、を類似したものとしてセグメントが認識する。
? ry は、異なる配列間 ry 、類推に基づいて新規な予測をする。
システムは、別シーケンス間の類似性を見て、類推ベースな新規予測をする。

最近我々は、我々のシーケンスメモリ法が感覚運動シーケンスの予測モデルを学ぶことができることを示した（Cui et al。、2015）。
? また、皮質運動シーケンスが同じネットワーク ry 使用して生成 ry わかります。
我々は又、同ネットワークモデルのバリエーションを使用して皮質運動シーケンスが生成される可能性が高いこともわかります。
? 細胞の層が ry するのかを ry 。
細胞の各レイヤがこれらの異なる機能をどのように果たすことができるのか、そしてそれらがどのように協働するのか、を理解することが我々の現在の研究の焦点です。

5。材料および方法

? ry のアクティブ化と学習 ry 。
ここでは、HTMシーケンスメモリネットワークのアクティベーションと学習の規則について正式に説明します。
? この規則 ry 。
これらの規則には、3つの基本的な側面があります。初期化、セル状態の計算、および樹状セグメントのシナプスの更新です。
これらのステップは、表記法およびいくつかの実装の詳細とともに、以下で説明されています。

表記：
Nをレイヤー内のミニカラムの数、Mを1列あたりのセル数、NMをレイヤー内のセルの総数とする。
各細胞は、活性状態、予測（脱分極）状態、または非活性状態にあり得る。
? ry 、それぞれいくつかのシナプスを持つセグメント ry 。
各セルは、シナプス幾つかを其々伴ったセグメントのセットを維持します。
? (In this figure we use the term 都ynapse” to refer to 菟otential synapses” as described in the body of the paper. Thus at any point in time some of the synapses will have a weight of 0 and some will have a weight of 1.)
? ry は0の重みを持ちます。 1.）
（この図では、本文で説明されている「潜在的シナプス」を指すために「シナプス」という用語を使用しています。したがって、いつでもシナプスのいくつかは0の重みを持ち、いくつかのシナプスは 1 の重みを持ちます。）
? の２進マトリックス ry ｊ番目の列の ry 。
任意の時間ステップｔにおいて、アクティブセルの集合はＭラＮのバイナリマトリックスＡｔによって表され、ここでａｔｉｊはｊ番目のカラムのｉ番目のセルのアクティビティである。
同様に、ＭラＮバイナリ行列Πｔは、時間ｔにおける予測状態にあるセルを表し、ここで、πｔｉｊは、ｊ番目の列のｉ番目のセルの予測状態である。

各セルは、Ｄｄｉｊがｊ番目の列のｉ番目のセルのｄ番目のセグメントを表すように、一組の遠位セグメントＤｉｊと関連付けられる。
? ry 、他のNM-1細胞のサブセットからの側方結合を ry 。
各遠位セグメントは、他細胞 NM - 1 個のサブセットからの横方向接続を表すいくつかのシナプスを含む。 ?
各シナプスは関連する永続値を持っています（補足図2参照）。
したがって、Ddij自体もMラNのスパース行列です。
? ry られたシナプスが存在する可能性がある場合、行列には??永続 ry 要素が含 ry 。
セグメントに関連付けられた潜在シナプスが存在する場合、永続値を表すゼロ以外の要素 s 個が行列に含まれます。
その永続性の値が接続しきい値を超えている場合、シナプスは接続されているとみなされます。
‾Ddijを使用して、結合シナプスのみを含むバイナリ行列を表します。
1）初期化：
? ry が層内のランダムに選択されたセルのサブセット ry 。
ネットワークは、各セグメントがレイヤ内のセルのランダム選択されたサブセットに対する潜在的シナプスのセット（すなわち、ゼロではない永続値）を含むように初期化される。
これらの潜在的シナプスの永続値はランダムに選択されます。最初は接続されているもの（しきい値を超える）と接続されていないものがあります。

? ry 計算
2）セル状態の計算 :
ミニコラム内のすべてのセルは、同じフィードフォワード受容野を共有します。
? ry と仮定します。
抑制プロセスが、現在のフィードフォワード入力パターンに最もよく一致するk列のセットをすでに選択していると我々は仮定します。
この集合をWtとします。
? ry ます。
各セルのアクティブ状態は次のように計算されます :

8

!" =
!!!
∈ ！そして！ "= 1 なら1
! ! !!!
∈ および！" = 0 ならば 1
!
それ以外の場合は0

（2） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? ry 、勝利列のセルが以前に予測状態にあった場合 ry 。
最初の行は、その勝利カラムのセルが前回に予測状態だった場合にそのセルをアクティブにします。
勝利列のセルがどれも予測状態になかった場合、2行目でその列のすべてのセルがアクティブになります。
? 現在のタイムステップの予測 ry ます。
現タイムステップの為の予測状態は次のように計算されます :

！ "=！
∃! ！ ! ！ > 0 なら1
それ以外の場合は0

（3） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? ry 、αは ry 。
閾値θは、ＮＭＤＡスパイク閾値を表し、οは要素ごとの乗算を表す。
? ry 有するθ個を超えるシナプスが接続されている場合 ry 。
所与の時点で、アクティブシナプス前細胞を有するシナプスがもしもθ個よりも多く接続している場合、そのセグメントはアクティブになる（ＮＭＤＡスパイクを生成する）。
少なくとも1つのセグメントがアクティブであれば、細胞は脱分極します。

? ry 更新
3）セグメントとシナプスの更新 :
HTMシナプス可塑性の法則は、ヘブ風の規則です。
? ry 、以前に脱分極 ry 。
細胞が正しく予測された（すなわち、前回に脱分極状態にあり、その後フィードフォワード入力を介して活性になった）場合、活性であり脱分極を引き起こした樹状突起セグメントを我々は強化する。
? を選択します。
具体的には、次のようにそれらのセグメントDdijを我々は選択します :

!!! ∀!∈! ( ！！ !" > 0 ) そして!!" !!! > 0

（4） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? 最初の用語は、 ry いる勝ち列を ry 。
最初の項は、正しい予測が含まれている各勝利カラムを選択します。
? ry に責任があるセグメントを ry 。
第2項は、予測に特に責任ある各セグメントを選択します。

? ry 勝利列が ry 場合、現在のシーケンス遷移が繰り返される場合、将来コンテキストを表すセルを1つ選択 ry 。
勝利カラムがもしも予測されなかった場合、現シーケンス遷移がもしも繰返される場合、のコンテキストを将来表すであろうセル 1 つ、を我々は選択する必要があります。
? ry アクティブに最も ry つまりしきい値を下回っていても最も ry セグメントを持つセルを選択します。
これを行うには、アクティブになる事が最も近いセグメント、つまり例え終始閾値未満であれど最も入力が多いセグメント、を持つセルを我々が選択します。
・DdijをDdijの正の要素のみを含む2値行列とする。
? を強化します。
以下が当てはまるセグメントを我々が強化します :

!!!
∀！∈ ( ！！ "= 0 ) かつ
! ！ !!!
！ "=！（！!!! ！）
! ！

（5） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? ry 。シナプスに活動的なシナプス前細胞を与え、シナプスに不活性な細胞を罰することを望 ry 。
上記のセグメントを強化するのは簡単です。アクティブなシナプス前細胞を報酬として、非アクティブな細胞を罰として、シナプスへ与える事を我々は望みます。
? ry ます。
そのために、すべての永続値を小さい値p-だけ減らし、アクティブなシナプス前細胞に対応する永続値をより大きい値p +だけ増やします :

!! "=！!!" !!! ！ !!」

（6） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

上記の規則は、現在アクティブなセルを扱います。
? 我々はまた、活性にならなかった細胞の活性セグメントに非常に小さな崩壊を適用する。
非常に小さな減衰を、アクティブにならなかった各細胞の各アクティブセグメントに我々は又適用する。
? ry ます。
これは、セグメントが偶然に誤って補強された場合に発生する可能性があります :

!! "= !!" どこで
！！ "= 0 and !!" !!!

（7） http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#9

? 行列 ry に現在の永続値行列に ry 。
各行列ΔＤｄｉｊは、時間ステップごとに現永続値行列其々に加算される。

実装の詳細：
私たちのソフトウェア実装では、大規模ネットワークのシミュレーション時間を大幅に短縮するという単純化した仮定をいくつかしています。
? ry 、ランダムセル上にセグメント ry 、現在アクティブなセルから ry 。
すべてのセグメントおよびすべてのセルにわたってシナプスの完全なセットを明示的に初期化する代わりに、ランダムなセルに於てセグメントを貪欲に作成し、現アクティブセル群からサンプリングすることによってそのセグメント上の潜在的シナプスを初期化します。
これは、既存のセグメントと一致しない場合にのみ発生します。
我々のシミュレーションでは、Ｎ＝２０４８、Ｍ＝３２、ｋ＝４０である。
? ry を接続 ry 。
通常、セグメント上の20-40個のシナプスを我々は接続します。θは約15です。
永続性の値は、接続しきい値0.5で0から1まで変化します。
p +とp-は個々のデータセットに基づいて調整される小さい値ですが、通常は0.1未満です。
実装の完全なソースコードはGithubの http://github.com/numenta/nupic/ から入手できます。

9

6。参考文献

Ahmad、S.およびHawkins、J.（2015）。
? ry 性質とその階層的時間記憶 ry
スパース分散表現の性質とそれらの階層的時間的記憶への応用
arXiv：1503.07469 [q-bi.NC] Antic、S。

D.、Zhou、WL、Moore、AR、Short、SM、およびIkonomu、KD（2010）。
樹状NMDAスパイクの10年。
? ry 。結果８８，２９９１３００１。
Ｊ．Ｎｅｕｒｏｓｃｉ。リソース８８， 2991-3001 。
doi：10.1002 / jnr.22444。

Billaudelle、S。とAhmad、S（2015）。
HTMモデルのHeidelbergニューロモルフィックコンピューティングプラットフォームへの移植
arXiv：1505.02142 [q-bio.NC]

Chklovskii、DB、Mel、BW、およびSvoboda、K.（2004）。
皮質の再配線と情報の保存
Ｎａｔｕｒｅ４３１、７８２-８。
? 土居：10 ry
doi:10.1038 / nature03012。

? ry 、Ｗ．（2015）
Ｃｉｃｈｏｎ、Ｊ．ａｎｄＧａｎ、Ｗ．-B （2015）
? 分枝特異的樹状 ry
特定分枝な樹状Ca 2+スパイクは持続的シナプス可塑性を引き起こす
Ｎａｔｕｒｅ５２０、１８０-５。

Cui、Y.、Ahmad、S.、Surpur、C.、and Hawkins、J.（2015）。
活発な探査中に安定した知覚を維持する。
? ry ）に
Cosyne Abstracts（ソルトレイクシティ）に於て

Faisal、AA、Selen、LPJ、およびWolpert、DM（2008）。
神経系のノイズ
? Nat。牧師。９， ry
Nat。 Rev. Neurosci. ９，２９２-３０３。

Ghosh-Dastidar、S.およびAdeli、H.（2009）。
スパイキングニューラルネットワーク
Int。Ｊ．ＮｅｕｒａｌＳｙｓｔ。１９、２９５-３０８に記載されている。

Golding、NL、Jung、HY、Mickus、T.、およびSpruston、N。（1999）。
樹状突起カルシウムスパイクの開始と再分極はCA1錐体ニューロンにおける異なるカリウムチャンネルサブタイプによって制御される
Ｊ．Ｎｅｕｒｏｓｃｉ。１９，８７８９-９８。

Hawkins、J。、Ahmad、S。およびDubinsky、D。（2011）。
? ry 時間記憶
皮質学習アルゴリズムと階層的時間的記憶
http://numenta.org/resources/HTM_CorticalLearningAlgorithms.pdf

Hawkins、J。およびBlakeslee、S.（2004）。
On Intelligence.
? 知能について
考える脳考えるコンピューター
ニューヨーク：ヘンリーホルトアンドカンパニー。
ランダムハウス講談社 , 伊藤文英

Hochreiter、S.およびSchmidhuber、J.（1997）。
? 長期短期記憶
長・短期記憶
ニューラルコンピューティング９，１７３５-１７８０。

Holtmaat、A。およびSvoboda、K。（2009）。
ほ乳類の脳における経験依存性の構造的シナプス可塑性
? Nat。牧師。１０ ry
Nat。 Rev. Neurosci. １０、６４７-５８。

Hu、H.、Gan、J.およびJonas、P.（2014）。
? ry スパイクパルブアルブミン+ ry 細胞細胞 ry
高速スパイキング , パルブアルブミン+ GABA作動性介在細胞 : 細胞設計から微小�麩�’修泙��
�鴒�鍵�ぢ。）３４５ ry
サイエンス（80-。） . ３４５，１２５５２６３-１２５５２６３。

? GAのKerchner、およびRAのNicoll。
Kerchner, GA、およびNicoll, RA (2008)。
? ry とLTP ry の出現
サイレントシナプスと、 LTPの為のシナプス後メカニズムの発現
? Nat。牧師。 ry
Nat。 Rev. Neurosci. ９、８１３-２５。

Knott、GW、Quairiaux、C.、Genoud、C.、およびWelker、E.（2002）。
? ry 樹状突起棘の形成
成体マウスにおいてウィスカー刺激により誘導されたGABA作動性シナプスを有する樹状突起スパインの編成
ニューロン３４、２６５-７３。

Lamme、VA、Sup鑽、H.、and Spekreijse、H.（1998）。
? ry おけるフィード ry バック処理
視覚野における、フィードフォワード、水平およびフィードバックの処理
? Curr。意見Ｎｅｕｒｏｂｉｏｌ ry ５２９?３５。
Curr。 Opin. Ｎｅｕｒｏｂｉｏｌ。８、５２９-３５。

Larkum、M.（2013）。
皮質連合のための細胞機構：大脳皮質の組織化原理
? トレンド３６、 ry ５１頁。
トレンド Neurosci. ３６、１４１-５１。
doi：10.1016 / j.tins.2012.11.006。

Larkum、ME、およびNevian、T.（2008）。
樹状シグナル伝達機構によるシナプスクラスタリング
? Curr。意見Ｎｅｕｒｏｂｉｏｌ ry ３２１?３１。
Curr。 Opin. Ｎｅｕｒｏｂｉｏｌ。１８、３２１-３１。
doi：10.1016 / j.conb.2008.08.013。

Larkum、ME、Nevian、T.、Sandler、M.、Polsky、A.およびSchiller、J.（2009）。
? ry 錐体ニューロンの房状 ry シナプス統合新しい統一原理
第5層錐体細胞の房状樹状突起におけるシナプスの統合 : 新たな統一的原理
Science 325、756-760。
? ry 11??71958。
doi：10.1126 / science.1171958。

Larkum、ME、Zhu、JJ、およびSakmann、B（1999）。
異なる皮質層に到達する入力を結合するための新しい細胞機構
Ｎａｔｕｒｅ３９８、３３８?４１。

? 10年

Lashley、K.（1951）。
「振る舞いにおける直列順序の問題」
? 行動の脳のメカニズムでは、編集。 ry 。
行動に於ける脳メカニズム、編集 L.ジェフレス（ニューヨーク：ワイリー）、112-131。

LeCun、Y.、Bengio、Y.およびHinton、G.（2015）。
ディープラーニング
Ｎａｔｕｒｅ５２１、４３６?４４４。

Losonczy、A。、Makara、JK、およびMagee、JC（2008）。
? ry 化樹状可塑 ry
ニューロンにおける区画化樹状突起可塑性および入力特徴記憶
Ｎａｔｕｒｅ４５２、４３６-４１。
土居：10.1038 / nature06725。

Maass、W.（1997）。
? ry のネットワークニューラル ry
スパイキングニューロンのネットワーク : ニューラルネットワークモデルの第3世代
ニューラルネットワーク１０、１６５９-１６７１。
doi：10.1016 / S0893-6080（97）00011-7。

Major、G。、Larkum、ME、およびSchiller、J。（2013）。
? ry の活性特性
新皮質錐体ニューロン樹状突起の能動特性
? アンヌ。牧師。３６，１?２４。
Annu。 Rev. Neurosci. ３６，１-２４。
doi：10.1146 / annurev-neuro-062111-150343。

? ry 、J. and ry 。
Major、G.、Polsky、A.、Denk、W.、Schiller、 J., and Tank、DW（2008）。
? ry に傾斜したNMDA ry
新皮質錐体ニューロンの基底樹状突起における時空的に等級化されたNMDAスパイク/プラトー電位
Ｊ．Ｎｅｕｒｏｐｈｙｓｉｏｌ。９９，２５８４-６０１に記載されている。

Martin、KAC、およびSchr er、S.（2013）。
? ry ネコの一次 ry 機能的不均一性
人工刺激と自然刺激の両方に反応したネコ一次視覚野の隣接ニューロンにおける機能的ヘテロ性
Ｊ．Ｎｅｕｒｏｓｃｉ。３３、７３２５-４４。

? Ｍ． ry
Meg as, Ｍ．、Ｅｍｒｉ、Ｚ。、Ｆｒｅｕｎｄ、Ｔ．Ｆ。およびＧｕｌｙｓ、Ａ．Ｉ．（２００１）。
海馬CA1錐体細胞における抑制性および興奮性シナプスの総数と分布
Ｎｅｕｒｏｓｃｉｅｎｃｅ１０２、５２７-４０。

Niell、CM、Meyer、MP、およびSmith、SJ（2004）。
ry dendritic arbor.
成長する樹状突起上でのシナプス形成のin vivoイメージング
? Nat。神経症。７， ry
Nat。 Neurosci. ７，２５４-６０に記載されている。

Nikoli、D.、H龝sler、S.、Singer、W.およびMaass、W（2009）。
? ry 皮質における刺激特性 ry
一次視覚皮質内刺激特性のための分散フェージング記憶
ＰＬｏＳＢｉｏｌ。７、ｅ１０００２６０。

Olshausen、BA、およびField、DJ（2004）。
感覚入力のスパースコーディング
? Curr。意見Ｎｅｕｒｏｂｉｏｌ ry ４８１?４８７。
Curr。 Opin.Ｎｅｕｒｏｂｉｏｌ。１４，４８１-４８７。
doi：10.1016 / j.conb.2004.07.007。

Petreanu、L.、Mao、T.、Sternson、SM、およびSvoboda、K.（2009）。
新皮質興奮性結合の細胞内組織
Ｎａｔｕｒｅ４５７、１１４２-５。

Poirazi、P。、Brannon、T。、およびMel、BW（2003）。
二層ニューラルネットワークとしてのピラミッド型ニューロン
ニューロン３７、９８９-９９。

Ｐｏｌｓｋｙ、Ａ．、Ｍｅｌ、Ｂ．Ｗ。およびＳｃｈｉｌｌｅｒ、Ｊ．（２００４）。
? ry の細い樹状 ry
錐体細胞の thin 樹状突起における計算サブユニット
? Nat。神経症。７ ry
Nat。 Neurosci. ７，６２１-７。
doi：10.1038 / nn 1253。

Rabiner、L。およびJuang、B（1986）。
隠れマルコフモデルの紹介
IEEE ASSP Mag。３，４１６。

? ry Ｊ． ? Ｃ ry 、Ｂ。（2013）。
Ｒａｈ、Ｊ． - Ｃ．、Ｂａｓ、Ｅ．、Ｃｏｌｏｎｅｌｌ、Ｊ．、Ｍｉｓｈｃｈｅｎｋｏ、Ｙ．、Ｋａｒｓｈ、Ｂ。 , Fetter, R. D., et al. （2013）。
? 定量 ry トモグラフィーを用いて測定された層5錐体 ry への視床 ry
レイヤ 5 錐体ニューロンへの定量的大規模アレイトモグラフィー測定視床皮質入力
? 前面。神経 ry
Front. 神経回路7、177。

Rao、RPN、およびSejnowski、TJ（2000）。
? 再発性 ry
回帰性新皮質回路における予測シーケンス学習
ry システム１２、１６４１７０における進歩において。
ニューラル情報処理システムにおける進歩において１２、１６４-１７０。
doi：10.1.1.45.9739。

Ruf、B.およびSchmitt、M.（1997）。
? スパイクニューロンのネット ry
スパイキングニューロンネットワークにおける時間的符号化パターンの学習
? ry プロセス、9 ry
神経プロセス Lett. 、9-18。
doi：10.1023 / A：1009697008681。

Schiller、J。、Major、G。、Koester、HJ、およびSchiller、Y。（2000）。
皮質錐体ニューロンの基底樹状突起におけるNMDAスパイク
Ｎａｔｕｒｅ４０４、２８５?９。

Schiller、J。およびSchiller、Y.（2001）。
? ry 仲介樹状 ry
NMDA受容体仲介を伴う樹状突起スパイクと同時シグナル増幅
Curr。意見Ｎｅｕｒｏｂｉｏｌ。１１，３４３-８。

Spruston、N.（2008）。
? ry ニューロン樹状 ry
錐体ニューロン : 樹状構造とシナプス統合
? Nat。牧師。９，２０６?２１ ry
Nat。 Rev. Neurosci. ９，２０６-２１に記載されている。

Stuart、GJ、and H龝sser,、M.（2001）。
EPSPの樹状突起同時検出と活動電位
? Nat。神経症。４、６３?７１。
Nat。 Neurosci. ４、６３-７１。

Stuart、GJ、and H龝sser、M.（2001）。
? EPSPの樹状 ry 検出と活動電位
EPSP のと活動電位のとの樹状突起同時検出
? Nat。神経症。４、 ry
Nat。 Neurosci. ４、６３-７１。

11

? ry 、E。（ ry 。
Trachtenberg、JT、Chen、BE、Knott、GW、Feng、G.、Sanes、JR、Welker、 E., et al. （2002）。
? ry の長期in ry
成体皮質における経験依存性シナプス可塑性の Long-term in vivoイメージング
Ｎａｔｕｒｅ４２０、７８８?９４。

Ｖｉｎｊｅ、ＷＥ、およびＧａｌｌａｎｔ、Ｊ．Ｌ（２００２）。
非古典的受容野の自然な刺激はV1の情報伝達効率を高める
Ｊ．Ｎｅｕｒｏｓｃｉ。２２、２９０４-２９１５に記載されている。

Yen、S.-C.、Baker、J.、and Grey、CM（2007）。
? ry ニューロンの反応の不均一性
ネコ線条皮質に於ける自然な刺激に対する隣接ニューロンの応答に於けるヘテロ性。
Ｊ．Ｎｅｕｒｏｐｈｙｓｉｏｌ。９７、１３２６-１３４１頁。
doi：10.1167 / 7.9.326。

Yoshimura、Y.、Sato、H.、Imamura、K. and Watanabe、Y.（2000）。
ネコ視覚皮質の表層における錐体細胞への水平および垂直入力の性質
Ｊ．Ｎｅｕｒｏｓｃｉ。２０，１９３１-４０に記載されている。

? 12年

A
Σ

B
フィードバック
コンテキスト
フィードフォワード

C
フィードバック
スレッショルド , OR スレッショルド , OR スレッショルド , OR
コンテキスト
スレッショルド , OR スレッショルド , OR スレッショルド , OR スレッショルド , OR スレッショルド , OR
フィードフォワード
/

図1：ニューロンモデルの比較
A）
? ry ニ??ューラル ry シナプスがほとんどなく、 ry 。
ほとんどの人工ニューラルネットワークで使用されているニューロンモデルは、シナプスが僅かで、樹状突起もありません。
B）
新皮質錐体ニューロンは樹状突起上に位置する何千もの興奮性シナプスを有する（挿入図）。
? ry 上の一連のシナプスの同時活性化は、体細胞でＮＭＤＡ ry 脱分極を引き起こす ry 。
樹状突起セグメント上のシナプスのセットの同時活性化は、ＮＭＤＡスパイクおよび脱分極を細胞体上で引起こすであろう。
セルへの入力には3つのソースがあります。
体細胞の近くにシナプスを形成するフィードフォワード入力（緑色で示す）は、活動電位に直接つながる。
? ry 遠位の基底樹状突起および頂端樹状突起に発生したＮＭＤＡ ry は体細胞 ry には体性活動電位 ry 。
より遠位な基底及び尖端の樹状突起にて生成されたＮＭＤＡスパイクは細胞体を脱分極するが、典型的には細胞体活動電位を発生させるのに十分ではない。
C）
? ＨＴＭモデルニュは樹状樹状突起およびＮＭＤＡスパイクをそれぞれ一組のシナプスを有する同時検出器のアレイを用いてモデル ry しか示され ry 。
同時検出器其々シナプス 1 セット付のアレイ、を伴った HTM モデルニューロンは、樹状突起と NMDA スパイクとをモデル化する（それぞれ数個しか図示されていない）。

? 13年

A 細胞層はシーケンスを学ぶ

2/3 4 5 6
↓

? B 学ぶ前に
B 学習前

A B C D ? あいうえお
X B C Y

　 ↓↓ ↓
同じ列ですが、列ごとにアクティブなセルは1つだけです。
　 ↓↓ ↓

C 学んだ後

A B' C' D' ? あいうえお'
X B " C " Y"

? ry 皮質細胞層中の配列を表す。
図２：皮質細胞レイヤ中のシーケンスを表す。
A）
? ry 細胞層に分けられる。
新皮質は細胞レイヤに分割される。
? ry 、1つの汎用セル層の一部を示 ry 。
この図のパネルは、一般的セルラレイヤ 1 枚の一部を示しています。
? ry ために、パネルには1列に6個のセルを持つ21個のミニ ry を示 ry 。
わかりやすくする為に、1列に付き 6 セルを伴った、 21 ミニカラムのみをパネルは示しています。
B）
入力シーケンスABCDとXBCYはまだ学習されていません。
? ry この例では ry 、まばらなミニカラムのセットを呼び出します。
各シーケンス要素は、この図では3つのみの、ミニカラムのスパースセットを呼起します。
? ry 、ミニカラム内のすべてのセル ry 、シーケンス ry 。
入力が予想外の場合、そのミニカラム内の全セルがアクティブになります。これは、そのシーケンスを学習する前の場合です。
C）
ry 、入力 ry された1つのセルのみが各列でアクティブです。
2つのシーケンスを学習した後、それら入力は同じミニカラムを起動しますが、B '、B' '、C'、C ''、D 'およびY' 'とラベル付けされた各列の中に於て 1 セルのみがアクティブです。
C 'とC' 'は一意であるため、YまたはDのどちらかの正しい高次予測を呼び出すことができます。

? 14年

A 次の入力の予測

A 入力
B ' 予測
B 入力
C ' 予測

B 複数同時予測

B 入力
C 'とC' ' 予測
C 入力
D 'とY' ' 予測

図3：近くのニューロンへの基本接続は次の入力を予測します。
A）
図２からの配列の１つを使用して、活性細胞（黒）および脱分極／予測細胞（赤）の両方が示される。
最初のパネルには予期しない入力Aが表示され、それが次の入力B 'の予測につながります（2番目のパネル）。
? ry 、偏光解消セル ry 。
後続の入力が予測と一致する場合、脱分極セルのみがアクティブになり（3番目のパネル）、これが新しい予測につながります（4番目のパネル）。
? ry される外側シナプス結合が最も ry 。
予測された細胞のうちの１つによって使用されるシナプス横方向接続複数が最も右側のパネルに示されている。
? ry は、多数のアクティブセルのサブセット ry 。
現実的なネットワークでは、予測されるすべてのセルは、アクティブセルの大集団のサブセットに対して15以上の接続を持つことになります。
B）
あいまいなサブシーケンス「ＢＣ」（これはＡＢＣＤおよびＸＢＣＹの両方の一部である）がネットワークに提示される。
最初のパネルは予期しない入力Bを示しており、これはC 'とC' 'の両方の予測につながります。
? ry 。両方のセットの予測セルがアクティブ ry 予測します（4番目のパネル）。
3番目のパネルは、入力Cの後のシステムを示しています。予測セルセットの両方がアクティブになり、DとYの両方を予測しています（4番目のパネル）。
複雑なデータストリームでは、通常多くの同時予測があります。

? 15年

先端樹状突起

シーケンスB 'C' D 'のフィードバックバイアス

← 入力C
表現C '

← 入力Y
期待と一致しません

? ry 先端樹状 ry は全配列を ry 。
図４：尖端樹状突起へのフィードバックはシーケンス全体を予測する。
この図は、図２と同じネットワークおよび表現を使用している。
「先端樹状突起」と表示された領域は、新皮質の第1層に相当します。全ての細胞からの頂端樹状突起（図示せず）はここで終結する。
図では、次のように仮定されています。
? ry 示されているように、ネットワークは以前にシーケンス ry を学習した。
図２に示されたシーケンスＡＢＣＤをネットワークは以前に学習した。
? 学習されたシーケンスの間、頂端樹状突起に一定のフィードバックパターンが提示され、配列B'C'D 'に参加する細胞はそれらの頂端樹状突起上にシナプスを形成して一定のフィードバックパターンを認識した。
学習済シーケンスに亘って尖端樹状突起へと提示され ( てい ) るコンスタントなフィードバックパターン、をそして認識する為にシーケンス B'C'D ' 参加各細胞はそれら尖端樹状突起上にシナプス編成した。

フィードバック接続が学習された後、頂端樹状突起へのフィードバックパターンの提示は、シーケンス内で順次アクティブになるすべてのセルによって同時に認識される。
? ry 、偏光解消状態になります（ ry 。
赤で表示されているこれらのセルは、脱分極します（左ペイン）。
新しいフィードフォワード入力が到着すると、予測されたシーケンスに関連するスパース表現になります（中央のパネル）。
? ry パターンが予想されるシーケンスの一部として解釈 ry 、選択された列の ry 。
フィードフォワードパターンを予想シーケンスの一部として解釈できない場合（右パネル）、選択されたカラムのすべてのセルがアクティブになり、異常を示します。
? ry 、頂端フィードバックは、予想されるシーケンスの一部として入力を解釈するようにネットワークをバイアスし、入力が予想されるシーケンス ry しないかどうか検出する。
このようにして、尖端フィードバックはネットワークを、どんな入力も予想シーケンスの一部としての解釈をする様にバイアスし、入力がもしも予想シーケンス内の要素のどれにも一致しない場合を検出する。

16

樹状突起

軸索

0.0 0.3 1.0
シナプス「永続性」
0 1
? シナプス重量
シナプスウェイト

? ry 新しいシナプス ry
図5：新シナプスの成長による学習
? ry 、一連の潜在的シナプスからの新しいシナプス ry 。
HTMニューロンでの学習は、潜在的シナプスのセットからの新シナプスの成長によってモデル化されます。
「永続性」値は各潜在的シナプスに割り当てられ、シナプスの成長を表します。
学習は、永続性の値を増減することによって行われます。
? ry 重みは、永続 ry 設定されたバイナリ値です。
シナプスの重みはバイナリ値で、永続性がしきい値を超えている場合は1に設定されます。

? 17年

A

正確さ
60％
：一次モデル
： HTMレイヤー
30％
20％
10％
0％

0 2000 4000 6000
シーケンス要素

B

正確さ
60％
: 40％セル深度
： 50％セル深度
： 60％セル深度
： 75％セル深度
10％
0％

0 2000 4000 6000
シーケンス要素

図6 シーケンスメモリネットワークのシミュレーション結果
? ry ランダムな要素 ry 。
この図に使用されている入力ストリームは、ランダム要素と混合された高次シーケンスを含んでいました。
このデータストリームの最大可能平均予測精度は50％です。
A）高次オンライン学習。
? ry は、約 ry 要素の後でネットワークが学習し、最大 ry を達成 ry 。
赤い線は、ネットワークが学習し最大限のパフォーマンスを約2500のシーケンス要素の経過後に達成していることを示しています。
要素３０００において、データストリーム内のシーケンスが変更された。
? モデルが新 ry を学習 ry つれて、予測 ry します。
予測精度は低下してから回復します、新しい時間構造をモデルが学習するにつれて。
ry に、一次 ry の性能が低い方 ry 。
比較のために、低性能な一次ネットワークの方を青で示しています。
B）損傷に対するネットワークの堅牢性。
? ry はニューロンの無作為選択を不活性化した。
ネットワークが安定した性能に達した後、我々は無作為選択な各ニューロンを非アクティブ化した。
? ry 死で、パフォーマンス ry 。
最大40％の細胞死に於て、パフォーマンスにほとんど影響がありません。
細胞死が40％を超えると、ネットワークのパフォーマンスは低下しますが、残りのニューロンを使用してネットワークが学習するにつれて回復します。

? 18年

S1テキスト。少数のシナプスで大きなパターンを認識するときの誤りの可能性

誤りの可能性を計算するための公式
? ry （シナプスを形成 ry 。
非線形樹状セグメントは、大きな集団からの少数の細胞をサブサンプリングする（その様にシナプスを形成する）ことによってパターンをロバストに分類することができる。
? ry 誤った一致 ry ます。
パターンがランダムに分布していると仮定すると、以下の式で誤一致の正確な確率が求められます : http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1511.00083#19

!!!! ! ! ラ ! ! ! !

n = 細胞集団の大きさ
a = アクティブセル数
? ry セグメントの ry
s = セグメント上のシナプス数
θ = NMDAスパイクしきい値

表A：サブサンプリングによる誤差の可能性

この表は、上記の式を使用して、誤った一致の可能性に対するサブサンプリングの効果を示しています。
サンプリングサイズが大きくなるにつれて、エラーの可能性は急速に低下します。
信頼性の高いマッチングには、少数のシナプスで十分です。

s 誤った一致の可能性

6 9.9 ラ 10 ^ -13
8 9.9 ラ 10 ^ -17
10 9.9 ラ 10 ^ -21

n = 200,000
a = 2,000
θ = s

表B : 50％のノイズ耐性を追加した場合のエラーの可能性

この表は、ノイズに対する堅牢性を示しています。
ＮＭＤＡスパイクに必要とされるよりも多くのシナプスを形成することによって、ニューロンは、大量のノイズおよびパターンの変動に対してロバストであり得、それでもなお、誤った一致の可能性が低い。
例えば、ｓ＝２θの場合、システムは５０％の雑音に対して耐性がある。
? エラー ry は増加 ry つれて急速 ry します。ノイズ ry には少数のシナプスで十分です。
ノイズがあっても、信頼性の高いマッチングには、シナプス少数で充分です、増加するにつれて、エラーの可能性は急速に低下します。

θ s 誤った一致の可能性

6 12 8.7ラ10 ^ -10
8 16 1.2ラ10 ^ -12
10 20 1.6ラ10 ^ -15
12 24 2.3ラ10 ^ -18

n = 200,000
a = 2,000

? ry 上の混合シナプスの追加 ry
表C：樹状セグメント上でのシナプス混交の追加による誤りの可能性

? この表は、単一 ry の混合が依然として許容できないエラー ry 。
この表は、許容不可なエラーを単一樹状セグメント上のｍ個の異なるパターンに対するシナプスの混交が依然として引起こさないことを実証している。
? ry 認識し、なお５０％のノイズに対してロバストであり得るかを見る ry 。
ｓ＝２ｍθに設定することによって、セグメントがどのようにしてｍ個の独立したパターンを認識し尚 50 % のノイズに対してロバストであり得るか、を我々は見ることができる。
わずかに高いしきい値を使用することによって、より大きいmで非常に高い精度を得ることが可能です。

θ
m ? メートル
s
誤った一致の可能性

10 2 40 6.3 ラ 10 ^ -12
10 4 80 8.5 ラ 10 ^ -9
10 6 120 4.2 ラ 10 ^ -7
15 6 120 1.7 ラ 10 ^ -12

n = 200,000
a = 2,000

? 19年

高次シーケンス
HTM はい
HMMs Limited
LSTM はい

高次シーケンス構造を発見
HTM はい
HMM いいえ
LSTM はい

? 地域学習 ry
ローカル学習ルール
HTM はい
HMM いいえ
LSTM いいえ *

継続的な学習
HTM はい
HMM いいえ
LSTM いいえ

複数同時予測
HTM はい
HMM いいえ
LSTM いいえ

教師なし学習
HTM はい
HMM はい
LSTM いいえ

堅牢性とフォールトトレランス
HTM 非常に高い
HMM いいえ
LSTM はい

神経科学への詳細なマッピング
HTM はい
HMM いいえ
LSTM いいえ

確率モデル
HTM いいえ
HMM はい
LSTM いいえ

S1テーブル、共通シーケンスメモリアルゴリズムの比較
2つの共通シーケンスメモリアルゴリズム（HMMとLSTM）を提案モデル（HTM）と比較した表。
*ウェイト更新ルールはローカルですが、LSTMではグローバルエラー信号を計算してから逆伝播する必要があります。

20

--
YAMAGUTIseisei ( str_h__namae = { :sei => "山口" , :mei => "青星" } )

YAMAGUTIseisei

unread,

Oct 6, 2019, 7:26:47 PM10/6/19

YAMAGUTIseisei wrote:
> PR : シンギュラリティ系有料メールマガジン発行を構想致しております
> 無料メールマガジン版 ( 別途有料版開始時打切 )
> http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7
>
>
> 設計概要自体の代りに周辺情報 ( 論文翻訳等 ) をお届け致しております
>
>
>

> HarmonyOS ロンチイベントファーウェイデベロッパカンファレンス 2019
>
> Richard Yu
>
>
> Google 翻訳
> Harmony OS Launch Event in English @ Huawei - HarmonyOS HDC2019 - Huawei Developer Conference 2019
> http://m.youtube.com/watch?v=7HvgfQy_Nv8#CTFTnPbU68s#EE6yzdB4RHU#mpQXEroIzYg
>
> 　
> http://rio2016.2ch.net/test/read.cgi/future/1566534326/12# HongmengOS ( HarmonyOS )
> http://rio2016.2ch.net/test/read.cgi/future/1559851720/54# DensiZunouTeki Sekkei ## TaihuLight SW26010 JianZhangSensei
>
> 　
>
> ? ry シナリオのOS。
> すべてのシナリオの為のOS。
>
> ? 中国語のハーモニーは地球 ry ついて話し、英語の漢字Hongmengにクローズド発音を使用することは、より調和とより便利な世界をもたらしたいため、ハーモニー ry 。
> 中国語の Hongmeng は、地球の始まりについて語り、そして、英語では漢字鴻蒙に近い発音を使用し、我々が欲する調和と利便性とを世界の為に齎すものとしてハーモニーと呼ばれます。
>
> HarmonyOSは、すべてのシナリオに対応した世界初のマイクロカーネルベースの分散OSです。前述のとおり、GoogleもマイクロカーネルベースのOSに取り組んでいますが、まだ実現されていません。
>
> ? ry 関しては、分散アーキテクチャを備えているため、すべての ry 生まれ、カーネルを保護し、共有エコシステムを実現できます。
> 私たちの調和に関しては、我々が持つ分散アーキテクチャとして、それは全てのシナリオに対応する分散OSであるため、スムーズに生まれ、セキュアなカーネルを持ち、共有エコシステムを実現できます。
>
> そのアーキテクチャを見てみましょう。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=68
>
> ? ry であり、非常に下層のカーネル ry 。
> これはHarmonyOSのアーキテクチャであり、とても下層それがカーネルであり、その基本サービスの上にプログラムフレームワークがあります。
> このようにして、パワービジョン、ウェアラブルサービス、ハンドユニットサービス、スピーカーサービス、スマートフォンサービスなど、あらゆる種類のデバイスをサポートできます。
> これらの種類のサービスはすべて、単一のオペレーティングシステムでサポートできます。
> ? ry 弾力的 ry するため、モジュール ry 。
> それは、弾力的な展開を可能にするものとしての、モジュールベースのデカップリングです。
>
> ? このデバイスの機能が何であれ、このHarmonyOSを同時に使用 ry 。
> このデバイスの如何なる機能であれ同時に、このHarmonyOSに於て使用できます。
> ? ry 能力でも柔軟な適応を実現 ry 。
> 強力で柔軟なため、狭い展開能力にも柔軟に適応する事を実現できました。
> ? RAM ry できるように。
> その為、 RAMサイズ2GBレベルからKBレベルまでの幅広いメモリ空間をサポートできます。
> そのため、1つのオペレーティングシステムに対して異なるデバイスに適用できます。
> ? ry して、完全に接続された世界にサービス ry 提供すると同時に、最初の有能 ry である分散 ry を使用できます。
> このようにして、フル接続ワールドにサービスとサポートを提供するその時我々は、我々の初の有能なデバイスOSである我々の分散アーキテクチャを持っています。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=168
>
> ? ry スケジューリングがあります。
> そして、それが分散アーキテクチャであり、ソフトバス、分散仮想バス、ハードウェア仮想化、分散データ管理、および分散データスケジューリングを我々は持っています。
> また、仮想化ハードウェアは共有リソースとして機能し、仮想バスを分散させることで複数のデバイスを接続できます。
> ? ry 関係ありません。
> カメラ、スピーカー、またはその他のデバイスでさえ、センサーやコンピューティングデバイスですら関係なく、です。
> ? それらは、仮想プールで既にプールになっているハードウェア ry 。
> それらは今や、仮想バスにより既にプールである所のハードウェアリソースです。
> ? ry ユーザーのアカウントの1つでした。
> 分散仮想バスはユーザの 1 つのアカウントでした。
> ? ry の機能は ry 。
> すべてのデバイスのケーパビリティ ( 機能訳注:オブジェクトのタグの類をシングルシステムイメージ文脈で差す場合も ) は、どのデバイスでも共有およびキャッチできます。
> 後で私の同僚は、分散仮想バスがさまざまなデバイスのハードウェア機能を呼び出す方法を示すデモを紹介します。
> そして、Huaweiがこれを達成した最初の企業です。
>
> ? 私たちの分配された仮想バス ry 。
> 私たちの分散仮想バスは簡素化されたプロトコルも導入しました。
> したがって、7層のこのプロトコルスタックを認識できます。
> 物理層からセッションプレゼンテーションアプリケーション層まで、7つの層がありました。
> ? ry より、中央の4つの層が簡素化されています。
> しかし、OSの場合、分散仮想バスにより、ミドルにあるレイヤが 4つに簡素化されています。
> ? ry 消費されたペイロード ry 化を減らすためにペイロード ry 上げることができました。
> それで、消費ペイロード削減とプロトコルスタックの簡素化との為に我々は、ペイロード効率を押し上げる管理をしました。

> ? ry は、待ち時間を短縮して高スループット ry 。
> 分散仮想バスは、レイテンシ短縮の為の管理をしてより高いスループットを実現します。
> また、PLCが25％と高い場合でも、ユーザーエクスペリエンスは保証されます。

http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=300

> ? ry スムーズの ry 。
> HarmonyOSには、スムーズさのための別の機能があります。
> LinuxとUNIX OSは今日、すべてのリソースを公平に扱うようにシステムを設計しています。
> それらはサーバー負荷指向であり、つまり高速道路上にあります。
> ? ry 車とゆっくり走る車は、トラックトラックと自転車です。
> より速く走る車と、ゆっくり走る車、トラックやロータリと自転車です。
> ? ry 彼らは望む ry リンクのどれかについて疑問に思うだけです。
> 実に驚く事に、彼らは彼らが望むようにリンクできます。
> ? そのようにして、システムの低遅延と高速でスムーズな動作を実現することは困難です。
> その様な、低遅延と高速且つスムーズなシステムオペレーションとを実現する事は、困難です。
>
> ? ry は操作を変更しました。
> そのため、HarmonyOSはオペレーションを変更しました。
> ? ry を設計しました。
> 追い越し車線、高速車線、低速車線、自転車車線を我々は設計しました。
> ? ry を適用します。
> また、さまざまなアプリケーションの要求に応じてリソースを正確に割り当てるために、ペイロードを動的に分析および予測する技術を我々は適用します。
> ? ry そして、それが高効率と低遅延を達成する方法です。
> そしてそれが、高効率と低遅延とを我々が達成する方法です。
> そして、確定的レイテンシエンジンを展開しています。
> 応答遅延と遅延変動は大幅に低下しました。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=398
>
> ? そのため、マイクロカーネル ry 心配になる場合があります。
> さてあなたは、マイクロカーネルベースのアーキテクチャのIPCが心配かも知れません。
> しかし、あなたはそれを心配する必要はありません。
>
> 他の外部カーネルサービスの中で管理されていたファイルシステム。
> それらは基本的なサービスです。
>
> モノリシックカーネルアーキテクチャを適用する場合、すべての外部カーネルサービスが統合されます。
> しかし、今はマイクロカーネルの時代です。
> IPCのパフォーマンスをどのように確保できますか。
> HarmonyOSは、最高のIPCパフォーマンスを提供できます。
>
> 自動車のT-Boxで使用されているQNXと比較した結果を見てみましょう。
> ? また、IPC ry わかるため、フクシアとも比較しています。
> そして、フューシアとも比較する事で、 IPCのパフォーマンスがこれらの2つの製品よりも3から5倍高いことが分かります。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=462
>
> ? ry を使用 ry 。
> さらに、マイクロカーネルを我々が使用するもう1つの理由は、カーネルのセキュリティを確保するためです。
>
> ? We're about to enter the era of the microkernel era we need to ensure its security.
> セキュリティを確保するために必要なマイクロカーネル時代の時代を迎えようとしています。
> ? ry された他の ry 。
> HarmonyOS-microkernelは、5月20日以降に発売された我々の他のスマートデバイスの中でも、タブレットとハンドセットに商業的に展開されています。
> ? ry のセキュリティが重要なアプリ ry をより確実に確保 ry 。
> マイクロカーネルは信頼できる実行環境に展開されるため、支払いや生体認証などのセキュリティクリティカルなアプリケーションのセキュリティをより良く確保できます。
> 正式な検証メッセージを使用して、TEEカーネルのセキュリティを向上させます。
>
> 本日リリースするHarmonyOSはマイクロカーネルアーキテクチャを使用しており、今後、マイクロカーネルアーキテクチャを使用するOSが増えることを楽しみにしています。
>
> HarmonyOSのもう1つのハイライトは、フォーマル検証メッセージです。フォーマル検証を使用して、従来の方法と比較してセキュリティを確保できます。
> OSには常に脆弱性があります。
> 機能の検証と脆弱性のスキャンを使用して、攻撃をシミュレートしてセキュリティのリスクを排除することもできますが、それに対する100％の保証はありません。
> ただし、正式なアプリケーションメソッドを展開することにより、コードマッチング設計を完全に検証し、システムの正確性を検証できることを確認しました。
> より包括的な方法で。
>
> 正式な検証方法には独自のキャッチがあります。つまり、従来のプログラムコードを使用している場合、必要なコードは1行だけです。
> ? ry そのため、マイクロカーネルを使用 ry 。
> ただし、正式な検証方法を使用する場合は、100行のコードを展開する必要があります。その為に、マイクロカーネルを我々は使用しています。
> ? 小さい ry 。
> より小さいカーネルを使用すると、検証の正式な方法を包括的に展開できます。
> ? ry のセキュリティが重要な燃料でのみ ry 。
> .過去には、正式な批准方法は、航空宇宙やチップセット設計などのセキュリティクリティカルな動力源でのみ使用されています。
> ? ry 今日、OS ry に正式 ry を導入 ry 。
> しかし、今日、正式な方法を OSの設計と開発に我々は導入しています。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=636
>
> マイクロカーネルにはルート特権がありません。 ( 訳注 : カーネル自体が特権モードで動作 )
> Unix LinuxおよびAndroidには、ルートアクセスまたはルート権限があります。
> ? ry ドアの鍵のようなものです。
> それはあなたの家のすべてのドアのマスターキーの様な鍵です。
> ? ry ため、外部サービスはファイルシステム ry などのカーネルの外に置かれ、すべて独自のロックがありました。
>しかし、今見ているようにマイクロカーネルが使用されている為、ファイルシステム管理やメモリ管理などの外部サービスはカーネルの外に置かれ、それら全てが独自ロック ( 訳注 : 排他文脈か否かは不明瞭 ) を持ちます。
> ? そして、それは私たちがあなたの家のすべてのドアを開けるために1つ ry キーを持つことを心配 ry 。
> そしてそれは、ドア全てを開けるための1つのマスターキーをあなたの家が持つかを我々が心配しない方法です。
> ? And that's why ?
> ? それが理由ですか？
> それは何故でしょう。
> ルート特権を排除することで、システム全体のセキュリティを確保できます。
> 従来のモノリシックカーネルアーキテクチャを2層に変更しました。1層のマイクロカーネルともう1層の外部カーネルです。
>
> ? EALが認定を発行しました。
> EAL 認証が我々に発行されました。
> 私たちのHarmonyOSは、5つ以上のレベルの認証を取得することが可能です。
> ? 私たちは世界で一番だと信 ry 。
> 我々は、我々が世界一だと信じています。
> そして、テストの一部となり、5つ以上の認証を取得しているOSになることができると確信しています。
>
> HarmonyOSは、さまざまなデバイスのさまざまなシナリオにわたってセキュリティを確保できます。これはすべて、マイクロカーネルアーキテクチャによって可能になります。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=768
>
> ? 今日、ここに示す ry アーキテクチャがあります。
> 今日我々は、ここで示すようなHarmonyOSアーキテクチャを持ちます。
> ? そのため、Linux ry 。
> 又我々はまだ、LinuxカーネルとUNIXカーネルだけでなく、他のAndroidアプリケーションも保持しています。
> ? また、カーネル ry 。
> そこでは又、カーネルの一部としてLightOSを保持します。
> ? ry 、カーネルに加えて、より ry を配布する必要 ry 。
> そして、カーネルの直上で、より多くのアプリケーションとの互換性を高めるために、仮想バスやプログラムフレームワークなどを分散させる必要があります。
> また、HarmonyOSのパフォーマンスをサポートするためにコンパイラとマルチデバイスIDEを展開していますが、将来はLinuxカーネルをLightOSカーネルからHarmonyOSのマイクロカーネルに置き換えられることを願っています。
>
> また、将来的には他のアプリケーションとの互換性も確保されます。
> ? ry がOS上 ry を願っています。
> すべてのアプリケーションが我々の OS の上でスムーズに展開および操作できることを我々は願っています。
> ? ry 、Linuxアプリケーション ry をサポートしています。
> HTML5、Lignuxアプリケーション、Androidアプリケーションなど、さまざまなプラットフォームで開発されたアプリケーションを我々はサポート進行中です。 ?
> これらはすべて、将来的に当社のOSで実行できるようになります。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=868
>
> すべてのシナリオでの分散OSのもう1つの利点は、共有エコシステムを持つことです。
> ? そのため、過去には、時計 ry 、PC用 ry およびハンドセット ry 必要がありました。
> これまであなたは、時計用のアプリケーション、あなたの PC 用の別のアプリケーション、およびあなたのハンドセット用の別のアプリケーションを開発する必要があったかも知れません。
> ? その後、開発 ry すべての問題を ry 。
> とすると、開発者はアプリケーションをさまざまなデバイスに適応させるために、すべてのトラブルを経験する必要があります。
> ? ただし、Huawei ry を一度開発してから、その ry 。
> しかし今、Huaweiが提供するIDEを使用すると、そのアプリケーションを一旦開発すれば、そのアプリケーションを複数のデバイスに展開できます。
> ? ry 、車のインフォテインメントシステム ry 。
> これにより、家庭の音楽プレーヤーなど、さまざまなデバイスのさまざまなアプリケーション用の共有エコシステムを作成し、あなたの自動車のインフォテインメントシステムのランドスケープモードに自動的に適応させることができます。
> また、IDEにより、自動適応のためのドラッグアンドドロップが可能になります。
> これは、IDE開発者がアプリケーション開発にこの環境を簡単に使用できることのデモです。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=945
>
> ? ry 。C++ ry 。
> 私たちのコンパイラは別のハイライトです。ローンチ後には、 C++やC言語に関係なく、マルチ言語をサポートします。
> コンパイラによってサポートされており、コンパイラはJava、Kotlin、およびJavaScriptもサポートしています。
> すべての言語は、コンパイラによってサポートされています。
>
> ハイブリッドプログラミングもサポートしています。
> ? ry アプリケーションにはC ++ ry することもありますが、単純 ry 場合があります。
> 複雑なアプリケーションにあなたが C ++を使用する事を我々は時として望みますが、単純なアプリケーションにはKotlinを使用する場合もあるでしょう。
> ? したがって、プログラミング ry 。
> プログラミング中にどの言語を使用していても、当社のコンパイラはすべての手間を処理できます。
> ? コンパイラーを適用することにより、 ry システム以上。
> しかも、我々のコンパイラを適用しパフォーマンスが60％以上向上したシステム、よりも更に。
>
> ? ry の配布機能は、 ry にわたるアプリケーション開発 ry 。
> 当社の分散ケーパビリティは、さまざまなデバイスに跨がったアプリケーション開発をサポートするキットを提供しています。
> このキットを使用すると、さまざまなデバイス用のアプリケーションを簡単に開発できます。
> ? ry が、今日のキットでは、さまざま ry 。
> 以前は、サポートしているOSはありませんでしたが、我々のキットでは今日、さまざまなデバイス用のアプリケーションを簡単に開発できます。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=1049
>
> ? これが ry 歴史であり、2年前に最初にカーネルの開発が開始されました。
> 2 年前にカーネルの初動作から始まった、これがHarmonyOSのロードマップ上の歴史です。
> ? スマートデバイス ry にTEEを使用した場所。
> TEE をスマートデバイスから最初に我々が使用した場所。
> ? ry 明日リリースされた製品です。
> 今年からHarmonyOSはより多くのデバイスに適用され、最初の製品は明日 Honor からリリースされる製品です。
> ? ry バージョン、翌年には3.0 ry 。
> HarmonyOSマイクロカーネルに関しては、来年は2.0バージョン、来年の後には3.0バージョンがリリースされます。
> ? したがって、機能を強化 ry 部分の両方を完全に改善 ry 。
> それで、ケーパビリティを強化するために、内部部分と外部部分との両方をフルに改善します。
>
> HarmonyOSは、スマートフォン、PC、タブレット、時計、ハンドユニットなど、さまざまなデバイスに適用できます。
> ? ry いつ我々は適用するかを尋ねられた場合は、より ry ができます。
> スマートフォンにいつ我々は適用するかをあなたが私に尋ねるなら、より良いエコシステムの検討を除き、いつでもそれを行うことが我々はできます。
> ? ry 優先するため、Google ry をサポート ry 。
> GoogleのAndroidオペレーティングシステムの使用を優先する事で、GoogleのAndroidエコシステムを我々はサポートしています。
> ただし、将来使用できない場合は、すぐにHarmonyOSに切り替えることができます。
> ? ry する分散機能により、パフォーマンスが向上しています。
> Androidと比較して、将来のすべてのシナリオをサポートする分散ケーパビリティにより、パフォーマンスが向上しています。
> あなたと共有したいことは、いつでもHarmonyOSを使い始めることができるということです。
> ? ry エコシステムのために、 ry 。
> しかし、パートナーシップの検討と、より良いエコシステムと、の為に、誰もがワークロードを削減したいと考えています。
> AndroidからHarmonyOSへの移行は実際にはそれほど難しくありません。
> 非常に簡単です。たった1、2日でそれができるかもしれません。
> これは、移行のワークロードがどれだけ小さいかです。
> 互換性があるため、非常に便利に簡単に移行できます。
> ? ry で、強力 ry 。
> 皆さんと共有したいのは、将来、PC、タブレット、および他のすべてのドメインで、我々の強力なオペレーティングシステムを使用できることです。
>
> http://m.youtube.com/watch?v=7HvgfQy_Nv8&t=1216
>
> Linuxをベースに開発している他のオペレーティングシステムが気に入っています。
> 私たちは、まったく新しい世代のオペレーティングシステムを代表しています。
> 当社のHarmonyOSは、AI機能を可能にし、さまざまなシナリオを可能にする、真の将来を見据えた次世代オペレーティングシステムです。
> 繰り返しますが、すべてのシナリオに対応したマイクロカーネルベースの分散オペレーティングシステムです。
> 分散アーキテクチャとその柔軟性のおかげで、はるかに強力なパフォーマンスと他のすべての利点があります。
>
> また、別の重要なニュースを皆さんと共有したいと思います。
> HarmonyOS、それはオープンソースになります。
> ? ry と思う ry 。
> グローバルなオペレーティングシステムを構築したいと我々は思うでしょう。
> そのため、Huaweiだけでは使用されません。
> ? ry 他の関係者を紹介すること ry 。
> 代わりに、オープンソースにすることで、他のパーティを導き入れる事もできます。
> ? ry 、次世代の主要なオペレーティングシステム ry 。
> 一緒になって、次世代をリードするオペレーティングシステムを共同で構築できます。
>
> どうもありがとうございました。
> ありがとうございました。
> HDCにご参加いただきありがとうございます。
> より強力なHarmonyOSとより良いエコシステムを一緒に構築できることを願っています。
> どうもありがとうございました。

> 訂正なぜニューロンは何千ものシナプスを持っているのか、新皮質に於けるシーケンス記憶の理論
:

>図２：皮質セルラレイヤ中のシーケンスを表す。 >A）新皮質はセルラレイヤに分割される。 >C）? ry 、
>図 4>このようにして尖端フィードバックはネットワークを、どんな入力であれ予想シーケンスの一部である、として解釈する様にバイアスし、予想シーケンス内の要素のどれとももしも入力が一致しない場合を検出する。
>図 6 行頭に ? >? ry に、一次 ry の性能が低い方 ry 。
重要度小>閾値例えば 0. 3 をもしも永続値が超える場合、
>ベストな予測を成すにどれだけの時間的コンテキストが必要か、をネットワークは動的決定する必要があります。

重要度小>? ry では、可能 ry ように入力 ry ストリームを設計 ry 。
>このシミュレーションでは入力データストリームを、可能な最大平均予測精度が50％になるように設計しました。これは高次表現を使用することによってのみ達成可能です。
重要度小>従ってそれら 2 つの場合に於て、サブシーケンス「BC」に亘っての内部表現は異ならねばならない。さもなくば「C」提示後に、正しい予測を成す事ができません。
>ＨＴＭニューロンおよびＨＴＭネットワークは、分布したパターンの細胞活性に依存しているので、ニューロン又はシナプス、のどれか 1 個の活性化強度はそれほど重要ではない。

>これは、ニューロン個々の想定デューティ比（カラム毎のセル数 / カラムのスパース度）と、
>容量は、幾つの遷移をカラム群の特定単一スパースセットで学習できるかによって決まります。
>は、ほんの幾つかだけ、理想的には１つだけ、存在するはずである。
>? ry ry 軸索アーバーの局所領域に空間的に局在することを予測する。
>? ＮＭＤＡ ry よって脱分極され ry を阻害する ry 。
>を結び付けること、即ち、細胞群の一枚の完全なレイヤ、のレベルに於てのオペレートを行う生物物理学的詳細モデルを作成することです。
>? 勝利列が予測 ry 場合、現在のシーケンス遷移が繰り返される場合、将来コンテキストを表すセルを1つ選択 ry 。
>現シーケンス遷移がもしも繰返される場合のコンテキスト、を将来表すであろうセル 1 つを我々は、勝利カラムがもしも予測されなかった場合には選択する必要があります。

重要度小>? ry 、以前に脱分極 ry を強化する。

YAMAGUTIseisei

unread,

Nov 25, 2019, 8:12:12 AM11/25/19

> Google 翻訳 http://arxiv-vanity.com/papers/1612.00530/
>
> ? ry として提供しているので、PDFを詳しく読む必要 ry 。
> arXiv Vanityは、 arXivの学術論文をレスポンシブWebページとしてレンダするので、PDF に煩わされる必要はありません。
> arXiv.orgでこの論文を読んでください。
>
>
> ? PEZY ‐ SC ry
> PEZY-SCプロセッサ上の不規則格子反復法のためのデータ圧縮アルゴリズムの実装と評価
>
> Naoki Yoshifuji , Ryo Sakamoto † , Keigo Nitadori ‡ and Jun Makino ァ

> Fixstars , 〒141-0032 東京都品川区大崎1-11-1大町西タワー18F GateCity
> Eメール： yoshifujiATfixstars
> † Fixstars , 〒141-0032 東京都品川区大崎1-11-1 18F GateCity大崎ウエストタワー
> 電子メール： sakamotoATfixstars
> 現在の住所：101-0052 東京都千代田区神田小川町1-11 5F千代田小川町クロスタ5Fペジーコンピューティング
> 現在の E メール： sakamotoATpezy ? プレゼントメール
> ‡ RIKEN AICS , 650-0047 兵庫県神戸市中央区港島南町7-1-26
> Eメール： keigoATriken
> ァ 657-8501神戸市灘区六甲台1-1神戸大学理学研究科惑星学専攻 ? 惑星学科
> 電子メール： jmakinoATpeople.kobe-u.ac.

抄録
不規則格子上の反復法は、複雑な幾何学を持つ偏微分方程式を解くために、計算科学および工学のすべての分野で広く使用されてきました。
それらは、比較的低い計算コストで複雑な形状を表現するための柔軟性を提供する。
しかし、過去20年間における高性能プロセッサの進化の方向性は、比較的低いメモリ帯域幅のために、不規則グリッド上の反復法の計算効率の深刻な低下を引き起こした。
データ圧縮は、原則として、反復方式に必要なメモリメモリ帯域幅を削減し、それによって効率を向上させることができます。
例としてHPCGベンチマーク用に生成された行列を使用して、PEZY-SCプロセッサにいくつかのデータ圧縮アルゴリズムを実装しました。
? ry 帯域幅のために理論上の限界に近い値です。
HPCGベンチマークのSpMV（Sparse Matrix-Vector Multiplication）部分では、データ圧縮なしの最良の実装では11.6Gflops /チップを達成しました。これはメモリ帯域幅に沿った理論上の限界に近い値です。
データ圧縮を使った私たちの実装は32.4Gflopsを達成しました。
HPCGで使用されるグリッドは幾何学的に規則的であり、したがってその圧縮効率が非常に高いため、これはもちろんかなり極端なケースです。
? しかし、実際 ry 。
とは言え、実際のアプリケーションでは、特に解像度が高い場合は、グリッドの大部分を規則的なジオメトリにすることが可能です。
? ry データ ry 。
註記しますがデータ圧縮/解凍サブルーチンを追加する以外は、プログラムの構造を変更する必要はありません。
? ry なると考えています。
したがって、データ圧縮は、不規則なグリッドの使用に依存する多くのアプリケーションのパフォーマンスを向上させるために非常に有用な方法になると我々は信じます。

索引用語 -有限要素解析、スパース行列、データ圧縮

I. はじめに

本稿では、PEZY-SCプロセッサ上でのスパース行列とベクトルの乗算（以下、SpMV乗算）の実装と性能について述べる。
特に、パフォーマンスに対するさまざまなデータ圧縮方式の影響に焦点を当てます。
スパース行列とベクトルの乗算は、不規則グリッドを使用する多くの実際のアプリケーションの中で最も時間がかかる部分です。
最もよく知られている例は、構造解析と他の多くのCAEアプリケーションのためのFEM（有限要素法）です。
不規則なグリッドは、複雑な形状を持つオブジェクトの分析を可能にするために不可欠です。
? ry が、一般的に不規則なグリッドははるか ry 数の自由でより ry します。
規則的なグリッドを複雑な形状に適用することは不可能ではありませんが一般的には、不規則なグリッドは遥かに少ない数の freedoms で、より正確な結果を提供します。

? ry 乗算で合理的な効率 ry 。
しかしながら、現代のHPCシステム上でのSpMV乗算に於ては合理的効率さえ達成することは非常に困難になっています。
? この問題には主に2つの理由 ry 。
この困難には 2 つの主たる理由があります。
最初のものはメモリ帯域幅です。
? ry ます。
行列Aとベクトルxの乗算を考えます、
ｙ＝Ａｘ。（1）

? 実際のアプリケーションでは、行列Aは大きすぎてキャッシュメモリに収まりません。
現実のアプリケーションでは、行列Aは、キャッシュメモリに収めるには大き過ぎます。
? ry yははるかに小さいので、常に広範囲のデータを再利用する可能性があります。
一方、ベクトルxとyそれらは遥かに小さく、そしてそれらの為の広範囲データ再利用の実現性が常にあります。
? ry 、ＳｐＭＶ動作のため ry の主な部分 ry 。
したがって、 SpMV オペレーションのためのメモリアクセスの支配的部分は、（スパース）行列Ａの読み取りである。

? ry Aのゼロ以外の要素数 ry 。
行列Aの正確なデータサイズは、使用されるデータ形式によって異なりますが、 A の要素である所の非ゼロなものの個数より小さくすることはできません。
? Aの 1つの非ゼロ要素あたり ry 。
A の非ゼロ要素 1 つあたりの浮動小数点演算の数は2です。
したがって、データフォーマットが倍精度フォーマットである場合、2つの浮動小数点演算ごとに8バイトのメモリ読み取りが行われます。
? つまり、「 ry 。
言換えれば、「必須」B / F（byte per flops）数は8/2 = 4です。
? ここでは、インデックス用に読み込まれたメモリを無視したことに ry 。
インデックス用に読込まれるメモリを我々が無視している事に注意してください。
? FLLアプリケーション ry 50 100 ry 。
FEM アプリケーションで行列を保存するのに最も効率的な形式であるELL形式を使用すると、必要な帯域幅は50～100％増加する可能性があります。
? 従って、Ｂ／Ｆ数に関して要求 ry 幅は、６ ry 。
従って、要求されるメモリ帯域幅の B/F 数表現は、６から８の間であり得る。

? ry かなりの部分を ry 。
1980年代のベクトルマシンのハードウェアB / F数は4から12の間だったので、1980年代にはベクトルスーパーコンピュータはSpMV動作のメモリ帯域幅要求の少なくともかなりの割合をサポートできるメモリサブシステムを持っていました。

http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1612.00530#2
1 http://www.hpcg-benchmark.org/custom/index.html?lid=155&slid=288

? マシン ry 秒あたりの浮動 ry 演算の理論上のピーク性能で割った ry 。
ここでは、マシンのハードウェアB / F数は、1秒当り浮動小数点演算数で測定された浮動小数点演算ピーク性能理論値で割った、バイト/秒での理論的な（または測定された）メモリ帯域幅として定義されます。
1980年代のベクトルマシンは、SpMV乗算のために浮動小数点ユニットをビジー状態に保つのに十分なメモリ帯域幅を持っていました。

しかし、最近のHPCシステムで使用されているマイクロプロセッサのB / F数ははるかに少なくなっています。
? ry 、Kコンピュータ ry 。
たとえば、京コンピュータのB / F数は0.5であり、これは今日の標準ではかなり例外的に高いです。
? ry of around 0.2.
最近のXeonベースのシステムでは、B / F値は約0.2です。
? ry around or less than 5%.
必要なB / F数が6の場合、これは現代のHPCシステムの理論上の最大効率が約5％以下になることを意味します。

? ry マシンのHPLパフォーマンスの測定値 ry パフォーマンスの測定値の比率 ry 。
実際、2016年6月のHPCGベンチマーク 1 のトップ10リストのマシンでのHPLパフォーマンス測定値とHPCGパフォーマンス測定値との間の比率は0.4～5％の範囲であり、Xeonベースのシステムの数は2～3％です。

? ry は、明らかにそれらに対するSpMV乗算の非常に低い効率の主な理由です。
したがって、現代のHPCシステムの低メモリ帯域幅は、それらでのSpMV乗算の非常に低い効率の筆頭理由である事が明白である。

第二の理由は、現代の設計者がやや広い幅（４～８ワード）のＳＩＭＤ演算装置を採用する傾向があることである。
? ry 、ベクトルまたは行列のいずれかの要素 ry 。
不規則行列に対するSpMV演算の計算カーネルは、ベクトルのか行列のかどちらかの要素への間接アクセスを必要とします。
ワイドSIMDユニットを搭載した最新のプロセッサでの間接アクセスのパフォーマンスは非常に低いです。
一部のプロセッサは、間接メモリアクセス用のSIMD操作をサポートしていません。
間接メモリアクセスのためのSIMD命令を持つマシン上でさえ、それらのスループットは単純なSIMDロード/ストア命令よりはるかに低いです。
一部のマシンでは、この非効率によってSpMV操作のパフォーマンスがさらに低下する可能性があります。

? ry は、要素ごと（EbE）の方法です。
必要なメモリ読み取りを減らすための1つの方法は、 EbE ( element-by-element : 要素ごと ) メソッドです。
? ry では、スパース行列Aは、各要素の元の ry データからその場で構築 ry 。
EbE法では、各要素の、元の物理データと位相データとから、オンザフライでスパース行列 A が構築されます。
? すべての要素 ry は生成 ry を減らす ry 。
その全要素の総データ量は、生成された行列のサイズよりもかなり小さいので、メモリアクセスの量を我々は減らすことができます。
行列のオンザフライ構成の計算コストがかなり高い場合でも、EbE法に移行することで総計算時間を大幅に減らすことができます。
EbE法は、計算コストが増加しても実際の計算速度を大幅に向上させることができるため、多くのFEMアプリケーションで広く使用されるようになりました。

必要とされるメモリアクセス量を減らすのに潜在的に有用であり得る別の方法は、何らかのデータ圧縮アルゴリズムを使用して行列を圧縮することである。
ただし、HPCアプリケーションでのデータ圧縮の使用に関する多くの研究論文があるにもかかわらず、SpMV乗算へのデータ圧縮の適用に関する研究はほとんどないようです。
? ry するためには、1つの行列要素あたり ry データ圧縮解除アルゴリズム ry 。
考えられる理由の 1 つは、実際の高速化を達成する際の、行列要素 1 つあたりの浮動小数点演算の数が2つだけなので、圧縮データ解凍アルゴリズムは非常に効率的でなければならないことです。
? 解凍アルゴリズムが２、３以上の命令を必要 ry それは総費用のかなり ry 。
ほんの幾つかでなく更なる命令をもしも解凍アルゴリズムが必要とするならば、それはトータルコストのかなりの増加を引き起こすでしょう。
? ry に、一般に、解凍アルゴリズムはいくつかのテーブル ry 操作、すなわち現代 ry 特に効率的ではない間接的なメモリアクセスを必要 ry 。
さらに、現代のマイクロプロセッサにとって特に非効率的な、テーブルルックアップ操作即ち間接メモリアクセスをいくつか、一般に解凍アルゴリズムは必要とする。

一方、システムのハードウェアB / F数が極端に小さい場合は、データの圧縮/解凍を使用することで、SpMVの乗算でパフォーマンスが大幅に向上する可能性があります。

本稿では、HPCGベンチマーク[ 4 ] 、 [ 5 ]のSpMV部分におけるZettaScaler-1.5スーパーコンピュータ[ 7 ]の性能について、データの圧縮/解凍を使用した場合と使用しない場合について報告します。

ZettaScaler（以前はExaScalerと呼ばれていました）システムは、第一世代のPEZY-SC 1024コアプロセッサチップをベースにしています。
2014年11月のTOP500リストに掲載され、Green500リストの第2位にランクされています。
2015年6月のGreen500リストでは、3つのExaScalerシステムが上位3つのランクを占めました。
? ry されたシステムは ry の数を大幅 ry 。
＃1にリストされたそのシステムは、7 Gflops / Wを超えるワットあたりの性能を達成し、2014年11月のGreen500リストの＃1システムの値を大幅に上回りました。
2016年6月現在、Green500リストでは依然としてナンバー1の地位を維持しています。

データ圧縮アルゴリズムのテストベッドとしてZettaScalerシステムを使用したのは、ハードウェアのB / F数が0.05程度とかなり低いためです。
? ry 将来プロセッサに ry 。
したがって、近い将来に於てのプロセッサの為に役立つようなアルゴリズムのテストベッドとして理想的です。
? さらに、その ry 。
付加えると、そのプロセッサコアはSIMDユニットを持っていません。
したがって、データ圧縮を使用してSpMV乗算をかなり高速化することができます。

ZettaScalerシステムは、GPGPUがPCIeインターフェースを介してIntel Xeonプロセッサーに接続され、XeonプロセッサーがInfinibandネットワークを使用して接続される、最新のGPGPUベースのシステムとかなり似ています。
ただし、ZettaScalerシステムには2つの独自の機能があります。
? 最初のものはもちろん物理的に共有されたメモリと階層的なキャッシュを ry 。
1 つ目は勿論、物理共有メモリと階層的キャッシュとを持った1024コアMIMDプロセッサであるPEZY-SCプロセッサチップの使用です。
? 日本 ry 。
それは日本のベンチャー企業、PEZY Computingによって開発されました。
2つ目の特長は、フルオロカーボン（3M Fluorinert FC-43）を使用した液浸冷却システムです。
ZettaScalerシステムでは、高密度実装を実現するために、Xeonプロセッサ用のマザーボードとPEZY-SCプロセッサ用のプロセッサカードを設計しました。
? ry チップの接合部温度を低下させる ry 的な操作が ry 。
液浸冷却の使用は、ＰＵＥ数を減少させ、さらにプロセッサチップの連接部温度をも又減少させるという潜在的な利点を有し、その結果、よりエネルギー効率的に優れたオペレーションがもたらされる。
ただし、ZettaScalerシステムの1ワットあたりのパフォーマンスが高いことの主な理由は、PEZY-SCプロセッサ自体の設計です。

? ry プロセッサは、TSMC ry 使用して、それぞれ完全 ry を備えた1024個のMIMDコアを ry ダイに統合します。
PEZY-SCプロセッサは、完全にパイプライン化された倍精度乗算加算（MAD）ユニットを各々備えた MIMD コア × 1024 個をサイズ400mm ^ 2のダイに、TSMCの28HPMプロセスを使用して統合しています。

http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1612.00530#3

公称消費電力は733 MHzクロックでの動作でわずか65 Wです。

? ry 倍精度稠密 ry 低い（わずかに低い）にも ry 達成HPLでは50％以上。
少なくともHPLベンチマーク、またはより具体的にはDGEMM演算（倍精度密行列乗算）の場合、理論上のピーク性能と比較した効率は依然としてかなり低い ( HPL では、 50 % よりも僅かに良好 ) にもかかわらず、PEZY-SCプロセッサはワットあたり非常に優れた性能を達成した。
一方、PEZY-SCプロセッサは階層型（ただし非コヒーレント）のキャッシュと物理的に共有されたメモリを備えたMIMDメニーコアプロセッサであるため、アプリケーションの移植は比較的簡単です。
また、OpenCLのかなりよく設計されたサブセットであるPZCLもサポートされています。

? ry 最初のPEZY ry 性能を紹介し、これまでの研究では通常 ry 適用した。
本稿では最初に、これまでの研究での通常の最適化を適用した PEZY-SCプロセッサでのHPCGの性能を示す。
次に、オンザフライでのデータ圧縮および解凍を使用したSpMV操作の「最適化された」実装のパフォーマンスについて説明します。

この論文は以下のように構成されています。
まず、セクションIIでは、PEZY-SCプロセッサとZettaScalerシステムの概要を説明します。
セクションIIIでは、PEZY-SCプロセッサ上でのHPCGの実装について説明します。
セクションIVでは、パフォーマンス結果を示します。
最後に、セクションVで、私たちが実装したデータ圧縮/解凍アルゴリズムとPEZY-SC上で測定された性能を提示します。
セクションVIでは、論文を要約し、研究開発の今後の方向性について議論します。

II PEZY-SCプロセッサチップとZettaScalerシステム

? ry プロセッサとZettaScalerシステムのアーキテクチャの概要 ry 。
このセクションでは、PEZY-SCプロセッサのと ZettaScaler システムのとのアーキテクチャ概要を説明します。
サブセクションII-Aでは、PEZY-SCプロセッサの概要を説明します。
サブセクションII-Bでは、ZettaScalerシステムの概要を説明します。

A. PEZY-SCプロセッサ

? ry ]は、 1024 ry コアと3 ry メモリを統合 ry 。
PEZY-SCプロセッサ[ 6 ]、[ 7 ]は、 3レベルのキャッシュメモリを備えた、 1024個のMIMDコアを統合しています。
? ry では、プロセッサ ry 始めて、ボトムアップの構造について説明 ry 。
このセクションではその構造について、プロセッサコアから始めて、ボトムアップに説明します。

各PEZY-SCコアは、1サイクルにつき1回の倍精度MAD操作または2回の単精度MAD操作を実行できます。
? 通常 ry を採用しています。
それは通常のロードストアアーキテクチャを持ちます。
? ry コアは、4方向（8方向にする ry 備えた非常 ry デュアル発行のインオーダー ry 。
このコアは非常に単純なデュアルイシューの、 4 ウェイ（8 ウェイにすることも可能）のSMTを備えたインオーダコアです。
したがって、インオーダーコアが使用されていても、データキャッシュのレイテンシがパフォーマンスに与える影響は比較的小さくなります。

PEZY-SCプロセッサコアのかなり異例な機能の1つは、各コアが16KBのローカルメモリを持ち、そのコアからしかアクセスできないということです。
? ry データを ry 。
それは別々のローカルアドレス空間を持ち、コアによって繰り返し使用されるデータ、を格納するために使用することができます。
? ry 提供するため、特 ry では、高い効率を達成するためにこの ry ストレージを利用 ry が不可欠です。
このローカルメモリは非常に高い帯域幅を持つ最大のオンチップストレージ（合計16MB）を提供するのでこのローカルストレージを、高効率達成アドバンテージを得る為に利用することが、特に計算集約型のアプリケーションでは不可欠です。
? ry 、ＤＧＥＭＭ動作の性能 ry オンチップ記憶装置との間 ry 。
例えば、 DGEMM 演算の性能に関して、必要なメモリ帯域幅と必要なオンチップストーリッジとの間にはよく知られたトレードオフがある。
したがって、このローカルメモリの使用はDGEMMの高効率を達成するために不可欠です。

2つのコアが2KBの1つのL1Dキャッシュを共有します。
L2Dキャッシュのサイズは64KBで、1つのL2Dキャッシュは16個のコアで共有されています。
PEZYの用語では、L2Dキャッシュを共有するコアは「市」を形成します。
L3Dキャッシュのサイズは2MBで、16の「市」が1つのL3Dキャッシュを共有して「県」を形成しています。
? ry 各都道府県 ry 。
したがって、各県は256コアで構成され、1つのPEZY-SCチップは4県で構成されています。
最後に、チップはDDR3またはDDR4 DRAMのいずれかの8チャネルに接続されています。

したがって、ＰＥＺＹＳＣプロセッサは３つのレベルのキャッシュメモリを有する。
これらのキャッシュメモリはコヒーレントではありません。
? コアは、明示 ry のみ他のコア ry データを読み ry 。
同じL2Dキャッシュを共有するコアは、他コアによって書き込まれたデータ、を明示的なフラッシュ操作及びバリア同期の後でのみ読み取ることができます。同じことがL3Dキャッシュとメインメモリにも当てはまります。
? フラッシュ同期命令とバリア同期命令の両方がキャッシュ ry 。
フラッシュのとバリア同期のとの両方の命令が、キャッシュの各レベルに提供されます。
? ry 対しても使用できます。
正確には、バリア命令は1つのコア（複数のスレッド）に対してのものでもあります。
明らかに、このキャッシュコヒーレンシの除去はプロセッサ設計を非常に単純化し、そして３レベルのキャッシュを有する１０２４コアプロセッサを構成することを可能にした。
L1、L2、およびL3データキャッシュのラインサイズは、64、256、および1024バイトです。
ラインサイズを変更することで、PEZY-SCプロセッサの設計者は、L2およびL3データキャッシュの帯域幅を非常に高く保ちました。
L2Dキャッシュの帯域幅はL1Dのそれと同じです、そして、L3Dはそれらのおよそ半分を提供します。

アプリケーションプログラマの観点からは、キャッシュコヒーレンシの欠如は、HPCアプリケーション（またはそれらのコンピューティングカーネル）に関する限り、厳しい制限を課すようには思われません。
? ry にとって、プログラマーはプロセッサ ry 瞬間を知って ry 。
多くのアプリケーションに付いては、プロセッサが通信する必要がある瞬間をプログラマは知っています。
さらに、彼らは高効率を達成するためにコア間の通信を最小にしようとします。
したがって、チューニングの観点から、キャッシュコヒーレンシの欠如は、コア間のトラフィックを制御するプログラマの能力と見なすことができます。
? さらに、そうでなければコアＡがコアＢが更新したと期待するものが実際 ry ので、バリア同期は通信 ry である。
更に、バリア同期は、それがなければ、コア B が更新した、とコア A が期待するもの、が実際にはまだ更新されていないかもしれないので、通信の前にほとんど常に必要である。
? ry のフラッシュ ry 同期は ry 。
したがって、効率的なハードウェアサポートの、フラッシュおよびバリア同期、は非常に便利です。

命令用キャッシュもマルチレベルです。
? 私のキャッシュでは、回線サイズと帯域幅は基本 ry 。
I キャッシュでは、ラインサイズと帯域幅とが基本的にすべてのレベルで同じです。
? すべてのコアが同じで比較的小さなカーネルを実行 ry 。
比較的小さい同じカーネル、を全コアが実行している限り、この構造はうまく機能します。

各PEZY-SCチップには32レーンのPCIe（Gen3）インタフェースがあり、統合された2つのARM 926プロセッサによって制御されます。
? ry プロセッサのＤＭＡまたはＰＩＯ読み ry 込みのいずれかによって ry プロセッサのメイン ry 。
ＰＣＩｅインターフェースは、ホストプロセッサ PIO 読み取り／書き込みか DMA かのどちらかによって、ＰＥＺＹＳＣプロセッサのメインメモリとホストプロセッサとの間でデータを転送するために使用され得る。

PEZY-SCプロセッサは、OpenCLの方言であるPZCLと呼ばれる言語をサポートしています。
OpenCLのほとんどの機能をサポートしていますが、パフォーマンスが重要な場合は特に制限がいくつかあります（もちろんほとんど常にそうです）。
最高の効率を達成するには、作成されるソフトウェアスレッドの数は、ハードウェアスレッドの最大数（チップあたり8192）と同じでなければなりません。
もう1つの違いは、キャッシュがコヒーレントではないという事実から来ています。

http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1612.00530#4

正しい結果を保証するために、適切なレベルのキャッシュをフラッシュする関数を手動で挿入する必要があります。
小さなコンピューティングカーネルの場合、これはそれほど難しくありませんが、もちろん修正が難しいバグの原因になる可能性があります。

? 1台のPEZY-SCプロセッサには8チャネルのDDR4 DRAMが搭載されているため、DDR4クロック ry 。
>PEZY-SC プロセッサ 1 つは、 DDR4 DRAM チャネルを 8 つ持っており、DDR4クロックが1333 MHzの場合、理論上のピークメモリ帯域幅は85 GB /秒です。
実際の読み取り帯域幅は約75 GB /秒、STREAMコピーのパフォーマンスは40 GB /秒です。
書き込み帯域幅が読み取り帯域幅の1/2であるため、コピー性能は低くなります。

L1、L2、およびL3キャッシュの読み取り帯域幅（チップ合計）は、それぞれ2000、2000、および700 GB /秒です。

B. ZettaScalerシステム

現在の世代のZettaScalerシステム（ZettaScaler-1.5）は複数のコンピューティングノードで構成され、各ノードは1つのXeon（E5-v3）プロセッサと4つのPEZY-SCプロセッサで構成されています。
? ry PEZY-SCプロセッサは特別 ry 基板にも搭載 ry 。
Xeonプロセッサは特別に設計されたマザーボードに搭載され、PEZY-SCプロセッサも又特別に設計されたモジュール基板に搭載されています。
ホストXeonプロセッサと1つのPEZY-SCプロセッサ間の接続は、8レーンのGen3 PCIeチャネルです。
コンピューティングノード間のネットワークは、標準のFDR Infinibandです。
? ry 「Shoubu」 ry 。
ZettaScalerシステムの最大の既存の構成は、理研ACCCに設置された「菖蒲」と呼ばれる320ノードシステムです。
より小さなシステムが理研AICSと同様にKEKに設置されている。

ZettaScalerシステムの非常にユニークな特徴は、フッ化炭素（3M Fluorinert FC-43）冷却剤による浸漬冷却の使用です。
以前に使用された油性冷却剤と比較して、フルオロカーボン冷却剤は取り扱いの容易さ、安全性（それは不燃性）、およびより小さい熱膨張係数のようないくつかの利点を有する。
主な欠点は価格と潜在的な温室効果であるが、後者は実際に使用される特定の冷却剤の高い気化温度のためにそれほど厳しくない。

III HPCGベンチマークの概要とPEZY-SCへの実装

? ry プロセッサへの参照実装について ry 。
このセクションでは、HPCGベンチマーク自体とPEZY-SCプロセッサでのリファレンス実装とについて簡単に説明します。
? ry の実装 ry 。
サブセクションIII-Aでは、HPCGベンチマークについて説明し、サブセクションIII-Bでは、PEZY-SCでのHPCGの我々の実装について説明します。

Iii-a HPCGベンチマーク
? その ry よると、HPCG ry ]は、セクション ry に、「計算 ry の比率が低く、多く ry 計算を代表するパフォーマンス ry 。
セクションIで既に説明したように、HPCGベンチマーク[ 4、5 ]はその設計者によると「計算とデータアクセスとの比率の低さを伴った多くの重要な科学計算の代表」のパフォーマンスを測定するように設計されています。
このように、それは不規則グリッド上でのMultigridソルバー付きCGを使用したFEMの主要な操作を模倣しています。
残念なことに、現在入手可能なHPCGの公式仕様[ 5 ]はかなり古く、そこで説明されているアルゴリズムと現在のベンチマークコードで使用されているものはまったく異なります。
以下では、最初に[ 5 ]に従い、次に加えられた変更を要約します。

数学的観点からすると、HPCGで解決される問題は、27点ステンシルを使用してサイズ（ n x n p x 、 n y n p y 、 n z n p z ）の正方格子上で離散化された3D拡散方程式です。（ n x 、 n y 、 n z ）は各MPIプロセス上のグリッドのサイズ、（ n p x 、 n p y 、 n p z ）はMPIプロセスグリッドです。
したがって、MPIプロセスの総数は、 n p x n p y n p zです。
? ry Gauss-Seidel前提条件付きCG ry 。
元の仕様では、HPCGは対称Gauss-Seidel前処理付きCG反復を使用してこの問題を解決しており、ユーザーはこの基本的なCGアルゴリズムを変更することはできません。
特に、大規模な3D問題を解決したい場合に不可欠なマルチグリッド法は含まれていません。
したがって、当然のことながら、これは現在の仕様で変更されています。
? ry 幾何学的マルチグリッド前処理装置が ry 。
４段Ｖサイクル幾何マルチグリッド前処理が使用される。
? ry 主要な操作、特にSymGS ry Waxpbyの ry 。
HPCGベンチマークで測定されるのは、主要な演算、特に、SymGS、SpMV、制限、延長、DotProduct、およびWaxpby 、のコンピューティング速度の加重平均です。
通常、ComputeSPMVとComputeSYMGSの2つの関数が総計算時間を左右し、パフォーマンスを決定します。

Iii-B PEZY-SCでのHPCGの実装
? ry の参照実装 ry 。
PEZY-SC上でのHPCGのリファレンス実装は非常に簡単です。
? ry の手順が ry ）。
次の6つのプロシージャがPEZY-SCに移植されました（PZCL言語を使用して書き直されました） :

* SymGS 対称 Gauss-Seidel ? 対称性
* SpMV
* Restriction 制限
* 延長補間
* ドット積
* ベクトルの線型和 ( Waxpby )

? ry に保存されます。
行列データとベクトルデータの両方がPEZY-SCのメモリに保持されます。
そのため、ホストXeonプロセッサとPEZY-SCプロセッサの間では、コンバージェンスチェックなどのために転送される少量のデータと、ノード間で交換される境界データだけが交換されます。
PZCLを使った書き換えはとても簡単です。
? ry 、スレッドの総数が実際には使用可能なハードウェアスレッドの数と同じ ry 。
前述したように、現在気をつける必要がある主な点は、スレッド総数と有効ハードウェアスレッド数とが実際に同じであることです。

? ry 代数ブロック多色順序付け[ ry 。
格子の規則的な構造を直接利用する変更は最適化段階では許されないので、代数ブロック化多色順序付け[ 8 ]はSymGS部分に使用されます。

表１は、１回のＣＧ反復で実行される操作を示す。
4段階のVサイクルマルチグリッド法が使用されているため、SymGSルーチンは反復ごとに7回、SpMVは4回呼び出されます。

http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1612.00530#5

? 繰り返す操作 bufを送る ry
繰返し処理 Buff er送信 p z サイクル

3 FillZero ↓
3 SymGS P → X X → P ↓ ( 訳注 : V サイクル前処理前半 ? )
3 SpMV P → X X → P ↓ ( 訳注 : V サイクル前処理前半 ? )
3 Restriction 制限 ↓ ( 訳注 : V サイクル前処理前半 ? )
FillZero
3 SymGS P → X X → P ↑ ( 訳注 : V サイクル前処理後半 ? )
3 延長補間 ↑ ( 訳注 : V サイクル前処理後半 ? )

SymGS P → X X → P CG ? 対称性
ドット積 CG ?ドットプロダクツ
ベクトルの線型和 ( Waxpby ) CG
SpMV P → X X → P CG
ドット積 CG ?ドットプロダクツ
ベクトルの線型和 ( Waxpby ) CG
ベクトルの線型和 ( Waxpby ) CG
ドット積 CG ?ドットプロダクツ

表１：１回のＣＧ反復中の動作および通信。
PとXはそれぞれPEZY-SCとXeon、 pは方向ベクトル、 zは前処理済み残差ベクトルを表します。

Iv HPCGベンチマーク結果

Iv-a 測定された性能
? ry に搭載されている「Ajisai」 ry 。
理研AICSに設置されている「紫陽花」ZettaScalerシステムでHPCGの性能を測定しました。
合計64個のXeonノードにそれぞれ4つのPEZY-SCプロセッサがあります。
最大32台のPEZY-SCプロセッサでパフォーマンスの測定を行いました。
1つのMPIプロセスに1つのPEZY-SCプロセッサを割り当てます。
したがって、4つのMPIプロセスが各Xeonプロセッサ上で実行されます。
PEZY-SCプロセッサのコアクロックは733 MHzです。
メモリクロックは1333 MHzです。
ホストCPUは2.3 GHzクロックで8コアのXeon E5-2618L v3です。
? ry 32 GB or DDR4 memory, ry .
? ry 32 GBまたはDDR 4 ry 。
各PEZY-SCプロセッサは32 GBのDDR 4メモリ、ホストXeonプロセッサは128 GBです。

32 PEZY-SCプロセッサでは、HPCG 3.0評価で達成されたパフォーマンスは168.06 Gflopsです（HPCG 2.4評価では189.15 Gflops）。
使用される問題サイズは、（７０４、７０４、３５２）の大域的問題サイズに対して、４ラ４ラ２プロセッサグリッドを有する１７６ラ３ローカルグリッドである。

この特定の問題サイズについて、HPCGは正確に50回の反復後の収束を報告しました。

実行時間の内訳を図1に示します。
? いつものように、 ry 。
通例通り、SpMVとSymGSが実行時間を左右します。
これら2つのセクションの速度は、それぞれ238.4 Gflopsと217.6 Gflopsです。
MPIプロセスごと（またはPEZY-SCプロセッサごと）のパフォーマンスを計算すると、7.45 Gflopsと6.80 Gflopsです。

SymGS, 56.34%
SpMV, 25.86%
ドット積 , 6.22%
ベクトルの線型和 ( WAXPBY ) , 5.91%
延長補間 , 4.00%
Restriction 制限 , 1.67%

図1： HPCGベンチマークコードのセクションに費やされた計算時間の割合

比較のために、1つのPEZY-SCプロセッサで同じコードのシングルプロセスパフォーマンスを測定しました。
MPIプロセスあたりの問題サイズは同じです。
SpMVおよびSymGSセクションの速度は、それぞれ9.47 Gflopsおよび8.08 Gflopsです。
? ry 約20％になります。
したがって、並列実行のため（主に通信オーバーヘッドのため）、オーバーヘッドは約 20 ( 訳注 : 四捨五入 ? ) % だと見て取れます。

? シングルプロセスと32プロセスのパフォーマンス ry 結果、並列化のオーバーヘッド ry であることがわかりました。
並列化時オーバーヘッドは無視できないもののかなり小さいこと、そしてシングルノードのパフォーマンスが全体のパフォーマンスを決定する主な要因であることとを、シングルプロセスのと 32 プロセスのとのパフォーマンス値を比較した結果は示しています。

Iv-B リファレンス実装のパフォーマンス分析
このセクションでは、私たちのリファレンス実装の達成されたパフォーマンス、特にシングルチップ計算のパフォーマンスが合理的に最適化されているかどうかを説明します。
? ry を簡単に ry 。
説明を単純にするために、分析をSpMVに限定します。
? ry された性能数はそれほど ry 、我々はSpMVの分析がハードウェアとソフトウェアの振る舞いを議論するのに十分であると信じる。
SpMVとSymGSの達成されたパフォーマンス値はそれほど変わらないので、ハードウェアのとソフトウェアのとの振舞いを議論する為には SpMV の分析で充分であると我々は信じる。

? ry 、最高レベルでの動作に対して１１．６ ry 。
ＰＥＺＹＳＣプロセッサ上でのＳｐＭＶ動作のシングルチップ性能は、最高域での演算としては１１．６Ｇｆｌｏｐｓである。
? ry SpMV操作につき ry SpMVの性能は帯域幅に制限があります。
行列は非常に大きく、行列の各非ゼロ要素は1回のSpMV演算に付き1回しか使用されないため、SpMV性能即ち帯域幅制限です。
1つの要素は、1つの4バイト整数と1つの8バイト浮動小数点数で表され、この要素に対して2つの浮動小数点演算が実行されます（1回の乗算と1回の加算）。
したがって、 x Gflopsの速度を達成するために必要なメモリ読み取り帯域幅は、単純に（ x / 2 ）ラ 12 = 6 x GB / sで与えられます。
したがって、11.6 Gflopsは70 GB /秒の読み取りパフォーマンスを意味します。

PEZY-SCプロセッサの理論上のピークメモリ帯域幅は85 GB /秒であり、実際に測定された読み取りパフォーマンスは約75 GB /秒です。
したがって、SpMVで達成可能なピーク性能は約12.5 Gflopsです。
11.6 Gflopsのパフォーマンスは、達成可能なパフォーマンスに非常に近いことがわかります。

このようにして、HPCGをPEZY-SCプロセッサに正常に移植したと結論付けることができ、SpMV操作では、外部メモリのスループットによって決まる理論上の限界に非常に近いパフォーマンスを達成できます。
? したがって、これでデータ参照の ry 優れた参照実装ができました。
従って、データ圧縮の効果を測定できる良好なリファレンス実装を我々は今持っています。

http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1612.00530#6

V データ圧縮/解凍を用いたSpMV乗算の実装とその性能

? ry 、基本的なCGアルゴリズムや前提条件アルゴリズムを変更 ry 。
このセクションでは、ベーシックCGアルゴリズム又は前処理アルゴリズムを変更せずに、必要なメモリ帯域幅を削減する可能性を調べます。
? ry ように、明示的に禁止されていない必要 ry ための１つの実際的な可能性は、 ry 。
必要なメモリ帯域幅を減らすための、明示的禁止されていない１つの実際的可能性は、セクションＩで論じた様にオンザフライデータ圧縮／解凍の使用である。
? ry 、無損失と損失の両方 ry 。
HPCでのデータ圧縮の使用は現在活発な研究分野であり、ロスレスと不可逆との両方の多くの方法が提案されています[ 10 ] 。

? ry 、記憶およびチェックポイント ry 。
データ圧縮の使用に関するこれまでの提案の多くは、ストーリッジ及びチェックポイントのためのものであるが、キャッシュおよびメインメモリ上でのデータ圧縮の使用についての多くの研究もある［１１、１２、１３］。

これまでのところ、メインメモリまたはキャッシュメモリのレベルでデータ圧縮を使用することは、HPCではあまり一般的ではありません。
多くの場合、圧縮/解凍操作の計算コストは高すぎます。
しかしながら、ＰＥＺＹＳＣプロセッサ上でのＣＧ反復における疎行列のアクセスの場合には、圧縮技術が有利であり得ると予想するいくつかの理由がある。
まず、圧縮データが何度も再利用されます。
? したがって、圧縮 ry は比較的重要 ry 。
従って相対的には、圧縮操作のコストは重要ではありません。
高速で効率的な解凍アルゴリズムがまだ必要です。
第二に、PEZY-SCプロセッサは完全にMIMDでマルチスレッドのプロセッサであり、非常に多数の独立したメモリアクセスを同時に生成することができます。
? この機能は、 ry データ圧縮解除技法 ry 。
このフィーチャは、テーブルベースのデータ解凍技法にとって特に重要です。
ＰＥＺＹＳＣプロセッサの１０２４個のコアのそれぞれは、サイクルごとに１つのロード命令を実行することができる。
? ry 備えた最新の ry 2つの負荷がかかる可能性があります。
一方、ワイドSIMD実行ユニットを備えた現代的マイクロプロセッサのコアでは、通常、1サイクルに1つまたは2つのロードをイシューする事ができます。
? y 、データ圧縮解除の ry 。
これらのプロセッサのコアの数は32未満なので、PEZY-SCはテーブルルックアップで1桁以上速くなる可能性があり、その結果、圧縮データ解凍のパフォーマンスが大幅に向上します。

PEZY-SCプロセッサ上でのSpMV操作の単純化された実装のために、高速圧縮/解凍アルゴリズムのいくつかの実装をテストしました。
? ry ベンチマークに表示されるもの ry 。

? ry されます。
これまでのところ、最良の結果は単純なテーブルベースの圧縮によって達成されています。
このアルゴリズムでは、最初にマトリックス全体がスキャンされ、マトリックス要素内のすべての固有値がリストされて昇順にソートされます。
? 私たちは、値テーブルこのリストを呼び出しVとIの番目の要素VがあるV 私は。
このリストを値テーブル V と私たちは呼び、 V の i 番目の要素は vi である。
したがって、ｖｉ＜ｖｉ＋１である。
? ry 要素も昇順に並べ替えられます。
次に、行列の各行について、ゼロ以外の要素をも昇順ソートします。
これで、要素の実際の値でソートされた列インデックスのリストができました。
このリストをソート列リストS iと呼ぶ。
? さて、各v iについてV、ソート ry 「端末」インデックス ry 。
さて、V の各 vi に付いて、ソートされた非ゼロ要素のリスト内のその値の最後の位置を計算し、その値を記録して「終端」インデックスのリスト T iを作成します。

? 行の元のELL形式
行に付いてのオリジナル ELL フォーマット
値 -1 -1 26 -1 -1
列 45 49 50 51 65

値テーブル
値 -1 26

? 行の圧縮式
行に付いての圧縮表現
S i 45 49 51 65 50
T i 3 4

図2：データ圧縮アルゴリズム

ここでの暗黙の前提は、値テーブルのサイズが小さいということです。これはHPCGには確かに当てはまりますが、CGメソッドの一般的な用途には必ずしも当てはまるとは限らない可能性があります。
? ry が頻繁に表示されます。
一方、物理的特性が一様な領域に一定サイズの要素を使用すると、同じ値の要素がかなり頻繁に現れます。
したがって、たとえ値テーブルのサイズを小さくするように制限したとしても、私たちの圧縮方法は元の行列の行の大部分でうまくいく可能性が非常に高いです。
? ry 場合、１ノード当たりのＳｉのサイズは２７であり、 ry 。
ＨＰＣＧＳｐＭＶ演算における行列の場合、Ｓｉのサイズは 27/node であり、Ｔｉは２であり得る。
したがって、行列の1行は、324バイトの元のサイズから（ 27 + 2 ）・ 4 = 116バイトに圧縮されます。

次のようにして、S iのリストをさらに圧縮できます。
まず、列インデックスの実際の値を対角要素に対する相対値に変換します。
? ry パターンをテーブルに登録してデータ圧縮を実行します。
次に、この列インデックスの相対変位のパターンをデータ圧縮実行の為にテーブルに登録します。
? ry ノードは相対変位に対して同じインデックス ry 。
大部分のノードは、同じ相対変位インデックスパターンを持つので、この圧縮はインデックス配列のサイズを4 Nバイトに効果的に減らすことができます。ここで、Nは行列の次元です。
したがって、ノードあたり116バイトではなく、ノード ( ? 訳注 : 行列内のノード , 行 , Si ) あたり12バイトになりました。
この表に行列要素自体の値を登録すれば、おそらくサイズをさらに3分の1に減らすことができ、結果としてノードあたり4バイトになります。

ファイナルテーブルに単純なランレングス圧縮を適用することで、おそらくデータをさらに圧縮できます。

圧縮方法測定された性能理論的パフォーマンス
オリジナル 11.6GF 12.5GF ? 元の
データ表 15.9GF 34.8GF
データ表+インデックス表 32.4GF 326GF ? データ+索引表

表ＩＩ：ＳｐＭＶ動作に適用されたデータ圧縮アルゴリズムの効果

これまでのところ、最初の2つの圧縮方式を実際に実装しました。
結果を表2に示します。
データ配列のみを圧縮する最初のアプローチでは、理論的には約3倍のスピードアップが得られ、実際には50％のスピードアップが実現されます。
インデックス配列とデータ配列の両方が圧縮されている2番目のものは、理論的には約25倍のスピードアップを達成し、実際には約2.8倍のスピードアップを達成するはずです。

? ry のは、理論的 ry ために、最も ry コストを無視 ry 。
実際のスピードアップが理論的限界よりはるかに小さいのは、最も内側のループでかなり大きなアドレスオフセットで現在間接的にアクセスされている入力ベクトルのアクセスコストを我々が、理論的限界を見積もる為に無視するためです。

http://webcache.googleusercontent.com/search?q=cache:arxiv.org/pdf/1612.00530#7

ベクトルと行列を並べ替えると、パフォーマンスをさらに向上させることができます。
? ry 、データと索引の圧縮の概念コード ry 。
リスト1は、データのと索引のとの圧縮のコンセプトコードを示しています。
ファクトインデックスとデータは圧縮されているため、それらの実際の値はテーブルルックアップ操作によって取得されます。
したがって、広いＳＩＭＤ命令セットを有する現代のマイクロプロセッサでは、間接アクセス動作のスループットが一般に低いので、圧縮アルゴリズムを用いて妥当な性能を達成することは困難であろう。
? ry に重要です。
PEZY-SCプロセッサの完全MIMD、非SIMDの性質は、実際のスピードアップを達成するためにクリティカルです。

for(int i=0;i < n; i++){ ? 私 ? 私
y[i] = 0;
const int type = columnDiffType[i];
int idx = 0;
for(int valueIdx = 0; valueIdx < valueCount; ? 用
valueIdx++){
const double a ij = value[valueIdx]; ? ダブル
for(;idx < valueIdxEnd[i][valueIdx]; idx++){
const int j = i + columnDiff[type][idx];
const double x j = x[j]; ? ダブル
y[i] += a ij x j;
}
}
}

リスト1：データとインデックスの両方の配列を圧縮したサンプルコード

ただし、ここでの問題はサイクルあたりの独立したメモリアクセスの数であり、SIMDアーキテクチャとMIMDアーキテクチャの違いではありません。
? ry プロセッサの収集／分散機能 ry 。
現代のＳＩＭＤマイクロプロセッサのスキャッタ/ギャザ機能は明らかにまだ初期段階にあり、そして将来改良されるかもしれない。

VI 概要

本稿では、1024コア、MIMDのウルトラメニーコアPEZY-SCプロセッサをアクセラレータとして用いたZettaScalerシステムにおけるSpMV乗算に対するデータ圧縮/伸長アルゴリズムの効果について報告する。
例として、HPCGベンチマークコードによって生成された行列を使用しました。
? 通常、最適化 ry 。
通常、良く最適化されたHPCGの実装のパフォーマンスは、プロセッサ（またはアクセラレータ）の外部メモリのシーケンシャルリードアクセスの帯域幅によって制限されます。
PEZY-SCプロセッサの場合、読み取り帯域幅の理論上の限界は85 GB /秒であり、実際の測定帯域幅は75 GB /秒です。
したがって、SpMVおよびSymGSの動作のパフォーマンスは約10 Gflopsに制限されています。
達成された実際の性能はこの数に近い。

データとインデックスの圧縮による理論上の高速化は25倍もの大きさです。
SpMV操作では、実際には2.8倍の高速化が達成されました。
? ry 小さいにもかかわらず、データ ry と、実際にはPEZY-SC ry パフォーマンスが改善されることを実証 ry 。
実際に達成された改善は理論上の最大値よりもはるかに小さいものの、データ圧縮/解凍を使用すると、 PEZY-SCプロセッサでのSpMV乗算のパフォーマンスの改善が実際に可能である事を我々は実証しました。
したがって、データ圧縮/解凍の使用は、現在および将来の高性能プロセッサ上のFEMアプリケーションにおけるSpMV操作のパフォーマンスを向上させるために非常に有用な技術となると結論します。

? 了承
謝辞

著者は、HPCGを移植して調整している間に我々が遭遇した多くの問題を解決する際に非常に助けになってくれたPEZY Computing / ExaScalerの人々に感謝します。
本稿の対象となる研究の一部は、文部科学省の次世代超高速コンピュータシステムの開発と改善のためのプログラムで、特定の先端大規模研究施設の運営に対する助成金の下で資金提供されています。

参考文献

* [1] HPCG。チーム。（2015年11月）2015年11月HPCGの結果です。
[オンライン]。入手可能： http://www.hpcg-benchmark.org/custom/index.html?lid=155&slid=282

* [2] X.チャン、C。ヤン、F。リウ、Y。リウ、Y。ル、
並列処理のためのアルゴリズムとアーキテクチャ：
第14回国際会議、ICA3PP 2014、大連、中国、2014年8月24 27日。
、パートI。Cham：Springer International Publishing、2014、ch。
Tianhe-2でのHPCGの最適化とスケーリング：初期の経験、28 41ページ。
[オンライン]。入手可能： http://dx.doi.org/10.1007/978-3-319-11197-1 3

* [3] J. Park、M。Smelyanski、K. Vaidyanathan、A。Heinecke、D。D。Kalamkar、X。Liu、MMA Patwary、Y。Lu、およびP. Dubey、
? 「 ry 勾配の効率的 ry 実装ベンチマークと非 ry 応用、」
「高性能共役勾配ベンチマークの効率的な共有メモリ実装とその非構造化行列への応用」、
ハイパフォーマンスコンピューティング、ネットワーキング、ストレージおよび分析のための国際会議の議事録、SER。SC '14。米国ニュージャージー州ピスカタウェイ：
ＩＥＥＥプレス、２０１４年、９４５９５５頁。
[オンライン]。入手可能： http://dx.doi.org/10.1109/SC.2014.82

* [4] JJ Dongarra、A。Heroux、Michael、およびP. Luszczek、
「HPCGベンチマーク：高性能コンピューティングシステムをランク付けするための新しい測定基準」、
? ry システム工学部、コンピュータ工学科。Rep ry
テネシー大学、電子工学とコンピュータサイエンス科。Rep。15-736、2015。
[オンライン]。入手可能： http://www.eecs.utk.edu/resources/library/594

* [5] A. Heroux、Michael、JJ Dongarra、およびP. Luszczek、
「HPCG技術仕様」、
Sandia National Laboratories、Tech。Rep。SAND2013-8752、2013。
[オンライン]。入手可能： http://software.sandia.gov/hpcg/doc/HPCG-Specification.pdf

* [6] PEZY Computing、KK、「PEZY-SCデータシートRev 0.1」（2014年）

* [7] 石井T.
（2015年8月）
? ペジーSCの紹介
PEZY-SCの御紹介
[オンライン]。入手可能： http://accc.riken.jp/wp-content/uploads/2015/09/ishii.pdf

* [8] T. Iwashita, H. Nakashima and Y. Takahashi,
? ry おける並列マルチスレッドスパース三角ソルバーのための代数ブロックマルチ ry 、
"ICCG法におけるスパース Triangular Solver のための並列マルチスレッドな代数ブロック化マルチカラー順序付け法"、
並列分散処理シンポジウム（IPDPS）、 2012 IEEE 26th International、上海、２０１２年、４７４４８３頁。
? 土井： ry
doi ：10.1109 / IPDPS.2012.51

* ［９］Ｗ．Ｈａｃｋｂｕｓｃｈ、Ｂ．Ｎ．Ｋｈｏｒｏｍｓｋｉｊ、およびＲ．Ｋｒｉｅｍａｎｎ、
? 「ｈ行列 ry 直接シュール補完法」、
「 H 行列近似に基づくドメイン分解による直接 Schur 補元法」、
「コンピューティングおよび可視化における科学」、ｖｏｌ。8、いいえ。３、ｐｐ．１７９１８８，２００５。
［オンライン］。入手可能： http://dx.doi.org/10.1007/s00791-005-0008-3

* [10] SW Son、Z. Chen、W. Hendrix、A。Agrawal、W. keng Liao、およびA. Choudhary、
「エクサスケールコンピューティング時代のためのデータ圧縮 - 調査」、
? ry vol。1。1、いいえ。2014年2月2日。
Supercomputing frontiers and innovations、vol。1、 no.2、 2014。
[オンライン]。入手可能： http://superfri.org/superfri/article/view/13

* [11] H。金子、
「ラストレベルキャッシュデータ圧縮のための周期的パターンコーディング」、
IEICE Trans。基礎編、vol。96、いいえ。12、pp。2351-2359、2013。
[オンライン]。入手可能： http://ci.nii.ac.jp/naid/130003385283/en/

* [12] AR AlameldeenとDAウッド、
「高性能プロセッサのための適応型キャッシュ圧縮」、
? ry シンポジウム論文集、 ry
第31回コンピュータアーキテクチャ国際シンポジウムの議事録、ser。ISCA '04。ワシントンDC、米国：
IEEE Computer Society、2004年、212頁。
[オンライン]。入手可能： http://dl.acm.org/citation.cfm?id=998680.1006719

* ［１３］Ｍ．ＥｋｍａｎおよびＰ．Ｓｔｅｎｓｔｒｏｍ、
「ロバストなメインメモリ圧縮方式」、
第３２回コンピュータアーキテクチャに関する年次国際シンポジウムの議事録、ｓｅｒ。ISCA '05。ワシントンDC、米国：
IEEE Computer Society、2005年、74 85ページ。
[オンライン]。入手可能： http://dx.doi.org/10.1109/ISCA.2005.6

LaTeXMLによって生成された[ロゴ]
私たちが作っている新しいツールについて知りたいですか？随時更新するために私たちのメーリングリストにサインアップしてください。
申し込む

Andreas JanssonとBen Firshmanによって、LaTeXMLの助けを借りて構築されました。
GitHubに貢献してください。
? 親切にYLDが後援しました。
YLDが親切にスポンサードしました。

> --
> フリーソフトウエア関連ボランティアの皆様に感謝申上げますと共に
> 当原稿執筆編集の甚大コストへの御配慮に厚く御礼申上げます
> 三菱 UFJ 銀行平針支店 ( 普 ) 0111481 ヤマグチセイセイ
> 郵便局 218普2449768 ヤマグチセイセイ
> Yahoo pt 1362821068616323 Rakuten pt 1100-3310-4065-1717
> http://yahoo.jp/HsDIGs?#_2TB_0S03224

--
YAMAGUTIseisei ( str_h__namae = { :sei => "山口" , :mei => "青星" } )
http://hello.to/seisei/ mailto:seisei@.68..net tel:081-70-5152-1104
heiwa furiisekkusu 1tu

訂正 : HarmonyOS ロンチイベントファーウェイデベロッパカンファレンス 2019

>全シナリオ対応な分散 OS の、もう1つの利点は共有エコシステムを持つことです。

YAMAGUTIseisei

unread,

Feb 16, 2020, 11:42:53 AM2/16/20

> シンギュラリティ系有料メールマガジン発行を構想致しております
> 無料メールマガジン版 ( 別途有料版開始時打切 )
> http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7
>
>
> 設計概要自体の代りに周辺情報 ( 論文翻訳等 ) をお届け致しております
>
>
>

> YAMAGUTIseisei wrote:
>>> Google 翻訳 http://webcache.googleusercontent.com/search?q=cache:cFXKfQwoUVMJ:www.iccs-meeting.org/archive/iccs2018/papers/108620619.pdf
>>>
>>>
>>>神威太湖之光のメニーコアプロセッサ上の並列クイックソートアルゴリズム
>>>
>>>
>>> Siyuan Ren、Shizhen Xu、およびGuangwen Yang
>>> 中国清華大学
>>>
>>>
>>> ICCS Camera Readyバージョン2018
>>>この論文を引用するには、最終公開バージョンを使用してください
>>> DOI：10.1007 / 978-3-319-93713-7_61

要約。
? ry する異種メニーコア ry SW26010で、 ry 。
このホワイトペーパーでは、Sunway TaihuLightを世界でトップワンのスーパーコンピュータにするヘテロジニアスメニーコアプロセッサであるSW26010 での、非常に効率的な並列クイックソートアルゴリズムを紹介します。
? ry 、最初のカウント要素と2番目の移動要素を備えた2 ry アルゴリズムを提案します。
SW26010のソフトウェアキャッシュとオンチップ通信設計に動機付けられて、最初に要素カウントし 2 番目に要素移動する事を伴う 2フェーズクイックソートアルゴリズムを我々は提案します。
? ry このようなメニーコア ry 設計し、メモリ ry 。
そうしたメニーコアアーキテクチャを最大限に活用するために、分散ワークフローを設計し更に、メモリアクセスを最適化し、ワークロードのバランスを取ります。
? ry 、アルゴリズム ry にスケーリングし、、あらゆる種類のデータ配布でint32要素の32倍 ry 。
実験では、我々のアルゴリズムがSW26010の64コアに効率的にスケールし、 int32 要素でのあらゆる種類のデータ分布で 32 倍超の高速化を達成することが示されています。

? ry ）バージョン ry 。
この結果は、x86-64アーキテクチャでのクイックソートのIntel TBB（Threading Building Blocks）の 1 つのバージョンの強力なスケーリングよりも優れています。

1 前書き

このペーパーでは、SW26010での並列クイックソートアルゴリズムの設計について説明します。SW26010は、Sunway TaihuLightスーパーコンピューターを現在世界でトップ1にしている異種メニーコアプロセッサーです[4]。
SW26010は、DMA（スクラッチパッドメモリ（SPM）とメインメモリ間の転送）とGload（レジスタとメインメモリ間の転送）の2つのメモリアクセス方法を備えたキャッシュレス設計を特長としています。
? ry の積極的な設計 ry 得られますが、プログラミング ry 最適化も複雑になります。
SW26010のアグレッシブな設計により、3.06 TFlopsという印象的なパフォーマンスが得られますが同時に、プログラミング設計とパフォーマンス最適化とを複雑にさせもします。

ソートは、常に広く研究されてきたトピックです[6]。
異種アーキテクチャでは、以前の研究はGPGPUに焦点を当てていました。
たとえば、Satish et al。[9]は、基数ソート、通常のクイックソート、サンプルソート、バイトニックソート、マージソートなど、NVIDIA GPUのいくつかのソートアルゴリズムを比較しました。
GPU-quicksort [2]およびその改良CUDA-quicksort [8]は、並列パーティションにダブルパスアルゴリズムを使用して、通信の必要性を最小限に抑えました。
? ry のバージョン ry 。
ライシュナーら[7]は、サンプルソート（並列クイックソートの一バージョン）をGPUに移植し、GPUクイックソートよりも大幅に速度が向上したと主張しました。

? ry 、2つの理由で直接ニーズを満たすことはできません。
これまでの研究により、並列ソートアルゴリズムに関する洞察が得られましたが、我々のニーズを直接満たす事は 2 つの理由の為できません。
これまでの研究により、並列ソートアルゴリズムに関する洞察が得られましたが、2つの理由で直接ニーズを満たすことはできません。
? まず、 ry 、アクセスされたすべてのメモリ ry 。
第一に、Gloadのオーバーヘッドが非常に高いため、アクセスされる全メモリをDMA経由でSPMにプリフェッチする必要があります。
同時に、SPMの容量は非常に制限されています（64KiB）。
? 次に、SW26010はカスタマイズ ry メカニズムを提供し、最適化 ry 機会を開きます。
第二に、最適化の新たな機会を開く、カスタマイズされたオンチップ通信メカニズムを SW26010 は提供します。

2ページ

これらの観察に基づいて、SW26010の新しいクイックソートアルゴリズムを設計および実装します。
これは、並列分割フェーズと並列ソートフェーズを交互に行います。
? ry では、コアは並列 ry アルゴリズムに参加します。最初のパスでは ry し、2番目のコアでは要素を移動します。
最初のフェーズでは、並列分割のダブルパスアルゴリズムに各コアは参加しますがそこで、1 パス目ではコアが要素をカウントし、2 パス目では要素を各コアが移動させます。
? ry では、コアは割り当て ry 並列に並べ替えます。
2番目のフェーズでは、割当てられた部分を並列で各コアが並替えます。

? ry を不要にします。
SW26010を最大限に活用するために、並列アルゴリズムで一般的な中央マネージャーを我々は不要にします。
? 代わりに、すべてのワーカー ry SPMでメタデータ ry 。
代わりに我々は、全ワーカーコアのSPM に於てメタデータを複製し、分散設計を採用します。
SPMのサイズが小さいため、その使用率を最大化するための特別な対策が必要です。
? ry 置き換え、単純 ry スキームで負荷バランスを改善 ry アーキテクチャを活用しています。
さらに、値カウントのメモリアクセスをレジスタ通信に置き換え、ロードバランスを単純なカウントスキームで改善することで、このアーキテクチャのアドバンテージを我々は得ています。

実験により、このアルゴリズムはint32値で最高のパフォーマンスを発揮し、十分な配列サイズとあらゆる種類のデータ分散に対して32を超える高速化（50％の並列効率）を達成しています。
? 倍の値 ry 。
double の値の場合、最低のスピードアップは20（効率31％）です。
? ry アルゴリズムがはるかに優れていること ry 。
また、x86-64マシンでのIntel TBBの並列クイックソートと比較し、Sunwayでのアルゴリズムははるかに良くスケールすることを確認しました。

2 SW26010のアーキテクチャ

SW26010 [4]は、4つのコアグループ（CG）で構成されています。
? 各CGには、1つの管理処理要素（MPE ry コンピューティング処理要素（CPE ry ）があります。
各 CG は、 1 つの管理プロセッシングエレメント（MPE）（マネージャーコアとも呼ばれます）、64のコンピューティングプロセッシングエレメント（CPE）（ワーカーコアとも呼ばれます）を持ちます。
MPEは完全な64ビットRISCコアであり、ユーザーモードとカーネルモードの両方で実行できます。
CPEも調整された64ビットRISCコアですが、ユーザーモードでのみ実行できます。
CPEクラスターは、8x8メッシュのオンチップネットワークとして構成されています。
? 1行1列のCPE ry 。
1行と1列の中のCPEは、レジスタを介して、一度に最大128ビットで直接通信できます。
? さらに、各 ry 。
付け加えると、各CPEにはユーザー制御のスクラッチパッドメモリ（SPM）があり、そのサイズは64KiBです。

SW26010プロセッサは、メモリアクセスの2つの方法を提供します。
1つはDMAで、メインメモリとSPMの間でデータを転送します。
2つ目はGloadです。これは、通常のロード/ストア命令と同様に、メインメモリとレジスタ間でデータを転送します。
? ry 必要があります。
Gloadのオーバーヘッドは非常に高いため、できるだけ避ける必要がとてもあります。

通常、1つのCGの仮想メモリは、それ自体の物理メモリにのみマップされます。
つまり、アルゴリズムを設計するとき、4つのCGは4つの独立したプロセッサと見なすことができます。
? ry この作業は ry に説明します。
この研究は1つのコアグループに焦点を当てていますが、より多くのコアグループに拡張する方法についても簡単に議論します。

3 アルゴリズム

? ry 考え方は、ピボット ry にシーケンスを再帰的に分割 ry 。
元のクイックソートと同様に、基本的な考え方はシーケンスを、ピボット値で区切られたサブシーケンスに再帰的分割することです。
? ry 左に、右に大きく移動 ry 。
ピボットより小さい値は左に、大きい値は右に移動します。
? このアルゴリズム ry 。
我々のアルゴリズムは、オーバーヘッドを削減するために2つのフェーズに分かれています。
最初のフェーズは、2パスアルゴリズムを使用した並列分割です。

3ページ

? ry 多すぎるまたは小さすぎる場合、各コアが個別にピースをソート ry フェーズに入ります。
ピースが多すぎるか ( 訳注 : 各々が ? ) 充分小さいかの場合、ピースを各コア個別にソートする第2フェーズ、に我々は入ります。
? 両方のフェーズ ry でパーティションを繰り返して実行されます。
両フェーズは、わずかに異なるアルゴリズムでパーティショニングを繰返す事で実行されます。

? ry パーティション
3.1 並列パーティショニング
? 並列分割は、アルゴリズム ry 。
並列パーティショニングは、我々のアルゴリズムのコアです。
? ry と同様の2パスアルゴリズム ry 。
[2,1,10]と似た 2 パスアルゴリズムを採用しています。
同時書き込みを回避するため。
最初のパスでは、各コアは、割り当てられたサブシーケンスのピボットより厳密に小さい要素と厳密に大きい要素の総数をカウントします。
これは、メインメモリからSPMに値を連続してロードし、カウントを累積することによって行われます。
その後、コアはカウントについて相互に通信し、次のパスで書き込むべき累積合計によって位置を計算できます。

? ry 。今回は、パーティション分割された結果を結果配列内の独自の位置 ry 。
2番目のパスでは、各コアが独自のパーティション分割を再度行います。この時、パーティション状態な結果を、結果配列内の各独自位置に直接転送します。
すべての読み取りと書き込みが互いに素であるため、このステップは ( 訳注 : 並列同時 ) 並行して実行できます。
? ry a middle gap to be filled by the pivot values.
すべてのコアが結果をコミットした後、結果の配列には、ピボット値で埋められる中間のギャップが残されます。
? コアは、DMA書き込みしてしてギャップを埋めます。
然して各コアは、並列で DMA 書込しそのギャップをフィルします。 ( 訳注 : 63450 等でのリンクリストの様な機能 ? ( ギャップ値をアドレス情報として扱ってリンク先の前述ピボット値をリンク元に上書 ? , この時点ではパーティショニングを行わない ? , 最終ピボット値 = 最終結果 ? ) )

? ry 整数の通信、およびピボットで満たされた後 ry 。
したがって、2パスアルゴリズムに必要な同期は、パスのカウント終了時のバリア、少数の整数通信、及びピボットのフィルの後のバリア、のみに制限されます。

3.2 値カウントの通信
ターゲットロケーションの計算に必要な値の数が少ないため、DMAまたはGloadを介してワーカーコア間でメインメモリを介して値を交換すると、オーバーヘッドが大きくなります。
代わりに、ワーカーコアがレジスタ通信を介してカウントを交換できるようにします。これにより、ワーカーコアは一度に最大128ビットの値を転送できます。
小さいカウントと大きいカウントは両方とも32ビットであるため、1つの64ビット値に連結して一度に通信できます。

? ry 必要な合計値は ry 前に注文された ry 。
各ワーカーコアに必要な連結値は2つだけです。1つはその前に使われたコアのカウントの累積合計、もう1つはすべてのカウントの合計です。
情報フローは、コアが同じ行または列でのみ通信できるという制限に対処するために、ジグザグに配置されています。

3.3 負荷分散
Sunwayには64個のコアがあるため、フェーズIIでは負荷の不均衡が深刻な問題です。
? ry 浪費する必要があります。
すべてのコアが同時にソートを完了しない場合、早期に終了するコアはアイドル状態になり、サイクルを浪費します。
? ry カウンターに基づく単純 ry を採用 ry 。
不均衡を減らすために、アトミックカウンタベースの単純な動的スキームを我々は採用しています。

? ry ために、各 ry 一部を、すべて ry セグメントのメタデータを保持 ry 。
詳しく説明するために、すべてが個別に並列に並べ替える予定の配列セグメント、のメタデータを各SPMのごく一部が保持するようにします。

Page 4

メタデータのストレージがいっぱいになると、各コアはフェーズIIに入り、ソートするセグメントを1つ選択します。
? コア ry インデックスを取得します。カウンターがストレージ ry まで、アルゴリズム ry 。
どれかのコアが終了すると、メインメモリ内のカウンターをアトミックにインクリメントして次のセグメントのインデックスをストレージ容量をカウンタが超えるまでは取得し、アルゴリズムはフェーズIに戻るか終了します。

3.4 メモリの最適化
? ry 、DMA ry 。
SPMは非常に小さい（64KiB）ため、メモリオーバーヘッドがあると、一度にバッファリングできる要素の数が減り、よって DMAのラウンドが増加します。

したがって、メモリの最適化は全体的なパフォーマンスにとって重要です。
制御構造のメモリオーバーヘッドをさらに削減するために、次のトリックを使用します。

? ry 最初に小さいサブアレイ ry 。
1つは、明示的なスタックを使用し、すべてのレベルでのパーティション分割の再帰時に、最初により小さなサブアレイに降ります。
これにより、呼び出しスタックのメモリ使用量がO（log2 N）に制限されますが、ピボットが選択されます[5]。

別の方法として、64ビットポインターを32ビットオフセットに変換し、符号ビットを再利用してオフセットのベース（元の配列または補助配列）を示すことにより、サブ配列の表現を圧縮します。
圧縮により、各サブアレイ表現に必要なバイト数を16バイトから8バイトに削減でき、50％節約できます。

3.5複数のコアグループ
アルゴリズムを複数のコアグループに適用するために、シングルコアグループアルゴリズムを、samplesortなどの従来のさまざまな並列ソートアルゴリズムと組み合わせることができます。
? ry それらをソートします平行。
n個のプロセッサのSamplesortは3つのステップで構成されます[3]：n-1個のスプリッターで配列をn個のばらばらのバケットに分割し、次にそれらをn個のプロセッサに分配してi番目のプロセッサがi番目のバケットを持つようにし、最後にそれらを並列でソートします。
? ry サンプルソートの意味で各コア ry 単一のプロセッサ ry マルチウェイパーティション分割を行う ry 。
アルゴリズムを複数のコアグループに適合させるには、サンプルソート文脈での各コアグループを単一プロセッサと見なし、わずかな修正（nカウントを維持し、マルチウェイパーティショニングを行う）を加えて並列パーティションアルゴリズム（Sect.3.1）の最初のステップを実行します。

4 実験

? ry 異なる分布、異なる要素タイプの y 。
アルゴリズムのパフォーマンスを評価するために、異なるサイズ、異なる分散、異なる要素タイプ、の配列でテストします。
また、単一のCGバージョンに対して複数のCGバージョンをテストします。
アルゴリズムのスケーリングを評価するために、異なる数のワーカーコアをアクティブにして実験します。
? ry でベンチマークを行う前の作業がない ry 。
Sunwayまたは同様のマシンでのベンチマークの既存研究がないため、代わりにx86-64マシン上のIntel TBBと結果を比較します。

並べ替えの速度は、特にクイックソートの場合、パーティション化が不均衡になる可能性があるため、データの分布の影響を受けます。
5つの異なるデータ分布でアルゴリズムをテストします。
分布の種類の視覚化については、図1を参照してください。

? ry AWS専用インスタンス ry 。
x86-64の場合、72 CPUのAWS の専有インスタンス（Intel Xeon Platinum 8124M、2017年の最新世代のサーバーCPU）でテストします。
Intel TBBライブラリのバージョンは2018U1です。

5ページ

uniform ( 規準 ? ) ? 一律
シャッフル
インクリメント ? 増加
デクリメント
staggered ( ずらした )

図1：データ分布の視覚化。横軸は配列内の要素のインデックスを表し、縦軸は値を表します。

? ry は完全に有効になっています。
ライブラリとテストソースの両方が-O3 -march = nativeでコンパイルされているため、コンパイラの最適化はフルに on になっています。

? ry TaihuLightの結果
4.1 Sunway TaihuLight での結果
Sunway TaihuLightでのアルゴリズムの実行時間を、std :: sortを使用したMPEでのシングルスレッドソートと比較します。
? ry 呼ばれるクイックソートのバリアントです。
libstdc ++に実装されているSTLソートは、introsortと呼ばれクイックソートの一形態です。

図2は、32ビット整数のソートの実行結果を示しています。
? ry 、分布がわずかに重要 ry 。
グラフから、分布問題が少しだけ重要であることがわかります。
図3は、サイズを固定したさまざまなタイプの要素のソートを示しています。
64ビット型（int64およびdouble）で効率が低下する理由は明らかです。毎回SPMにバッファーされる要素の数が半分になり、メインメモリとSPMの間のラウンドトリップがさらに必要になります。
float32値の効率が低下する理由は不明です。
図4は、複数のCGアルゴリズム（適応されたサンプルソート）のタイミングと高速化を示しています。

350
: デクリメント
: インクリメント ? 増加
: シャッフル
: staggered ( ずらした )
: uniform ( 規準 ? ) ? 一律
50
0
時間/秒

0 2E + 08 4E + 08 6E + 08 8E + 08
サイズ

（a）STL

10
8
6
4
2
0
時間/秒

0 2E + 08 4E + 08 6E + 08 8E + 08
サイズ

（b）私たちのもの

30
20
10
0
スピードアップ

0 2E + 08 4E + 08 6E + 08 8E + 08
サイズ

（c）スピードアップ

図2： int32値の結果

4.2 x86-64上のIntel TBBとの比較
? Intel CPUでの実装をIntel ry 。
我々の実装を Intel CPU 上のIntel TBBと比較します。
? ry 、独自 ry 。
TBBは、Intelが開発した汎用並列アルゴリズムのC ++テンプレートライブラリで、彼ら独自のプロセッサ向けに最適化されています。

6ページ

データ分布 ? データ配信
uniform ( 規準 ? ) ? 一律
staggered ずらした
シャッフル
インクリメント ? 増加
デクリメント

250
: int32 , float , ? 浮く
: int64 , double ダブル
100
50
0
時間/秒

（a）STL

10
:
2
0
時間/秒

（b）私たちのもの

40
:
10
0
スピードアップ

（c）スピードアップ

図3：さまざまな要素タイプの結果

3.5
:
1.0
0.5
0.0
時間/秒

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
コアグループの数

（a）タイミング

350
:
100
50
0
スピードアップ

128 256 384 512 640 768 896 1024
ワーカーコアの総数

（b）スピードアップ

0.4
:
0.1
0.0
並列効率

128 256 384 512 640 768 896 1024
ワーカーコアの総数

（c）並列効率

図4：異なる数のコアグループの結果

? ry 、これまでで利用可能な最も ry 。
より公平な比較のために、利用可能なこれまでで最も強力なIntelプロセッサーの1つを備えたマシンを選択します。

結果を図5に示します。
? ry 、コアの数に応じてアルゴリズムのスケーラビリティが大幅に向上します。
個々のx86-64コアは、1つのSW26010ワーカーコアの約6倍の速度であることがわかりますが、コア数に応じて我々のアルゴリズムは大幅にスケールします。
? ry 、アルゴリズｖムは ry さらに拡張できます。
TBBのアルゴリズムのパフォーマンスは、約20コアが使用されると飽和しますが、グラフから判断すると、我々のアルゴリズムはおそらく64コアからさらにスケールできます。
アーキテクチャが異なるため、比較は直接的ではありませんが、Sunway TaihuLight上のアルゴリズムは、より一般的なアーキテクチャで実装された従来の並列ソートアルゴリズムよりもはるかに効率的であることは明らかです。

5。結論

このホワイトペーパーでは、シングルコアのパフォーマンスに比べて大幅に高速化された、カスタマイズされた並列クイックソートをSW26010で紹介します。
これは、最初のカウント要素と2番目の移動要素を備えた2パス並列分割アルゴリズムで構成されています。
? この設計では、オンチップ ry して同期オーバーヘッドを削減し、高速 ry してデータ移動のオーバーヘッドを最小限に抑えることができます。
オンチップ通信メカニズムを活用しての同期オーバヘッド削減と、高速オンチップSPMを使用してのデータ移動オーバヘッドミニマイズと、をこの設計はレバレッジできます。
? ry を設計し、メモリ使用量と負荷分散を最適 ry 。
さらに、協調スケジューリングスキームを我々は設計し、負荷分散だけでなくメモリ使用量をも最適化します。

? ry 場合、アルゴリズムは64 ry 高速化を実現し、すべての分布で50 ry 効率を実現 ry 。
実験により、int32値の場合、 64 CPEで32を超える高速化を我々のアルゴリズムは実現し、50％の強力なスケーリング効率を各分布全てに於て実現しています。

7ページ

120
: Sunway サンウェイ
: x86-64
80
60
40
20
0
時間/秒

0 10 20 30 40 50 60
コアの数

（a）ソート時間

40
:
10
5
0
スピードアップ

0 10 20 30 40 50 60
コアの数

（b）スピードアップ

0.9
:
0.3
0.2
並列効率

0 10 20 30 40 50 60
コアの数

（c）並列効率

? ry （アルゴリズム）とx ry
図5： SW26010（我々のアルゴリズム）に対する x86-64（TBB）の異なるコアの結果

? ry でも設計は十分に拡張できますが、 ry コアからほとんど恩恵を受けません。
Intel TBBのx86-64アーキテクチャーでの並列クイックソートの実装と比較して、64個のCPEをすべて使用する場合でも我々の設計は十分にスケールしますが、TBBの実装は20を超えるコアによる恩恵を受ける事は困難です。

参照資料

1。
Blelloch, GE: ? GEのBlelloch：
? ry 合計とそのアプリケーション。
プレフィックスの合計とそれらの応用。
技術 rep。、並列アルゴリズムの（1990）、
http://www.cs.cmu.edu/‾guyb/papers/Ble93.pdf
2。
Cederman、D.、Tsigas、P .:
GPU-Quicksort：グラフィックプロセッサ用の実用的なクイックソートアルゴリズム。
Journal of Experimental Algorithmics 14、4（2009）
3。
フレイザー、WD、マッケラー、AC：
? ry 最小のストレージ ry 。
Samplesort：最小ストレージツリーソートへのサンプリングアプローチ。
J. ACM 17（3）、496～507（1970年7月）
4。
Fu、H.、Liao、J.、Yang、J.、Wang、L.、Song、Z.、Huang、X.、Yang、C.、Xue、W.、Liu、F.、 Qiao、F。、 Zhao、W.、Yin、X.、Hou、C.、Zhang、C.、Ge、W.、Zhang、J.、Wang、Y.、Zhou、C.、Yang、G：
Sunway TaihuLightスーパーコンピューター：システムとアプリケーション。
Science China Information Sciences 59（7）、072001（2016年6月）
5。
ホア、カー：
クイックソート。
The Computer Journal 5（1）、10--16（1962）
6。
クヌース、DE：
コンピュータプログラミングのアート、第3巻：（第2版）並べ替えと検索。
アディソンウェスリーロングマンパブリッシング社、米国カリフォルニア州レッドウッドシティ（1998年）
7。
ライシュナー、N。、オシポフ、V。、サンダース、P：
? GPUサンプルの並べ替え。
GPU サンプルソート。
In：2010並列分散処理に関するIEEE国際シンポジウム。
? 1～10 ry
1-10ページ（2010年4月）
8。
マンカ、E。、マンコーニ、A。、オロ、A。、アルマーノ、G。、ミラネージ、L：
CUDA-quicksort：クイックソートの改善されたGPUベースの実装。
? ry ：実践と経験28 ry
並行性と計算：実習と実験 28（1）、21--43（2016）
9。
サティッシュ、N。、ハリス、M。、ガーランド、M .:
メニーコアGPU用の効率的なソートアルゴリズムの設計。
In：2009 IEEE International Symposium on Parallel Distributed Processing。
? 1～10 ry
1-10ページ（2009年5月）
10。
Sengupta、S.、Harris、M.、Zhang、Y.、Owens、JD：
? ry をスキャンします。
GPUコンピューティングのプリミティブを精査する。
In：22Nd ACM SIGGRAPH / EUROGRAPHICS Symposium on Graphics Hardwareのプロシーディング。 97～106ページ。
GH '07、Eurographics Association、Aire-la-Ville、スイス、スイス（2007）

heiwa furiisekkusu 1tu

訂正

V>? ry に表示されるもの ry 。
V>元の行列は、HPCGベンチマークに登場するものと同じです。
V>さて、V の各 vi に付いて、ソート済非ゼロ要素リスト内でのその値の最後の位置を計算し、
V>まず、列インデックスの実際の値を対角要素に対する相対値に変換します。 ( 訳注 : DPCM の応用 ? )

YAMAGUTIseisei

unread,

Apr 19, 2020, 12:38:38 PM4/19/20

シンギュラリティ系有料メールマガジン発行を構想致しております
無料メールマガジン版 ( 別途有料版開始時打切 )
http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7

設計概要自体の代りに周辺情報 ( 論文翻訳等 ) をお届け致しております

YAMAGUTIseisei wrote:
>>>>Google 翻訳 http://pnas.org/content/early/2020/01/07/1910837117/# http://pnas.org/content/117/4/1853
>>>> PNAS 最初に公開されたのは2020年1月13日 http://doi.org/10.1073/pnas.1910837117
>>>>
>>>>
>>> :
>>>> 再構成可能生物を設計するためのスケーラブルなパイプライン
>>>>
>>>>
>>>> サム・クリーグマン
>>>> a. バーモント大学、バーリントン、 VT 05405のコンピューターサイエンス学科。
>>>>
>>>> ダグラス・ブラキストン
>>>> b. タフツ大学生物学部、メドフォード、 MA 02153;
>>>> c. アレンディスカバリーセンター、タフツ大学、メドフォード、マサチューセッツ州 02153;
>>>>
>>>>マイケル・レビン
>>>> b. タフツ大学生物学部、メドフォード、 MA 02153;
>>>> c. アレンディスカバリーセンター、タフツ大学、メドフォード、マサチューセッツ州 02153;
>>>> d. Wyss 生物学由来工学研究所 ( 合成生物学工学研究所 ? ) 、ハーバード大学、ボストン、 MA 02115
>>>>
>>>> ジョシュ・ボンガード
>>>> a. バーモント大学、バーリントン、 VT 05405のコンピューターサイエンス学科。
>>>>
>>>>
>>>> 1. カリフォルニア州ラ・ホーヤの生物研究のためのソーク研究所のテレンス・J・セノウスキーによって編集され、2019年11月26日に承認された（2019年6月24日のレビューのために受け取られた）
>>>>
>>>>http://pnas.org/lookup/suppl/doi:10.1073/pnas.1910837117/-/DCSupplemental# http://pnas.org/highwire/filestream/906738/field_highwire_adjunct_files/0/pnas.1910837117.sapp.pdf#1/pnas.1910837117.sm01.mp4#2/pnas.1910837117.sm02.mp4
>>>>
>>>>
>>>>
>>>> in vivo
>>>> 生体内 → 生体で生体として
>>>>
>>>>
>>>> # http://openoffice.org/

in vivo
生体内 → 生体で生体として

http://openoffice.org/

意義

? ほとんどの技術は、 ry 。
殆どのテクノロジは、時間の経過とともに劣化し、有害な生態学的および健康上の副作用を引き起こす可能性のある鋼鉄、コンクリート、化学物質、およびプラスチックから作られています。
? したがって、 ry 有用であり ry は生体系そのものです。
したが●て、自己再生性で生体適合性のある材料を使用して技術を構築することは有●用であり、その理想的な候補は生体システムそれら自身です。
? ry 、ここでは、生物学的機械をゼロから設計 ry 方法を示します。コンピューターは、シミュレーションで新しい機械を自動 ry 。
したがって、完全に生物学的な機械を一 ( 訳注 : 遺伝子/ゲノム改変を伴わず破滅的バイオハザードの回避率の増を彷彿させる細胞組織レベルの謂わば漢方的技術 ) から設計する方法を我々は示します : コンピュータは、新しい機械をシミュレーション内で自動的に設計し、異なる生物学的組織を組み合わせることで最適な設計を構築します。
? さまざまな生活機械 ry 。
これは、他の人がこのアプローチを使用して、人体内に安全に薬物を送達し、環境修復を助け、または生命が採用する可能性のある多様な形態と機能の理解をさらに広げるためのさまざまな生命機●械を設計することを示唆しています。

概要

? リビングシステム ry 支えています。
生体システムは、これまでに作成されたどのテクノロジーよりも堅牢で、多様で、複雑で、人間の生活を支えてもいます。
? ry 現在、in vitroでの既存の生物または生体工学オルガノイドの変化に限定 ry 。
ただし、新しい生命体を作成する私たちの能力は現在、既存生物の変化か、試験管内生体工学オルガノイドか、に限定されています。
? ry 示します.AIメソッドは、in silicoで多様な候補生命体を自動 ry して、いくつかの目的の機能を実行し、次に、セル ry して、予測可能な動作を備えた生体 ry 転送可能な設計を ry 。
ここでは、機能的な新しい生命体を作成するためのスケーラブルなパイプラインを示します : AI ( 訳注 : ML 的 ? ) メソッドは、目的機能いくつかを実行する為の多様な各候補インシリコ生命体構成体を自動的に設計して、次に、セルベースの構築ツールキットを使用して、予測可能動作が備わった生体システムを実現する転送 ( 訳注 : 疑似的な準転生 ) 可能な各デザインを作成します。
このパイプラインの一部のステップには依然として手動の介入が必要ですが、将来の完全な自動化により、さまざまな機能のための独自の特注のリビングシステムを設計および展開する道が開かれます。

* 進化的計算
* 人工生命 ( 訳注 : 主に人工生命体的文脈 ? )
* バイオエンジニアリング

? ほとんどの最新技術は、 ry 素材から構築されています。前者は、設計 ry いるためです。生体システムは ry 、それらに ry 新しい動作の ry 。
殆どの最新テクノロジは、生体素材ではなく合成素材 ( 後者は、設計、製造、および保守が容易であることが証明されているため ) から構築されています ; 生体システムそれは構造と機能の堅牢性を示すため、それに課せられる新しい振舞の採用に抵抗する傾向があります。
? ry システムをab initioで継続的 ry に設計 ry 、最も強力でありながら静的な技術の耐用年数を ry 超える可能性 ry 。
ただし、生体システムを継続的かつ迅速に ab initio で設計し、新しい機能を提供するために展開できる場合、エントロピーに抵抗するその生来の能力により、我々の最強であれど静的であるテクノロジの耐用期間をはるかに超える事を可能にする可能性があります。
? ry to self-organize adaptive functionality ry .
? ry 再生により顕著な可塑性が明らかになり、細胞または臓器システム全体が急激な変形にもかかわらず適応機能を自己 ry ことが可能になります（ ry 。
この耐性の例として、胚の発生と再生とでの顕著な可塑性が、発揮され、細胞群か各臓器システムそれら全体かの急変形的造成にも関わらずの適応的感応性を自己組織化することを可能とします（ 1、2 ）。
? 新しい構成 ry を活用することは、出現と誘導自己組織化の両方 ry 介して複雑な新しい解剖学 ry します（ 3 ）。
新構成で機能する細胞の計算能力を利活用することは、創発と guided self-assembly ( 3 ) との両方の利点を介しての複雑な新たな解剖学を達成する合成形態を作成する可能性を示唆します。

? ry 、オーダーメイドの生活システム ry 。
現在、オーダーメイド的な生体システムを設計および構築するために進行中のいくつかの方法があります。
? 単一細胞生物は ry 可能では ry 。
単細胞生物は、リファクタリングされたゲノムによって改変されていますが、そのような方法は、多細胞の形状または行動の合理的な制御にまだ拡張可能 ( 原文 : スケーラブル ) ではありません（ 4 ）。
? ry が、結果は大部分が出現し、実験者 ry 、構造（および機能）の ry 。
合成オルガノイドは、細胞を特定の培養条件にさらすことで作成できますが、結果の大部分が創発しそして実験者の制御下にないため、彼らの構造 ( 従って機能も ) の制御は非常に限られています（ 5 ）。
? ry の取り組みでは制御が向上します（ 6 8 ）が、任意 ry 構造の行動への影響を予測できない、自動設計によって新しい形態を発見するのではなく、既存の生物に似た生物学的機械にアセンブリを制限しています。
逆に、 3D足場を使用したバイオエンジニアリングの取組は制御を向上させます（ 6 〓 8 ）が、任意の生物学的構造の振舞的影響を予測できないので、自動設計によっての新形態発見よりも寧ろ、既存生物似な生物学的機械に、アセンブリを制限します。

? ry 、計算検索 ry プリンティングの ry より、in silicoで機械を設計 ry 10 ）、それらの物理インスタンスを製造するための ry （ 11、13 ）。
一方、計算的検索と3Dプリンティングとの進歩により、マシンの、 in silicoでの設計およびトレーニング（ 9、10 ）とそして物理インスタンス製造、の為のスケーラブルな方法が生み出されました（ 11 〓 13 ）。
これらのアプローチのほとんどは、進化的探索法（ 14 ）を採用しており、学習法とは異なり、機械の物理的構造とその動作の設計を可能にします。
? ry は、特定の問題 ry これは、一部の設計が ry に優れてインスタンス化できる ry 。
これらの進化的設計手法は、与えられた単一問題に対する多様なソリューションを継続的に生成します。これは、幾つかの設計が他の設計よりも物理的に優れたインスタンス化ができるため、有用であることがわかります。
? さらに、設計対象のアーティファクトとそれが提供する機能にとらわれません。同じ進化アルゴリズムを再構成して、薬物 ry ）、の再構成。
更にそれらが、設計対象アーティファクトその種類と機能とに囚われず提供するのは : 同じ進化アルゴリズムで可能な、薬物（ 15 ）、自律マシン（11、13）、メタマテリアル（ 16 ）、またはアーキテクチャ（ 17 ）、の設計の為の再構成。

? ry アプローチを示し、セルベースの構築ツール ry 使用して進化 ry 。
ここでは、進化アルゴリズムを使用してインシリコで生体システムを設計するためのスケーラブルなアプローチを我々は実証し、細胞ベースのコンストラクションツールキットを使用した進化した設計を迅速に製造する方法を示します。
? ry ブロックの説明と、製造 ry 示す必要な動作を入力 ry 。
このアプローチは、使用される生物学的ビルディングブロックと、製造されたシステムが示すべき望ましい振舞と、の記述を入力として受け取る線形パイプラインとして編成されます（図1 ）。
? ry 、その動作をさまざまな方法 ry 高い生活システム ry 。
パイプラインは、その振舞を異った方法で具体化するパフォーマンスの高い生体システムを継続的に出力します。
結果として生じる生体システムは、新しい機能を生み出す細胞の新しい集合体です。細胞レベルを超えると、既存の臓器や生物とはほとんど似ていません。

図1

* 図のダウンロード
* 新しいタブで開く
* パワ●ポイントをダウンロード

図1

? ry 可能な生物の設計と製造。
再構成可能生物を設計し構成する。
? ry な構成要素[ ry 。
構造的な構成ブロック[ここでは収縮性（赤）および受動的（シアン）ボクセル]とともに、行動目標( 例えば、変位の最大化 ) が進化アルゴリズムに供給されます。
? ry 、最初はランダムな母集団を進化させ、 ry 。
このアルゴリズムは、ランダム母集団を進化させる事から始めて、見つかった最適な設計を返します。
アルゴリズムは、異なるランダムな母集団から99回再実行され、in silicoで多様なパフォーマンスデザインを生成します（ A ; SI付録、セクションS5 ）。
? その後、パフォーマンスの設計は、アフリカ ry （ C F ; SI付録 ry ）の開発を使用して生体内で構築された、収縮細胞のランダム ry 。
パフォーマンスな設計は、その後、アフリカツメガエルの心筋細胞と表皮細胞の前駆細胞（ C-F ; SI付録、セクションS8 ）の発達を利用して in vivo で構築された、収縮細胞のランダム位相変調に対する堅牢性（ B ; SI付録、セクションS7 ）によってフィルタリングされます。ペトリ皿の表面に配置され、その挙動が観察され、設計の予測される挙動と比較されます（ SI付録、セクションS9 ）。
インシリコと生体内の振る舞いの不一致は、その後の設計-製造サイクル中に進化する可能性のある設計の種類に対する制約の形で進化的アルゴリズムに戻されます（ G ; SI付録、セクションS6 ）。
? ry の階層化と整形の手法は、実現された生体 ry モデルのように振る舞うように ry 。
同時に、組織のレイヤ化と整形との手法は、実現される生体システムが仮想モデルに更に似た振舞をする様に修正されます（ SI付録、セクションS8 ）。

結果

パイプラインは、ジェネレーターとフィルターのシーケンスとして編成されています（ SI付録、図S1 ）。
? ry は、生物 ry を組み合わせて目的の動作を実現するさまざまな方法 ry 。
最初のジェネレーターは、目的な振舞を生物学的ビルディングブロックを組合せて実現する異った方法を発見する進化的アルゴリズムです。
ランダムなデザインの母集団が最初に作成されます。
次に、物理ベースの仮想環境で各設計がシミュレートされ、パフォーマンススコアが自動的に割り当てられます。
? ry 、パフォーマンスの高いデザインのランダムに変更された ry 。
パフォーマンスの低いデザインは削除され、高パフォーマンスデザイン達のランダム改変されたコピーによって上書きされます。
このプロセスを繰り返すと、パフォーマンスの高い多様なデザインの集団が生成されます（図2 ）。

図2。

* 図のダウンロード
* 新しいタブで開く
* パワ●ポイントをダウンロード

図2。

再構成可能な生物の設計。
所定の目標に対して、100の独立した進化的試験がインシリコで行われました（ A C ）。
各色付きの線は、そのクレード内で最も速く動くデザインの速度を表します。
? ry より、解剖学と行動を決定 ry 。
各ゲノム（ D ）は、ボクセルが結合する場所と方法、およびボクセルが受動的（シアン）か収縮性（赤; E ）かを判断することにより、生体構造と振舞とを決定します。
ゲノムは発生過程をシミュレートし、 SI付録のセクションS4で詳細に説明されています。
設計（ F ）によって生成される異なる動作トレースは、各評価期間中に各収縮性細胞の作動をランダムに摂動させた結果です。
行動の痕跡はすべて同じ位置（青）から始まりますが、最終目的地（赤）まで時間の経過とともに分岐します。
? ry 緑で表示されます。
（ G ）1つの評価期間中、重力下で1秒間安定した後、圧縮された収縮ボクセルと膨張した収縮ボクセルは、それぞれ赤と緑で強調的に示されます。
? ry (but not necessarily behavior).
? ry ため、ジオメトリを保持 ry の解剖学的解像 ry H ）（ただし、 ry 。
遺伝子型はスケールフリーであるため、構造配置を保持しながら、デザインの生体構造解像度を上げることができます（ H ）（しかし、必ずしも動作ではありません）。 ?
すべての進化的トライアルが完了すると、各トライアルから最もパフォーマンスの高いデザインが抽出されます（ I ）。
パイプラインの次の段階に渡された堅牢な設計は、他の99個の設計の平均速度（灰色の曲線）よりも平均して速く（赤い曲線）移動します。

? シミュレートされた物理環境と対象となる物理環境には ry 。
シミュレート物理環境とターゲット物理環境とには多くの違いがある可能性が高いため、性能設計は、ノイズに直面しても望ましい動作を維持する設計の通過のみを許可するロバストネスフィルターを通過します（ SI付録、セクションS7 ）。
? 以前の研究 ry 性は、物理的にインスタンス化されたときにデザインがその動作を維持するかどうかの単純で効果的な ry 。
従来の研究では、シミュレーションでの耐ノイズ性は、デザインそれが物理的インスタンス化されたときにそれの振舞を維持するか、の単純且つ効果的な予測因子であることが示されています（ 18 ）。

? 残っている耐ノイズ設計は、次に ry 適さない設計（ SI付録、図S6 ）を削除 ry 通過します。将来の展開。
そこで生残った耐ノイズデザインは、次に、現在のビルド方法に適さない（ SI付録、図S6 ）か、将来の展開でのより複雑なタスクでスケールしないと目されるか、のデザインを削除するビルドフィルター（ SI付録、図S4 ）を通過します。
? ry 製造可能性は、発達中の幹細胞の集合体に残る最小の凹面 ry これは、集合幾何学の小さなギャップ ry 。
設計の製造可能特性は、発達中幹細胞集合体にあっての大いなる最小凹面サイズに依存します。これは、ジオメトリの小ギャップを閉じる傾向があります（ SI付録、図S7 ）。
? ry し、将来の臓器 ry にスペース ry 。
設計のスケーラビリティは、受動組織の割合に依存しその事は、将来の、臓器システムまたはペイロードに、スペースを提供します（ SI付録、図S13 ）。

? ry 生体組織からビルドされます。
ビルドフィルターを正常に通過したデザインは、生体組織構築されます。
多能性幹細胞は、胞胚期のアフリカツメガエル胚から最初に採取され、分離され、プールされて、所望の数の細胞が得られます。
? インキュベーション期間の後、マイクロサージェリー鉗子と13μmワイヤチップ焼uter電極の組み合わせ ry を減算により手動で成形し、シミュ ry 設計の ry 。
孵化期の後、マイクロ手術ピンセットと13μmワイヤチップ焼灼電極 ? との組み合わせを使用して、凝集組織を減算 ( 訳注 : 削出し ? ) により手動でシェイプアップし、シミュレーション設計案の生物学的近似を生成します。
? ry 心臓前駆細胞、胚細胞由来の細胞の採取および包埋により、 ry 組織を生体に層状化 ry 。
さらに、アフリカツメガエル心筋前駆細胞 ( 胚細胞由来 ) を採取し組込む事を通じて、収縮性組織をこの生物内にレイヤ化できます。これは、心筋細胞（心筋）に自然に発達し、結果として得られる形状の特定の場所で収縮波を生成します（ SI付録、図S6 ）。

? この手順の最終製品は、進化した設計の生きた3D ry 、結果として生じる挙動があれば ry 。
このプロシージャの最終製造物は生命、進化した設計の 3D近似です。これは、栄養素を追加せずに数日間または数週間、自己移動して水環境を探索する能力を備えています。
その後、これらの生物はそれぞれの物理的環境に展開され、結果としての生じた挙動がもしもあればそれが観察されます（図3 ）。
? 次に、行動をシミュレート ry された行動 ry 、行動が ry したかを判断 ry 。
各行動を、然して、シミュレートされた対応物によって予測された各行動と比較して、各行動がインシリコからインビボに移行したかどうか、またはどれだけうまく移行したか、を判断します（図4 ）。

図3

* 図のダウンロード
* 新しいタブで開く
* パワ●ポイントをダウンロード

図3

? 再構成可能な生物の製造。
リコンフィギュラブル生物を造成。
? ry 多能性胞胚 ry 。
（ A ） X. laevis胚から採取した多能性 ( 万能性分化万能性 ) 胞胚細胞の凝集。
（ B ）シェイピングにより、進化したインシリコデザインの3D表現が得られます。
? ry 赤色蛍光系統トレーサー ry 。
（ C ）心臓前駆細胞の層状化により、特定の場所に収縮性心筋細胞組織が生じ、赤色蛍光な抗原 ( 細胞系統 ) トレーサーによって視覚化されます。
（ D ）水性環境での自己運動の微速度撮影。
? ry 環境内の個人による破片の集合の出現および（ F ）24 ry わたる再構成可能な生物のグループによる（ ry 。
（ E ）環境内でのデブリの凝集の、個体単体による創発的挙動、及び（ F ）24時間に亘ってのリコンフィギュラブル生物グループによる（ SI付録、セクションS10.4 ）。
? ry ： A E ry はそれぞれ500 ry
（スケールバー：各々、A-Eの場合は500μm、 Fの場合は5 mm。）

図4

* 図のダウンロード
* 新しいタブで開く
* パワ●ポイントをダウンロード

図4

? ry からin vivo ry 。
silicoから vivo への転送。
製造および特定の仮説テスト（ A ）のために選択された最初の設計は、進化アルゴリズムによって発見された受動（表皮;緑）および収縮（心臓;赤）組織の最も堅牢で安定したエネルギー効率の高い構成でした。
設計は1分間のシミュレーション時間で25回評価され、25の移動軌跡が得られました（ Cのピンクの曲線）。
この設計を具体化する6つの再構成可能な生物が構築されました（例： B ）（ SI付録、セクションS9 ）。
3つは4回評価され、他の3つはそれぞれ10分間5回評価されました（ Cの 27個の青い曲線）。
生物の動きの方向は、設計の予測される動きの方向と一致しました（ P <0.01;詳細はSI付録のセクションS9 ）。
? ry 、デザインの進化 ry 面（ D ）を中心 ry させ、インシリコ ry 評価することにより、ジオメトリと組織分布を変更しました（ ry ）。
生物の動きが偶然の結果なのか、デザインが持つ進化したジオメトリと組織配置とによるのかを判断するため、デザインをその横断面の水準座標中心に180°回転させることにより、ジオメトリそして組織分布、を反転し（ D ）、インシリコでさらに25回評価しました（ Fのピンクの曲線）。
6種類の生物のそれぞれも同様に反転されました（ E ）：4種類は5回評価され、残りの2種類は1度だけ評価されました（ Fの 22の青い曲線）。
? Inverting the design significantly reduces its net displacement ( P < 0.001), as did inverting the organisms ( P < 0.0001).
? 設計の反転は、生物の反転（ P <0.0001）と同様に、正味変位（ P <0.001）を大幅 ry 。
生物反転（ P <0.0001）のそれと同様に、正味変位 ( ? 訳注 : 総合的変位総体的変位 The vector sum of the individual displacements http://physics.bu.edu/‾duffy/ns540_fall10_notes01/EP_ch02_2dash1to2dash4.pdf# ) （ P <0.001）を設計反転は大幅に削減します。

いくつかの生物が展開されて観察された後、それらはさまざまな量の望ましい行動を示す可能性があります。
? 成功したシステム ry 制約に蒸留され、進化アルゴリズムに戻されます。進化アルゴリズムは、パフォーマンスだけでなく、制約にも適合する設計 ry 。
成功システム間の共通パターンは、制約に ( 訳注 : ルールとして ) 蒸留 ( 訳注 : 精製 ) され、進化アルゴリズムに逆供給 ( 訳注 : フィードバック ) されます。単に高パフォーマンスなだけでなく、制約に適合していもする設計を進化アルゴリズムは進化させます（ SI付録、セクションS6 ）。
? これにより、その後の設計から展開の試行 ry 可能性が高くなります。
これはその後の、設計から展開に至るまでの試行が成功する可能性を増大します。

再構成可能な生物は、4つの異なる行動を示すように進化しました：移動、オブジェクト操作、オブジェクト輸送、および集団行動（ SI付録、セクションS10 ）。
これを達成するために、パイプラインは4回使用されました。

? Locomotion.
移動。

多様なデザインの母集団を得るために、進化アルゴリズムの100の独立した試行が行われました（図2 A C ）。それぞれが異なる初期ランダムデザインのセットから始まります。
? ry 、 ry に達成 ry 変位に基づいて設計 ry （ ry 、2 Hzでのサイクリング）。
各試行中に、10秒間に亘って達成された正味変位（ランダム化、位相変調収縮、2 Hz サイクルで）に基づいて、設計が選択されました。
? ry 各試験内の固有の遺伝系統内およびその間 ry 。
追加の選択圧力を適用して、各試験内での固有遺伝系統の系統内及び系統間の競合を誘発することにより多様性を維持し（ 19 ）、固有の生態学的動態をもたらしました（ SI付録、セクションS5 ）。
? ry ビルドフィルターを ry 。
各試行の最後に最も適合した設計が抽出され（図1 A ）、堅牢性とビルドとのフィルタを通過しました（ SI付録、図S4 ）。
このフィルタリングプロセスでは、ランダムな摂動中に高速移動を保持する、構築可能でスケーラブルな設計が製造用に選択されます（図3およびSI付録、図S6 ）。

? Cilia, which produce locomotion through metachronal waves (the generation of sequential and directional propagating waves, as opposed to synchronized beating), ry .
? ry 異時性波（ ry 移動を生成し、 ry に、連続および方向の伝播波 ry マイクロインジェクションにより生体内で抑制 ry 。
繊毛は、異時性波 ( 訳注 : metachronal wave of cilia = 繊毛波 ) （同期化された拍動とは対照的に、シーケンシャル且つ方向的な伝播波の生成）を介して移動を齎し、in silicoでモデル化されておらず、Notch細胞内ドメイン（Notch ICD）を転写するmRNAの胚性マイクロインジェクションを介して in vivo で抑制されました（ 20 ）。
したがって、変位は、皿の表面を押す収縮性心筋組織に起因します。
これにより、シミュレーションと、実現された生物との比較が簡単になります。
? ry 直立および反転した180°の横断面）でコンピューター内と生体内で比較され、予測 ry 動作の違いに対する設計 ry 分離します。
デシリエイトデザインの軌跡は、2つの方向（直立と横断面での 180° 反転と）に於て in silico とin vivo とで比較されるので、予測された動作と実現された動作との差異に於ての、設計された形態の影響を分離 ( 訳注 : 切分け分析 ) します。
? ry ついて、データは、望ましい動作が直立しているときは正常に転送されたが、反転したときは正常に転送されなかったことを示唆しています（ ry 。
少なくとも1つの設計について、望ましい振舞の転送が成功した事をデータは、直立時に示唆しますが、反転時に示唆しません（図4 ）。
? ry 、インシリコの両方で正味変位 ry しました（ ry ）およびin vivo（ ry ）。
より具体的には、直立生物の運動方向は、ランダム摂動下でインシリコ設計の方向と一致し（ P <0.01; SI付録、セクションS9の詳細）、設計を反転すると、インシリコ（ P <0.001 ）および in vivo （ P <0.0001）の両方で、正味変位が大幅に減少しました。
? ry 、転移が成功したのは偶然ではなく、設計 ry 。
これは、転送成功は偶然によらず設計自体によるものであることを示唆しています。

? オブジェクト操作。
オブジェクトマニピュレーション。

? ry 場合、運動性設計により、in silico ry ）の両方 ry オブジェクトが自発的 ry 。
環境に粒子状物質が散らばっている場合、 in silico（ SI付録、図S10 ）とin vivo（図3 FおよびSI付録、図S11 ）との両方で外部オブジェクトを運動性設計が自発的に凝集します。
より明確なオブジェクト操作を選択して、デブリを除去するターゲット領域を指定したり、廃棄するオブジェクトを指定したりするなど、明確な目標を設定できます。
後者の目標が実装され、プリミティブエンドエフェクタがシミュレーションで進化しました（ SI付録、図S12 ）。

オブジェクトトランスポート。

? ry for displacement reduced hydrodynamic drag ( ry ) via a hole through the center of their transverse plane.
? ry 介して、変位が低減された流体力学的抗力のため ry 。
いくつかの設計は、横断面の中心を通る穴を介す流体力学的抗力を低減させる変位の為に進化しました（ SI付録、セクションS6 ）。
? ry 、生体内で実現 ry 組織と重なることはありませんでした。
このより複雑なトポロジは、 in vivo で実現されました（ SI付録、図S13 ）が、収縮性組織とのレイヤを成しませんでした。
? ry can be exapted as ry .
? ry 、この新しい機能はオブジェクトを保存および ry として適合させることができます。
シミュレーションでは、この創発フィーチャはオブジェクトを保持及び輸送するためのポーチとしての適用が可能です。
? ry 制約として ry 、持ち運ぶ物体の距離 ry 。
進化の次のラウンドでは、ポーチが設計上の制約 ( 訳注 : 定義 ? ) として明示的に組み込まれ、物体運搬の距離を最大化するという新しい目標が採用されました。
? ry 、in silicoで進化 ry が生成されました（ SI付録、図S13 ）。
これにより、進化したオブジェクトトランスポートが in silico で成されました（ SI付録、図S13 ）。

集団行動。

同じ環境に複数のデザインを配置して、集合的な動作を生成することができます（ 21 ）（ SI付録、図S10およびS11 ）。
インシリコで予測されたこのような行動のいくつかは、生体内で観察されました。
? ry 形成し、 ry 、いくつかの回転で互い周りを周回する ry 。
たとえば、2つの設計が衝突し、一時的な機械的結合を形成しそして、離脱軌道に乗って分離する前に、互いの周りを数回転することがよくあります（ SI Appendix 、図S10 ）。
? ry が生物 ry 絡み合い、しばしば観察を通じてパートナー ry 。
この現象は、繊毛がこの生物上で抑制されていない場合に、より顕著になります。個体は頻繁に隣人と絡み合い、観察中しばしばパートナーを変えます（図3 FおよびSI付録、図S11 ）。

討論

? ry シミュレーションと設計 ry 最近、異なる材料と作動特性を持つソフトコンポーネント ry 。
剛体構造と機械のシミュレーション又設計はしばらく前から可能でしたが、ごく最近、材料及びアクチュエーション特性を異にした軟体コンポーネントの任意の集合体の組み合わせ動作をシミュレートすることが計算上扱いやすくなりました（ 22 ）。
? ry このようなきめ細かいシミュレーション ry 。
ここに示すように、このような細粒度シミュレーションを進化的検索方法に組み込んで、人工材料ではなく生物学的材料でインスタンス化できる設計を発見できます。

結果として生じる生物は、ランダムなノイズとして心筋細胞の時間的協調をモデリングしているにもかかわらず、進化したインシリコデザインの構造（ SI付録、図S8 ）だけでなく、その挙動（図4 ）も具体化しました。
? 移動の選択 ry として、ランダム化 ry しました。全体的な形状の変化、受動細胞と収縮細胞の分布の変化により進化の改善が起こり、 ry まとめてランダム ry 。
移動運動選択圧力の副作用として、非ランダム化形態が進化しました : 形状の全体的シェイプと、そして受動細胞及び収縮細胞との分布と、の変化を通じての進化向上が起こる事で、ランダム作動によって生成されるグローバルな動きをまとめて非ランダム化します。
生物学では、ランダムノイズに対するこのような堅牢性は遍在しています。1つの例は、多くの種が胚形成の出発点として細胞のサイズと数の幅広い多様性に適応する能力です（ 23 ）。

個々の細胞の行動能力、および細胞がグループで協力する傾向は、新しい状況で機能的な形態形成を促進します。
? ry を持っています。
ここに提示された生命体は、神経系を欠いているにも関わらず、新しい発達軌道をたどり、異なる組織の材料で構成されているにもかかわらず、これらの自己組織化特性を演じます。
? これらのプロパティは ry された動作と相乗作用し、サポートします。
これらの特性は、それらが示すように設計された振舞に、相乗作用とサポートとをします。
? ry 伝達は強制されませんでしたが、 ry 間の緊急の自発的調整により、物理的に実現 ry する一貫した位相整合収縮が生じ ry 。
たとえば、心筋細胞間のシグナル伝達が施行されなかったにも関わらず、心筋細胞間での創発的な自律協調により、物理的実現された設計での移動を支援する位相整合収縮に於て一貫性が生じました。
? また、設計 ry 散らばるデトリタスを自発的かつ集合的に集約します（ ry 。
それだけでなく、設計のいくつかは、組み合わされると、共有環境内に散らばる有機破片を自律的且つ集団協調的に収集します（図3 FおよびSI付録、図S11 ）。
? ry などの損傷 ry 。
最後に、再構成可能な生物は、外部から課せられた構成を自己維持するだけでなく、裂傷を自動的に閉じるなど、損傷に直面しても自己修復します（ SI付録、図S9 ）。
そのような自発的な動作は、設計プロセス中にその動作が明示的に選択されない限り、人工材料で構築された機械からは期待できません（ 24 ）。

? このアプローチでは、 ry フィルターの ry により、パイプライン内の要素のモジュール式の ry 再編成が可能になり、新しいドメインの新しいタスク用の新しいリビングシステムの迅速 ry 展開が可能になるため、将来 ry 化が可能になります。
このアプローチは、ジェネレーターとフィルタとのアーキテクチャにより、新ドメイン内の新タスク用の新生体システムの迅速な設計及び展開の為のこのパイプライン内に於ての要素のモジュール方式での追加、削除、または再編成を可能たらしめるので、将来の一般化と自動化とを許容します。
? ry 物理的に実現できないry が知られている設計空間の部分から進化 ry 先制的に操作するフィルター ry 。
例えば、物理的具現化できない設計を含むことが分っている設計空間の各部を避けつ進化アルゴリズムを先制的 ( 原文 : プリエンプティブ ) に舵取りするフィルタを追加することができます（ 25 ）。
? ry なり、セルラーアセンブリおよびアセンブリのアセンブリの階層デザインと再利用が可能になります。
または、ディープニューラルネットワーク（ 26 ）の階層構造に触発されて、1つのジェネレーターから出力される個々のデザインが次のジェネレーターへのビルディングブロック入力になり、従って、セルラアセンブリと、アセンブリのアセンブリと、の、再利用をする事を、そして階層的デザインとを、可能たらしめています。

ここで報告されているアプリケーション以外に、このアプローチの一般性はまだ不明です。
? ry 学習、ソフトボディシミュレーション ry 、将来の応用の可能性が広がる可能性があります。
しかし、機械学習、軟体シミュレーション、およびバイオプリンティングの進歩により、将来に於てなされる応用を潜在的に広げる可能性があります。
? ry 回路の ry 。
アフリカツメガエル細胞における新規タンパク質および合成生物学経路および計算回路、の誤発現のしやすさを考えると、アプリケーションは多数あり得ます（ 27 ）。
それらの非毒性と自己制限的な寿命を考えると、それらはインテリジェントな薬物送達（ 28 ）または内科手術（ 29 ）のための新しい媒体として役立つ可能性があります。
? ry のためにシグナル ry 質を発現 ry 場合、有毒または老廃物を探して消化するか、ロボットが物理的にアクセス ry で関心のある分子を識別することができます。
酵素、感覚（受容体）、および機械的変形機能の為の、シグナル伝達回路とタンパク質とを発現するように装備されている場合に彼らは、毒物又老廃物を探しての消化か、関心ある分子の識別をロボットが物理アクセスできない環境で行うか、が可能です。
? ry で発生するような内因性の再生 ry を活用することにより）再生 ry 、大規模 ry ことができます。
（プラナリアの分裂で起る様な、内因性再生メカニズムを利活用する事による）再生システムを装備している場合それは、大規模にそうする事を許容するかも知れません。
? ry 特定したり、落ち着いて疾患のある場所でイベントを識別または制御したりする ry 。
バイオメディカル環境では、動脈壁からプラークを除去したり、癌を特定したり、疾患箇所に定住してイベントを見分けるか制御するかしたり、するバイオボット（患者自身の細胞から作られます）を想定できます。
? このような構造 ry 機能は、特定の代謝工学 ry 場合、自然に寿命が制限されることです。
特定の代謝工学を欠く場合のこうした構造の有益な安全機能は、自然に制限された寿命を彼らが持つ事です。

? ry 、既存の種に可能な限り直交するが、既存の細胞型から ry 可能な生物系を設計 ry 。
これらの方法、試薬、およびデータは、既存種に対し可及的直交すれども既存細胞タイプから構築可能、な生体システムを設計することにより、研究に利用できるモデル生物の幅を広げます。
? ry ）、結果 ry 、多様 ry での行動間 ry 。
創発的プロセスと設計されたプロセスの間の計算誘導相互作用を可能にすることにより、このプラットフォームは、ゲノム（私たちの場合、野生型X. laevis ）と、結果のボディプランと、それの多様な環境での振舞と、の間の関係の研究を促進します。
したがって、再構成可能な生物は、多細胞性、生体生物学、人工生命、基礎認識、および再生医療の進化における作業を促進するユニークなモデルシステムとして機能します。
? ry 的にアクティブ ry 設計システムは、インテリジェンスが生きているシステムと生きていないシステムでインスタンス ry 方法の理解を同様 ry ことができます。
電気的アクティブなセルを装備し、認知機能または計算機能用に選択した場合（ 30 ）、そのような設計されたシステムは、インテリジェンスを非生体システムだけでなく生体システムに於てもインスタンス化できる方法の我々の理解を、同様に広げることができるかも知れません。

材料および方法
進化的デザイン。

? 設計 ry 。
各設計（ SI付録、セクションS2 ）は、受動および収縮ボクセルの再構成可能な集合体として物理エンジン（ SI付録、セクションS3 ）内で進化しました（図1 ）。
? ry パイプラインの最初のパスで、陸上で設計をシミュレートし、進化プロセスで作動を微調整できました。
移動の目標動作を使用したパイプライン 1 パス目での、設計を我々は陸上でシミュレートしそして彼らのアクチュエーションをファインチューンする為の進化プロセスが許容されました。
? ry ビルド方法では生体内では ry な境界歩行を備えた、 ry 高いが譲渡できない ry ました（ SI付録、セクションS8 ）。
これにより、現在のビルドメソッド（ SI付録、セクションS8 ）では in vivo では得られない強力なバウンディング歩行 ( 訳注 : 境界を保守的に見積もった歩行 ? ) 、を備えた、パフォーマンスは高いが転送できないデザイン（ SI付録、図S2 ）が得られました。
? ry もシミュレートされたグランド ry と接触していない時間 ry 。
これらの歩行は、インシリコ設計のどの部分も、シミュレーテッドグランドプレーンとの接触状態でない時間枠（平均で、歩行サイクルの47％）によって特徴付けられました。
? しかし、生体内では、衰弱 ry 、負の浮力により、常に腹部表面と接触させたままにしました。
In vivo では、しかし乍ら、衰弱した生物は、負の浮揚性に伴って、腹部表面の一部と皿の表面との接触を常に維持しました。

これらの不一致は、環境設定と作動設定の調整という形でパイプラインに制約を追加することで修正されました。これは次のように変更されました。
? 2番目のパスでは ry 加速度の係数の減少（浮力の増加）と抗力の適用によって近似されましたデザイン ry 面に力を加えます（ SI ry S6 ）。
2 パス目では、1次流体力学を組み込むことにより、シミュレートされた環境の忠実度が向上しました：修正された環境は、水中に沈められた無限平面で構成され、重力加速度係数低下（浮力の増加）と、そしてデザインの表面上の各ボクセル面 ( SI付録、セクションS6 ) への抗力適用と、によって概算されます。

? ry 、作動がランダム化された：収縮性細胞が修正され、中央パターン発生器（ ry 。
第二に、アクチュエーションがランダム化された：収縮性細胞が改訂され、セントラルパターンジェネレータ（周波数2Hzの正弦波）からのランダムな位相オフセットを持つようになりました。
? ry デザインの各ボクセル（ ry ）には、 ry オフセットが割り当て ry で固定されていました。
より具体的には、ランダムに構成されたデザイン（その1つが各世代で母集団に注入されました; SI付録、セクションS5 ）の各ボクセルには、位相ランダムオフセットそれ、が割当てられ、それは子孫（クレード全体）で維持固定されました。
? ry すべての場所での元の位相 ry 。
突然変異は、各ボクセルを存在または非存在に切り替え、存在する場合は受動的または能動的（収縮性）のいずれかであり、ワークスペースの全ての座標でのオリジナル位相オフセットはハードコーディングされていました。
? ry 、正確なタイミングの励起への ry 。
これにより、励起のタイミング正確性への依存が軽減され、より堅牢な機械構造の発見が促進されました（ SI付録、図S3 ）。

? 2回目のパスで生成 ry 。平均して、デザイン ry 。、セクションS6 ）。
2 パス目で生成されたデザインの動作は、実際の生体システムの動作によりよく一致しました。平均して、 1 パス目では 52.7% に過ぎなかったのに対して、デザインは評価期間の93.3％でグランドプレーンと接触していました。 ( SI付録、セクションS6 ) 。

堅牢性フィルター。

最も性能の高い設計（図1A ）は、作動時のランダムな摂動に対する堅牢性によって分類されました。
? ry 、平均ゼロおよびSD s =0.4π ... （ ry ）値）。
遺伝子型に保存された位相オフセットは、平均がゼロでSD s =0.4πの正規分布からランダムに引き出された数値を追加することにより突然変異しました（これは有効な位相オフセット値の-π/ 2からπ/ 2の範囲の40％です）。
このハイパーパラメーターは、すべての変異を±π/ 2の境界に対して押し上げるほど大きくなくても、元の位相オフセット値をスクランブルするのに十分な大きさに選択されました。
? この作動ノイズ全体で最高 ry 設計は、堅牢 ry 順に1つずつビルド ry 。
このアクチュエーションノイズを通じて最高の平均性能を維持した設計は 1 つずつ、堅牢性ランキングの順にビルドフィルターに渡されました。

ビルドフィルター。

最も堅牢な設計は、連続した組織領域を順次積層する現行のビルド方法での製造可能性によって評価されます（ SI付録、図S6 ）。
? ry は、次第に小さな形状の変形を伴う生物 ry し、生物の寿命にわたって持続し、凹面の喪失に ry 収縮により閉じる生物を決定することによって調べられました。
最小の凹面は、小形状の徐々な変形を伴う各生物を生成し、次に、その生物が天寿全うを殊更貫く事と、そして凹面をその消失につながる組織収縮に伴って閉じる事と、が決定的であった事 ( 訳注 : 度合 ? ) によって検定されました。
? 予備作業により、幅100 m ry ことが判明しました（ SI付録、図S7 ）。
幅100 μm以上（全身の長さの12％）の凹面が、生物学的構築に適した安定した長期変形をもたらすことが、予備作業により判明しました（ SI付録、図S7 ）。

さらに、ビルドフィルターは、感覚入力、代謝、記憶、バイオセンサーなど、運動以外の目的で特殊な細胞を追加するのに十分な設計スペースを確保するために、 50％を超える筋肉の設計を削除します。
? ry して代謝コストがはるかに高くなります ry 毎秒±1 ry 。
また、収縮性組織は非筋肉組織と比較してがはるかに高い代謝コストをも負います（人間の心臓は毎秒 1 mM ATPを消費します; ref。31）。
したがって、この組織タイプを制限すると、移転されたデザインの総寿命が延びます。
これらの選択基準を満たす最も堅牢な設計（ SI付録、図S4 ）は、ビルドフィルターを介してパイプラインの次のステージである実現可能性ジェネレーターに渡されます。

実現可能性ジェネレーター。

再構成可能な生物は、プロトコル番号M2017-53の下でInstitutional Animal Care and Use CommitteeおよびTufts University Department of Laboratory Animal Medicineによって承認された方法の下で、ドナー組織としてアフリカツメガエル胚を使用して作成されました。

? 受精したX. laevisの卵 ry NieuwkoopおよびFaber（ 32、33 ）に従って段階化した。
アフリカツメガエル受精卵を、標準プロトコルを使用して0.1x、pH 7.8のMarc's Modified Ringers溶液（MMR）で飼育し、Nieuwkoop and Faber（ 32、33 ）に従ってステージングした。
? ry キャップを ry 、カルシウムおよびマグネシウムを含まない培地に ry 。
成形実験のために、手術用鉗子を使用して動物のキャップ ( ? 訳注 : 動物極キャップアニマルキャップ ) をSt. 9で手作業で切断し（Dumont、11241-30＃4）、カルシウムとマグネシウムとが含まれない培地、に5分間移しました（50.3 mM NaCl、0.7 mM KCl、9.2 mM Na 2 HPO 4、0.9 mM KH 2 PO 4、2.4 mM NaHCO 3、1.0 mMエデト酸[EDTA]、pH 7.3）。
? 外側の外胚葉層は手 ry 、内側の層は完全に解離 ry はほぼ多能性 ry 。
外胚葉に於ける外側層を手作業で取り外して廃棄し、同内側層を完全解離するまで攪拌しました（この段階では細胞は主に多能性ですが、さらなる介入なしで外胚葉に分化します）。
? 5つの動物のキャップ ry ウェルディッシュに ry 。
5つのアニマルキャップからの材料をプールし、0.75×MMRを含むウェルディッシュ ( 訳注 : 細胞培養ディッシュ ? ) に移しました。
? ry と5 l ry ）を含む清潔 ry 。
14°Cで24時間後、球状の再凝集体を、10 mL 0.75X MMRとゲンタマイシン（ThermoFisher Scientific、15710072） 5 μl とを収容している清潔な1％アガロース被覆皿に移しました。
? ry （現在、イオノサイト、小 ry 細胞、杯細胞を ry は、13μmのMC ry マイクロ焼uter器とマイクロ ry 鉗子の組み合わせ ry して成形されましたワイヤ電極（ ry ワイヤチップ焼uter電極）。
組織再凝集の48時間後、得られた組織（今や、イオノサイトと、小さな分泌細胞と、杯細胞と、を含む特定の表皮細胞系統になるよう運命づけられています）は、マイクロサージェリー鉗子と、 13μmワイヤ電極（Protech International Inc.、MC-2010、13-Y1ワイヤチップ焼灼針 ( ? ) ）のMC-2010マイクロ焼灼器 ( ? ) と、の組合せを使用してシェイプアップされました。
? 必要な解剖 ry 3時間整形 ry MMRと5 lゲンタマイシンを含むきれいな ry 14°Cで上昇させました。
望ましい解剖学的結果を得るために必要に応じて組織を3時間再整形し、その後、10 mL 0.75×MMRとゲンタマイシン 5 μl とを収容しているきれいな1％アガロース被覆皿に移し、14°Cで育てました。

収縮運動実験では、 Xenopus胚のコホートに、標準プロトコルを使用して4細胞段階で2つの合成mRNAの1つをマイクロインジェクションしました（ 32 ）。
? ry ）および多毛細胞 ry ）のmRNA ry 。
蛍光系統トレーサーtdTomato（ 34 ）と、多毛細胞阻害剤Notch ICD（20、35）と、のmRNAは、mMESSAGE転写キット（ThermoFisher Scientific、AM1340）を使用して合成されました。
? 4％の細胞すべてに各 ry 。
細胞 4 個全てに各転写産物の370 pgのmRNAを送達するために、プルキャピラリーを使用して3％Ficoll溶液で注入を行いました。
tdTomato マイクロインジェクション胚は22°Cで飼育され、Notch ICDインジェクション胚は14°Cで飼育されました。
? ry MMRを含む1％ ry 動物のキャップを手で ry 。
注入の24時間後、ステージ10 Notch ICD注入胚を、0.75×MMRを収容している 1％アガロース被覆ペトリ皿に移し、上記のように手術用鉗子を使用して動物キャップを手動で切断した。
さらに、ステージ23 24のtdTomatoを注入した胚を同じ皿に移し、外胚葉の外層で推定心臓領域を切除した後、取り出して廃棄しました。
? ry 、3つの層を22℃で1時間回復させました。
次に、2つのNotch ICD注入動物キャップの間に推定心臓組織を配置し、そして 22 ℃での 1 時間のヒーリングをその 3 層は許容されました。
? 治癒後、0.75 ry 5 lを含む1％アガロースでコーティングされた皿に組織を移し、14°Cで上昇させました。
0.75×MMR 10 mLとゲンタマイシン5 μlを収容している 1％アガロースでコーティングされた皿に、治癒後の組織を移し、14°Cで育てました。
? ry sculpted as above using a combination of microsurgery forceps and a MC-2010 microcautery instrument.
整形のために、得られた組織は、顕微手術鉗子とMC-2010顕微焼ca器の組み合わせを使用して上記のように彫刻された。

転写性フィルター。

すべてのサンプルは、上部とサブステージの両方の照明を備えたNikon SMZ-1500顕微鏡を使用して、20°Cで0.75 x MMRでライブイメージングされました。
静止画像はQImaging Retiga 2000R CCDカメラでキャプチャされ、ビデオは30フレーム/秒のサンプルレートでSony IMX234を使用してキャプチャされました。
Noldus Ethovision 14 ソフトウェアを使用して実行ごとにXY移動軌跡を抽出し、1次元ガウスフィルターを使用して平滑化しました（ SI付録、セクションS9.1 ）。
? ry 光源を使用して心筋 ry を確認し ry キューブを使用して ry を確認しました ry 。
tdTomato系統トレーサーは、標準テトラメチルローダミンイソチオシアネート（TRITC）フィルターキューブと蛍光光源をイメージして心筋細胞の位置をベリファイし、GFPIIIシグナルは標準フルオレセインイソチオシアネート（FITC）フィルターキューブをイメージして表皮細胞の位置をベリファイしました（ SI付録、セクションS9.2 ）。

データの可用性。

この論文で報告された計算結果を再現するために必要なソースコードは、GitHub（ 36 ）にあります。

謝辞

? の生涯学習機械プログラム ry よって支援されました。
この研究は、DARPA / MTOの学習生命機械プログラムである協同契約番号HR0011-18-2-0022の下で、国防高等研究計画局（DARPA）によってスポンサードされました。 ?
情報の内容は必ずしも政府の立場や政策を反映しているわけではなく、公式の支持を推測すべきではありません。
一般公開が承認されました。配布は無制限です。
この研究は、Paul G. Allen Frontiers Group（12171）を介したAllen Discovery Centerプログラムによってもサポートされており、MLは全米科学財団のEmergent Behaviors of Integrated Cellular Systems Grant（Subaward CBET-0939511）からの支援に感謝しています。
この研究は、全米科学財団の研究とイノベーションの新興フロンティア（EFRI）連続、準拠、および構成可能なソフトロボット工学（C3 SoRo）プログラム（Subaward EFMA-1830870）によってもサポートされました。
提供された計算リソースについて、Vermont Advanced Computing Coreに感謝します。

脚注

* 1 SKとDBは、この作業に等しく貢献しました。

* 2 通信の宛先。メール： josh.bongard {at} uvm.edu

? * ry JBが設計した研究。SKおよびDBは調査を実施しました。 SKおよびDB分析データ。 SK、 ry 。
* 著者の貢献：SK、DB、ML、およびJBが研究を設計しました ; SKおよびDBは研究を実施しました : SKおよびDB はデータを分析しました ; そして SK、DB、ML、JBが論文を執筆しました。

* 著者は、競合する利益を宣言しません。

* ry 直接送信です。
* この記事は、PNAS直接投稿です。

* データの蓄積：このホワイトペーパーで報告されている計算結果を再現するために必要なソースコードは、GitHub（ http://github.com/skriegman/reconfigurable_organisms ）にあります。

* この記事には、オンラインでhttp://www.pnas.org/lookup/suppl/doi:10.1073/pnas.1910837117/-/DCSupplementalでサポート情報が含まれています。

* 著作権 2020著者。 PNASにより公開されました。

このオープンアクセスの記事は、 Creative Commons Attribution License 4.0（CC BY）の下で配布されています。

参照資料

1.
1. DJ Blackiston , DJ ブラックリストン ( 原文 : Blackiston ) 、 2. M. レビン、
アフリカツメガエルのオタマジャクシの頭の外側の異所性の目は、光を介した学習の感覚データを提供します。
? J. Exp。バイオ 216 、1031 1040 ry 。
J. Exp。 Biol. 216 , 1031 - 1040 （ 2013 ）。
OpenUrl 要約 / 無料全文
2.
1. LN ヴァンデンバーグ、 2. DS アダムス、 3. M. レビン、
アフリカツメガエルのオタマジャクシの摂動を受けた頭蓋顔面構造の正規化された形状と位置は、正しい形態を達成する生得的な能力を明らかにしています。
?開発者 Dyn。 ry 863 878 ry
Dev. Dyn。 241、863 - 878 （ 2012 ）。 OpenUrl CrossRef PubMed
3.
1. RD カム他。、
? ry ：多細胞工学的生活システムの約束。
パースペクティブ：多細胞工学的生体システムの有望さ。
APL Bioeng 2、040901 （ 2018 ）。 OpenUrl CrossRef
4.
1. CA ハッチソン III 他。、
最小の細菌ゲノムの設計と合成。
Science 351 、 aad6253 （ 2016 ）。 OpenUrl 要約 / 無料全文
5.
1. Y. Sasai , 2. M. Eiraku , 3. H. SugaM. 、 ? Sa 井永楽 H. スガ
3次元のin vitro器官形成：自己組織化幹細胞。
? 開発 139、4111 4121 ry
Development 139、4111 - 4121 （ 2012 ）。 OpenUrl 要約 / 無料全文
6.
1. SJ パークら。、
組織工学ソフトロボット光線の走光性ガイダンス。
Science 353、158 162 （ 2016 ）。 OpenUrl 要約 / 無料全文
7.
1. MD Tang-Schomer et al 。、
生体工学による機能的脳様皮質組織。
? 手続きナトル Acad。科学 USA ry 13811 13816 ry
Proc. Natl. ナトル Acad。 Sci. USA 111、13811 - 13816 （ 2014 ）。 OpenUrl 要約 / 無料全文
8.
1. JC Nawroth et al 。、
生体模倣推進力を備えた組織工学クラゲ。
Nat。バイオテクノロジー。 30、792 797 （ 2012 ）。 OpenUrl CrossRef PubMed
9.
1. シムズ、
競争による3Dの形態と行動の進化。
? アーティフ。ライフ 1 ry
Artif. Life 1、353 372 （ 1994 ）。 OpenUrl OpenUrl
10.
1. N. チェイニー、 2. J. ボンガード、 3. V. サンスパイラル、 4. H. リプソン、
? 形態化された ry 。
肉体化された機械の形態と制御のスケーラブルな共同最適化。
JR Soc。インターフェイス 15、20170937 （ 2018 ）。 OpenUrl CrossRef PubMed
11.
1. H. リプソン、 2. JB ポラック、
? ロボットの生命体 ry 。
ロボット生命体の自動設計と製造。
Nature 406、974 978 （ 2000 ）。 OpenUrl CrossRef PubMed
12.
1. J. ボンガード、 2. V. ジコフ、 3. H. リプソン、
継続的な自己モデリングによる復元力のあるマシン。
Science 314、1118 1121 （ 2006 ）。 OpenUrl 要約 / 無料全文
13.
1. D. セルッチ、 2. R. マッカーディ、 3. H. リプソン、 4. S. リシ、
? リサイクル可能なロボットの1D印刷。
リサイクル可能ロボットの1D印刷。
? ry 。自動レット。 2、1964 1971 ry
IEEEロボット。 Autom. Lett. 2、1964 - 1971 （ 2017 ）。 OpenUrl
14.
1 , DJ Munk 、 2 , GA Vio 、 3 GP スティーブン、
進化アルゴリズムを使用したトポロジーおよび形状最適化方法：レビュー
? 構造。学際的。最適 52、613 631 ry
Struct. Multidiscipl. Optim. 52、613 - 631 （ 2015 ）。 OpenUrl OpenUrl
15.
1. RV デビ、 2. SS サティヤ、 3. MS クーマー、
新しい薬物設計のための進化的アルゴリズム - 調査。
? 適用ソフト計算。 27、543 552 ry
Appl. Soft Comput. 27、543 - 552 （ 2015 ）。 OpenUrl
16.
1. MD ハンティントン、 2. LJ ラウホン、 3. TW オドム、
進化的設計によるサブ波長格子光学。
? ナノレット 14 ry
Nano Lett. 14、7195 7200 （ 2014 ）。 OpenUrl
17.
1. CT ミュラー、 2. JA オクセンドルフ、
構造性能と設計者の好みを組み合わせて、進化的な設計空間を探索します。
自動構成 52、70 82 （ 2015 ）。 OpenUrl
18.
1. N・ジャコビ、
? 進化ロボ ry と根本的なノイズのエンベロープ ry 。
進化的ロボティクスと根本的ノイズエンベロープ仮説。
適応する。行動。 6、325 368 ry
Adapt. Behav. 6、325 - 368 （ 1997 ）。 OpenUrl CrossRef
19.
1. M. シュミット、 2. H. リプソン、
「遺伝的プログラミングの理論と実践VIII （ Springer 、 2011 ）」、 129 146ページの「年齢適合性パレート最適化」。
20.
1. GA Deblandre 、 2. DA ウェットスタイン、 3. N. Koyano-Nakagawa , 4. C. キントナー、 ? 3. , 小矢野中川
2段階のメカニズムにより、アフリカツメガエル胚の皮膚の繊毛細胞の間隔パターンが生成されます。
? 開発 126、4715 4728 ry
Development 126、4715 - 4728 （ 1999 ）。 OpenUrl 要約
21.
1. J. ワーフェル、 2. K. ピーターセン、 3. R. ナグパル、
? ロボット建設チーム ry 。
シロアリに触発されたロボットコンストラクションチームにおける集団行動の設計。
Science 343、754 758 （ 2014 ）。 OpenUrl 要約 / 無料全文
22.
1. J・ヒラー、 2. H. リプソン、
ソフトマルチマテリアル3Dプリントオブジェクトのダイナミックシミュレーション
ソフトロボット。 1、88 101 （ 2014 ）。 OpenUrl
23.
1. J. クック、
? ry 胚の利用可能な細胞 ry 。
ボディパターンのスケールは、両生類の胚の有効細胞数に適応します。
Nature 290、775 778 （ 1981 ）。 OpenUrl CrossRef PubMed
24.
1. S. クリーグマン、 2. S. ウォーカー、 3. D. シャー、 4. M. レビン、 5. R. クレイマーボッティリオ、 6. J. ボンガード、
損傷したロボットの機能回復のための自動形状変更。
? 手続きロブ。科学システム。（ 2019 ）。
Proc. Rob. Sci. Syst. （ 2019 ）。
25.
1. S. クース、 2. JB ムレ、 3. S. ドンシュー
? 移転可能性アプローチ ry の現実のギャップ ry 。
転送可能性アプローチ：進化ロボティクスの具現性のギャップを越える。
? ry Trans。進化。計算します。 17、122 145 ry
IEEE Trans. Evol. Comput. 17、122 - 145 （ 2013 ）。 OpenUrl
26.
1. MD Zeiler 、 2. R. ファーガス、
「コンピュータビジョンに関する欧州会議の議事録」の「畳み込みネットワークの視覚化と理解」、 D。フリート、 T。パイドラ、 B。シーレ、 T。チュイテラール、編（ Springer 、 2014 ）、 pp。818 833 。
27.
1. S. Toda , 2. LR Blauch 、 3. スカイタン、 4. L. モルスート、 5. ワ・リム、 ? 1. S. Toda , 戸田
合成細胞間シグナル伝達による自己組織化多細胞構造のプログラミング。
Science 361、156 162 （ 2018 ）。 OpenUrl 要約 / 無料全文
28.
1. D. パトラ他。、
インテリジェント、セルフパワー、ドラッグデリバリーシステム。
ナノスケール5、1273 1283 （ 2013 ）。 OpenUrl CrossRef PubMed
29.
1. J・リー、 2. B. エステバンフェルナンデスデアビラ、 3. W. ガオ、 4. L. チャン、 5. J・ワン、
生物医学用のマイクロ/ナノロボット：配送、手術、検知、解毒。
? 科学ロブ。 2 ry
Sci. Rob. 2 、 eaam6431 （ 2017 ）。 OpenUrl
30.
1. F. バルシュカ、 2. M. レビン、
? ry 全体の認知。
頭を持たないことについて：生体系全体を貫く認知。
フロント。サイコ。 7、902 （ 2016 ）。 OpenUrl PubMed
31.
1. J. ピケロー、 2. R. ベンチュラクラピア、
周産期発達中の心臓エネルギー代謝の成熟。
フロント。生理。 9、959 （ 2018 ）。 OpenUrl
32.
1. PD Nieuwkoop 、 2. J. フェイバー、
? Xenopus laevis（Daudin ry 。
アフリカツメガエル（Daudin）のNormal Table （ North Holland Publishing Co. 、 Amsterdam 、 1956 ）。
33.
1. HL Sive 、 2. RM グレインジャー、 3. RM ハーランド、
? Xenopus laevisの初期開発（ ry 。
アフリカツメガエルの初期発達（ CSHL Press 、 2000年）。
34.
1. C. ウォルドナー、 2. M. ルース、 3. GU Ryffel 、
? ry ：移植分析 ry 。
赤色蛍光アフリカツメガエル：接合せ分析のための新しいツール。
? BMC Dev。バイオ 9 ry
BMC Dev. Biol. 9、37 （ 2009 ）。 OpenUrl CrossRef PubMed
35.
1. CW ベック、 2. JM スラック、
アフリカツメガエルの尾芽の伸長を制御する発達経路。
? 開発 126、1611 1620 ry
Development 126、1611 - 1620 （ 1999 ）。 OpenUrl 要約
36.
1. S. クリーグマン、 2. D. ブラックリストン、 3. M. レビン、 4. J. ボンガード、
「再構成可能な生物を設計するためのスケーラブルなパイプライン」からのデータ。
GitHub。 http://github.com/skriegman/reconfigurable_organisms# .
2019年10月2日にデポジットされました。

PNASの普及に関心をお寄せいただきありがとうございます。

YAMAGUTIseisei

unread,

Apr 19, 2020, 1:07:52 PM4/19/20

--
フリーソフトウエア関連ボランティアの皆様に感謝申上げますと共に
当原稿執筆編集の甚大コストへの御配慮に厚く御礼申上げます
三菱 UFJ 銀行平針支店 ( 普 ) 0111481 ヤマグチセイセイ
郵便局 218普2449768 ヤマグチセイセイ
Yahoo pt 1362821068616323 Rakuten pt 1100-3310-4065-1717

http://yahoo.jp/HsDIGs?#_HDD_HGST

訂正

概要>? 新しい構成 ry を活用

YAMAGUTIseisei

unread,

Apr 19, 2020, 1:31:07 PM4/19/20

シンギュラリティ系有料メールマガジン発行を構想致しております
無料メールマガジン版 ( 別途有料版開始時打切 )
http://mailux.com/mm_dsp.php?mm_id=MM53D8AF3589BC7

設計概要自体の代りに周辺情報 ( 論文翻訳等 ) をお届け致しております

YAMAGUTIseisei wrote:

>>>Google 翻訳 http://pnas.org/content/early/2020/01/07/1910837117/# http://pnas.org/content/117/4/1853
>>> PNAS 最初に公開されたのは2020年1月13日 http://doi.org/10.1073/pnas.1910837117
>>>
>>>
>> :
>>> 再構成可能生物を設計するためのスケーラブルなパイプライン
>>>
>>>
>>> サム・クリーグマン
>>> a. バーモント大学、バーリントン、 VT 05405のコンピューターサイエンス学科。
>>>
>>> ダグラス・ブラキストン
>>> b. タフツ大学生物学部、メドフォード、 MA 02153;
>>> c. アレンディスカバリーセンター、タフツ大学、メドフォード、マサチューセッツ州 02153;
>>>
>>>マイケル・レビン
>>> b. タフツ大学生物学部、メドフォード、 MA 02153;
>>> c. アレンディスカバリーセンター、タフツ大学、メドフォード、マサチューセッツ州 02153;
>>> d. Wyss 生物学由来工学研究所 ( 合成生物学工学研究所 ? ) 、ハーバード大学、ボストン、 MA 02115
>>>
>>> ジョシュ・ボンガード
>>> a. バーモント大学、バーリントン、 VT 05405のコンピューターサイエンス学科。
>>>
>>>
>>> 1. カリフォルニア州ラ・ホーヤの生物研究のためのソーク研究所のテレンス・J・セノウスキーによって編集され、2019年11月26日に承認された（2019年6月24日のレビューのために受け取られた）
>>>
>>>http://pnas.org/lookup/suppl/doi:10.1073/pnas.1910837117/-/DCSupplemental# http://pnas.org/highwire/filestream/906738/field_highwire_adjunct_files/0/pnas.1910837117.sapp.pdf#1/pnas.1910837117.sm01.mp4#2/pnas.1910837117.sm02.mp4
>>>
>>>
>>>
>>> in vivo
>>> 生体内 → 生体で生体として
>>>
>>>
>>> # http://openoffice.org/

YAMAGUTIseisei

unread,

Sep 13, 2020, 10:07:17 AM9/13/20

>>>> Google 翻訳 http://link.springer.com/content/pdf/10.3758/BF03196906 .pdf 注意 http://link.springer.com/article/10.3758/BF03196906
>>>> 記憶と認知
>>>> 1974年、Vol。 2 、No. 3、467-471
>>>>
>>>>
>>> :
>>>>後続の記憶探索取得に対する1つの記憶探索取得の影響* ? 記憶検索に ry 記憶検索の ry
>>>>
>>>>
>>>> ジェフリー・R・ロフタスとエリザベス・F・ロフタス
>>>> ワシントン大学、シアトル、ワシントン98195

> ? Ssは ry 、0個または2個の間にあるアイテムが続くと、同じ ry インスタンスが生成されました。
> 被験者達はカテゴリのインスタンスを生成し、0 から 2 の間の個数のアイテムに続いて、同じカテゴリの2番目のインスタンスを生成しました。
> 2番目のインスタンスは、最初のインスタンスよりも迅速に作成されました。
> ? ry 減少は、主にカテゴリの検索速度の低下によるものであることを示しています。
> この調査結果は、本書で報告されている他のデータと併せて、2番目のインスタンスのレイテンシの減少は主に、検索されたカテゴリでの速度の短縮による事を示しています。
>
> *複写のリクエストは、 98195 ワシントン大学シアトル校の心理学部ロフタスに送信できます。
> この研究は、E。ロフタスに対する国立精神衛生研究所の助成金、およびG.ロフタスに対する国立科学財団の助成金によって支援されました。
> 原稿へのコメントに対してThomas 0. Nelsonに感謝の意が表されます。
>
>
>
> ? ry 実験では、Sは名詞カテゴリと制限文字または形容詞を示し、文字で始まるか、形容詞 ry 付けられたカテゴリ ry 名前を付ける ry 。
> フリードマンとロフタス（1971）による実験に於て被験者は、制限付き文字か制限付き形容詞かと、名詞カテゴリと、を提示されそして、文字で始まるか、形容詞によって特徴付けられるか、のカテゴリのインスタンスに名付ける ( 訳注 : 名前を指定する ? ) ように求められました。
> 応答を生成するための反応時間を測定しました。
> データは、各カテゴリのサブセット（たとえば、鳥、犬）とスーパーセット（たとえば、生物）を持つ名詞カテゴリ（たとえば、動物）で構成される階層メモリを仮定するモデルの観点から議論されました。
> ? ry カテゴリを入力すること、および（2）カテゴリを検索して適切なメンバーを検索することで構成 ry 。
> この階層構造からの検索は、少なくとも2つの主要なステップ（1）適切なカテゴリに立入る事、および（2）適切なメンバーを求めてそのカテゴリで検索する事、で構成されると想定されていました。
> 以降、ステップ1とステップ2を実行する時間をそれぞれt1とt2と表記します。
> t1の継続時間は、次の理由から約.25秒と推定されました。
> ? Ssは、最初 ry フルーツP）または2番 ry Pフルーツ）のカテゴリーで、名詞 ry リストリクターの間 ry 間隔で刺激が見られました。
> 名詞とリストリクタとの間に少なくとも1/2秒の間隔があり且つ、カテゴリが最初（たとえば、フルーツ-P）か 2 番目（たとえば、P-フルーツ）かのどちらか、という提示された刺激を被験者は見ました。
> ? ry 、ペア ry 。
> 反応時間は、そのペアの 2 番目のメンバーの提示から測定されました。
> ? モデルによると、カテゴリが2番目になると、全体の取得プロセスはその ry され、t1 ry 。
> カテゴリが 2 番目に来た時に取得プロセス全体は、そのプレゼンテーションの後にのみ開始され、且つ、モデルによると t1とt2の両方が含まれます。
> ? ただし、カテゴリーが ry とき、リストリクターが表示される前 ry 。
> カテゴリが最初に来た時には但し、リストリクタ表示前にt1が完了する可能性があります。
> ? ry フルーツPが与えられた場合、Sはインターバル ry 」のカテゴリに入る可能性があります。
> たとえば、刺激フルーツ-Pが与えられると、インターバル中に「フルーツ」カテゴリに被験者が立入る事ができます。
> 測定された反応時間は「P」が表示されたときに始まるため、この場合、測定された反応時間はt1を除外します。
> ? ry カテゴリーが最初と2番目に表示される場合の反応 ry 除外され、後者に含まれるt1と同等と見なすことができます。
> したがって、カテゴリが 1 番目に提示される場合に於ける、 2 番目提示時に比しての反応時間の減少は、前者の場合には除外される所の、そして後者には含まれる所の t1 、と同等です。
>
> ? ry はSにカテゴリ ry 。
> より最近、ロフタス（1973）は被験者にカテゴリのメンバーを作成するように依頼し、すぐにそのカテゴリの別のメンバーを作成するように依頼しました。
> ? ry 、Sに適切 ry 、次に0 ry 2つの間にあるアイテムに続いて、 ry 要求する別の文字とペアになっている同じカテゴリ ry ：フルーツA ry 。
> これは、被験者に、適切なインスタンスを要求するカテゴリ-文字のペア（例：Fruit-P）を示し、次に、間 ( 原文 : intervening ) のアイテム 0、1、または2つに後続して、異なるインスタンスを要求する別文字ペア同カテゴリ（例： Fruit-A）を示すことによって実現されました。
> カテゴリの2番目のインスタンスを取得 ( 原文 : etrieving ) する速度が、最初のインスタンスの取得および/または2つの取得の間の遅延によって影響を受けるかどうかという問題に関心が集中しました。
> ? ry 短く、介在するアイテムの数 ry 。
> 結果は、2番目のインスタンスの応答待ち時間が最初のインスタンスの応答待ち時間よりも短く、 intervening-items の数とともに単調に増加することを示しました。
> たとえば、「P」の文字で始まる果物に名前を付けるSのベースライン時間は1.52秒でした。
> ? ry を指定した場合、 ry 果物を指定した ry 。
> ただし、前のトライアルで別の果物を彼が名付けていた場合に彼は、同じ応答を生成するのに1.22秒かかり、2つ前の試行で異なる果物を彼が名付けていた場合、1.29秒で応答を生成しました。 ?
>
> したがって、ロフタス（1973）の研究結果は、カテゴリーから情報を取得するプロセスが、そのカテゴリーからの後続の取得を容易にすることを示しています。
> ただし、この実験では、Sにカテゴリ名と制限文字が同時に提示されました。したがって、検索時間にはt1とt2の両方が含まれています。
> その結果、円滑化効果には、t1またはt2またはその両方の減少が含まれる可能性があります。
> ? これら3つ ry 。
> 現在の実験は、これら混じった 3 つの可能性を区別するように設計されています。
>
> ? ry 文字の間に間隔 ry され、刺激がカテゴリ文字の順序または文字カテゴリの順序の ry で提示 ry 。
> 現在の実験のいくつかの条件では、カテゴリ名と文字との間に時間間隔が挿入され、カテゴリ-文字の順か、文字-カテゴリの順か、のいずれかで刺激が提示されました [Freedman＆Loftus（1971）の研究と同様]。
> 上記のように、この手順ではt1の推定が可能です。
> ? ry 、この実験では、Sはカテゴリ ry 、その ry られました。
> さらに、現在の実験では被験者は、カテゴリのインスタンスに名前を付ける必要があり、且つその後すぐに[Loftus（1973）の研究のように]カテゴリの2番目のインスタンスに名前を付けるように求められます。
> ? ry ために、反応 ry 。
> この設計は、2番目のカテゴリーのインスタンスに名前を付ける為の反応時間の短縮の軌跡を決定するのに十分です。
>
> 図1は、考えられる3つの結果パターンを示しています。
> ? 最初に、2 ry されるとします。
> まず仮定として、2番目のカテゴリインスタンスが生成されるときに、カテゴリエントリ時間t1のみが短縮される、とします。
> ? ry 。文字カテゴリ ry カテゴリ文字 ry 。
> この場合、図1aに示す結果が得られます : 文字-カテゴリの条件（t1を含む）は事前の検索に依存するはずですが、カテゴリ-文字の条件（t1を除外する）はそうではありません。
>
>
> 467
>
> 468
> ロフタスとロフタス
>
>
> a
>
> RT
> *文字-カテゴリ
> *カテゴリ-文字 ? 手紙
>
> RT
>
> 遅れ
> 0 2 初期原文 : initial ( 初期値 )
>
>
> b
>
>
> RT
>
> 遅れ
> 0 2 初期
>
>
> c
>
>
> RT
>
> 遅れ
> 0 2 初期
>
>
> 図1。
> ? 重要なカテゴリの2つの外観の間の時間と介在アイテムの数 ry の可能なパターン。
> 決定的重要性を持つカテゴリ、の 2 つの統計的量の間の、時間と intervening-items の数（ラグ）との関係について、結果の3つの考え得るパターン。
>
>
> 逆に、2番目のカテゴリインスタンスが生成されるときに、カテゴリ検索時間t2のみが短縮されると仮定します。
> このような状況は、図1bに示す結果につながります。
> カテゴリ文字と文字カテゴリの両方の条件にはt2が含まれているため、最初の取得によってそれらに等しく影響が及ぶはずです。
>
> 最後の可能性は、t1とt2の両方が削減されることです。
> この状況は、図1cに示す結果を予測します。
> ? ry 受けますが、 ry 大きな影響を受けます。
> ここで、カテゴリー文字条件（t2を含むがt1は含まない）は初期検索の影響を受けるべきですが、文字カテゴリー条件（tとt2の両方を含む）はより大きな角度を齎す影響を受けるべきです。

> 方法
>
> ? 科目
> 被験者
> New School for Social Researchの18人のSは、2日連続で発生した2つの1時間セッションへの参加に対して$ 5を受け取りました。
> 以前に記憶実験に参加したSはいなかった。
>
> 材料
> ? ry ブロック文字で ry 。
> 各刺激は、5 x 8インチのインデックスカードにブロック体で印刷されました。
> 刺激は常に、カテゴリ名と文字で構成されていました（たとえば、フルーツP）。
> 80の重要なカテゴリ名は、Battig and Montague（1969）とShapiro and Palermo（1970）カテゴリの基準から選択されました。
> ? ry は2 ry になっています。
> 各カテゴリ名は、 2つの異なる文字とペアにされました。
> ? 「支配」が定義されている場合単語がカテゴリ ry として与え ry 頻度、つまり2つのカテゴリ文字刺激の ry と見なされます。
> 「優勢」の定義がもしも、カテゴリの手本としてとある単語が与えられる頻度であるとするならば、 2つの `` カテゴリ-文字刺激 '' のうちの1つが他よりも優勢であるとして見なされます。
>
> 重要な刺激（それぞれ2つの文字とペアになった80のカテゴリー）に加えて、80のフィラー ( 訳注 : 繋ぎ言葉 ? ) 刺激が使用されました。
> フィラー刺激も、カテゴリと文字で構成されていました。
> ? ry 文字で2 ry 。
> 一部のフィラーカテゴリは1回だけ使用されました。他のものは2つの異なる文字と共に2回現れました。
> したがって、各Sは240のユニークな刺激を見ました（80のクリティカルカテゴリ、それぞれ2つの文字とペアになり、さらに80のフィラー刺激）。
>
> 設計
> S内の3つの要因がありました：順序（カテゴリ文字vs文字カテゴリ）、間隔（刺激の同時提示vsカテゴリ名と文字間の2.5秒間隔）、およびラグ（ラグ0、ラグ2、および最初のプレゼンテーション）。
> これらの要因は、階乗的に組み合わされ、2（次数）x 2（間隔）x 3（ラグ）x 18（Ss）の設計を与えました。
>
> ? 各Sは、240 ry 受け取りましたが、次の制限があります。
> 各被験者は、以下に示す各制限を伴った 240項目の異なる順列を受け取りました :
>
> ? 重要なカテゴリと文字のペアの最初の表示は、 ry 2つの介在するフィラーアイテム（ ry ラグ0またはラグ2） ry 、同じカテゴリ ry 文字の ry 。
> （1）カテゴリ-文字な重大重要ペアの初回表示の後には、0または2つの intervening filler-items （つまり、ラグ 0 に於て又はラグ 2 に於て）の後に、同カテゴリと異なる文字とのペアの表示が続きました。
> ? ry ラグで40刺激を ry 。
> 各Sは、0ラグで提示された40刺激と2ラグな 40刺激とを受け取りました。
>
> ?（2）半分の試行で、Ssは、優勢なインスタンス ry 、優勢なインスタンス ry 。
> （2）試行回の半数に於て、各被験者は、低優位 ( low dominant ) インスタンスに対応する刺激を見る前に、高優位( high dominant ) インスタンスに対応する刺激を見ました。
> ? ry の裁判では ry が行われた。
> 残りのトライアルでは、逆の取り決めが維持された。
> 特定のカテゴリは、Ssの半分についてドミナント-非ドミナントの順序で、Ssの残りの半分について逆の順序で提示されました。
>
> 手順
> ? 各Sは ry アイテムが表示されること、 ry 単語で応答することを ry 。
> 各被験者は、カテゴリと文字で構成されるアイテムを彼が見る事、および指定された文字で始まるカテゴリの単語を以て彼が応答する事になる事、を伝えられました。
> 彼は例が与えられ、できるだけ早く対応するように、しかし間違いを避けるように言われました。
>
> ? ry a screen with a window covered by half-silvered glass.
> ? Sは半窓ガラス ry あるスクリーン ry 。
> 被験者は半透明ガラスで覆われた窓のある、スクリーンの前に座っていました。 ?
> 刺激を含むインデックスカードは、未成年者の後ろの暗い囲い ( 原文 : a dark enclosure ) に置かれ、囲いを照らすことによって提示されました。
> マイクがSの前に置かれ、彼はそれに話しかけることによって応答しました。
>
> ? 裁判は ry
> トライアルは以下で構成されました：
> ? ry 大きく印刷したカードを暗く ry 。
> （a）アイテムを大きな文字で印刷したカード 1 枚を、暗くした囲いに入れました。
> ? （b）Eは「準備完了」と言って、刺激 ry 。
> （b）試験者 ? は「用意」と言い、そして、刺激ペアの最初のメンバーを照らすボタンを押しました。
> ? ry 、電気タイマーが開始しました。
> （c）同時または2.5秒間隔の後、ペアの2番目のメンバーが自動的に点灯し、電子式タイマーがスタートしました。
> （d）Sの口頭の応答により、音声キーがアクティブになり、タイマーが停止して裁判が終了しました。
>
> ? 毎日20試行のウォームアップ期間が実験試行に ry 。
> 20 トライアルのウォームアップ時間が、毎日、実験トライアルに先行しました。
>
> 結果
>
> ? 重要な刺激に ry 含まれていました。
> 重大重要刺激に対する正しい反応（96％）のみが、以下の分析に含まれました。
> ? ry は、12の条件のそれぞれに ry 。
> レイテンシの中央値は、条件 12 件各々における各Sの応答について得られました。
> ? 次に、各条件について、個々のSの中央値を平均することにより、平均待機時間を取得しました。これら ry 。
> 各条件について、平均レイテンシを、然して、被験者夫々からの中央値の平均化により取得しました ; これらの平均は、図2および3にプロットされています。
> 図2は、カテゴリと文字の間に2.5秒の間隔が挿入されたときの結果を示しています。
> ? 文字カテゴリ ry カテゴリ文字 ry ます。さらに、 ry 、ラグ2よりもラグ0で速く生成 ry 。
> 文字-カテゴリ条件とカテゴリ-文字条件の両方で、カテゴリの2番目のインスタンスは最初のインスタンスよりも速く生成されます ; さらに、2番目のインスタンスは、ラグ 2 時点よりも早くラグ 0 時点に於て生成されます。
> 図3は、文字と名詞が同時に提示されたときに同じパターンの結果が得られることを示しています。
>
> 2（オーダー）x 2（間隔）x 3（ラグ）の分散分析がレイテンシデータに対して行われました。
> ? ラグ ry 、カテゴリ文字 ry 33.52、p <01]。
> 有意な効果が、ラグ[F（2,34）= 6.57、p <.05]、カテゴリ-文字順[F（1,17）= 14.71、p <.01]、および間隔[F（1、 17）= 33.52、p <01] に於て見られました。
>
>
>
> 469
> 1つのメモリ検索の影響
>
>
> 2方向または3方向の相互作用はいずれも有意ではありませんでした（すべてのケースでF <1）。

> 討論
>
> メモリー検索の依存性
> ? いくつ ry では、セマンティック ry から情報を取得 ry そのカテゴリが以前に短時間アクセスされた場合に短縮 ry ことが示され ry 。
> 情報をセマンティックカテゴリから取得する時間が、そのカテゴリがもしも短時間前にアクセスされていた場合には短縮される事が、いくつかの研究では示されています。
> ? たとえば、Collins ry は、「 ry 」などの質問 ry。
> Collins and Quillian（1970）は、例えば、「カナリアは鳥ですか？」といった質問に答えるのに必要な時間を示しています。
> 前回のトライアルでカナリアに関する情報にアクセスした場合、600ミリ秒も減少します。
> 多少異なるパラダイムを使用して、マイヤーとシュヴァネヴェルト（マイヤー＆シュヴァネヴェルト、1971年;メイヤー、シュヴァネヴェルト＆ラディ、1972年、シュヴァヴェルト＆メイヤー、1973年;メイヤー、1973年）は同じことを示しています。
> これらの実験では、Sは文字列を単語または非単語として分類する必要がありました。
> ? 一般的な発見は、Sが意味的に類似していない単語とは対照的に3つの意味的に類似した単語を分類 ry より速い ry 。
> そこでの一般的発見は、意味的非類似なとは対照的な意味的類似な 3 単語を被験者が単に分類した場合、文字列を単語として分類する反応時間はより早いということでした。
> したがって、たとえば、「バター」の前に「パン」が付いている場合は、「ナース」が前にある場合よりも、「バター」を単語として分類するのにかかる時間が速くなります。
>
> このような結果を処理するために、2つの一般的なクラスのモデルが提案されています。
> ロケーションシフトモデル（Meyer＆Schvaneveldt、1971）は、Sが特定のカテゴリのメンバーの処理を終了し、次にシフトして2番目のカテゴリの処理を開始する必要がある場合、シフト時間は2つのカテゴリ間の意味的距離に依存すると想定しています。
> ? 一方、アクティブ化モデルは、カテゴリ ry されるときに、処理 ry と意味的に類似 ry で、他のアイテムが「興奮」または「アクティブ化」されることを ry 。
> アクティべーションモデルは、一方、カテゴリ内のアイテムが処理される際の他アイテムが、処理される情報と意味的類似している範囲で、「興奮化」または「アクティべート」される、という事を前提としています。
> さらに2つの想定が行われます。1つ目（Warren、1970年）は、アクティブ化が時間とともに減衰すること、2つ目は、アクティブ化されたアイテムは非アクティブ化されたアイテムよりも容易にアクセスできることです。
>
>
> 2.5秒インターバル ? 寛容
>
> RT
>
> 1.90
> : *レター-カテゴリー
> : *カテゴリー-レター
> 1.60
> 1.50
>
> 0 2 初期
> 遅れ
>
> 図2。
> ? 重要なカテゴリーの2つの出現の間 ry 。
> 決定的重要カテゴリの各出現 2つの間の介在アイテム（ラグ）の数の関数としての秒単位の平均反応時間。
> ? ry と手紙の間 ry 。
> アイテムは、カテゴリーと文字との間に2.5秒の間隔で提示されました。
>
>
> 同時に。
>
> RT
>
> 2.20
> : *レター-カテゴリー
> : *カテゴリー-レター
> 1.90
> 1.80
>
> 0 2 初期
> 遅れ
>
> 図3。
> 重要なカテゴリーの2つの出現の間の介在アイテム（ラグ）の数の関数としての秒単位の平均反応時間。
> ? ry と手紙は同時に発表され ry 。
> カテゴリーと文字とが同時提示されました。
>
>
> 本実験の結果は、Meyer et al（1972）とLoftus（1973）のデータと合わせて、位置シフトモデルを非承認にし、活性化モデルをサポートします。
> ? ry ような比較 ry 。
> これらすべての実験には、次のような各比較が含まれます。
> ? Tが、処理される時間が対象の従属変数であるターゲット情報を表す ry 。
> 処理時間を対象従属変数としたターゲット情報を T が表すとします。
> ? Rが意味的にTに関連 ry が意味的にTに関連 ry 表すようにします。
> T に意味的関連する情報をR が表し、最後にU1とU2が T に意味的関連しない情報を表すとします。
> ? 次の3つの条件を検討してください。
> ここで 3 条件を検討します :
>
> 条件a：プロセスU1; プロセスU2; プロセスT.
> 条件b：プロセスR; プロセスU2; プロセスT.
> 条件c：プロセスU1; プロセスR; プロセスT.
>
> ? ry 、次に条件bで最も速く、条件aで最も遅く処理されることを示しています。
> データは、Tが条件cで最も速く、条件bで次点最速、条件aで最も遅く処理されることを示しています。
> 位置シフトモデルとアクティブ化モデルはどちらも、条件cの反応時間が条件aおよびbの反応時間よりも速いことを正しく予測しています。
> ただし、2つのモデルの予測は、条件aとbの関係に関して異なります。
> 位置シフトモデルは、条件aと条件bの反応時間が同じであると誤って予測します。どちらの場合も、Sは無関係なカテゴリU2からTにシフトしているためです。
> 一方、活性化モデルは、得られた結果のパターンを正しく予測します。
> ? これは、条件bでは、 ry よってアクティブ化された ry 、このアクティブ化がTが処理 ry 時間までに減衰して ry 。
> これは条件 b に於ては、TがRによってアクティべートされたと見なされ、そしてこのアクティべーションが、 T の処理される時間によっての減衰をしていないためです。
> ? 一方、条件aでは、Tはまったくアクティブ化されていないと見なされます。したがって ry 。
> 条件 a では、一方、 T がアクティべートされたとは全く見做されません ; したがって、Tを処理する時間が長くなります。

> ? 処理段階
> 処理ステージ
> ? ry 冒頭で、Freedman ry は、2つの主要な処理段階を仮定していることを指摘しました：カテゴリの入力（時間t1 ry ）とカテゴリ ry ）。
> このレポートの冒頭に、 FreedmanとLoftus（1971）によって提案されたセマンティック検索モデルは、主要処理段階 2 つを仮定している、と記しました：カテゴリ立入り（時間t1が必要）と、そのカテゴリの検索（時間t2が必要）と。
>
>
>
> 470
> ロフタスとロフタス
>
>
> 表1
> ? 3つのラグ条件の関数 ry
> ラグ条件 3 つの関数としてのメモリー検索ステージの時間推定（秒単位）
>
> 取得ステージ
> ラグ状態
> ラグ0 ラグ2 初期
>
> t1 カテゴリーエントリー時間
> 0.20 0.22 0.27
>
> t2 + k カテゴリ検索時間 + ベースライン ? ry 時間とベース ry
> 1.47 1.65 1.69
>
> t3 眼球運動時間
> 0.14 0.14 0.13
>
> t4 追加のエンコード時間
> 0.21 0.16 0.22
>
>
> 時間kがかかる別のステージは、応答の実行などを含むベースラインステージです。
> ? ry ながら、これらの段階は現在 ry を処理するには十分 ry 。
> 残念ながら現在の実験からのデータを扱うには、これら各ステージは十分ではありません。
> ? 、最初にカテゴリーにアクセスするため ry 時間を ry 。
> これがそうである理由を確認するには、カテゴリへの初期的アクセスのための反応時間、を考慮してください。
> ? ry （カテゴリ文字vs文字カテゴリ）と間隔（ ry ）を要因として2 x 2の設計に分類されます。
> これらの反応時間は、順序（カテゴリ-文字 vs 文字-カテゴリ）とインターバル（2.5秒vs同時）とを要素として伴った 2 x 2 通りの設計へと落し込まれます。
> Freedman-Loftusモデルによれば、初期アクセスに含まれる処理時間は次のようになります。
>
> 条件1、カテゴリ-文字。間隔：RT1 = t2 + k ? カテゴリ文字。
> 条件2、文字-カテゴリ。間隔：RT2 = t1 + t2 + k ? 文字カテゴリ。
> 条件3、カテゴリ-文字。同時：RT3 = t1 + t2 + k ? カテゴリ文字。
> 条件4、文字-カテゴリ。同時：RT4 = t1 + t2 + k ? 文字カテゴリ。
>
> ? ry 条件2 4 ry 1の反応時間と（t1だけ）異なる必要があります。
> したがって、条件 2-4 の反応時間は互いに等しく、条件 1 に対して反応時間が ( t1 の分だけ ) 異るべきです。
> ? ただし、このデータは、4つの反応時間がすべて異なるため、追加 ry 必要であることを示しています。
> しかし乍ら、反応時間 4 つ全てが一つ一つ異る事をこのデータは示すので、追加の処理ステージの仮定が必要です。
> ? まず、条件 ry 、文字の前にカテゴリ ry が通常の左から右への読書 ry 。
> 第一に、条件4では、文字に先んじてカテゴリをエンコードする傾向が、左から右への通常の読書習慣と競合する可能性があります。
> ? ry 3つの条件に比べて、 ry が発生する場合があります。
> したがって、条件4では、他の3条件よりも、追加の眼球固定が時々発生します。
> ? ry 時間t3にラベルを付けます。
> この追加の眼球固定時間に t3 のラベルを我々は付けます。
> ? 次に、 ry 文字が同時に提示 ry 、反応時間には両方の刺激を ry 時間を含める必要 ry 。
> 第二に、カテゴリと文字とが同時提示される場合（条件3と4）、刺激両方をエンコードする時間を反応時間が含む必要があります。
> ? 一方、2.5 ry 場合（ ry ）、反応時間には2つの刺激の1 ry 時間が含まれます。
> 2.5秒間隔の場合、一方（条件1および2）、刺激 2 つの 1つのみをエンコードする時間が反応時間には含まれます。
> ? ry 4で必要な追加のエンコード ry t4で指定します。
> 条件3と4 とに於て必要とされる追加エンコード時間をt4 とします。
>
> ? これで、4つの初期反応時間に2つの新しいステージを含めることができます。
> これで我々は、新ステージ 2 つを初期反応時間 4 つに含める為の地位に就きました。
>
> （1a）カテゴリ-レター; 間隔： ? カテゴリーレター;
> RT1 = t2 + k = 1.69秒 ? RT 1：
> （1b）レター-カテゴリ ; 間隔： ? レターカテゴリ。
> RT2 = t1 + t2 + k =1.9 ec
> （1c）カテゴリ-レター; 同時： ? カテゴリーレター;
> RT3 = t1 + t2 + t4 + k = 2.18秒 ? ry = t1 +152 + t4 ry
> （1d）レター-カテゴリ; 同時： ? レターカテゴリ;
> RT4 = t1 + t2 + t3 + t4 + k = 2.31秒 ? ry = t1 +132 + t3 ry
>
> ? 式 1a 4a ry RT2）。
> 式 1a-4aを適切に操作することにより、t1 = 0.27秒（RT2-RTI）;（t2 + k）= 1.69秒（RT1）、t3 = 0.13秒（RT4-RT3）;およびt4 = 0.22秒（RT3-RT2）である事を我々は見出す。
> ? ry された以前の推定値とよく ry 。
> t1（カテゴリエントリ時間）の0.27秒の推定値は、Freedman and Loftus（1971）およびLoftus and Freedman（1972）によって取得された従来の見積りとよく一致しています。
> ? ry の推定0.22 ry が視覚 ry 場合 ry 認識のアイテム ry 推定）処理する）。
> t4（エンコーディング時間）の見積りの 0.22秒は、「エンコーディング」がもしも視覚刺激パターン認識プロセスのみを意味する場合、に予想されるよりもはるかに大きい（cf. Sperling、1963、パターン認識処理でのアイテムあたり10ミリ秒を推定）。
> ? したがって、現在 ry ではそのようなエンコーディングが何で構成されているかを判断することは不可能ですが、得られた0.22秒の推定値には、かなり ry 含まれているはずです。
> 得られた見積りである所の 0.22 秒には、従って、かなり多くの処理が含まれていなければならない。そのようなエンコーディングを構成しているものが何であるかを判断する事が例え現在の実験では不可能であろうとも。
> ? ry 通常200 300ミリ秒程度続くため、 ry 。
> 最後に、眼球固定は通常 200 ～ 300ミリ秒オーダで続くので、t3（追加の固定時間）の推定0.13秒は、予想よりも少し短いです。
> ? ry 矛盾の考えられる理由は、条件4のすべての試験で追加 ry 固定が行われない可能 ry 。
> この矛盾に付いての考えられる理由は、追加の眼球固定が行われるのが、条件 4 の全ての試験に於てである訳ではない可能性があることです。
> ? もちろん、条件 ry は簡単 ry 。
> 条件4で時々発生する追加の眼球固定の概念は、勿論、簡単にテストできます。
>
> もう1つの括弧付きの発言を行う必要があります。
> ? ry に、間隔時間とカテゴリー文字の順序の ry 。
> 上記のように、インターバル時間とそしてカテゴリ-文字の順序と、の相互作用は重要ではありませんでした。
> 相互作用がないという帰無仮説 ( 原文 : the null hypothesis ) が受け入れられた場合、式1a-4aの検査はt1 = t3であることを示します。
> （これは、RT3-RT1 = RT4-RT2であるという事実、またはRT2-RT1 = RT4-RT3であるという事実により、どちらも帰無仮説の下で真であると見なすことができます。）
> ただし、現在の実験では、帰無仮説の受け入れを必ずしも保証するものは何もないため、t1とt3が等しいことをあまり真剣に受け止めるべきではありません。
>
> ? アクティベーションはどの段階に影響 ry ？
> どのステージにアクティベーションは影響しますか？
> ? 上で概説したロジック ry ラグ0と2での2番目のカテゴリーの表示に ry 。
> 上記で概説されたロジックを使用すると、ラグ 0 と 2 とに於ての 2 番目カテゴリの提示について、t1（t2 + k）、t3、およびt4の推定値を取得できます。
> ? ry 、最初のプレゼンテーションのために上記 ry 。
> これらの推定値は、提示初回に付いて上記で与えられた推定値とともに、表1に示されています。
> ? ry ラグ条件で確実に変化する唯一 ry 。
> データの統計分析は、ラグ条件に亘っての変化をする事が確実である所の唯一のパラメーターがt2 + kであることを示しています。
> ? ry t2が活性化効果 ry 。
> ラグ条件にわたってkが一定のままであると合理的に仮定すると、カテゴリー検索時間であるt2が、アクティベーション効果の軌跡を構成します。
> ? ry 距離が2番目のカテゴリー ry に影響を与える ry 。
> この発見は、「カテゴリー間のセマンティック距離 ... それが影響を 2 番目カテゴリーの検索率に与える可能性がある」と述べたマイヤー（1973年、p.30）の結論と一致します。
>
> ? ry 意味的に類似した情報を事前に処理 ry 。
> ラグ条件に対するエンコード時間（t4）の不変性は、意味的類似情報を事前処理することでエンコード時間が短縮されるように見えるというMeyer et al（1972、Experiment 3）の発見とは少し矛盾しています。 ( ? 訳注 : 一種のキューイング / 予測 / OoO / 投機的実行 )
> この不一致の理由は完全には明らかではありません。
> ? ry 、2つのカテゴリ間 ry が、Meyer ry では現在 ry もはるかに短く、エンコーディング ry 検索レートの類似 ry 異なるという事実にある可能性があります。
> 考えられる説明は、カテゴリ 2つの間の処理遅延が、現在の実験よりも Meyerらの実験でははるかに短くそして、エンコーディング時間のアクティベーション減衰関数が、検索レート用の類似の減衰関数と異る、という事実が要因である可能性です。
>
>
>
> 47l
> 1つのメモリ検索の影響
>
>
> 参考文献
>
> WF、バッティグ、WE、モンタギュー
> 56のカテゴリの口頭アイテムのカテゴリノルム：コネチカットカテゴリノルムの複製と拡張。
> 実験心理学モノグラフジャーナル、 1969. 80（3、Pt.2）。
>
> コリンズ、AM、クイリアン、MR
> ? 意味記憶 ry 。
> セマンティック記憶からの検索の促進：推論の一部を繰り返すことの影響。
> AFサンダース（編）、注意とパフォーマンスIII。
> アムステルダム：北ホラント、1970年。
>
> フリードマン、JL、およびロフタス、EF
> 長期記憶からの単語の検索。
> 言語学習と言語行動のジャーナル、 1971、10、107-115。
>
> ロフタス、EF
> ? 意味記憶の活性化。
> セマンティック記憶のアクティベーション。
> アメリカ心理学ジャーナル。
> 1974。プレス中。
>
> ロフタス、EF、フリードマン、JL
> カテゴリー名の頻度がカテゴリーのインスタンスの命名速度に及ぼす影響。
> 言語学習と言語行動のジャーナル、 1972、11、343-347。
>
> マイヤー、DE
> ? ry された意味カテゴリの検索における ry 。
> 保存されたセマンティックカテゴリの中を検索する事に於ける相関操作。
> 実験心理学ジャーナル、 1973、99、124-133。
>
> マイヤー、DE、およびシュヴァネフェルト、RW
> ? ry 認識を容易にする： ry 。
> 単語のペアの認識の促進：検索操作間の依存関係の証拠。
> 実験心理学ジャーナル、 1971、90、227-234。
>
> Meyer、DE、Schvaneveldt、RW、およびRuddy、MG
> 字句メモリのアクティブ化。
> 心理学会の会議で発表された論文。
> セントルイス、1972年11月。
>
> SchRWeveldt、RW、＆Meyer、DE
> 意味記憶における検索と比較のプロセス。
> S. Kornblum（編）、注意とパフォーマンスIV。ニューヨーク：アカデミックプレス、1973
>
> Shapiro、SI、およびPalermo、DS
> ? ry 的な組織と ry ：100のカテゴリの代表者の規範的なデータ。
> 概念的組織化とクラスメンバーシップ：カテゴリ 100 個を代表する規範的データ。
> Psychonomic Monograph Supplements、1970、3（11、Whole No. 43）。
>
> Sperling、G。
> 視覚記憶タスクのモデル。
> ヒューマンファクター、1963、5、19-31。
>
> ウォーレン、RE
> ? 刺激のエンコーディングとメモリ。
> 刺激エンコーディングと記憶。
> 未発表の博士論文、オレゴン大学、1970年。
>
>
> （1973年9月17日の発行のために受領。改訂は1973年12月6日に承認された。）

訂正 Sunway TaihuLightのメニーコアプロセッサ上の並列クイックソートアルゴリズム

3.1>ギャップ ( 訳注 : バッファ内のギャップ値群 ? ) をフィルします。 ( 訳注 : 63450 等でのリンクリストの様な機能 ? ( ギャップ値をアドレス情報として扱ってリンク先の前述ピボット値をリンク元に上書 ? , 最終ピボット値 = 最終結果 ? ) )
3.5>アルゴリズムを複数のコアグループに適合させるには、各コアグループをサンプルソート文脈での単一プロセッサと見なし、
4>アルゴリズムのパフォーマンスを評価するために、異なるサイズ、異なる分布、異なる要素タイプ、の配列でテストします。
4.2>? ry 、アルゴリズムは ry さらに拡張できます。

訂正再構成可能生物を設計するためのスケーラブルなパイプライン

図 2 >（ G ）1回の評価期間中、
図 2 >遺伝子型はスケールフリーであるため、構造配置を保持しながら、デザインの生体構造解像度を上げることができます（ H ）（しかし振舞を必ずしも保持しません）。
討論>? ry で発生するような内因性の再生 ry を活用することにより）再生 ry 場合、大規模 ry ことができます。
材料および方法>バウンディング歩行 ( 訳注 : 跳びはねる形での歩行 ? )
材料および方法>最小の凹面は、徐々な小形状変形を伴う
材料および方法>また、収縮性組織は非筋肉組織と比較してはるかに高い代謝コストをも負います（

YAMAGUTIseisei

unread,

Mar 28, 2021, 8:45:27 AM3/28/21

>>>>Google 翻訳 http://nature.com/articles/s41598-020-58831-9# ttp://doi.org/10.1038/s41598-020-58831-9# p://nazology.net/archives/53604# * 公開済み： 2020年2月25日
>>>> Springer Natureは、SARS-CoV-2およびCOVID-19の研究を無料で行っています。 |
>>>>
>>>>
>>>>
>>>> メムリスティブシナプスは脳とシリコンスパイクニューロンを接続します
>>>>
>>>>
>>>>* アレクサントル・セルブ 1 、
>>>>* アンドレア・コルナ 2 、
>>>>* リチャードジョージ 3 、
>>>>* アリ・キアット 1 、
>>>>* フェデリコ・ロッキ 2 、
>>>>* マルコ・レアト 2 、
>>>>* マルタ・マスケット 2 、
>>>>* クリスチャン・メイアー 3 、
>>>> * Giacomo Indiveri ORCID： orcid.org/0000-0002-7109-1689 4 、
>>>> * ステファノ・ヴァサネリ ORCID： orcid.org/0000-0003-0389-8023 2 ＆
>>>> * Themistoklis Prodromakis ORCID： orcid.org/0000-0002-6267-6909 1
>>>>
>>>> Scientific Reports 第 10 巻、記事番号： 2590 （ 2020 ）この記事を引用
>>>>
>>>> 科目 * バイオナノエレクトロニクス * ナノセンサー
>> :
>>
>>
>> 訳注
>> :
>>>> 活動 : アクティビティ, 活性 , 活動性
>>>> 重量 : 重み , 荷重
>>>> CMEA : Capacitive Multi-Electrode Array ? , CMOS Multi-Electrode Array ?
>>>> BCM : Bienenstock Cooper Munro 理論
>>>>EPSP : excitatory postsynaptic potential
>>>> in culture : 培養中の, 培養下の
> 生物学 : 古典生物学
>>>>
>>>> 補足図 http://static-content.springer.com/esm/art%3A10.1038%2Fs41598-020-58831-9/MediaObjects/41598_2020_58831_MOESM1_ESM .pdf 注意

> 概要
>
> ? ry は、伝達を記憶と処理に統合するという重要な役割を果たすシナプス ry 。
> 脳機能は、記憶の格納と処理とを伝播に伴って融合的統合する ( 訳注 : 記憶格納と処理とは元々一体 ) 事のキー役を演じているシナプス群を備えたスパイクニューロンの回路に依存しています。
> ? ry 、脳と脳にヒントを得たデバイスを相互接続する脳コンピュータ ry の概念が具体化され始めて ry 。
> エレクトロニクスは、ニューロンとシナプスをエミュレートするために重要な進歩を遂げ、脳に着想を得たデバイスと脳とを相互接続するブレインコンピュータインターフェースのコンセプトが現実化され始めようとしています。
> 脳とシリコンスパイクニューロン間のメムリスティブリンクについて報告します。これは、実際のシナプスの伝達と可塑性の特性をエミュレートします。
> 金属薄膜酸化チタン微小電極と対になったメモリスタは、シリコンニューロンをラット海馬のニューロンに接続します。
> ? ry しますが、伝達は興奮 ry 電位に似た応答をもたらす薄膜酸化物を介した加重刺激によって媒介されます。
> Memristive可塑性は接続強度の変調を説明しますがそこでは荷重刺激の、興奮性シナプス後電位似反応へと誘導している所の薄膜酸化物経由という、通過、によって伝送が媒介されています。
> 脳とシリコンの逆のリンクは、微小電極とメモリスタのペアを介して確立されます。
> ? ry 基盤に基づいて、メムリスティブシナプスがニューロンの発火率によって駆動される長期増強または抑制を受ける3 ry ネットワークを示します。
> これらの基盤の上で我々が実証するのは、長期の増強か脱増強かをニューロン発火率駆動によってメモリスタシナプスが受ける所の、 3ニューロンの脳シリコンネットワークです。
>
> PDFをダウンロード
>
> 前書き
>
> ? ry 基づいた侵襲性スパイクベースの脳コンピュータ ry に大きな可能性 ry 。
> 埋め込み型神経インターフェースに基づいたスパイクベース侵襲性ブレインコンピュータインターフェース（BCI）は、脳神経補綴1、2、3にとっての大いなる可能性を示しています。
> 現在、スパイク処理は通常、統計アルゴリズム ( 訳注 : 加算合計 ) を実行するVon Neumannベース ( 訳注 : 正確にはストアドプログラムアーキテクチャ ) のデジタルハードウェアによって管理されています。
> ? しかし、ニューロモーフィック電子デバイス ry は、生物学に近いスパイク ry 戦略4 ry 6に依存しているため、魅力的な計算上の代替手段となります。
> しかし乍ら、ニューロモーフィックな電子的なデバイスとアーキテクチャは、スパイク信号と処理戦略とが近生物学的である事に依拠 4、5、6 するという高潔性により、魅力的な計算的代替手段を象徴します。
> ? これに関連して、ナノスケールのメモリスタがシナプスの可塑 ry をエミュレート ry 効率の観点から脳回路により近いコンピューティングシステムを ry を高めました。
> この文脈に於て、シナプス可塑性特性をナノスケールメモリスタがエミュレートできるという最近の発見7、8は、一方で、計算能力と電力効率との観点でより脳回路へと接近したコンピューティングシステム、を提供する期待を一層高めました 9 , 10 。
> ? 一方、彼 ry 中のニューロンからの大規模な多 ry スパイクのエンコードとソートで ry されたように、スパイクがナノスケールの物理 ry シームレスに処理されるBCI ry しました。
> もう一方で彼らは、培養中ニューロンから大規模多電極アレイによって記録されたスパイク、のエンコードとソートとを行う事で最近実証されたものとしての、ナノスケール物理要素によってシームレス処理されるスパイク、という BCIの前提を作成しました 11 。
> ? ry 展望では、メモリスタ ry は、最終的にシリコンと脳ニューロンが絡み合った神経形態BCIを提供し、信号伝達と ry 規則を神経 ry 12のアプリケーションと共有することを約束 ry 。
> したがって、展望に於て、メモリスタを備えた神経電子システムは、信号伝播と処理規則とを神経補綴5および生物電子医学12 に於けるアプリケーションと共有するにシリコンと脳とのニューロン群が絡み合っている所のニューロモーフィックな、 BCI を究極的には齎すという事を約束しています。
>
> ? ry より、シリコン ry ニューロンを両方向にリンク ry する2つのメムリスティブ接続を示します。
> これにより我々は、シリコンスパイクニューロンと脳ニューロンとを双方向リンクするメモリスタ接続 2 つを実証します。
> ? 接続 ry 。
> それら接続はシナプス機能をエミュレートします。
> ? ry 、非常に大規模な集積 ry ニューロンを培養中のラット海馬からの生物学的ニューロンに ry 電極に結合されました（ ry 。
> シリコンから脳への経路では、超大規模集積（VLSI）スパイクニューロン単一をラット海馬由来バイオロジカル in culture ニューロン単一へと接続するために、TiO xメモリスタが金属薄膜TiO 2マイクロ電極とカップリングされました（図1a ）。
> ? 人工生物学的シナプター ry は、脳シナプスのスパイク伝達と ry 。
> artificial-to-biological シナプター（ AB syn ）と呼ばれるこのリンクは脳シナプスの、スパイク伝送と可塑性処理の両方をエミュレートするために考案されました。
> メモリスタMR1は、シナプスの重みを抵抗状態として保存します。
> ? ry CMEは、メムリスティブの重みによって調整される刺激を生体 ry に伝達します（ ry 。
> 薄膜容量性微小電極13 CME は刺激を、メモリスタ荷重によってアジャストされる所のその生体ニューロン（BN）に送達します（図1b ）。
> ? したがって、ネイティブシナプスと同様に、 AB ry をBN ry 。
> したがって、 AB synは、可塑性依存シナプス強度を反映する興奮性電流を、ネイティブシナプス同様に BNに注入することで動作します。
> ? ry に、メモリスタMR1は、それぞれ1 ry ）からシナプス ry 脱分極を ry システムを ry 端子デバイスとして動作します。
> 可塑性をエミュレートするためにメモリスタMR1は、 1つのシリコンニューロン（ AN pre ）と1つの生体ニューロン（BN）との各々からのシナプス前およびシナプス後の脱分極、を受け取る制御システム、を介し ( ? 訳注 : PC ベース環境等 + 図 1a SNN + 図 1b 下段矢印 ) て2端子なデバイスとして運用され ( 又は動作し ) ます。
> ? ry 、プログラミングパルスが送信されてデバイス ry 抵抗が変更されます。
> 可塑性ルールはソフトウェアで実装され、デバイスの内部抵抗の変更の為にプログラミングパルスが送達されます。
> ? ry は、CMEを介して生体 ry 脱分極を生成する調整可能な電圧刺激に変換され ry 。
> 抵抗状態（重み）は、生体ニューロンのシナプス後脱分極を齎す、 CME 通過な、アジャスタブル電圧刺激へとのトランスレートをされます（図1bおよび補足図1 ）。
> ? 特に、これら ry 的に誘導 ry 脱分極は、天然の興奮 ry 電位（EPSP）に似ており、最終的には生体細胞の閾値を超えるとスパイク発火を引き起こします（補足図1 ）。
> 顕著なのは、これらの容量的誘導された脱分極は、生物学細胞の閾値超過の場合に最終的にスパイク発火する事へと誘導しているネイティブ EPSPs ( excitatory-postsynaptic potentials , 一連の興奮性シナプス後電位 ) 、に似ている（補足図1 ）、という事です。
> ? 同様のアプローチに従って、生体から人工へのシナプター（ ry ）を考案 ry 。
> biological-to-artificial シナプター（ BA syn ）を、似たアプローチに従って我々は考案しました。
> ? BNスパイクは ry され、可塑 ry され、最後に電流注入を介して2 ry ニューロンAN postに送信されます。
> BN スパイク群は、パッチクランプ微小電極で記録され、次に可塑性駆動メモリスタMR2で処理され最後に、 2番目のシリコンニューロン、 AN post 、へと電流注入を介して伝送されます。
> ? ry 接続するハイブリッド回路の代表例であり、経路に沿って外部からの強制信号なしで、生物 ry 体を介して人工 ry が別の人工 ry にどのように影響するかを示して ry 。
> この構成は、シリコンスパイクニュを生物学的ニュに接続しているハイブリッド回路その代表例を含んでおりそして
> 、経路沿い外部由来な如何なる強制信号も伴わない ( で ) 生物学的中間体それを経由して ( した ) 人工ニューロン単一がどうすれば別の人工ニューロンの発火に影響する事ができるかを描き出しています。
> ? ry ANは ry を事前に励起しました。
> 要約すると、順方向経路に沿って、人工の「シナプス前」ニューロンANpre は AB synを介してBNを興奮させました。
> リターンブランチを通じて、BNはBA synを介して「シナプス後」のシリコンニューロンAN ポストを刺激しました（図1 ）。
>
>
> 図1 http://nature.com/articles/s41598-020-58831-9/figures/1# http://media.springernature.com/lw685/springer-static/image/art%3A10.1038%2Fs41598-020-58831-9/MediaObjects/41598_2020_58831_Fig1_HTML.png
>
> ? シナプスは、ハイブリッドネットワークでシリコンと脳のニューロンを接続 ry 。
> シリコンと脳とのニューロンを、ハイブリッドネットワーク内でシナプタは接続します。
> ? ry とシナプターの主要 ry 。
> （ a ）ハイブリッド回路と各シナプタとの各主要コンポーネントのスケッチ。
> ? ry であり、MR1 ry 。
> AN preとAN postはVLSIネットワーク28、35（SNN）のシリコンスパイクニューロンであり、そもそも MR1とMR2 はPt / TiO x / Ptメモリスタ36です。
> ? ry 電極、CMEは、ラット ry がTiO 2 ry 機能化表面上で培養されるマルチ電極アレイCMEA ry ）の ry 。
> 容量性Al/TiO 2 電極 ( capacitive Al/TiO 2 electrode ) 、 CME 、は、 TiO 2薄膜の機能的サーフェスの上でラット海馬ニューロンが培養される所のマルチ電極アレイ、 CMEA（補足図1 ）、の要素です。
> ? ry ピペットPが ry 。
> 細胞内の全細胞記録のために、1つのニューロンにパッチクランプピペット 1つ、 P 、が接触します。
> 2つのシナプター、 AB synおよびBA synは、「シナプス前」シリコンニューロン（ AN pre ）を脳ニューロン（BN）に、BNを「シナプス後」シリコンニューロンAN postに接続します。
> ? ry MR2は、2つのシナプスの可塑性をエミュレートしますが、エレクトロニクス ry 。
> 2つのメモリスタ、MR1とMR2 、が可塑性をエミュレートするのはシナプタ 2 つの中でてすがしかし、エレクトロニクスからBN へのおよびBNからエレクトロニクスへの信号伝送は、CMEおよびパッチクランプ電極によって媒介されます。
> ? ry ）運用スキーム。
> （ b ）動作スキーム。
> ? ry 変化は、近似 ry ）に従ってAN ry 脱分極率によって駆動され、LTP ry ）または変更なし。
> AB synでは、MR1の抵抗状態R（t）の変化を駆動する、 AN preおよびBN脱分極各々のレート各々 ( ? 訳注 : 図 1b 下段矢印 ) は、近似BCM可塑性規則（補足表1および補足図3 ）に従っており、帰結は、LTP（red）、LTD （青）、又は変更なし、のいずれかとなっています。
> ? ry 、加重電圧刺激に変換されます。
> MR1の抵抗状態は、重み電圧刺激へとトランスレートされます。
> ? これらは、CME ry （C CME ）を介してBNに供給され、EPSPのような脱分極を引き起こして、活動電位発火を引き起こします（ ry 。
> これらが、 BN へとの供給をされるに介す所の CME静電容量（CME capacitance , C CME ）の引起こしているのは EPSP 似脱分極であり、順当に活動電位発火へと誘導しています（補足図1 ）。
> ? ry through its resistance, Rp, threshold-detected and then ry .
> ? ry BA synで、 ry は抵抗、Rp、しきい値検出を介してパッチ ry 電極によって記録され、MR2の重みを介して調整される電流注入としてAN ポストに送信されます。
> 同様に、 BA syn に於ては、BNスパイクはパッチクランプ電極それによってそれの、敷居値検出 ( 訳注 : 脱分極判定等 ? ) される抵抗、Rp、を介して記録されそして次に、 MR2 荷重を介してアジャストされる電流注入、として AN post へと転送されます。
>
> フルサイズの画像 http://media.springernature.com/full/springer-static/image/art%3A10.1038%2Fs41598-020-58831-9/MediaObjects/41598_2020_58831_Fig1_HTML.png
>
>
> ? シナプスを ry 非シナプスネットワーク ry されたインターネット ry 。
> シナプタ群を実装するための興味深い方法には、非シナプタネットワーク通信14、15、16で以前に試行された、インターネットの標準化されたインターフェイスの使用が含まれます。
> ? このように、地理に分散した方法でシナプス結合回路 ry 。
> 我々は従って、地理的分散な作法で我々のシナプタリンク回路例をインスタンス化しました。
> ? ry 介して3つ ry ニューロン（スイス、チューリッヒにある）をホスト ry チップ、メムリスター処理装置（ ry ）およびラットのニューロンを含む容量 ry アレイ海馬（ ry 。
> ユーザーデータグラムプロトコル（UDP）を介してこれら 3つのセットアップが接続されました：シリコンスパイクニューロンをホストするニューロモーフィックチップ（スイス、チューリッヒにある）、メモリスタ処理機器（サウサンプトン、イギリス）、ラット海馬ニューロンを備えた容量性マルチ電極アレイ（パドヴァ、イタリア）（補足図2 ）。
> 特に、人工ニューロンおよび生物学的ニューロンのセットアップは、メモリスタのセットアップを介して排他的に通信され（補足ノート2も参照）、それにより2つのシナプターが明確に確立されます。
> ? ry メモリスタのセットアップ ry 的な位置は、システム ry コントロールセンターになりました。
> ネットワーク内のメモリスタセットアップの中心的位置それはそれを、システム全体の事実上のコントロールセンターに成らせました ( 原文 : rendered , ここでは自己組織化 ) 。
>
> ? シナプスの可塑性がシャッファーの副次的刺激に触発された実証実験を報告します-CA1ニューロン ry と、高 ry 誘発するのに対し、低頻度の発火は長期の抑鬱を ry の画期的なデモンストレーション（ LTD） 17 。
> シャッファー collateral-CA1 ニューロンのグルタミン酸作動性シナプスと、そして、高周波数のシナプス前活動が長期増強（LTP）を誘発しその反対に低頻度発火が長期脱増強（ LTD） 17 を引き起こすというDudekとBearの道標的デモンストレーションと、によるインスパイアをシナプタ可塑性に付いて受けた所の実証実験を我々は報告します。
> ? ry 振る舞いは、 ry 理論に基づいて解釈ができます ry 活動とシナプス後反応の関数に依存 ry します。 2つの可塑性極性17、18の間の遷移（ ry ）。
> この振る舞いを、Bienenstock-Cooper-Munro（BCM）理論それ ( にとって ? : 訳注 ) のベースその上で解釈できます。シナプス強度の変化を、入力シナプス前活動の産物とそして、可塑性極性 2 つの間での遷移の為の閾値会計改訂 ( 原文 : a modification threshold accounting ) を伴うシナプス後反応関数と、に依存するようにモデリングします 17、18 （補足図3 ）。
> ? ry , and by splitting plasticity polarities across three frequency ranges ( ry ).
> ? ry 、一定の可塑 ry 可塑性修正しきい値を使用して（ ry 従って）、3つの周波数範囲にわたって可塑性極性を分割することにより、BCM ry 近似を実装 ry 。
> 簡単にするために、コンスタントな可塑性改訂しきい値を伴う BCM理論の近似（つまり、クーパー、リバーマンおよびオージャのアプローチ18に従った）をそして、周波数範囲 3 つに亘っての各可塑性極性の分割 ( ? 訳注 : 三分割かそこからの 3n 的分割か正確には BCM 参照 ) をすることにより、我々は実装しました（補足図3および補足表1 ）。
> 実験中、シリコンニューロンはペースメーカーとして機能していました。
> ? ry 得て、シナプス ry 活動によって駆動された可塑性の変化につながる一定の周波数でANのプリファイアを設定しました。
> Dudek and Bearの実験パラダイムに着想を得て、我々が設定したのは、コンスタントな ANpre 発火周波数でありそれは、シナプス後（すなわちBN）活動駆動な可塑性変化 ( 訳注 : MR1 の ? ) へ ( 訳注 : BAsyn ループを通して ? ) と誘導しています。
> ? ry ウィンドウ内で測定された脱分極頻度の観点から、 ry 後の活動が推定され ry 。
> ( 訳注 : 上記周波数算出法として ? ) 実際には、各シナプス前スパイクの直前の時間ウィンドウの範囲内で測定されたものとしての脱分極周期の各期間から ( 原文 : in terms of depolarisation frequency ) 、シナプス後アクティビティが見積もられました。
> ? ry メモリスタの重量がそれに応じてプログラム ry 。
> それに応じて、メモリスタ荷重がプログラムされました（補足図3b ）。
> ? ry スパイクは、シリコン ry preを高周波で発火するように設定することによりAB ry 誘発され、最終的にシナプスのLTPに至りました。
> 実験の開始時に、BNスパイクが AB synを介して誘発されたのはシリコンニューロンAN pre 設定からの、高周波発火により、最終的に、シナプタ LTP へと誘導しています ( 訳注 : MR1 ) 。
> ? そのため、プロトコルは、シナプス前 ry ニューロン17の ry 放電によるシャファー側副CA1 ry をエミュ ry した。
> その様に、このプロトコルは、シャファー collateral-CA1ニューロンシナプスにおけるLTP誘導をシナプス前CA3ニューロンの高周波放電によってエミュレートしました。 17
> ? スパイクの特定のタイミングは全体的に二次的に重要であるため、この実験では、位相コーディングではなくレートコーディングされた可塑性ルールに従って、物理的および場所依存の ry 遅延に ry 耐性が得られたことに注意してください割合。
> スパイクの全体的レートのに対しての特定タイミングのの重要さが二次的であったというこの実験に於ては、物理的なと場所依存なとのインターネット遅延それらに対するある程度の耐性を齎す所の、レートコーディングなであって位相コーディングなでない可塑性ルール、に従ったという事に注意すべきです。
>
> 実験結果を図2にまとめます。
> ? ry つの後続フェーズ（ ry ）で異なる速度で定期的に発火する ry ました。
> ペースメーカーニューロンAN preは、実験の4つの連続発生的各フェーズに亘っての異なるレートでの定期的発火をするように設定されました（つまり、それぞれ20、20、20、40秒続く10、25、10、4 Hz）。
> ? ry に、補足 ry 沿ってAB synで極性 ry 。
> このプロトコルは、図2aに示すようにそして且つ補足表1の可塑性規則に従って、パターン 'none / LTP / none / LTD'に沿った ABsyn に於ての極性変化を引き起こすように設計されました。
> パッチクランプピペットによって記録されたBNスパイクは、図2bに示されています（閾値以下のシナプス後電位の振幅については、補足図4を参照してください）。
> ? ペースメーカーニューロンの高レート25 Hz放電中にBNでトリガーされたスパイクにより、 AB シン増強が確認されました。
> BN に於てスパイクがトリガされたのは、 ABsyn 増強が慢性化されるペースメーカーニューロン 25 Hz 高レート放電の最中です。
> ? ry して、BN ry 活動は10 Hzのシナプス ry 数で後続のフェーズ中に持続し、したがって ry は見られ ry 。
> LTP誘導 ( ? 訳注 : ペースメーカ ANpre が齎して LTP フェーズ内 MR1/ABsyn 遷移図 2 ) と一致して BNスパイク活動性が、 10 Hz シナプス前周波数な後続フェーズに亘って堅持され、したがって可塑性極性の変化は見受けられませんでした。
> ? その後、ペースメーカーを低 ry に設定すると ry にディポテンシエーションが発生し、最終的にAB synの LTDが発生 ry 。
> その直後のペースメーカー設定を低周波数（4 Hz）にすると、最初に脱増強が、最終的に LTDが、 ABsyn に於て発生しました。
> ? ry 抵抗MR1は、実験 ry な段階で図 ry。
> AB synメモリスタの抵抗、 MR1 、は、実験のさまざまなフェーズを貫いて図2にプロットされています。
> ? ry の進化は、LTPフェーズ中のシナプター重量の増強 ry 、「なし」フェーズ中の維持、および減弱（ベース ry ）およびその後のうつ病（開始時以下）を示します。ベースライン）LTDフェーズ中。
> 実験中のMR1抵抗の進展は、LTPフェーズに亘ってのシナプタ荷重増強（すなわち、抵抗の増加）、それを「なし」フェーズに亘って維持しそして、脱増強（ベースラインへの抵抗の戻り）とその直後の抑圧（開始時ベースライン未満）とを LTD フェーズに亘って示します。
>
>
> 図2 http://nature.com/articles/s41598-020-58831-9/figures/2# http://media.springernature.com/lw685/springer-static/image/art%3A10.1038%2Fs41598-020-58831-9/MediaObjects/41598_2020_58831_Fig2_HTML.png
>
> 地理的に分散したハイブリッド回路のAB syn可塑性。
> （ a ）ペースメーカー人工ニューロンAN preの活動パターン。
> ? ry 頻度は、選択 ry 、none ry LTDのシーケンスに従って可塑性の誘導 ry して、4つのフェーズで変調 ry 。
> none / LTP / none / LTD それら各シーケンス毎のとして ( 訳注 : に付いて ? ) 可塑性誘導をターゲットとしている所の、フェーズ 4 つに於て ( 訳注 : 各々 ? ) 、その選択された可塑性ルールを使用 ( 訳注 : 設定変更可の意 ? ) して発火頻度が変調されます。
> （ b ） AB syn入力に対するBN発火応答。
> ? ry 後、10 Hzの元のペース ry 刺激はBN活動電位を誘発 ry なり、シナプス ry ことを反映します。
> LTP誘導後、 BN 活動電位をオリジナル 10 Hz ペースメーカー刺激は誘発できるようになり、結果的に、シナプス後電位の振幅が閾値を超えて増加することを反映しています。
> ? 発射は、ディポテンシエーション/ディプレッションフェーズ ry まで続きます。
> 発火は、脱増強/抑圧のフェーズの開始までずっと続きます。
> ? ry MR2重量の進化。
> （ c ）MR2 荷重の進展。
> ? ry 目的のLTP（赤）、LTD（青）、または極性の変化がない（黒）フェーズの抵抗 ry 。
> データポイントは、目的としているフェーズ、 LTP（赤）か、LTD（青）か、極性変化なし（黒）か、の抵抗値を示します。
> 右の縦軸は、対応する重みを示しています。
> すべてのパネルに共通のX軸。
>
> フルサイズの画像 http://media.springernature.com/full/springer-static/image/art%3A10.1038%2Fs41598-020-58831-9/MediaObjects/41598_2020_58831_Fig2_HTML.png
>
>
> ? BNがBA synを介してシナプス後のターゲット ry AN ポストに接続された、回路の生物学的から人工的な分岐の戻りの結果を図3に示します。
> この回路の biological-to-artificial ブランチ -- BAsyn を BN が介してそのシナプス後ターゲットであるシリコンニューロンANpost に接続されている -- の返り値の各結果は図 3 に示されます。
> ? ry 変調を促進するために、AN ポスト（つまり ry する人工ニューロンオンチップ）の（ ry ）環境は、安定 ry 設定されましたAN ポスト内での自然発火。
> 重要なことは、 BA synでの可塑性変調促進実行の為に、ANpost の（人工）スパイクニューラルネットワーク（SNN）の環境 ( つまり、ANpost が接続するオンチップ人工ニューロン群 ) が、 ANpost 内部自発発火に付いての安定したバックグラウンドレートを誘導するように設定された事です。
> ? ry LTDフェーズの両方で、自発活動後の安定したANが見られ ry 。
> BA synの LTD の両フェーズに亘って、安定した ANpost 自発活動 ( 原文 : spontaneous activity ) が見られます（図3b ）。
> ? AB 合成増強 ry は、実行の「 ry フェーズで追加のAN ポストアクティビティをトリガーし、BNとAN ポストが同期します（ ry 。
> ABsyn 増強によって誘発されるBN発火は然して、追加的 ANpost 活動を実験の「可塑性なし」フェーズに亘ってトリガし、それに伴って BNとANpost とが同期して行きます（図3b ）。
> ? ry as the low-rate spontaneous activities of BN and AN post hampered LTP induction at BA syn .
> ? MR2メモリスタの重量の進化（ ry は、 BA synでのBNおよびANの低レートの自発活動がLTP誘導を妨げたため、優性のうつ傾向 ry 。
> MR2メモリスタ荷重の進展（図3c ）は、両 BN / ANpost 低レート自発活動が、 BAsyn に於ての LTP 誘導を妨げる、という優性抑圧傾向によって特徴付けられます。
> MR2メモリスタ荷重の進展（図3c ）は、 BA synでの妨げられる LTP 誘導、である所の両 BN / ANpost 低レート自発活動、としての優性抑圧傾向によって特徴付けられます。 ?
> MR2メモリスタ荷重の進展（図3c ）は、 LTP 誘導を BAsyn に於て両 BN / ANpost 低レート自発活動が妨げるという優性抑圧傾向、によって特徴付けられます。 ?
> ? 持続的なBN発火の短い時期にのみ可塑性の極性 ry 変化し（ ry ）、2つのニューロンのスパイクトリガーと同期につながる高 ry 的な合計が優先されます。
> BN が発火しているその持続中たる短期間各々、のみに亘って可塑性極性が変化（図3cの黒いデータポイント）し、従って、各スパイクをトリガする事へとそしてここでのニューロン 2 つを同期する事へと誘導している高周波BA syn入力群の時間的合計 ( 値 ) が優先されています ( ? 訳注 : 優性抑圧傾向 ) 。
>
>
> 図3 http://nature.com/articles/s41598-020-58831-9/figures/3# http://media.springernature.com/lw685/springer-static/image/art%3A10.1038%2Fs41598-020-58831-9/MediaObjects/41598_2020_58831_Fig3_HTML.png
>
> 地理的に分散した回路：リターンパスウェイ。
> ? ry ）で可塑性極性を示す影のある領域でのBN ry 。
> （ a ） AB syn （破線より上）およびBA syn （破線より下）の、可塑性極性示すシャドー領域 ( 訳注 : 複製された領域 ? 図に色付 ( LTP ⇔ LTD ) された領域 ? ) を伴った BN発火率。
> ? ry ）スパイク後の頻度。
> （ b ） ANpost スパイク頻度。
> ? スパイクアクティビティの増加（変動の割合として ry ）が、BN発火と一致する実行の途中で観察 ry 。
> BN 発火との一致を伴ったスパイクアクティビティ増加（変動のパーセンテージとして表される）が、実行の中程で観察され、その後ベースラインに戻ります。
> ? ry BA シン重量の進化。
> （ c ） BAsyn 荷重の進展。
> ? ry AN ポストの ry 、2つのニューロンのBN励起および同期中に一時的に「 ry ）に戻る強い抑うつ傾向 ry を引き起こし ry 。
> 「なし」（黒）に一時的にだけ戻す為の強い抑圧傾向（青）を BNおよびANpost の低レートスパイクは、 BN 興奮状態であり且つニューロンそれら 2 個同期化状態であるその最中に引き起こしました。
> すべてのパネルに共通のX軸。
>
> フルサイズの画像 http://media.springernature.com/full/springer-static/image/art:10.1038/s41598-020-58831-9/MediaObjects/41598_2020_58831_Fig3_HTML.png

> 討論
>
> ? 概念を紹介し、シナプスの実現 ry しました。これは、人工スパイクニューロン ry するシナプスにヒントを得た2つの神経電子リンクです。
> 我々は、スパイキング人工ニューロンと脳ニューロンを接続する所の、シナプスに着想を得ている神経電子リンク 2 つたる、各シナプタそれらのコンセプトを導入しそして実現可能性を実証しました。
> ? ry 、 AB synおよびBA synは、それぞれ、生物学的シナプス ry の基本機能であるシグナル伝達と ry 処理を ry 人工から生物学へ、および生物学から人工 ry を可能にしました。
> 2つの異なるシナプター、 ABsyn と BAsyn は各々に、生物学シナプスの2つの根本機能である所のシグナル伝送と可塑性媒介シグナル処理とをエミュレートすることで、人工からバイオロジカルへ、およびバイオロジカルから人工へのコミュニケーションを、可能たらしめました。
> ? ここでの焦点は、興奮特性を ry 。
> ここでの我々の焦点は、興奮性特徴を持つシナプターのデモンストレーションにありました。
>
> ? シナプスは、信号伝送用と可塑性用の2つの個別の物理 ry コンポーネントに ry ました。
> シナプタは、 2 つの単離な各物理的電子コンポーネントに依存して実装されました : 信号伝送用 1 つと可塑性用 1 つ。
> 生体から電子（ BA syn内）および電子から生体（ AB syn内）への信号伝送は、微小電極を介して実現されました。
> BA synの場合、全細胞構成のパッチクランプ微小電極が生体ニューロンのスパイクを記録しました。
> ? この侵襲的ソリューションは、報告 ry 実験を通して非常にきれいな方法でBNのAB シン活性に対する閾値下の応答 ry する機会を与えたため、非 ry よりも好まれました。
> 非常にクリーンなやり方で ABsyn 活性に対する BN 閾値下応答をキャプチャする為の機会それをここでの報告されているダイシナプター回路実験に亘って我々に与えたものとしての、この侵襲的ソリューション、は非侵襲的細胞外微小電極よりも優先されました。
> ? ry 法とも互換性があります。
> それにもかかわらず、 BA synは、非侵襲的生体電子インターフェース19を介した細胞外スパイク記録法と互換でありもします。
> ? それでも、 ry 、信号伝送は厳しい課題でした。
> それでもまだ、 AB synの場合、厳格な課題を信号伝送は精緻に提示しました。
> ? この電子から生物学への ry スパイクは ry 後、生物学的ニューロンのEPSPと同様の応答 ry よって送信する ry 。
> 電子からバイオロジカルへのこの信号経路に沿って、人工ニューロンから記録されたスパイク群は、適切な重み付けの後、生物学ニューロンの EPSPs 、に似た応答を引き出すこと ( 原文 : eliciting ) によって転送する必要がありました。
> ? ry 的で微調整可能な刺激を実現するTiO ry を展開しました。
> そのために、非侵襲的であり且つ刺激ファインチューン可能である事を実現している TiO 2薄膜容量性微小電極技術13、20 、を我々は展開しました。
> ? 「 ry スパイクによって引き起こされる薄膜を介した容量性刺激は、時間ダイナミクスの点でEPSPに似ており、シナプス重量に ry に振幅を調整できる電圧 ry 開口部を介して膜の脱分極を引き起こし ry 。
> 「シナプス前」スパイク群によってトリガされた薄膜経由容量性刺激は、膜の各脱分極を、EPSPs に時間的ダイナミクスの点で似ている所の ( 原文 : that resembled EPSPs in terms of temporal dynamics ) 、そして振幅をシナプタ荷重に一致するように調整できる所の、電圧ゲートチャネル開口、を介して引き起こしました。
>
> ? ry のシナプスで可塑 ry の中心にありました。
> TiO xメモリスタは、両方のシナプタに於て可塑性エミュレーションのコアにありました。
> ? ry は、1つのメモリスタ（シナプスごと）を ry プログラミングして実装され、シナプスの重みを格納します。これは、BCM ry モデルに基づく ry よってリアルタイムで計算および更新されます。
> 可塑性は、メモリスタ 1 つ（シナプス 1 つ毎に）をパルスプログラミングする事によって、シナプタ荷重をストアする様に、実装されました。そこでは、BCMにヒントを得たモデルそれに基づく可塑性アルゴリズムによっての計算と更新とがフルタイム ( 訳注 : ここでは実時間等速の意 ( 原文 : real-time ) ) で行われました。
> ? ry の重みは、シリコン ry への現在の注入に変換され ry 。
> BA synの各荷重は、シリコンニューロンへの電流注入へとコンバートされました。
> ? 代わりに、 AB syn重みは、容量 ry 電極を介して生体ニューロンに送達される脱分極電圧刺激に変換され ry 。
> AB syn の各荷重は、代わりに、生体ニューロンへと容量性微小電極を通って送達された脱分極電圧刺激へと、トランスフォームされました。
> ? ry シナプスを類推 ry により、容量 ry 電流に対応しました。メモリスタ ry 性によるAMPA ry でした。可塑 ry 変化につながる分子 ry （NMDA依存メカニズムなど）をまとめて表しています。
> したがって、 AB synと興奮性グルタミン酸作動性シナプスとを類推する事を以てすると、容量性刺激によって誘導される膜貫通電流は、グルタミン酸AMPA受容体を通る電流に当嵌ります ; メモリスタの抵抗状態は、長期可塑性駆動な AMPAコンダクタンスの変化でした ; 可塑性アルゴリズムが、AMPAコンダクタンスの変化へと誘導している分子メカニズム（ eg, NMDA 依存メカニズム）をまとめて象徴しています。
>
> ? 報告 ry シナプターの機能を示しています。
> この報告されているダイシナプター回路は、可塑性駆動ハイブリッド回路内の2種類のシナプターの官能性 ( 機能性 ) を展示しました。
> ? 概念的には、この ry シナプスに触発された通信経路を介して脳とシームレスに相互作用するスパイク ry アーキテクチャに ry を示しています。
> コンセプト的に、この回路は、シナプスに着想を得た全脳通信経路群を伴った、シームレス相互作用するスパイクニューロンのニューロモーフィックアーキテクチャ、によって形成される基本的なBCIを実証します。
> 私たちのデモンストレーションは、議論に値する2つの観察につながります。
> まず ( 原文 : First, ) 、私たちが選んだ実験設定は、長距離通信する3つのニューロンのフィードフォワードチェーンの設定でした。
> チェーンは、単一の信号入力によって制御されます：チェーンの開始時のニューロンの強制発火（ AN pre ）。
> ? ry で、完全に電子化された脳に触発されたシステムとは ry に、生物学はネットワークの挙動を分析的に予測 ry 困難にする非決定的なコンポーネント ry ことに注意してください。
> この時点で、我々が註記するのは、脳に着想を得た完全電子化システムそれらとは対照的に生物学が、ネットワーク挙動を分析的予測することを困難に成らせる ( 原文 : render ) 所の非決定的コンポーネント群を導入することです。
> ? ry は、そのよう ry を最初に記述し、次に信頼 ry するという課題 ry 。
> これは、まず、そのようなハイブリッドシステムの機能を記述できる様になり、次に、信頼できるベンチマーク戦略を開発する、という各チャレンジを提起します。
> ? ry 場合、この現象は、示され ry ように、順 ry シナプスでの可塑性相の制御が良好なパターンとして現れ、それから ry シナプスでの可塑性誘導のより直接制御されていないパターン（ ry 形式）として現れます図3c
> 私たちの場合に於ては、この現象 ( 訳注 : 上記註記内の対照的な例 ) はそれ自身を、順方向経路シナプスにあっては、良好に制御された可塑性フェーズ群のパターンとして顕現させ、そしてそれから、逆方向経路シナプスにあっては、制御直接性小な可塑性誘導（LTD / none / LTD形式の）のパターンとして顕現させます、図 3c に示されているように。
> ? ただし、この動作は、補足 ry ように、繰り返し（ ry 実行中に再現されるため、結果の少なくともある程度の一貫 ry 、コンセプトとその基盤となるハード ry が動作することを検証しています）正しく）。
> この振舞は、但し、補足図7に示すように（検証）実行の繰返しに亘って再現され、従って結果の少なくとも幾らかの一貫性が期待できることを示しています（また、このコンセプトそれ、と、それの根底に横たわるハードウェア/ソフトウェアインフラストラクチャが正しく動作すること、とを検証してもいます）。
>
> ? ry 、有線接続だけでなく、インターネット上でのシナプス操作の ry 。
> 第二に、この実験は、電線接続 ( 訳注 : 非 IP ? ) だけによるのでなくそしてインターネット上ででも、シナプタ動作の成功を示しています。
> ? 重要 ry 、シナプスは地理的に分散したシナプスであり、シナプスのさまざまなコンポーネントが物理 ry 場所にあると理解 ry です ry 、重量はメモリスタ ry 実行アームは ry インターフェースにあります）。
> 殊更重要なのは、シナプタ群を、物理的に別々の場所に配置されたシナプスコンポーネントさまざまを伴った、地理的分散シナプス群として理解できることです（たとえば、重みはメモリスタに格納され、シナプスの実行機関は容量性/電流注入インターフェースに配置されます）。
> ? UDP ry ため、これ ry こと ry 。
> これを達成することは、 UDP伝搬遅延（通常は可変 ( 訳注 : 一定ならざる ) であり、したがって制御が難しい）の処理などの問題を解決する必要があるため、簡単ではありません。
> ? ry ため、セカンダリ ry のスパイク ryに参照する手法を ry ）、 ry 。
> そのため我々は、各セカンダリパートナーの各スパイクをプライマリパートナーへとリファレンスさせ ( 訳注 : 間接アクセス ) るテクニックを採用し（方法のセクションを参照）且つ、レート依存の可塑性を使用しました。
> ? 参照技術により、リモートメモリスタのセットアップが効果的に表示され、セカンダリ ry 隣に座っている ry に動作するため、シナプス全体が1 ry にあるかのように見えます。
> そのリファレンシングテクニックは、セカンダリパートナーの隣に据えられているかのように現出し動作する所のリモートメモリスタセットアップを効果的に成し、結果的に、 1か所に配置されかの様に現出するシナプタその全体を成しています。
> これは、プライマリパートナーからセカンダリパートナーへの通信が一方向の場合、バイオハイブリッドネットワークの動作からインターネットネットワークの遅延を ( 訳注 : 一まず ) 事実上完全に排除できることも意味します。
> ? ry ヨーロッパ接続全体で ry 示し、接続 ry 。
> 参考までに、UDPタイミング測定は、ヨーロッパ縦断接続で10-90ミリ秒の可変静的遅延を示し、その接続に沿った個々のUDPパケットのタイミングは2ミリ秒未満で変化します。つまり、パルスの相対タイミングは安定します。
> ? ry この手法を使用して往復遅延を完全に補償することはできません ry 。
> ただし、このテクニックを使用してのラウンドトリップ遅延完全補償は達成できません（閉ループシステムは、ラウンドトリップ遅延を許容できる必要があります）。
> ? ry 、シナプスは、物理的シナプスのような要素 ry ニューロンの地理的に分散したハイブリッド ry 。
> それにもかかわらず、シナプタ群は、物理的なシナプス的要素を介して接続された人工および生物学的ニューロン、の地理的分散ハイブリッドネットワークの最初の例を表します。
> ? ry に、脳の進化は空間的に限定された接続 ry に直面 ry が、シナプターはその ry 克服し、世界的に相互接続された混合生物学/脳に触発されたアーキテクチャを可能にするのに適しています（少数のサブ ry ネットワークのホストグループから）世界中のPCからIoTで相互接続されたデバイスの巨大なウェブへの潜在的なアクセス）。
> 興味深いことに、空間的閉塞な接続性という、厳しい物理的制約に脳進化は直面しなければなりませんでしたがシナプタは、そのような障壁を克服してバイオロジカルなと脳インスパイアなとの混交たるグローバル相互接続アーキテクチャ ( 世界中の少数 PC ホストの上でのサブニューラルネットワーク小グループ、から、潜在的には巨大な IoT 相互接続機器ウェブ、まで ) を可能たらしめるに適しています。
>
> ? 観点から見ると、シナプターは信号 ry 両方に関して改善に適して ry 。
> 展望としてシナプタは、信号伝送と可塑性エミュレーションの両方にとっての重要さを伴う改善の為に適しています。
> ? ry 高め、 ry することができ、生体内のインターフェースは、生きている動物のBCIへのシナプスの使用を拡張 ry 。
> ナノスケール電極21、22、23、24は、インターフェースの品質を高める事と、神経区画の選択性を提供する事とができ、そして in vivo インターフェースは、生きた動物の中の BCI へとシナプタ用途を拡張します5 。
> ? 低電圧で動作するメムリスティブデバイス25の ry 開発は ry 役立ち、可塑 ry （STDPなど） ry 27は、スマートのアプリケーション ry 拡大しますバイオ ry BCI。
> 低電圧動作メモリスタデバイスの分野での開発 25 は、信号増幅の負担を軽減するのに役立ち、そもそも、可塑性のアナログエミュレーションと位相依存可塑性ルール（eg STDP）への拡張26、27 と、はスマートバイオエレクトロニクス医薬品およびBCI のアプリケーションの可能性をさらに拡大するでしょう。
> ? ry 、シナプスは ry 適応生体電子制御（ ry よる心不整脈、高血圧または膀胱機能障害の治療）のため、 ry リハビリテーションに使用され得る）。
> 例えば、シナプタは、自律反射の適応バイオエレクトロニクス制御の為に（例えば、末梢神経系の神経刺激による、心不整脈か高血圧か膀胱機能障害か、の治療の為に）、または神経患者（例えば、脊髄損傷またはパーキンソン病）の治療およびリハビリテーションの為に、採用され得る。

> 方法
>
> ? ry とAER ry
> シリコンスパイクニューロンとそして AERベースの通信
> ? ry 的な側面の中心部 ry 、再構成可能なオンライン ry 。これには、シナプス29および長期の可塑性（STP）可塑性（LTP）の用語30 。
> このバイオハイブリッドシステムの人工的側面の中央部は、リコンフィギュラブルオンライン学習スパイキングニューロモルフィックプロセッサ（ROLLS） 28によって形成されます。これはシナプスの、短期可塑性（STP）特性 29 と長期可塑性（LTP）特性 30 とをエミュレートする事となるニューロモーフィック CMOS 回路を含みます。
> さらに、このプロセッサは、適応指数関数的積分発火ニューロン31のモデルを実装する混合信号アナログデジタル回路を備えています。
> ? ry を使用する ry 送信/送信されます。
> 入力および出力スパイクは、アドレスイベント表現（AER） ( 訳注 : 分散 OS Amoeba に於けるケーパビリティの様なもの ? ) 通信プロトコル32を採用する非同期IO論理回路を使用して、チップから送信/転送されます。
> チップは、インターネットからUDPパケットを受信するホストPCに接続されています。
> ? ry と対応するシナプスの重みに ry 情報が含まれて ry 。
> これらのパケットには、刺激の宛先とそれに対応したシナプス荷重とに関する情報が収容されています。
> ? ry プロセッサに伝達されます。
> この情報は、FPGA（Field Programmable Gate Array）デバイスによってデコードされ、ニューロモーフィックプロセッサへと運搬されます。
> ? ry では、CMOS ry 回路のパラメーターを設定して、長い時定数で弱い興奮 ry 電流（EPSC）を生成し、高周波刺激が結果のEPSCの正味の振幅に加算効果を引き起こすようにしました。
> この研究では、結果的 EPSC ( excitatory postsynaptic current , 興奮性シナプス後電流 ) の総体的振幅 ( 原文 : the net amplitude ) に於ての加算効果、を高周波刺激が引起こす様な、大時定数を伴った弱い EPSCs 、を生成する為の CMOSシナプス回路パラメータが設定されました。
> UDPパケットにエンコードされた重みの値は、FPGAによってニューロモーフィックプロセッサに送信されるさまざまな周波数のスパイク列を生成するために使用されました（補足図4も参照）。
> ? UDP ry 到着する信号に加えて、ローカルで生成されたスパイク列がニューロ ry プロセッサに送信され、バックグラウンドアクティビティを誘発する ( 原文: evoking ) ための制御 ry 提供しました。
> バックグラウンドアクティビティ誘発用の制御された刺激を提供する為に、ローカル生成なスパイク ( ? 訳注 : AER ) 列が、 UDPインターフェイスから到着している信号 ( ? 訳注 : AER ) 群へと加えられて、ニューロモーフィックプロセッサ ( ? 訳注 : 端末 ) へと送信されました。
> このシステムを補足図4に示します。
>
> メモリスタ
> ? ry 評価およびテスト機器33の内部に ry デバイスの配列で ry 。
> Memristive シナプスのセットアップは、ArCメモリスタ特性評価/テスト機器内に配置されたメモリスタデバイスアレイで構成されていました33（補足図5。http://www.arc-instruments.co.uk/ ）。
> この機器は、UDPを介したすべての通信を処理するPCによって制御されます。すべてpythonベースのユーザーインターフェースを通じて。
> ? ry ニューロンまたは生物学的ニューロン（いつ発火したか）の発火 ry 情報を ry パケットに ry 。
> ソフトウェアは、人工ニューロンか生物学ニューロンかどちらか、の発火に関する情報 ( その者が発火したのはいつなのか ) を運ぶUDPパケット、に反応するように構成されています。
> ? ry が受信されると、それ ry IDとスパイクの時間の両方 ry され、どの ry がシナプスの前と後かを決定するため ry ます。発砲セル。
> パケットが一旦受信されてしまえば、それを放出したニューロンのIDと、スパイクの時間と、の両方がパケットペイロードから取得され、そしてどのニューロンが、シナプス前、また細胞発火に向けてのシナプス後、なのかの決定を実行させるために、神経接続マトリックス（サウサンプトンのセットアップで保持）が調べられます。
> ? 次に、可塑 ry 満たされると、ArC機器はメモリパルスを適用して、記憶的シナプスの抵抗状態を変化させます。
> そうして、もしもその可塑性条件が満たされたならば、メモリスタシナプスそれらがそれらの抵抗状態変化を引起こす所の各プログラミングパルスを ArC 機器が適用します。
> ? ry は、セットアップがLTPタイプまたはLTDタイプの可塑性のどちらを適用 ry を制御できる ry が、パルスが適用されると、可塑性の大きさを ry デバイスの応答です。
> 重要なのは、 LTP タイプか LTD タイプかのどちらの可塑性を適用するかを各ケースに於てセットアップが制御する事ができることですが、それらパルスが一旦適用されてしまえば、可塑性マグニチュードを決定するのはデバイス反応です。
> ? ry 率の変化は不揮発性であり、プロトタイプ実験でも例示されているように、少なくとも ry 保持されるため、自然なシナプス ry 完全に互換性があります。
> 特に、デバイスの抵抗率の各遷移は、不揮発性であり我々のプロトタイプ実験で例示されてもいるように少なくとも数時間以上保持され 27 そして、自然のシナプスの典型的なLTPおよびLTD時間スケールと完全互換です。
> このシステムは、ネットワーク全体（チューリッヒ、サウサンプトン、パドバ）内でタイミングを処理するための特定の方法論によって支えられています。
> ? ry パドヴァをつなぐノードであるサウサンプトン ry 全体的な処理 ry 。
> チューリッヒとパドヴァとを一緒にリンクするノードになるサウサンプトンでのセットアップは、時間の全体的処理を制御します。
> ? ry （この場合 ry するすべてのタイミング情報が ry 。
> このシステムでは、パートナーの1つ（我々の場合はチューリッヒ）が「プライマリパートナー」としてラベル付けされ、そのパートナーから到着するタイミング情報全てがグラウンドトゥルースとして扱われます。
> 他のパートナーが送信するすべてのタイミング情報は、このグラウンドトゥルースに関連している必要があります。たとえば、プライマリパートナーが、ニューロン12が時間305にスパイクを発すると言った場合、セカンダリパートナー ( 原文 : the secondary partner(s) ) はこれについて（サウサンプトンを通じて）通知されます。
> ? 次に、セカンダリ ry セットアップのニューロンがニューロン ry された後、5時間単位で発火した場合（ ry ）、サウサンプトンに、たとえば ry したことを通知 ry を送信します。
> もしもその次にセカンダリパートナーセットアップ内のニューロンが、ニューロン12の発火を通知されている時点の 5 単位時間（壁時計で測定）の後に発火した場合、サウサンプトンへと、たとえばニューロン55が時刻310に発火した、と通知するパケットを発します。
> ? このようにして、プライマリ ry と、それに応答してセカンダリパートナーに ry との間 ry 的なタイミングは、ネットワークの遅延にもかかわらず維持 ry 。
> プライマリパートナーから到着するスパイクとそして応答してのセカンダリパートナー ( 達 ) によってトリガーされるスパイクと、の間の相対的タイミング、というこの方式は、ネットワークの如何なる遅延にあってさえ維持されます。
> ? 価格は、セカンダリ ry がスパイク ry パートナーに伝達 ry 場合、ラウンドトリップ ry がセカンダリからプライマリへの経路に負担 ry 。
> スパイクをプライマリパートナーへともしも各セカンダリパートナーが伝達したい場合の The price ( ? 訳注 : 21 世紀初頭近辺時点での物価 ≒ 暫定コスト ) は、セカンダリtoプライマリ経路にラウンドトリップ全体のネットワーク遅延が負担をかけることです。
> ? ry 詳細はかなり複雑で、各 ry が、すべてのタイミング情報は最終的にサウサンプトンで保持される「 ry レコードにエンコードされます。
> 各パートナーサイトでのタイミング制御の詳細は、かなり複雑で且つ、各パートナーの設定 ( 原文 : the set-ups at each partner ) によって制約されますが、タイミング情報全てはサウサンプトン保持な「絶対時間」レコードに最終的にエンコードされます。
> ? ry は、少なくとも ry パートナーへの経路でタイミング制御がネットワーク ry して可塑性を維持するために十分にタイト ry 。
> この設計の決定の背後にある根拠は、ネットワーク遅延に直面しての可塑性維持にとって少なくともプライマリからセカンダリパートナー ( 達 ) への経路ではタイミング制御が ( 訳注 : 一まず ) 充分タイトであることを保証することでした。
>
> ニューロン培養および電気生理学
> ? ry 従ってCMEAにプレーティング ry 。
> 胚性（E18）ラット海馬ニューロンを、34で詳細に説明されている手順に従って、 CMEA に於てプレーティングおよび培養しました。
> 記録は、8-12 DIV ( ? 訳注 : days in vitro , 試験官内での日数 ) ニューロンで実行されました。
> ? UNIPD（ ry ）の実験セットアップでは、UDPによってトリガーされるニューロンの容量性刺激が可能になりました13と同時に、パッチクランプ ry 記録によって測定された脱分極の発生をUDP経由で記録および通信しました。
> 測定をパッチクランプ全細胞記録でされた脱分極各々の発生を記録しつつ且つ UDP 経由通信しつつ、それとの同時的な、それらニューロン ( へと ) の UDP トリガされた容量性刺激 13 、を UNIPD ( ? 訳注 : Padova 大学 ) の実験セットアップ（補足図1）は可能たらしめました。
> ? ry のソフトウェア ry ）。
> CMEA（20×20の独立したTiO2コンデンサ、それぞれ面積50×50μm2）は専用の刺激ボードによって制御され、パートナーであるサウサンプトンとチューリッヒへのすべての接続は、LabVIEWベースの PC 稼働ソフトウェア（National Instruments Corp、Austin、TX、USA）によって管理されました。
> 刺激プロトコルは13から派生し、ニューロンの非侵襲的な調整可能な刺激のためにさらに最適化されました。
> ? ry 、適切な刺激 ry 、シナプスの ry 。
> 簡単に言えば、容量性刺激は、好適刺激波形の繰り返し数を変更することによって、メモリスタの抵抗（つまり、シナプタの重み）に調整されました（補足図1）。
> ? パッチクランプの記録は、PCI-6259 PCIカード（National Instruments Corp, Austin, TX、米国）。
> パッチクランプの記録は、 PCI-6259 PCIカード（National Instruments 社, オースティン, テキサス、米国）に加えての BNC-2110 シールド済コネクタブロック ( National Instruments Corp, Austin, TX, USA ) を経由して PC へと接続された、 Axopatch 200B アンプ ( 分子デバイス、米国 ) を用いて全細胞カレントクランプ構成で実施された。
> WinWCP（Strathclyde Electrophysiology Software、University of Strathclyde、Glasgow、UK）をデータ取得に使用しました。
> ? ry ）から引っ張られました。
> マイクロピペットは、P-97 Flaming / Brown Micropipette Puller（Sutter Instruments Corp.、Novato、CA、USA）を使用して、ホウケイ酸ガラス毛細管（GB150T-10、Science Products GmbH、ホフハイム、ドイツ）でプルされました。
> ? ry 7.3に調整）。
> 実験中に使用した細胞内ピペット溶液と細胞外溶液は、それぞれ（mMで）6.0 KCl、120 Kグルコン酸塩、10 HEPES、3.0 EGTA、5 MgATP、20スクロース（ 1N KOHでpH 7.3に調整）; 135.0 NaCl、5.4 KCl、1.0 MgCl2、1.8 CaCl2、10.0グルコース、5.0 HEPES（ 1N NaOHでpH 7.4 に調整）。
> ? ry カスタムのLabVIEW ry 通じて発砲とEPSPアクティビティの ry 識別が可能 ry 。
> デジタル化された記録は、PCで実行されているカスタム LabVIEWソフトウェアによって分析され、閾値アプローチを通じて発火とEPSPアクティビティとの検出と識別とが可能になりました。
>
> すべての実験は、科学的目的での動物の使用に関するイタリアおよびヨーロッパの法律と、パドバ大学の倫理委員会およびイタリア保健省によって承認されたプロトコル（承認番号522 / 2018-PR）に従って実施されました。
>
> 参考文献
>
> 1。
> O’Doherty、J。E. etal。ブレイン・マシン・ブレイン・インターフェースを使用したアクティブな触覚探索。 Nature 479、228 231（2011）。 *ADS *記事 *GoogleScholar
> 2。
> Hampson、R。E. etal。人間の記憶の符号化と想起を容易にするための海馬神経補綴物の開発。 J. NeuralEng。 15、036014（2018）。 *ADS *記事 *GoogleScholar
> 3。
> ? ry インターフェースの翻訳。 ry 210ps17 210ps17 ry
> Thakor、N.V。ブレインマシンインターフェースをトランスレートする。科学翻訳Med。 5、210ps17-210ps17（2013）。 *記事 *GoogleScholar
> 4。
> ミード、C。ニューロモーフィック電子システム。手順IEEE 78、1629 1636（1990）。 *記事 *GoogleScholar
> 5。
> ? ry ：脳を介した「 ry 向けて-「脳に触発されたシステム」コミュニケーション。前面。 Neurosci。 ry 。
> Vassanelli、S。＆Mahmud、M。神経工学の動向と課題：脳-「脳に着想を得たシステム」コミュニケーションを介した「インテリジェント」神経プロテーゼに向けて。 Front. Neurosci。 10（2016）。
> 6。
> ? ry を備えた双方向 ry 。前面。 Neurosci。 ry 。
> Boi、F。etal。ニューロモーフィックハードウェアデコーダーをフィーチャしている双方向ブレインマシンインターフェース。 Front. Neurosci。 10（2016）。
> 7。
> Wei、S。L. etal。 memristiveデバイスを使用して長期的なシナプスダイナミクスをエミュレートします。 ArXiV。 1509、01998（2015）。 * Google Scholar
> 8。
> Berdan、R。etal。 memristiveデバイスを使用して短期間のシナプスダイナミクスをエミュレートします。科学的なレポート。 6（2015）。
> 9。
> Burr、G。W. etal。シナプスの重み要素として相変化メモリを使用した大規模ニューラルネットワーク（165 000シナプス）の実験的デモンストレーションとトレランス。 IEEETrans。 Electron Devices 62、3498 3507（2015）。 *ADS *記事 *GoogleScholar
> 10。
> ? ry デバイス。ナットナノテクノール。 8、13 24 ry
> Yang、J。J.、Strukov、D。B.＆Stewart、D.R。コンピューティング用のMemristiveデバイス。 Nat. Nanotechnol. 8、13-24（2013）。 *ADS *CAS *記事 *GoogleScholar
> 11。
> ? ry スパイクのリアルタイムエンコーディングと圧縮。ナットコミュン。 7 ry
> Gupta、I。etal。金属酸化物メモリスタによるニューロンスパイクの実時間等速のエンコーディングと圧縮と。 Nat. Commun. 7、12805（2016）。 *ADS *CAS *記事 *GoogleScholar
> 12。
> ? ry ロードマップ。ナットドラッグディスコフ牧師。 13 ry
> バーミンガム、K。ら。バイオエレクトロニクス医薬品：研究ロードマップ。 Nat. Rev. Drug Discov. 13、399-400（2014）。 *CAS *記事 *GoogleScholar
> 13。
> Schoen、I。＆Fromherz、P。シリコンチップ上の弱い容量性電流によるNa +チャネルの反復活性化による哺乳類ニューロンの細胞外刺激。 J.ニューロフィジオール。 100、346 357（2008）。 *記事 *GoogleScholar
> 14。
> ? ry セットアップのイベントベースの ry ）1 4、 ry
> George、R.、Mayr、C.、Indiveri、G。＆Vassanelli、S。構造可塑性に適用されるバイオハイブリッドセットアップに於けるイベントベースのソフトコアプロセッサ。 2015年、イベントベースの制御、通信、および信号処理に関する国際会議（EBCCSP）1-4、http：//doi.org/10.1109/EBCCSP.2015.7300664（IEEE、2015）。
> 15。
> Rast、A。D. etal。場所に依存しないダイレクトリンクニューロモーフィックインターフェイス。 2013 International Joint Conference on Neural Networks（IJCNN）1 8、https：//doi.org/10.1109/IJCNN.2013.6706887（IEEE、2013）。
> 16。
> ? ry を結合する ry 。前面。 Neurosci。 ry 。
> Keren、H.、Partzsch、J.、Marom、S。＆Mayr、C.G。生物学的ニューラルネットワークとニューロモーフィックニューラルネットワークをカップリングするためのバイオハイブリッドセットアップ。 Front. Neurosci。 13（2019）。
> 17。
> ? ry 海馬のCA1 ry おけるホモシナプスの長期抑制およびN-メチル ry 影響。手順国立Acad。科学USA 89、4363 4367 ry 。
> Dudek、S。M.＆Bear、M.F。海馬CA1領域におけるホモシナプティック長期脱増強とそして N-メチル-D-アスパラギン酸受容体遮断の影響。 Proc. Natl. Acad. Sci. USA 89、4363-4367（1992）。
> *ADS *CAS *記事 *GoogleScholar
> 18。
> ? ry 30時のシナプス ry 。ナット神経科学牧師。 13、798 810 ry 。
> Cooper、L。N.＆Bear、M。F. 30 の場合に於けるシナプス修飾のBCM理論：理論と実験の相互作用。 Nat. Rev. Neurosci. 13、798-810（2012）。
> *CAS *記事 *GoogleScholar
> 19。
> ?ry Cogn。コンプトゥス。 4、71 81 ry 。
> Vassanelli、S.、Mahmud、M.、Girardi、S。＆Maschietto、M。大規模で高解像度のブレインチップインターフェースへの道のり。 Cogn. Comput. 4、71-81（2012）。
> *記事 *GoogleScholar
> 20。
> ? ry ニューロンのCa2 +信号 ry ニューロサイエンス。メソッド198、1 7 ry 。
> Giacomello、M。etal。電気的に結合された電解質-酸化物-半導体コンデンサによるニューロン内 Ca2+ 信号の刺激。 J.ニューロサイエンスメソッド198、1-7（2011）。
> *CAS *記事 *GoogleScholar
> 21。
> Spira、M。E.＆Hai、A。神経科学および心臓病学のための多電極アレイ技術。ナットナノテクノール。 8、83（2013）。
> *ADS *CAS *記事 *GoogleScholar
> 22。
> Alivisatos、A。P. etal。神経科学および脳活動マッピングのためのナノツール。 ACS Nano 7、1850 1866（2013）。
> *CAS *記事 *GoogleScholar
> 23。
> ? ry 。 Curr。意見。 Neurobiol。 32、132 140 ry
> Angle、M。R.、Cui、B。＆Melosh、N.A。ナノテクノロジーと神経生理学。 Curr. Opin. Neurobiol。 32、132-140（2015）。
> *CAS *記事 *GoogleScholar
> 24。
> ? ry ＆Lieber、C。M.Nanoscienceとナノバイオエレクトロニクスのフロンティア。 NanoRes。 8、1 22 ry
> Duan、X。& Lieber, C. M. ナノバイオエレクトロニクス最前線とナノサイエンス。 NanoRes。 8、1-22（2015）。
> *記事 *GoogleScholar
> 25。
> ? ry のメモリスタデバイスの漸進 ry 。 Appl。物理学レット。 109 ry 。
> Brivio、S。etal。 HfO2ベースの記憶装置の漸進的/急激なダイナミクスの実験的研究。 Appl. Phys. Lett. 109、133504（2016）。
> *ADS *記事 *GoogleScholar
> 26。
> ? ry B。ニューロモーフィック学習システムをスパイクするためのメモリスタを使用したSTDP ry STDPのバリエーション。前面。 Neurosci。 7 ry 。
> Serrano-Gotarredona、T.、Masquelier、T.、Prodromakis、T.、Indiveri、G。＆Linares-Barranco、B。スパイキングニューロモーフィック学習システムのためのメモリスタを使いての STDPおよびSTDPバリエーション。 Front. Neurosci. 7（2013）。
> 27。
> ? ry 。多状態金属酸化物記憶シナプス ry 。ナットコミュン。 7 ry 。
> Serb、A。etal。マルチステート金属酸化物メモリスタシナプスを伴う確率的ニューラルネットワークにおける教師なし学習。 Nat. Commun. 7（2016）。
> 28。
> ? ry される再構成可能なオンライン学習スパイクニューロモーフィック ry 。前面。 Neurosci。 9 ry 141 。
> Qiao、N。etal。 256個のニューロンと128K個のシナプスで構成されるリコンフィギュラブルオンライン学習スパイキングニューロモーフィックプロセッサ。 Front. Neurosci. 9、141（2015）。
> *記事 *GoogleScholar
> 29。
> ? ry おける短期シナプス鬱病の ry 。ニューラル計算。 15、331 348 ry 。
> Boegerhausen、M.、Suter、P。＆Liu、S.-C。シリコンにおけるシナプス短期脱増強のモデリング。 Neural Comput. 15、331-348（2003）。
> *記事 *GoogleScholar
> 30。
> ? ry VLSIでスパイクベースの学習 ry のリアルタイム分類 ry 3、32 42 ry 。
> Mitra、S.、Fusi、S。＆Indiveri、G。ニューロモーフィックVLSIでのスパイクベース学習を使用した複雑なパターンの実時間等速な分類。 IEEETrans。 Biomed。 CircuitsSyst。 3、32-42（2009）。
> *CAS *記事 *GoogleScholar
> 31。
> Livi、P。＆Indiveri、G。アドレスイベントニューロモーフィックシステム用の電流モードコンダクタンスベースのシリコンニューロン。 2009年、IEEE International Symposium on Circuits and Systems 2898 2901 http://doi.org/10.1109/ISCAS.2009.5118408 （IEEE、2009）。
> 32。
> Deiss、S.、Douglas、R。＆Whatley、A。ニューロモーフィックシステム用のパルスコード化通信インフラストラクチャ。パルスニューラルネットワーク。 157 178（1999）。
> 33。
> Berdan、R。etal。セレクターレスRRAMクロスバーアレイとインターフェースするためのu-Controllerベースのシステム。 IEEETrans。 Electron Devices 62、2190 2196（2015）。
> *ADS *CAS *記事 *GoogleScholar
> 34。
> Antonucci、D。E.、Lim、S。T.、Vassanelli、S。＆Trimmer、J.S。海馬ニューロンの発達における樹状突起Kv2.1電位依存性カリウムチャネルの動的局在化とクラスター化。 Neuroscience 108、69 81（2001）。
> *CAS *記事 *GoogleScholar
> 35。
> Indiveri、G。etal。ニューロモーフィックシリコンニューロン回路。前面。 Neurosci。 5、73（2011）。
> * PubMed * PubMed Central * Google Scholar
> 36。
> ? ry メモリ動作。科学担当者7（ ry
> Stathopoulos、S。etal。金属酸化物2層メモリスタのマルチビットメモリオペレーション。 Sci. Rep. 7（2017）。
>
>
> 参考資料のダウンロード
>
> 著者情報
> 所属
>
> サウサンプトン大学エレクトロニクスフロンティアセンター、サウサンプトン、SO17 1BJ、英国
>
> Alexantrou Serb、Ali Khiat、Themistoklis Prodromakis
>
> パドヴァ大学、パドヴァ、35131、イタリアの生物医科学およびパドヴァ神経科学センター
>
> アンドレア・コルナ、フェデリコ・ロッキ、マルコ・レアト、マルタ・マスキエット、ステファノ・ヴァサネッリ
>
> ? Institute of Circuits and Systems、TU ry 01062、Germany
> 回路とシステムの研究所、TU Dresden、Dresden、01062、ドイツ
>
> リチャードジョージ＆クリスチャンマイヤー
>
> チューリッヒ大学神経情報学研究所およびETHチューリッヒ、チューリッヒ、8057、スイス
>
> ジャコモ・インディヴェリ
>
>
> 貢献
>
> ? 実験はT.P.、S.V。に ry ました。とG.I.、上級著者を共有しています。
> 実験は上級オーサシップを共有している所の、 T.P.、S.V. 、 G.I. によって共同で考案されました。
> 実験は、共有の筆頭著者として認められているA.S.、A.C.、R.G。によって共同で設計され、実行されました。
> ? A.K. memristiveデバイス ry 。
> A.K. はメモリスタデバイスを製造しました。
> FRとMRは、生物学的システムのセットアップと操作を支援しました。
> ? チップ上のMM培養ニューロン。
> M.M. はチップ上のニューロン群を培養しました。
> ? CM。論文 ry 。
> C.M. は論文の執筆中に貴重なフィードバックとガイダンスを提供しました。
> この論文は、すべての共著者によって共同で執筆されました。
>
>
> 対応する著者
>
> StefanoVassanelliまたはThemistoklisProdromakisへの対応。
>
>
> 倫理宣言
>
> 競合する利益
> 著者は、競合する利益を宣言していません。
>
>
> 追加情報
>
> 出版社のメモ
> SpringerNatureは、公開された地図や所属機関の管轄権の主張に関して中立のままです。
>
>
> 補足情報
>
> 補足情報
> ttp://static-content.springer.com/esm/art%3A10.1038%2Fs41598-020-58831-9/MediaObjects/41598_2020_58831_MOESM1_ESM.pdf
>
>
> 権利と許可
>
> オープンアクセス
> ? ry では、元の作成者とソースに適切 ry されます。クリエイティブ ry 提供し、変更 ry 示します。
> この記事は、クリエイティブ・コモンズ表示4.0国際ライセンスの下でライセンスされています。このライセンスでは、オリジナル作成者とそして、変更が加えられたかどうかを示しつのクリエイティブコモンズライセンスへのリンクを提供するソースと、に適切なクレジットを付与する限り、あらゆる媒体または形式での使用、共有、適合、配布、および複製が許可されます。
> この記事の画像またはその他のサードパーティの資料は、資料のクレジットラインに別段の記載がない限り、記事のクリエイティブコモンズライセンスに含まれています。
> 素材が記事のクリエイティブコモンズライセンスに含まれておらず、意図した使用が法規制で許可されていないか、許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。
> このライセンスのコピーを表示するには、http：//creativecommons.org/licenses/by/4.0/にアクセスしてください。
>
>
> 転載と許可
>
> この記事について
> :
> この記事を引用する
> Serb、A.、Corna、A.、George、R。etal。 Memristiveシナプスは、脳とシリコンのスパイキングニューロンを接続します。 Sci Rep 10、2590（2020）。 http://doi.org/10.1038/s41598-020-58831-9
> 引用をダウンロード
>
> * 2019年10月22日受領
> * 2020年1月21日受理
> * 公開2020年2月25日
> * DOI http://doi.org/10.1038/s41598-020-58831-9
>
> Springer NatureSharedItコンテンツ共有イニシアチブによって提供されます

後続の記憶探索取得に対する1つの記憶探索取得の影響*

>>> 表記等
>>>
>>> 文字カテゴリ : 文字 - カテゴリ
>>> カテゴリ文字 : カテゴリ - 文字
>>> アクティブ化モデル , 活性化モデル : アクティべーションモデル
>>>
>>> 予測 , アクティブ関連 : ハイデルベルクニューロモルフィックコンピューティングプラットフォームへのHTMモデルの移植他

訂正

題>? ry 記憶
概要>被験者達は、カテゴリのインスタンスを生成し、0個または2個の介在アイテム ( 原文 : intervening items ) が続くと、同じカテゴリの2番目のインスタンスを生成しました。
序盤>フリードマンとロフタスとによる実験 ( 1971 ) に於て ry そして、その文字で始まるか、その形容詞によって特徴付けられるか、している名前をそのカテゴリのインスタンスに付けるように求められました。
序盤>これは、被験者に、適切なインスタンスを質問する所の、カテゴリと文字とのペア（例：Fruit-P）、を示し、次に0個または2個の介在アイテム ( 原文 : intervening items ) に後続して、異なるインスタンスを質問する所の、別文字とのペアな同カテゴリ（例：Fruit-A）、を示すことによって完遂されました。
序盤>さらに、ここでのこの実験では被験者は、カテゴリのインスタンスに名前を付ける必要があり、且つその後すぐに[Loftus（1973）の研究のように]カテゴリの2番目のインスタンスに名前を付けるように求められました。
方法>? 160の重要な刺激（それぞれ2つの文字とペア ry ）に ry 。
方法>重大重要刺激 160 個（文字 2つとそれぞれペアになった80のカテゴリー）に加えて、80のフィラー刺激が使用されました。
方法>半透明ガラス窓付きスクリーン ( 原文 : a screen with a window covered by half-silvered glass ) の前に被験者は座っていました。
方法>刺激を含むインデックスカードは、鏡 ( ? 訳注 : 上記ハーフミラー窓 ) の後ろの暗い囲い ( 原文 : a dark enclosure ) に置かれ、
方法>? （1）重要なカテゴリと文字のペアの最初の表示は、 ry 2
結果>それら 2 方法又は 3 方法の相互作用は

調整

序盤>を取得 ( 原文 : retrieving ) する速度が、
序盤>? ry これら3つ ry 。
方法>「優勢」の定義がもしも、カテゴリの手本としてのとある単語が与えられる頻度であるとするならば、
方法>、電動タイマーが
討論>アクティべーションモデルは、一方、カテゴリ内のアイテムが処理されるときに、その処理される情報と意味的類似している範囲で、他アイテムが「興奮化」または「アクティべート」される、ということを

YAMAGUTIseisei

unread,

Oct 8, 2021, 5:20:50 AM10/8/21

>>>>>> Google 翻訳 14 Jul 002018 04:42:27 UTC http://arxiv-vanity.com/papers/1807.03819v1/# http://arxiv.org/abs/1807.03819# ICLR2019で会議論文として発表されました。 2018年7月10日に提出
>>>>>> ? ry を反応性の高い Web ry 、PDFをすこぶる必要 ry 。
>>>>>> Arxiv VanityはArxivの学術論文をレスポンシブ Webページとしてレンダリングするため，PDF に眉を顰める必要はありません。
>>>>>> 私たちは皆さんにジミーウェールズを全部集めたくはありませんが、もしあなたがそれを好きなら、数ドルをチャックしたら本当に感謝しています。
>>>>>>
>>>>>>━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
>>>>>>
>>>>>> 　ユニバーサルトランスフォーマー
>>>>>>
>>>>>>───────────────────────────────
>>>
>>>>>> 　Mostafa Dehghani * † ＆Stephan Gouws *
>>>>>> 　アムステルダム大学　Google Brain
>>>>>> 　 dehghaniATuva nl sgouwsATgoogle
>>>>>>
>>>>>> & Oriol Vinyals ＆Jakob Uszkoreit ＆￡ukaszKaiser ? ¥ AND ry
>>>>>> ディープマインド　Google Brain 　Google Brain
>>>>>> vinyalsATgoogle 　uszATgoogle lukaszkaiserATgoogle
>>>>>>
>>>>>>
>>>>>>
>>>>>> * 家計の名前のアルファベット順の均等な貢献。
>>>>>> † GoogleBrainで行われた作業。
>>>>>>
>>>>>> プレプリント。進行中の作業。
>>>>>>
>>>>>>
>>>>>> 訳注
>>>>>>
>>>>>> 反復/繰り返し ( イテレート ) : 反復
>>>>>> 反復/繰り返し ( リカレント ) : 再帰
>>>>> 自己 : ( 自己 ) 再帰 ( 的 ) な
>>>>>> 注意 : アテンション , 紐付 , 接続 , 結合 , リファレンス/ポインタ/アドレス
>>>>>> 並行 : ( 今回の実装としてわ ) 並列同時並行 ( 並行又並列の定義にわ諸説あり )
>>>>>> 変換 ( トランスフォーム ) : 変遷 ( 的 ) 変換 , ( 準動的 ) 変容
>>>>>> 変換 ( コンバート ) : 変換

> 抽象
>
> ? 自動翻訳フィード ry 示されており、リカレント ry RNNs）は現在まで ry モデリングの問題のための事実上 ry ままでした。
> 自己アテンションフィードフォワードシーケンスモデルは、機械翻訳（トランスフォーマー）、画像生成（ imagetrans ）、構成成分解析（ kitaev18 ）を含むシーケンスモデリングタスクで印象的な結果を達成することが示されており、その事によって表されているのわ、今日まで多くのシーケンスモデリング問題のためのデファクトスタンダードアーキテクチャのままだったリカレントニューラルネットワーク（RNNs）の必然的代替です。
> ? しかし、これら ry かかわらず、トランスフォーマー（トランスフォーマー）のようなフィードフォワード・ ry ・モデルは、繰り返しモデルが扱いやすい（多くの場合、ストリングのコピーや単純 ry 推論さえも）時間（ tran18 、））。
> これらの成功にもかかわらず、しかし乍ら、リカレントモデルが容易に扱う所の多くのタスクに於て、トランスフォーマー（ transformer ）のようなフィードフォワード・シーケンス・モデルわ汎化に失敗します（例えば、訓練時に観察された長さ、を上回る長さの文字列又は式の場合に、文字列のコピーや例え単純な論理推論であっても（ tran18 、））。
> さらに、RNNとは対照的に、トランスフォーマモデルは計算上普遍的ではなく、その理論的表現性を制限する。
> ? ry 実用的かつ理論的な欠点 ry タスクで性能が改善されること ry 。
> 本論文では、これらの実用上の且つ理論上の欠点に対処するユニバーサルトランスフォーマーを提案し、いくつかのタスクでの性能を改善に導くことを示す。
> ? ユニバーサル ry は、RNN ry なシーケンスの個々のシンボルにわたって繰り返されるのではなく、繰り返しステップごとにシーケンス ry 表現を繰り返し ry 。
> RNNのような、シーケンスのシンボル個々に亘っての再帰、でわなくその替りに、ユニバーサルトランスフォーマーわ、シーケンス内のすべてのシンボルの表現を再帰ステップごとに繰り返し改訂します。
> ? シーケンスの異なる部分 ry それはすべての繰り返しステップで自己アタッチメカニズムを採用 ry 。
> 単一シーケンスそれの様々な部分からの情報を結合するために、それわ自己アテンション機構を再帰ステップ全てに於て採用します。
> ? ry 、その再発は、ユニバーサル ry を計算上普遍的にする。
> 十分なメモリがあると仮定すると、その再帰性わ、普遍 ( 訳注 : 汎用 ) 計算なユニバーサルトランスフォーマを成す。 ( 訳注 : リフォーマでメモリ効率大幅強化済 http://arxiv.org/abs/2001.04451# )
> ? さらに、適応 ry して、シーケンス ry 表現が改訂される回数をモデルが動的に調整できるようにします。
> 我々は更に適応型計算時間（ACT）メカニズムを採用してこのモデルに、シーケンス内の各位置の表現改訂回数の動的調整を許容します。
> ? ry 量を節約するだけでなく、 ry を示しています。
> 計算量節約それだけでなくそれを越えて、ACTがモデルの精度を改善できることを我々わ示します。
> ? 私たちの実験によれば、さまざまなアルゴリズム上のタスクや多種多様な大規模な言語理解タスクにおいて、ユニバーサルトランスフォーマーは、機械翻訳におけるバニラ ry 両方を大幅に向上させ、優れた性能を発揮し、bAbI ry と困難なLAMBADA ry タスクです。
> アルゴリズムタスク各種と、そして、ユニバーサルトランスフォーマが機械翻訳にあってはバニラ ( 訳注 : プレーン ? ) トランスフォーマーとLSTMの両方よりも汎化にて良好性顕著であり且つ性能にて優秀である所の又 bAbI言語推論タスクと挑戦的なLAMBADA言語モデリングタスクとにあっては新定義的技術を達成する所の多種多様な言語理解大規模タスク群のセットと、に於ての様を、我々の実験わご覧に入れます。

> 1 はじめに
>
> ? ry な畳み込み型および完全注意型フィード ry 、一連のシーケンス ry タスク、特に機械翻訳（ ry 、変圧器）のためのリカレント ry います。
> Transformerモデルのような、畳込型そしてフルアテンション型なフィードフォワードアーキテクチャは、シーケンスモデリングタスク、特に機械翻訳、の領域の為の、リカレントニューラルネットワーク（RNN）の実行可能な代替品として近年浮上しています（ JonasFaceNet2017 、 ; transformer , ）。
> ? ry は、RNN の重大な欠点、すなわち入力シーケンスの要素間の並列化を防ぎ、消失勾配問題 ry 対処する本質的に連続的な計算に対処している。
> これらのアーキテクチャわ、消失勾配問題（消失 - 爆発 - 勾配）に対処し続け乍ら一方で、RNNの顕著な欠点即ち、入力シーケンス要素間並列並行化を阻む本質的シーケンシャル演算、にも対処する。
> ? Transformerモデルは、特に、自己 ry ）に完全に依存して、入力と出力のシンボルの一連 ry 付きベクトル空間表現を計算し、次 ry 使用して予測するモデルとしての後続のシンボルに対する分布は、シンボル毎に出力シーケンスを予測する。
> これを具体的にわ、入力と出力との中の各シンボルそれらの一連のコンテキスト情報付ベクトル空間表現を自己アテンションメカニズム（ decomposableAttnModel 、 lin2017structured ）完全立脚で計算し、次にそれを使用して後続シンボル群に亘る分布 ( 訳注 : ベクトル空間表現各々の ? ) を、出力シーケンスを各シンボル相互的予測するモデルとして予測、する事によって Transformer モデルわ達成する。
> ? ry シンボルの表現も他のシンボルの ry 通知されるため、 ry なグローバルな受容フィールドと ry 。
> このメカニズムは簡単に並列化できるだけでなく、各シンボル表現も又他の全シンボルの表現によって直接通知 ( 原文 : directly informed ) されるので、効果的なグローバル受容野 ( 訳注 : シンボル粒度な強弱動的調節参照機構 ) となります。
> ? ry 、典型的に制限された受容野を有する畳み込みアーキテクチャとは対照的である。
> これは、限定的受容野単一を典型的にわ有する例えば畳込みアーキテクチャそれとわ対照的地位にある。
> ? しかしながら、ry するために、RNNの帰納的偏見に先立っている。
> 特筆すべき事に、しかし乍らトランスフォーマは、反復的または再帰的な変遷変換を学習する事に向って、RNNの帰納的バイアスよりも先を行く。
> ? Neural GPU （ ry stack_rnn ）などのモデル ry 的に、複雑な複雑なアルゴリズムや言語を理解するためには、トランスフォーマは、トレーニング中に遭遇しない長さの入力には一般化しない。
> この帰納的バイアスわ、アルゴリズムのと言語理解のとの各タスクそれらの複雑性可変なもの幾つかにとって決定的であり得る、と我々の実験わ示す : Neural Turing Machine ( ntm14 , ) 、 Neural GPU （ neural_gpu ）やStack RNN （ stack_rnn ）といった各モデルとは対照的に、トランスフォーマわ、訓練中遭遇しなかった入力長それにとっての好適な汎化をしない ( ? 訳注 : 事前訓練での最適化 ) 。
>
>
ポジションと時間とを横切って各パラメータわ接続 ( 紐付け ) される

ポ ( h 0 t 各シンボルに対する埋込み h 0 t+1 各シンボルに対する埋込み h 0 t+2 … ) : 訳注
ジ
シ
ョ h 1 t 自己注意変容関数 h 1 t+1 自己注意変容関数 h 1 t+2 …
ン
毎 h 2 t 自己注意変容関数 h 2 t+1 自己注意変容関数 h 2 t+2 …
の × ×
各 … × … … ×
状 × ×
態 h m t 自己注意変容関数 h m t+1 自己注意変容関数 h m t+2 …

時間 →
>
>
> ? ry 結合し、反復遷移 ry シーケンスの各位置に対する一連のベクトル表現を繰り返して洗練します。
> 図1 ：ユニバーサルトランスフォーマーは、セルフアテンションを使用してさまざまな位置からの情報を結合しそして再帰遷移関数を適用することによって、シーケンス各位置そこに付いての並列同時並行にそこの一連のベクトル表現を、繰返し洗練します。
> ? 我々は、この ry を2つの反復的な時間ステップにわたって示す。
> 再帰タイムステップ 2 つに亘ったこのプロセスを我々わ示す。
> 矢印は操作間の依存関係を示します。
> 最初に、 h 0は、シーケンス内の各シンボルに対する埋め込みで初期化される。 ( 訳注 : 仮身 ? 実身 ? その他 ? )
> ? ry iは ry mの表現 ry 。
> h t i わ、再帰タイムステップtにおける入力シンボル1 ≦ i ≦ m 、の表現を表す。
>
>
> 本論文では、 Universal Transformerを提案する。
> ? Transformer ry 並列化可能性とグローバルな受容性のフィールドを ry の反復誘導バイアス ry これは、アルゴリズムと自然言語を理解する一連の問題に適し ry 。
> それわ、 Transformerモデルの並列 ( 化 ) 実効性とグローバル受容野とを、RNNの再帰帰納バイアスと組み合わせています。これわ、アルゴリズムのと自然言語理解のとのシーケンスtoシーケンス問題の領域に対し、より適しているようです。
> ? ry ことが示される（ ry 4 ）。
> その名前が示すように、標準のトランスフォーマーとは対照的に、特定の仮定の下では、ユニバーサルトランスフォーマーは計算上汎用的であることを示す事ができる（セクション4 ）。
> る（セクション4 ）。
>
> ? ry , followed by a recurrent transformation consisting of a depth-wise separable convolution ( ry ) or a position-wise fully-connected layer ( ry ).
> ? 各ステップにおいて、ユニバーサル ry は、セルフ ry （）と並行して、シーケンス内のすべての位置の表現 ry を反復 ry する。 lin2017structured （）の後に、深さ方向に分離可能 ry xception2016 ）または完全に接続された位置指定のレイヤー ry ）からなる反復変換が続きます。
> 深度指向的単離が可能な畳み込み（ xception2016 ）か、又わ、位置指向的 ( での ) フル接続 ( をされた ) レイヤー（図1を参照）か、からなる再帰変遷変換に支援されての、セルフアテンション機構decomposableAttnModel （） ; lin2017structured （）、を用いて、シーケンス内の全位置そこにとっての並列同時並行で、そこの各表現をユニバーサルトランスフォーマーわ、各ステップに付いて、反復的に洗練する ( ? 訳注 : ステップ毎に洗練 1 回 ) 。
> ? また、シーケンスの各位置（ ry ）で適応 ry を使用 ry し、モデルが各シンボルの必要な数のリファインメントステップを動的に選択 ry 。
> 我々わまた、適応型計算時間メカニズムをシーケンス内の各位置に於て使用することでユニバーサルトランスフォーマーを拡張し（ graves2016adaptive 、）、このモデルに各シンボルに付いての洗練ステップ必要数を動的選択できるようにします。
>
> ? 一定数のステップを実行 ry 。
> ステップ数を固定して実行する場合、ユニバーサルトランスフォーマーは、層をまたいでパラメーターを結ぶ多層トランスフォーマーと同等です。
> ? ry more informative, way ry , based at each step on the sequence of previous hidden states.
> ? ry 的な方法は、以前の隠れ状態のシーケンスの各 ry 並行して進化させる反復関数 ry 。
> しかしながら、ユニバーサルトランスフォーマーを特徴付ける別の、そしておそらくより情報的な見方わ、前シーケンスでの隠れ状態な各ステップに基づいて ( 訳注 : 同時に各シンボルのに基づく事をも意味する ? ) 、シンボル毎の隠れ状態を並行 ( 訳注 : 並列同時並行を実装済 ) して進化させる再帰関数としてである。
> ? このように、 ry 。
> この見方でわ、Neural GPU （ neural_gpu ）やNeural Turing Machine （ ntm14 ）といったアーキテクチャに似ています。
> ? ry を保持するが、RNNの反復誘導バイアス ry 。
> これによりユニバーサルトランスフォーマは元のフィードフォワードトランスフォーマモデルの魅力的な計算効率を維持しつつも、RNNの再帰帰納バイアスが追加される。
> ? 適応型の形では、ユニバーサルトランスフォーマーはフィードフォワード ry 深度のトランスフォーマーと、入力データに依存するいくつかのステップを実行するゲート型、再帰型アーキテクチャーを効果 ry 示しています。
> その適応的形態に付いて我々わ更に、フィードフォワードの固定深度トランスフォーマと、入力データ依存なステップを幾つか走らせる為のゲート型/再帰型アーキテクチャと、の間をユニバーサルトランスフォーマが効果的に補間できることを示します。
>
> ? 我々 ry は、ユニバーサル ry が同数のパラメーターで標準 ry を上回る機械 ry 、その再発が結果を ry 。
> 同じパラメータ個数を伴った標準トランスフォーマーをユニバーサルトランスフォーマーがアウトパフォームする所の機械翻訳において、我々の実験結果は、再帰が結果を改善することを示している。
> いくつかのアルゴリズムタスクに関する実験では、ユニバーサルトランスフォーマーは、LSTM RNNおよび標準のトランスフォーマーより一貫して大幅に改善されています。
> さらに、bAbIおよびLAMBADAのテキスト理解データセットでは、ユニバーサルトランスフォーマーは新しい技術水準を達成しています。

> 2モデル
>
> ? 2.1ユニバーサルトランス
> 2.1 ユニバーサルトランスフォーマ
> ? ry 、ほとんどのニューラルシークエンス/シーケンスモデル（ ry トランス、 ry でよく使用される一般的なアーキテクチャ ry 。
> ユニバーサルトランスフォーマー（図2 ）は，neural シークエンスtoシーケンスモデルの殆ど（ sutskever14 、 cho2014learning 、トランスフォーマー、）で共通して使用されるポピュラーなエンコーダ/デコーダアーキテクチャに基づいています。
> ? ry のエンコーダ ry は、入力および出力シーケンスの位置のそれぞれの表現 ry を適用 ry 。
> ユニバーサルトランスフォーマの，エンコーダおよびデコーダわ、入出力のシーケンスの各位置の各表現にリカレントニューラルネットワークをそれぞれ適用することによって動作する。
> ? しかし、逐次データへのリカレント ry のほとんどのアプリケーションとは ry は、 ry 位置を再現するのではなく、各 ry 連続的な改訂（ ry 」を超えて）
> しかし乍ら，シーケンシャルデータゑのリカレントニューラルネットワークのアプリケーション殆どとわ対照的に、ユニバーサルトランスフォーマわ再帰を，シーケンス内の位置に亘ってでわなく，各位置のベクトル表現の連続的改訂に亘って行う（すなわち、「深度」に亘る）。
> ? ry 内のシンボルの数によって計算的に束縛されるのではなく、各 ry 対して行われたリビジョンの数 ry よって制約される。
> 換言すれば、ユニバーサルトランスフォーマは、シーケンス内シンボル数によってでわなく各シンボルの表現に対して成された改訂の数だけによって，計算的に束縛される。
>
> ? 各反復ステップでは、各 ry が2つのサブステップで改訂されます。 ry 内のすべての位置で情報 ry し、それぞれの位置についてベクトル表示を生成します。前のタイムステップでの他のすべてのポジションの表現。
> 各再帰ステップに於てわ各位置の表現が，サブステップ 2 つに於て改訂されます : まず、ユニバーサルトランスフォーマーは、自己アテンションメカニズムを使用してシーケンス内位置全てに跨がって情報を交換し，位置各々に付いて前タイムステップでの他ポジション全ての表現による智としてのベクトル表現を生成します。
> ? ry 自己アタッチメント機構 ry 。
> 次に、各位置で独立して、自己アテンション機構の出力に共有遷移関数を適用する。
> ? 重大 ry に、これは、層の固定された積み重ねを適用 ry よって一定の深さを有する変圧器（変圧器）または深いRNNを含む最も一般的な神経系列モデルとは ry 。
> これは重大なことに，トランスフォーマ ( transformer , ) かディープ RNN かを含む、一定深度を層を積み重ね固定したものを適用することによって有する所の最もポピュラーなニューラルシーケンスモデルそれらとわ対照的である。
>
>
各マルチヘッド
入力シーケンス → 入力シンボル ─━→ 自己アテンション ━━━→ 変遷関数
の埋込 ↑ ┃
┃ 再帰エンコーダブロック ┃
┗━━━━━━━━━━━┳━━━━━━┛
For T ステップ数 ┃
┃ T ステップ経過後
各マルチヘッド ↓
標的シーケンス → 標的シンボル ─━→ 自己 ━━━→ マルチヘッド ━┓
( 1 ずつの埋込 ↑ アテンションアテンション ┃
右シフトされる ) ┃ ↓
┃ 再帰デコーダブロック変遷
┗━━━━━━━━━━━┳━━━━━ 関数
For T ステップ数 ┃
┃ T ステップ経過後
↓
Softmax
↓
出力確率
>
>
> ? ry Transformerのエンコーダ ry の反復ブロック
> 図2 ： Universal Transformer エンコーダとデコーダの再帰ブロック
> ? この図は ry ステップ符号化、 ry 接続および層正規 ry 。
> このダイアグラムわ、位置およびタイムステップエンコーティング、ならびにドロップアウト、残差接続およびレイヤ正規化を省略している。
> 付録に完全版があります。
> ? Adaptive Universal Transformerは、ACT ry して各位置のステップ数Tを動的 ry 。
> 各位置に付いてのステップ数 T を適応的ユニバーサルトランスフォーマわ、 ACTを使用して動的に決定します。
>
>
> ? 符号器に対して ry 場合、系列の各位置 ry シンボルのd ry として行が ry される行列から開始する。
> エンコーダに対して、長さmの入力シーケンスが与えられた場合，シーケンス H 0 ∈ R m ラ d ( 原文 : H0 ∈ R^( m × d ) , 以下同様 ) の各位置におけるシンボルそれらのd次元埋め込みとして各行が初期化されるという行列から我々は開始する。
> ? ry then iteratively computes representations H t at step t for all m positions in parallel by applying the ry , followed by a recurrent transition function.
> ? 次いで、ユニバーサルトランスフォーマは、マルチヘッドドット積 ry 機構を ry 適用し、続いてリカレントトランジション機能を適用 ry よって、すべてのm個の位置について、ステップtの表現H tを並列に反復的に計算する。
> ユニバーサルトランスフォーマわ然してステップ t に於ける表現 H t を，支援を再帰遷移関数から受ける所のマルチヘッドドット積自己アテンション機構，をトランスフォーマ（）から適用することによって， m 箇所全ての各位置に付いての並列同時並行，で計算する事を反復する。
> ? ry を追加し、ドロップ ry レイヤーの正規 ry ）を適用 ry 。
> これらのファンクションブロックの周りに残差接続を追加する事をも我々わ行い，ドロップアウトとレイヤ正規化（ srivastava2014dropout 、 layernorm2016 ）とを適用します（簡略化された図については図2 、完全なモデルについては付録の図4を参照）。
>
> ? ry の注意の仕組みは、
> より具体的には、私たちのアテンション機構わ，スケールするドット積アテンションであり
>
> ? ry s o f t m a x ( ry （ Q 、 K 、 V ） = s o f t m a x （ Q K T√d ) V ） V （1）
> A t t e n t i o n ( Q , K , V ) = s o f t m a x ( Q K T / √ d ） V （1）
>
> ここで、 dはQ 、 K 、 Vの列数です。
> ? 私たちは、（トランスフォーマー） ry されたように、kヘッドのマルチ ry バージョンを使用します。
> 我々が使うのわ，（トランスフォーマ , ）で導入されたものとしての，ヘッド k 個なマルチヘッドバージョンであり，
>
> M u l t i H e a d S e l f A t t e n t i o n （ H ） = C o n c a t （ h e a d 1 、 ... 、 h e a d k ） W O （2） ? ry H ）とは、 = C o n c a t （
> ここで h e a d i = A t t e n t i o n （ H W Q i 、 H W K i 、 H W V i ）（3） ? どこで
>
> ? 学習 ry 行列W Q ry W O∈R d ラ dを用いた ry 射影を用いる。
> それわ，学習されたパラメータ行列各々， W Q∈R d ラ d / k 、 W K∈R d ラ d / k 、 W V∈R d ラ d / kおよびW O∈R d ラ d ，を用いたアフィン射影を伴っている。
> ステップtにおいて、ユニバーサルトランスフォーマは、以下のように、すべてのm個の入力位置についての修正された表現H t∈R m ラ dを計算する
>
> 　H t = L a y e r N o r m （ A t - 1 + Transition （ A t ））（4） ? T r a n s i t i n
> ここで， A t = L a y e r N o r m ( Ht - 1 + M u l t i H e a d S e l f A t t e n t i o n （ H t - 1 + P t ））である。（5） ? ry w h e r e e ある ry H t ? 1 ry ））であり、ここで、 H t - 1 + M u l tは、
>
> ここでLayerNorm（）は（ layernorm2016 ）で定義され、Transition（）とP tは以下で説明します。
> ? ry 応じて、分離 ry ）または2つのアフィン変換間の単一整流線形活性化関数からなる完全連結ニューラルネットワークの2 ry 1つを使用します。 A t ry に個別に割り当てる。
> タスクに応じて， 2つの異なる遷移関数の1つを我々わ使用します : 分離可能な畳み込み（ xception2016 ）か、アフィン変換 2 つの間の単一正規化線形アクティベーション関数からなる所のフル連結なニューラルネットワークか，のどちらか。ポジションワイズで、つまり個別に A tの各行に、適用され ( てい ) る。
>
> ? ry P tは、各 ry ついて位置 ry tについて（トランス、） ry されたような正弦波位置 ry ベクトルを計算 ry 得られた2 ry ごとに（ ?で示される）：
> 上記のP tは，（トランスフォーマ , ）で定義されたものとしての Sin 関数 ( ? 訳注 : ベクトルを堅実に再帰精練 http://qiita.com/omiita/items/07e69aef6c156d23c538#1.3.5 ) 的 ( な ) 位置埋め込み ( な ) ベクトル群 ( 原文 : the sinusoidal position embedding vectors as ) を各ベクトル次元jについて、位置mおよび時間ステップtについての単離状態，で計算することによって得られた， 2次元（位置、時間）座標埋め込みであり、これらのベクトルは成分ごとに加算（ (+) で示す ( 原文 : 丸付プラス記号 ) ）：
>
> P t p o s 、 2 j = sin （ pos / 10000 2 j / d ） (+) sin （ t / 10000 2 j / d ）（6） ? ry p 0 s ry +ry
> P t p o s 、 2 j + 1 = cos （ pos / 10000 2 j / d ） (+) cos （ t / 10000 2 j / d ）である。（7） ? ry p 0 s ry +ry
>
> ? ry それぞれが入力 ry を並列に精緻 ry のd ry 行列である。
> T個のステップ（それぞれが並列同時並行で，入力シーケンスのすべての位置を精緻化する）の後、ユニバーサルトランスフォーマエンコーダの最終出力は、入力シーケンスのm個のシンボルについての， d次元ベクトル表現H T∈R m ラ dの行列 1 つである。
>
> ? ry 基本反復構造 ry 。
> デコーダは、エンコーダの同じ基本再帰構造を共有する。
> ? ry 、自己アテンション機能の後に、デコーダは、式2からの同じ ry 積注意機能を使用 ry 、デコーダを投影 ry られたクエリQを用いて、入力 ry 的なエンコーダ ry Tに追加的に関与する（この ry 的な注意に ry ）のキー ry V ）が含まれています。
> しかしながら，その自己アテンション関数の後に，デコーダわ，入力シーケンス内の各位置の最終的エンコーダ表現H T ゑの手回しをも追加的に行うにその同じマルチヘッドドット積アテンション関数を式 2 から使用するが，デコーダ表現群を投影して得られた所のクエリ群 Q と，そしてエンコーダ表現群を投影（このプロセスは標準的アテンションに似ている（ bahdanau2014neural 、））して得られた所のキーと値（ KとV ）と，を伴う。
>
> トランスフォーマーモデルと同様に、ユニバーサルトランスフォーマーは自己回帰型です（ graves2013generating 、）。
> ? 教師強制をを用いて訓練され、生成時にデコーダは出力を1シンボルずつ生成し、デコーダは以前に生成は以前に生成された出力位置を消費する。
> Teacher Forcing を用い，生成時に於ては出力を一度に 1 シンボル生成し，それに伴って前回生成分の各出力位置をデコーダが消費する，との訓練がなされる。
> ? ry中に、デコーダの入力は目標出力であり、1つの位置だけ右にシフトされる。
> 訓練中，デコーダ入力わ，ポジション 1 つ分だけ右シフトされる所の標的出力である。
> ? ry 、モデルが任意の予測されたシンボルの左の位置にのみ関わること ry に、 ry 。
> デコーダの自己アテンション分布は、任意の予測されたシンボルの左の位置にのみモデルが関わる ( 原文 : attend ) ことができるように ( する為に ) 、さらにマスクされる。
> ? ry 、シンボル ry の目標分布は、最終 ry から出力 ry 出力行列を正規化したsoftmax ry 得られるその行の上に：
> 最後に、そのシンボル当たりの標的分布わ，その最終デコーダ状態からその出力語彙サイズVへのアフィン変換O∈Rd ラ Vを適用し、その後に（ m ラ V ）次元出力行列各行正規化な softmaxを適用することによって得られる：
>
> p ( y p o s | y [ 1 : p o s - 1 ] , H T ） = s o f t m a x （ O H T ） *1 （8） ? ry p o s ? 1 ry h e r e d e n o t e s t i m e ? s t e p ry ¥ lx n（nは自然数） o $ t $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ ＆ $ ＆ $ e o p e r a t i o n 。
>
> *1 ここでの T わ，転置演算 ( 原文 : transpose operation ) ではなく、タイムステップTを表すことに注意してください。 ? ry のRは、 ry 。
>
> モデルから生成するために、エンコーダは調整入力シーケンス ( 原文 : the conditioning input sequence ) 用に1回実行されます。
> ? 次 ry され、既 ry された ry 消費し、反復ごとに次 ry 位置にあるシンボルのボキャブラリに1 ry 分布を生成する。
> その次に、デコーダは繰り返し実行されるが，追加の分布 1つの生成をボキャブラリに亘っての次の出力位置に於けるシンボルの為に反復毎にし続けつつ，既に生成されていたシンボルを全て消費する。
> ? ry typically select the highest probability symbol as ry
> ? 次に、典型的には、最も高い確率 ry を次のシンボルとして選択する。
> 次に我々わ，次のシンボルとして，最高確率のシンボルを，典型的にわ選択する ( ⇔ を，典型的な選択肢とする , を，選択 ( 肢と ) する事が典型的である: 訳注 ) 。
>
> ? 2.2適応 ry トランス
> 2.2 適応型ユニバーサルトランスフォーマ
> シーケンス処理システムでは、特定の記号（例えば、いくつかの単語または音素）は、通常、他の記号よりもあいまいである。
> したがって、これらのより曖昧なシンボルに、より多くの処理リソースを割り当てることは合理的です。
> ? ry in standard recurrent neural networks ry.
> ? Adaptive Computation Time（ACT ry は、モデルの推定値を反映して、各 ry されたスカラー ry ネットワークで各 ry 数を動的 ry するメカニズムですその ry 対してさらに計算が必要であることを意味する。
> 適応的コンピューテーションタイム（ Adaptive Computation Time , ACT）（ graves2016adaptive ）わ，各ステップでモデルによって予測された所の更に計算がそのステップに対して必要であるとのそのモデル見積，を反映しているスカラーポンダー値に基づいて、標準リカレントニューラルネットワーク内の ( で , 内で ) 各入力シンボルを処理するために必要な計算ステップ数，を動的に変調する為のメカニズムです。
>
> ? ry トランスフォーマーがシーケンスのすべての位置に並行再帰変換を適用 ry いう解釈からインスピレーションを得て、各位置にダイナミックACT停止メカニズムを追加します。
> ユニバーサルトランスフォーマの，シーケンスに於て同時並行再帰変遷変換を全位置に適用するというインタプリテーション，にインスパイアされた我々わ， ACT 動的停止機構を各位置に追加しもします。
> ? ry の反復ブロックが停止すると、すべてのブロック ry か、または最大 ry に達するまでその状態が ry ステップに単純にコピー ry （図2を参照）。
> シンボル単位の再帰ブロック 1 つが停止 ( 原文 : halts ) すると，それのステートが次のステップゑと，全ブロックが停止するか，最大ステップ数に我々が達するか，するまで単純コピーされます（動的決定される T ，を伴った図2を参照）。
> ? ry 出力は、 ry の最終層である。
> エンコーダの最終出力わ然して、このようにして生成された表現の、最終レイヤ ( 訳注 : 最終ステップ出力値群 ? ) である。
> ? ry 、このモデルの動的停止モデルを ry 。
> 私たちは，我々のモデルのこの動的停止バージョンをAdaptive Universal Transformerと呼んでいます。

> ? 3つの実験
> 3 実験
>
> ? ry アルゴリズムや言語の理解タスクについて ry 。
> このセクションでは、ユニバーサルトランスフォーマーについて，機械翻訳だけでなく、アルゴリズムのと言語理解のとのタスクの範囲についても評価します。
> これらの結果を再現するすべてのコードとデータセットは、オープンソースとして公開されます。
>
> 3.1 bAbI質問応答
> ? ry ）は、潜在的に複数のサポート事実を符号化する英語の文章を与えられた質問に答えることを目標とする20 ry 構成されています。
> bAbi質問回答データセットweston2015towards （）わ， 20の異なるタスクで構成されそこでの与えられた回答対象わ，サポートファクト ( 原文 : supporting facts , 総データから導出可能な準定義的事実 ? ) を潜在的に複数エンコードしている所の英語センテンス幾つかな質問です。
> ? 目標は ry いる言語上の事実についてある種 ry 。
> ゴールわ，各ストーリーに示されている言葉上ファクトそれらに付いてのある種の推論を要求することによって、さまざまな形態の言語理解を測定することです。
> ? 標準的なトランスフォーマーはこの作業では ry 。
> 標準トランスフォーマわこのタスクでわ良い結果を得られません 1 。
> しかし、我々はユニバーサルトランスフォーマーをベースにしたモデルを設計しました。このモデルは、この課題に関して最先端の結果を達成しています。
>
> ? ry に、最初にストーリー ry を、各単語の埋め込みに学習された乗法ポジションマスクを適用してエンコードし、すべてのemebeddingを集計 ry 。
> 入力をエンコードするには、（ henaff2016tracking 、）と同様に，学習されたマルチプル法ポジション的マスク単一を各単語の embeddding に適用する事によって最初にストーリー内の各ファクトを我々わエンコードし，そして embeddding 全てを集計 ( 原文 : summing up ) します。
> ? ry は同じ ry 埋め込み、その事実と質問の埋め込みを ry に与えます。
> 私たちはそれと同じ方法で質問を埋込んでそれらの，各ファクトのと各質問のとの各 embeddding ，を（ユニバーサル）トランスフォーマーに喰わせます。
>
> ? ry に、モデルは各タスクで個別に訓練することができます（「訓練する」）か、すべてのタスクで共同して訓練することができます（「訓練」）。
> 最初に提案されたようにモデルわ，各タスクで単離して (“train single”) か，全タスクで結集して (“train joint”) か，のどちらかでの訓練をする事が可能です。
> 表1は、我々の結果をまとめたものである。
> ? 我々は、異なる ry し、以前 ry 同様に、検証セットの ry モデルを選んだ。
> 以前の研究と同様に我々わ，異なる初期化で10回実行し，検証セット上での性能に基づいて最良のモデルをピックアップした。
> ? ry in terms of average error and number of failed tasks 2 , in ry .
> ? ry 型および非適応型の汎用トランスフォーマーは ry 失敗したタスクの数に関して、すべて ry します 2 タスクの数に関して、すべてのタスクについて最先端の結果を達成します 2 、10Kと1Kの両方の訓練計画（タスク別の内訳については付録を参照）。
> 適応型と非適応型との両方のユニバーサルトランスフォーマーわ、平均エラーと失敗タスク数とに関して 2 ，10Kと1Kの両方の訓練体制（タスク別の内訳については付録を参照）に於て，すべてのタスクについて最先端の結果を達成します。
>
> ? ry に、このタスクの注意分布 ry ACT睡眠時間の両方を分析 ry 。
> モデルの作業をよりよく理解するためにこのタスクの，アテンション分布と平均ACT熟考時間との両方を我々は分析しました（詳細については付録を参照）。
> ? まず、注目分布は非常に均一であることがわかりますが、各 ry ために必要な正しいサポート事実を中心に、後 ry ではますますシャープになります。 ry と非常 ry 。
> 第一に，アテンション分布が非常に均一 ( 原文 : uniform ) であると我々わ観察しますが後のステップでわ，各質問に答えるための必要な正しい各サポートファクトの周辺でシャープ化がますます進展します。これは人間がどのようにタスクを解決するかと実際に非常によく似ています。
> ? 第2に、ACTでは、3つのサポート事実を必要とするタスク ry しないタスクよりも高く、1つしかサポートしないタスク事実。
> 第二に， ACT ありでわ，サポートファクト 3 つを要する各タスクの平均熟考時間（すなわち、シンボル単位の再帰処理チェーンの深さ）は、2つしか必要としない各タスクそれらよりも高く，そのそれらわ順当に，サポートファクト 1 つしか要さないタスクよりも高い，という事を，我々わ観察します。
> ? ry おいてより ry ことが観察される。
> 最後に、異なる位置での熟考時間のヒストグラムは、2つおよび3つに比べて1つのサポート事実だけを必要とするタスクにおいてわより均一であり、3つに比べて2つを必要とするタスクについても同様であることを我々わ観察します。
> ? 特に3つのサポート事実を必要 ry 、多くのポジションは ry おり、さらに多くのステップでより多くのステップが変換されます（ ry 。
> 特にサポートファクト 3 つを必要とするタスクの場合，各ポジションそれらの多くわステップ1または2で停止しており，そしてそのそれらのほんの幾つかだけが，変遷変換される為の更なる各ステップを勝ち得ます（図3参照）。
> ? これは特に、この設定でストーリー ry が実際にははるかに多く、モデルがこのように無視することをうまく習得できないような無関係な事実があるため、興味 ry 。
> これわ，このやり方での無視をする事をこのモデルが学習成功したかに見えたる所のより無関係な各ファクト，を伴う各ストーリーの長さがこの設定内で実際に非常に大であるものとして，特に興味深いものです。
>
>
>
> 熟考する
> 時間
>
> 事実と質問
>
>
> ? 図3 ： 3つのサポート事実を必要 ry タスクにおける ry ストーリーと質問の事実を符号化するためのAdaptive ry Transformerの検討時間。
> 図 3 : ストーリー 1 つと質問 1 つとの中の各ファクトを要サポートファクト 3 つな bAbIタスク 1 つの中に於て Adaptive Universal Transformer がエンコードする為の熟考時間。
>
>
>
10Kの例 1Kの例
train single トレイン train single トレイン ? 単一の列車
モデルジョイントジョイント
以前の最良の結果：
QRNet （ seo2016query 、） 0.3（0/20） - - -
スパースDNC(rae2016scaling.) - 2.9（1/20） - - ? ry DNC （ rae2016scaling 、）
GA+MAGEdhingra2017linguistic () - - 8.7（5/20） - ? GA + MAGE dhingra2017linguistic （）
MemN2N sukhbaatar2015 （） - - - 12.4
（11/20）
我々の結果：
Transformer(transformer,) 15.2（10/20） 22.1（12/20） 21.8（5/20） 26.8（14/20） ? 変圧器（変圧器）
UT （本作品） 0.23（0/20） 0.47（0/20） 5.31（5/20） 8.50（8/20） ? ユニバーサルトランスフォーマー（ ry ）
適応的 UT （この作品） 0.21（0/20） 0.29（0/20） 4.56（3/20） 7.85（5/20） ? 適応する。 Univ。変圧器
>
> ? ry : Average error and number of failed tasks ( > 5 % error) out of 20 (in parentheses; lower is better in both cases) on ry .
> ? ry セットの平均 ry 失敗したタスクの数（ ry ）（ ry ）（ ry 内で、どちらか低い ry
> 表1：異なるトレーニング/評価設定の下でのbAbIデータセットに於ける、平均エラーと失敗タスク（ > 5 ％エラー）数（20件中）（かっこ内 ; どちらも低い方が良い）
> ? We indicate state-of-the-art where available for each, or '-' otherwise.
> ? 私たちは最先端の技術をそれぞれに利用可能であるか、それ以外の場合には「 - 」と表示 ry 。
> それぞれにとっての最先端の結果か，さもなくば「 - 」を，我々わ表示します。
>
>
> 3.2主語 - 動詞協定
> ? ry of predicting number agreement between subject and verb in naturally occurring English sentences ( ry ) .
> ? 次に、自然に発生する英文の被験者と動詞の間の一致数を ry 。
> 次に我々わ，自然に起きる ( ? : 訳注 ) 各英語センテンス内の主語と動詞との間の合意 ( ? 訳注 : 和合合致無矛盾性頓珍漢でない定義合致相互補完一貫性 ) ，の個数を予測するタスク（ linzen2016assessing 、）を検討する。
> ? ry 言語文の階層 ry するプロキシ ry 。
> このタスクは、自然言語センテンス群内の階層（依存関係）構造を取り込むモデルの能力を測定する為のプロキシとして機能します。
> ? ry using a language modeling training setup, ie a next word prediction objective, ry .
> ? ry ）に ry 、言語 ry 単語予測目的を使用してタスクを解決する実験プロトコルに続き、テスト時にターゲット ry 精度を計算する。
> 我々は、（ linzen2016assessing 、）らによって提供されたデータセットを使用し，彼らの言語モデリング訓練セットアップ、すなわち次の単語の予測の目的，を使用して ( ? 訳注 : 次の単語を予測するという目的で ) のタスク解決の実験プロトコルに従うがそこでわ引続いて，テスト時に於て ( の ) ターゲット動詞のランク付け精度が計算される。
> ? ry , measured in terms agreement attractors - the number of intervening nouns with the opposite number from the subject.
> ? 我々は、合意アトラクター - 被験者と反対の数を持つ介在名詞の数で測定された、異なる ry 度でテストデータのサブセットについてモデルを評価した。
> 我々わ我々のモデルを，異なるタスク難易度を持つ各テストデータサブセットについて，意図合致アトラクタ群 -- その主語の ( 前述実験プロトコルでのパラメータか何かの ? : 訳注 ) 反数を， ( 訳注 : パラメータか何かとして ? ) 伴った介在名詞それらの数 -- で測定し評価した。
> ? 例えば、キャビネットへの鍵 3 トレーニング ry は、動詞を ry 。
> 例えば，文 `` The keys to the cabinet '' 3 が与えられてのトレーニング中の目的わ，その動詞を予測することです。
> ? ry には、動詞 ry ランク付けの精 ry 、動詞の誤った形式 ry 。
> テスト時にわ我々わ然して，その動詞の正しい形式のランク付け精度を，その動詞の誤形式と比較して評価します。つまり、ランク付けの目標はこの場合よりも高くなります。
>
> 我々の結果を表2に要約する。
> ? 注意を払ったベストLSTMは ry を達成 ry ・トランス（ ry ）より優れています。
> アテンション付 LSTM のベストわ99.18％をこのタスクで達成し、バニラ・トランスフォーマ（ tran18 ）をアウトパフォームしています。
> ユニバーサルトランスフォーマーはトランスフォーマーの結果を改善し、アダプティブユニバーサルトランスフォーマーは現在の最新技術（99.2％）に匹敵する結果を達成します。
>
>
アトラクタの数
0 1 2 3 4 5 合計
モデル
これまでの最良の結果（ yogatama2018memory 、）：
ベスト Stack-RNN 0.994 0.979 0.965 0.935 0.916 0.880 0.9923 ? ベストスタック-RNN
ベストLSTM 0.993 0.972 0.95 0.922 0.900 0.842 0.9911
Best Attention 0.994 0.977 0.959 0.929 0.907 0.842 0.9918 ? 最高の注意
我々の結果：
Transformer 0.9733 0.9412 0.9316 0.9167 0.9014 0.8834 0.9616 ? トランス
Universal Transformer 0.9934 0.9712 0.9690 0.9400 0.9206 0.8915 0.9917 ? ユニバーサルトランス
適応的 UT （小さい） 0.9932 0.9801 0.9714 0.9608 0.9521 0.9314 0.9920 ? 適応する。 Univ。 Transf。（ ry
適応的 UT （ベース） 0.9943 0.9720 0.9516 0.9567 0.9314 0.9034 0.9924 ? 適応する。 Univ。 Transf。（ ry
>
> ? 表2： subject-verb agreement number予測 ry
> 表 2 : 主語-動詞合意数予測タスクの精度（高い方が良い）
>
>
> 3.3 LAMBADA言語モデリング
> ? ry 文と4?5の先行する文 ry 文脈を考慮して、欠けて ry ワードを予測 ry 。
> LAMBADAタスク（ paperno2016lambada 、）は、その（ターゲット）文に与えられた欠けているターゲットワード単一と、先行する 4-5 の文の広範な文脈と，を予測することからなる言語モデリングタスクです。
> ? データ ry は、完全な文脈で表示されたときにターゲット ry 正確に予測できる ry 、ターゲット ry が表示されて ry には人間 ry 予測できるように特別 ry 。
> ターゲット単語を人間が正確に予測する事を，フルコンテキスト提示されたときにわできるように，しかしターゲット文のみが提示されているときにわできないように，このデータセットわ特別に設計されています。
> ? したがって、それは言語 ry 超えて、モデルの能力をテストして、対象となる単語を予測するときに、より ry とより ry 文脈を組み込むことができます。
> それわ従って，言語モデリングを超えて，より広い談話とそしてより長期の文脈とを対象単語予測時に組入れる為のモデルの能力をテストします ( 訳注 : 数センテンス汎用的読解テスト ) 。
>
> タスクは、言語モデリング（標準設定）と読み解きの 2つの設定で評価されます。
> ? 前の（より困難な）ケースでは ry データの ry つまり、ターゲット単語に特に挑戦しないすべて ry 。
> 前者の（よりチャレンジングな）ケースに於てわ、トレーニングデータ上の次の単語の予測のためにモデルを単純に訓練し、テスト時にターゲット単語で評価します（つまり，チャレンジングなターゲット単語に特化せずにすべての単語を予測するようにモデルを訓練します）。
> ? ry 設定では、 chu2017broad （）では、文の中から目的の単語を選択 ry の質問として、目的の文（ ry を引いたもの） ry 。
> 後者の設定， Chuらによって導入された chu2017broad （），に於てわ，ターゲット単語を文脈センテンス群から選択するためのクエリとして，ターゲットセンテンス（最後の単語をマイナスしたもの）が使用されます。
> ? ターゲット・ワードは時間の ry 文脈に現れるので、この設定ははるかに簡単です。
> 註記しますがその時の81％の文脈にターゲット・ワードが現れる事わ、このセットアップを遥かにシンプルにします。
> ? しかし、残り ry この作業は ry 。
> しかし乍ら，残りの19％のケースではこのタスクわ不可能です。
>
>
LM パープレキシティ & ( 精度 ) RC精度 ? LM Perplexity＆（Accuracy）
制御 dev テスト制御 dev テスト
モデル
NeuralCache(grave2016improving.) 129 139 - - - - ? Neural Cache （ grave2016improving 、）
Dhingra et al. dhingra2018neural () - - - - - 0.5569 ? ry al。 ry
トランスフォーマー 154 (0.14) 5336 (0.0) 9725 (0.0) 0.4102 0.4401 0.3988 ? ry ォーマー 154 ） 319（0.17） 0.4801 ry
LSTM 138 (0.23) 4966 (0.0) 5174 (0.0) 0.1103 0.2316 0.2007
Universal Transformer 131 (0.32) 279 (0.18) 319 (0.17) 0.4801 0.5422 0.5216 ? （0.32） 279（0.18 ）（0.14） 5336（0.0） 9725（0.0）
適応的 Universal Transformer 130 (0.32) 135 (0.22) 142 (0.19) 0.4603 0.5831 0.5625 ? 適応ユニバーサルトランス 130（0.32） 135 （0.22） 142 （0.19） ry
>
> ? ry 精度（高 ry ）、および ry 結果（高 ry ）のLAMBADA ry ）perplexity（低 ry ）。
> 表3：カッコ内に精度（高い方がよい）を伴った LAMBADA言語モデリング（LM）パープレキシティ（低い方が良い），および読解（RC）の精度の結果（高い方が良い）。
> ' - 'は、その設定で報告された結果がないことを示します。
>
>
> 結果を表3に示す。
> ? ry 、LSTM ry する、言語 ry で最 ry 。
> ユニバーサルトランスフォーマーは、言語モデリングと読解の両方のセットアップで，LSTMとバニラトランスフォーマーの両方を凌駕する最先端の結果を達成します。
> ? コントロール ry LAMBADA開発およびテストセット ry 示しています。
> ここでのコントロールセットはLAMBADAの開発/テスト用セットと同様に構築されていますが、どのような方法でもフィルタリングしないので、このセットで良好な結果を得ることは、標準言語モデリングにおけるモデル ( 自体 : 訳注 ) の強さを示している，その事に注意。
>
> 3.4アルゴリズムのタスク
> ? ry トランスフォーマーは、小数点記号（ '0'? '9 ry 上の3つのアルゴリズムタスク、 ry 、逆転、および ry で評価されました。
> ユニバーサルトランスフォーマーを，十進シンボル（ '0'- '9'）で構成された文字列上でのアルゴリズムタスク 3つ、つまりコピー、リバース、および（整数）加算で我々わ評価しました。
> ? ry ランダム化されたオフセットから始まる位置 ry してモデルを訓練し、モデルに位置 - 相対変換を学習させることをさらに奨励 ry 。
> 私たちは、ランダムオフセットそこから始まる各位置を使用してこのモデルを，このモデルに更に，位置 - 相対な変遷的変換の学習，を奨励する為に，訓練します。
> 結果を表4に示す。
> ? ry トランスフォーマーの両方よりも優れています。
> ユニバーサルトランスフォーマーは、LSTMとバニラトランスフォーマとの両方をこれらタスク全てに於いてワイドなマージンによってアウトパフォームします。
> ? ry が、この結果 ry としていました。
> ニューラルGPUはこのタスク（ neural_gpu 、）で完璧な結果を報告しますが，しかし乍らそこでの結果は他のモデルでは使用されなかった特殊なカリキュラムベースのトレーニングプロトコルを必要としていた事を我々わ註記します。
>
>
コピー Reverse Addition ? 逆 ? 添加
char-acc seq-acc char-acc seq-acc char-acc seq-acc
モデル
LSTM 0.45 0.09 0.66 0.11 0.08 0.0
Transformer 0.53 0.03 0.13 0.06 0.07 0.0 ? トランス
UT 0.9 0.35 0.96 0.46 0.34 0.02 ? ユニバーサルトランス
ニューラルGPU * 1.0 1.0 1.0 1.0 1.0 1.0
>
> ? ry 40の小数桁の ry 。
> 表4：長さ40の文字列の訓練を受け（ neural_gpu ）から長さ400で評価されたアルゴリズムタスクの精度（高い方が良い）。
> ? *ニューラル ry 。
> * 註記しますが，ニューラルGPUは、完璧な結果を得るために特別なカリキュラムで訓練され、他のモデルはカリキュラムなしで訓練されています。
>
>
> 3.5実行するための学習 ( 原文 : Learning to Execute ) （LTE）
> ? ry いるように、コンピュータ ry ためのモデル ry タスクに ry も評価 ry 。
> シーケンスツーシーケンス学習問題の別のクラスとして、（ ZS14 ）で提案されているものとしての，コンピュータプログラムを実行するための学習の為のモデルの能力を示す各タスク，についてのユニバーサルトランスフォーマーも我々わ評価します。
> これらのタスクには、プログラム評価タスク（プログラム、制御、追加）、記憶タスク（コピー、ダブル、リバース）が含まれます。
>
>
コピーダブルリバース ? 逆
char-acc seq-acc char-acc seq-acc char-acc seq-acc
モデル
LSTM 0.78 0.11 0.51 0.047 0.91 0.32
Transformer 0.98 0.63 0.94 0.55 0.81 0.26 ? トランス
UT 1.0 1.0 1.0 1.0 1.0 1.0 ? ユニバーサルトランス
>
> 表5：文字レベル（ char-acc ）およびシーケンスレベルの精度（ seq-acc ）は、最大長が55のMemorization LTEタスクの結果となります。
>
>
>
プログラムコントロール Addition ? 添加
char-acc seq-acc char-acc seq-acc char-acc seq-acc
モデル
LSTM 0.53 0.12 0.68 0.2 0.83 0.11
Transformer 0.71 0.29 0.93 0.66 1.0 1.0 ? トランス
UT 0.89 0.63 1.0 1.0 1.0 1.0 ? ユニバーサルトランス
>
> 表6：プログラム評価LTEタスクの文字レベル（ char-acc ）およびシーケンスレベルの精度（ seq-acc ）は、最大ネスト2および長さ5の結果となります。
>
>
> ? ry で説明した ry を使用 ry 。
> データセットを生成するために、（ ZS14 、）で議論されたミックス戦略を我々わ使用します。
> ? ry は異なり、トレーニング中はカリキュラム ry を使用せず、テスト ry を使用しません。
> （ ZS14 ）とわ異なり，トレーニング中にわカリキュラムの学習戦略を我々わ使用せず，且つテスト時にはターゲットシーケンスを使用しない事を我々わ成します。
> 表5と表6は、それぞれプログラム評価と記憶課題に関するLSTMモデル、トランスフォーマー、ユニバーサルトランスフォーマの性能を示しています。
> ユニバーサルトランスフォーマーは、すべての記憶タスクで完璧なスコアを達成し、すべてのプログラム評価作業においてLSTMとトランスフォーマーの両方を凌駕します。
>
> 3.6機械翻訳
> ? ry 、（トランス、）で ry して評価 ry 。
> 標準的なWMT 2014英語 - ドイツ語の翻訳タスクについて，( transformer , ) で報告されたのと同じ設定を使用して我々わ評価しました。
> 結果を表7に要約する。
> ? ACTを使用せずに、完全に接続された繰り返し機能を備えたユニバーサル ry 、および同数 ry BLEU向上 ry 。
> 再帰機能をフル接続で伴いそして ACT を伴わずに，ユニバーサルトランスフォーマーは、トランスフォーマーに対して0.9BLEU ，およそ同数のパラメーター（ ahmed2017weighted ）を持つ Weighted Transformer に対して0.5BLEU ，向上します。
>
>
BLEU ? ブリュウ
モデル
Universal Transformer small 26.8 ? ry トランス
Transformer ベース ( transformer , ) 28.0 ? トランスベース（トランス、）
Weighted Transformer ベース（ ahmed2017weighted 、） 28.4 ? 加重トランスベース ry
Universal Transformer ベース 28.9 ? ユニバーサルトランスベース
>
> ? ry De変換タスク ry
> 表7：同等のトレーニング設定で8xP100 GPUでトレーニングされたWMT14 En-De翻訳タスクの機械翻訳結果
> ? ry の基本結果 ry パラメータがあります。
> すべてのベース結果には同じ数のパラメータを持ちます。
>

> ? 4普遍性と他のモデル ry
> 4 普遍性 ( 訳注 : 汎用性 ) とそして他モデルとの関係
>
> ? ry いるため、標準のTransformer ry に対応します。
> 十分なメモリが与えられれば ( 訳注 : リフォーマで大幅解決済 ) 、Universal Transformerは計算上普遍的です。つまり、チューリングマシンをシミュレートするために使用できるモデルのクラスに属しているので，標準Transformerモデルの欠点に対処します。
> ? ry かかわらず、我々 ry は、この ry が、いくつかの難しいシーケンス ry タスクの精度向上につながることを示しています。
> 理論的に魅力的であるにもかかわらず，この表現力の追加が，チャレンジングなシーケンスモデリングタスク幾つかに於て精度向上ゑ導く事をも我々の結果わ示します。
> ? これにより、ry などの大規模なタスクと、ニューラル ry などの計算 ry モデルとの競争力のある実用的なシーケンスモデルのギャップがなくなり、 ry して訓練する ry できますアルゴリズムタスク。
> これわ，機械翻訳など大規模タスクで競争力ある実用的シーケンスモデル，と，ニューラルチューリングマシンやNeural GPU （ ntm14 、 neural_gpu ）など計算上ユニバーサルモデル，と，の間のギャップを閉じ，そこでわ、勾配降下を使用してアルゴリズムタスク実施の為の訓練をすることができます。
>
> ? ry ができます。
> これを示すために、ニューラルGPUをユニバーサルトランスフォーマに縮小することが我々わできます。
> ? ry 無視し、自己 ry をアイデンティティ関数としてパラメータ化すると、遷移関数は畳み込み ry 。
> デコーダを無視 ( 訳注 : 動的性削減 ? ) し且つその自己アテンション機構をパラメータ化 ( 訳注 : 静的化 ? ) しアイデンティティ関数ゑと成らせ，我々わその ( ? 訳注 : それである所の ) 遷移関数を畳み込みであると仮定する。
> ? ここで、反復ステップ ry と、正確にニューラルGPUが得られます。
> 我々がここで，再帰ステップTの総数を入力長と等しく設定すると，ニューラル GPU を正確に我々わ得られます ( ? 訳注 : 等価 ) 。
> ? 最後 ry は、ユニバーサル ry が入力のサイズに応じて動的に拡大縮小できない ry トランスフォーマーとは大きく ry 。
> 註記しますが，最後のステップわ，入力サイズに応じて深度を動的スケールできないバニラトランスフォーマーに比してユニバーサルトランスフォーマーが大きく異なる点です。
> ? ユニバーサル ry マシンとの間にも同様 ry が、 ry し、ステップごとの単一の読み取り/書き込み操作は、ユニバーサル ry な平行表示リビジョンに ry 。
> 同様の関係が，ユニバーサルトランスフォーマとニューラルチューリングマシンそれとの間にも存在し，それのステップ毎の read/write オペレーション単一わ，ユニバーサルトランスフォーマのグローバルな並列同時並行表現リビジョン群によって ( 訳注 : より精緻に ? ) 表現することができる。
> ? しかし、これら ry に、アルゴリズム・タスクのみを実行するUniversal ry を実現します。
> これらのモデルとは対照的に，しかし乍ら，アルゴリズム・タスクを良好に ( 訳注 : 且つ汎用 AI/AL として ) 実行する唯一無二 ( 訳注 : 殆ど ⇔ HPKY ) たる Universal Transformerは、LAMBADAや機械翻訳などの現実的な自然言語タスクでも競争力のある結果を達成します。
>
> 関連するもう1つのモデルアーキテクチャは、エンドツーエンドのメモリネットワーク（ sukhbaatar2015 、）です。
> しかし、エンドツーエンドメモリネットワークとは対照的に、ユニバーサルトランスフォーマは、その入力または出力の個々の位置に整列した状態に対応するメモリを使用する。
> ? ry シーケンス間シーケンスタスクで競争力のある ry を実現します。
> さらに、ユニバーサルトランスフォーマは、エンコーダ/デコーダ構成に従い、大規模なシーケンスtoシーケンスタスクに於て競争力あるパフォーマンスを達成します。
>
> 5結論
>
> ? ry ペーパーでは、理論 ry 拡張し、言語理解などの幅広い難しいシーケンス ry に関する最 ry もたらすTransformerモデルの汎用トランスフォーマーについて紹介します。これは、さまざまな ry タスク、それによって標準的なTransformerの重要な欠点 ry します。
> このペーパーが紹介するのわユニバーサルトランスフォーマ。 Transformer の，その理論的能力を拡張しそして言語理解タスクだけでなくさまざまなアルゴリズムタスクといった幅広いレンジのチャレンジングなシーケンスモデリングタスクに於て最先端の結果をもたらす，汎化形モデルであり，それによって，標準 Transformer の，キー的欠点に対処しています。
> ? ry のキープロパティ ry します。
> ユニバーサルトランスフォーマーは、以下の各キープロパティを1つのモデルに結合します :
>
> ? 体重共有： ry 見られる体重共有の直感の後、私たちは誘導 ry とモデル表現の間 ry バランスを取るシンプルな体重分けでTransformerを拡張 ry 。これは小規模実験と大規模実験の両方で幅広く示しています。
> 重み共有：CNNやRNNで見られる荷重共有の背後にある直感それに従い私たちわ Transformer を，誘導バイアスとそして我々が小規模大規模両実験で幅広く示すモデル表現性と，の間の適正バランスを討ち獲る所の，シンプル形態な荷重共有で拡張します。
> ? ry ：計算機に普遍的なマシン ry 目標では、ユニバーサル ry フォーマーに、最近導入されたメカニズムを使用して計算を中止または継続する機能を装備 ry 。
> 条件付き計算：計算普遍マシンを構築するという我々の目標に於て，固定深度トランスフォーマ比で強力な結果を見せる所の、最近紹介された機構を通じての計算中止か計算継続かをする機能をユニバーサルトランスフォーマーに我々わ装備しました。
>
> ? ry は、並列時系列モデル ry の進展に ry 。
> 私たちわ，等速的並列並行シーケンスモデルの最近の開発について熱心に取り組んでいます。
> ? ry と処理の再現性を追加 ry 、ここで紹介した基本的なユニバーサル ry するのに役立つことを願って ry 。
> 計算量と処理再帰深度とを追加することで，ここでご覧に入れた基本的ユニバーサルトランスフォーマーを超えたさらなる改善が、現在の最先端技術を超えてより強力で、データ効率が高く、一般化 ( 原文 : generalize ) する学習アルゴリズムを構築する我々を助ける事を我々わ願っています。
> ユニバーサルトランスフォーマーのトレーニングと評価に使用されるコードは、 http://github.com/tensorflow/tensor2tensor （ tensor2tensor 、）から入手できます。
>
> 謝辞
> ? 実り ry インスピレーションのために、 ry に感謝します。
> 彼らの実り多いコメントとインスピレーションに対し，Ashish Vaswani、Douglas Eck、David Dohanに我々わ感謝します。
>
> 参考文献
>
> [1]
> ? ry の加重トランスネットワーク ry 。
> Karim Ahmed、Nitish Shirish Keskar、およびRichard Socher。
> 機械翻訳用の荷重トランスフォーマネットワーク。
> arXiv preprint arXiv:1711.02132, 2017. arXivプレプリントarXiv：1711.02132、2017。
> [2]
> ジミーレイバ、ジェイミーライアンキロス、ジェフリーEヒントン。
> レイヤーの正規化。
> arXivプレプリント arXiv：1607.06450、2016年。
> [3]
> Dzmitry Bahdanau、Kyunghyun Cho、およびYoshuaBengio。
> 整列と翻訳を共同で学習することによるニューラル機械翻訳。
> CoRR、abs / 1409.0473、2014年。
> [4]
> チョ・キョンヒョン、バート・ファン・メリエンボア、キャグラー・グルセレ、フェティ・ブーガース、ホルガー・シュウェンク、ヨシュア・ベンジオ。
> 統計的機械翻訳のためのRNNエンコーダーデコーダーを使用したフレーズ表現の学習。
> CoRR、abs / 1406.1078、2014年。
> [5]
> フランソワ・コレット。
> Xception：深さ方向に分離可能な畳み込みによる深層学習。
> arXivプレプリントarXiv：1610.02357、2016年。
> [6]
> Zewei Chu、Hai Wang、Kevin Gimpel、およびDavidMcAllester。
> ? ry 文脈言語モデリング ry 52～57ページ ry 。
> 読解としての幅広い文脈言語モデリング。
> 計算言語学会の欧州支部の第15回会議の議事録：第2巻、短編論文、第2巻、52-57ページ、2017年。
> [7]
> Bhuwan Dhingra、Qiao Jin、Zhilin Yang、William W Cohen、およびRuslanSalakhutdinov。
> ? ry 言及を推論する ry 。
> 相互参照を使用して複数の言及に跨がった推論をするためのニューラルモデル。
> arXivプレプリントarXiv：1804.05922、2018。
> [8]
> Bhuwan Dhingra、Zhilin Yang、William W Cohen、およびRuslanSalakhutdinov。
> リカレントニューラルネットワークの記憶としての言語知識。
> arXivプレプリントarXiv：1703.02620、2017年。
> [9]
> Jonas Gehring、Michael Auli、David Grangier、Denis Yarats、およびYann N. Dauphin。
> ? 畳み込みシーケンスからシーケンス学習。
> 畳込なシーケンスtoシーケンスの学習。 ?
> CoRR、abs / 1705.03122、2017年。
> [10]
> エドゥアールグレイブ、アルマンジュリン、ニコラスウスニエ。
> 連続キャッシュによるニューラル言語モデルの改善。
> arXiv preprint arXiv：1612.04426、2016年。
> [11]
> アレックス・グレイブス。リカレントニューラルネットワークによるシーケンスの生成。
> CoRR、abs / 1308.0850、2013。
> [12]
> アレックス・グレイブス。
> ? ry ニューラルネットワークの適応計算時間。
> リカレントニューラルネットワークの為の適応的計算時間。
> arXivプレプリントarXiv：1603.08983、2016年。
> [13]
> アレックス・グレイブス、グレッグ・ウェイン、イヴォ・ダニエルカ。
> ニューラルチューリングマシン。
> CoRR、abs / 1410.5401、2014年。
> [14]
> ミカエル・ヘナフ、ジェイソン・ウェストン、アーサー・スラム、アントワーヌ・ボルデス、ヤン・ルクン。
> リカレントエンティティネットワークによる世界の状態の追跡。
> arXivプレプリントarXiv：1612.03969、2016年。
> [15]
> ゼップ・ホッフライター、ヨシュア・ベンジオ、パオロ・フラスコーニ、ユルゲン・シュミットフーバー。
> リカレントネットの勾配フロー：長期依存関係の学習の難しさ。
> 動的リカレントニューラルネットワークのフィールドガイド、2003年。
> [16]
> A.ジョウリンとT.ミコロフ。
> ? ry アルゴリズムパターンの推測。
> スタック拡張リカレントネットを使用したアルゴリズムパターン推測。
> 神経情報処理システムの進歩、（NIPS）、2015。
> [17]
> ￡ukaszKaiserとIlya Sutskever。
> ニューラルGPUはアルゴリズムを学習します。
> 2016年の学習表現に関する国際会議（ICLR）で。
> [18]
> ニキータ・キタエフとダン・クライン。
> ? ry した構成要素の解析。
> 自己注意型エンコーダーを使用した構成要素パーシング。
> ACL’18、2018の議事録。
> [19]
> Zhouhan Lin、Minwei Feng、キケロ・ノゲイラ・ドス・サントス、モー・ユー、ビング・シャン、ボーエン・ジョウ、ヨシュア・ベンジオ。
> 構造化された自己注意文の埋め込み。
> arXivプレプリントarXiv：1703.03130、2017年。
> [20]
> Tal Linzen、Emmanuel Dupoux、およびYoav Goldberg。
> 構文に依存する依存関係を学習するlstmsの能力の評価。
> 計算言語学協会のトランザクション、4（1）：521 535、2016。
> [21]
> デニス・ペーパーノ、ゲルマン・クルゼフスキ、アンジェリキ・ラザリドゥ、ゴック・クアン・ファム、ラファエラ・ベルナルディ、サンドロ・ペッツェル、マルコ・バローニ、ジェマ・ボレダ、ラケル・フェルナンデス。
> ランバダデータセット：幅広い談話コンテキストを必要とする単語予測。
> 計算言語学会第54回年次総会の議事録（第1巻：長文）、第1巻、1525～1534ページ、2016年。
> [22]
> ? ry OscarT臘kstr ry
> Ankur Parikh、OscarTa"ckstro"m 、Dipanjan Das、およびJakob Uszkoreit。
> 分解可能なアテンションモデル。自然言語処理における経験的方法、2016年。
> [23]
> ジャック・レイ、ジョナサン・J・ハント、イヴォ・ダニエルカ、ティモシー・ハーリー、アンドリュー・W・シニア、グレゴリー・ウェイン、アレックス・グレイブス、ティム・リリクラッフ。
> ? スパース読み取りおよび書き込みによるメモリ拡張ニューラルネットワークのスケーリング。
> ? 読み取りと書き込みがまばらなメモリ拡張ニューラルネットワークのスケーリング。
> 読込書込がスパースな拡張記憶ニューラルネットワークそのスケーリング。
> ニューラル情報処理システムの進歩、ページ3621--3629、2016年。
> [24]
> ミンジュンソ、セウォンミン、アリファーハディ、およびハンナネハジシルジ。
> 質問応答のためのクエリ削減ネットワーク。
> arXivプレプリントarXiv：1606.04582、2016年。
> [25]
> Nitish Srivastava、Geoffrey E Hinton、Alex Krizhevsky、Ilya Sutskever、およびRuslanSalakhutdinov。
> ドロップアウト：ニューラルネットワークの過剰適合を防ぐ簡単な方法。
> Journal of Machine Learning Research、15（1）：1929--1958、2014年。
> [26]
> Sainbayar Sukhbaatar、Arthur szlam、Jason Weston、Rob Fergus。
> エンドツーエンドのメモリネットワーク。
> C. Cortes、ND Lawrence、DD Lee、M。Sugiyama、およびR. Garnett、編集者、Advances in Neural Information Processing Systems 28、2440～2448ページ。 Curran Associates、Inc.、2015年。
> [27]
> Ilya Sutskever、Oriol Vinyals、およびQuoc V. Le。
> ? ry を使用したシーケンス間学習。
> ニューラルネットワークを伴ったシーケンスtoシーケンス学習。
> ニューラル情報処理システムの進歩、ページ3104--3112、2014年。
> [28]
> Ke Tran、Arianna Bisazza、およびChristof Monz。
> ? ry に再発する ry 。
> 階層構造をモデル化するために再帰することの重要性。
> NAACL'18、2018年の議事録で。
> [29]
> アシュシュ・ヴァスワニ、サミー・ベンジオ、ユージーン・ブレブド、フランソワ・ショレット、エイダン・N・ゴメス、ステファン・ゴース、リオン・ジョーンズ、オーカス ( ? 訳注 : ルーカス ) ・カイザー、ナル・カルクブレンナー、ニキ・パーマー、ライアン・セパシ、ノーム・シェーザー、およびヤコブ・ウシュコライト。
> ニューラル機械翻訳用のTensor2tensor。
> CoRR、abs / 1803.07416、2018。
> [30]
> Ashish Vaswani、Niki Parmar、Jakob Uszkoreit、Noam Shazeer、およびLukasz Kaiser。
> イメージトランスフォーマー、
> 2018年。
> [31]
> アシュシュ・ヴァスワニ、ノアム・シェーザー、ニキ・パーマー、ヤコブ・ウシュコライト、リオン・ジョーンズ、エイダン・N・ゴメス、ルカス・カイザー、イリア・ポロスキヒン。
> ? ry は注意だけです。
> 必要なのはアテンションだけです。
> CoRR、2017年。
> [32]
> ジェイソン・ウェストン、アントワーヌ・ボルデス、スミット・チョプラ、アレクサンダー・M・ラッシュ、バート・ヴァン・メリエンボーア、アルマン・ジョウリン、トマス・ミコロフ。
> ? ry ：一連の前提条件のおもちゃのタスク。
> AI完全な質問応答に向けて：前提条件のおもちゃ的タスクのセット。
> arXivプレプリントarXiv：1502.05698、2015年。
> [33]
> ダニ・ヨガタマ、イーシュ・ミャオ、ガーボル・メリス、ワン・リン、アディグナ・クンコロ、クリス・ダイアー、フィル・ブランソム。
> リカレントニューラルネットワーク言語モデルのメモリアーキテクチャ。
> 2018年、学習表現に関する国際会議で。
> [34]
> Wojciech ZarembaとIlya Sutskever。
> ? ry することを学ぶ。
> 実行する為の学習。
> CoRR、abs / 1410.4615、2015年。

> 付録Aユニバーサルトランスフォーマーの詳細なスキーマ
>
>
ポジション埋込タイムステップ埋込マルチヘッド
入 ↓ ↓ 自己 ━━→ ドロップアウト
力 ─→ 各 ─━→ + → + ┯━━━━━┯━→ アテンション ┃
シの入 ↑ 　エ再 │ ↓
│ 埋力 ┃ 　ン帰 └───────────────→ +
ケ込シ ┃ ブコ変遷 ┃
ンン For ┃ ロ│ ┏━ 関数 ←━ レイヤの正規化 ←┛
スボ T ステップ ┃ ッダ ↓ ↓
ル数 ┃ クドロップアウト ━━→ + ━→ レイヤ
┗━━━━━━━━━━━━━━━━┳━━ 正規化
┃
┃ T ステップ
タイムステップ埋込 ─┐ マルチヘッド ┃ 経過後
ポジション埋込 │ 自己アテンション ┓ ┃
↓ ↓ ↑ ↓ ↓
標 ─→ 各 ─━→ + → + ┯━┯┛ ドロップアウトマルチヘッド
的の標 ↑ │　 ┃ ┏━━→ アテンション ━┓
シ埋的 ┃ │ 　↓ ┃ ↓
│ 込シ For ┃ └→ + ━━→ レイヤ正規化 ┐ ドロップアウト ┓
ケン T ステップ ┃ ↓ ┃
ンボ数 ┃ 再帰デコーダ ┏━━━ + ←━━━━━━━┛
スル ┃ ブロック ↓
( 1 ずつ ┃ ┌ レイヤ正規化 ━━→ 変遷関数
右シフト T ステップ ┏┫ レイヤ ↓ ┃
される ) 経過後 ┃┗━ 正規化 ←━━ + ←━━ ドロップアウト ←━┛
↓
Softmax
↓
確率出力
>
>
> 図4：位置とステップの埋め込み、およびドロップアウトとレイヤーの正規化を備えたユニバーサルトランスフォーマー。
>
>
>
> ? ry BbAbI詳細 ry
> 付録B bAbI の詳細な結果
>
:
> 各タスクでのベストなシード実行（10回の実行のうち） ? 各タスクに最適なシード ry
>
タスクID
10K 1K
train single train joint train single train joint ? 列車シングルトレインジョイントトレインシングルトレインジョイント

1 0.0 0.0 0.0 0.0
2 0.0 0.0 0.0 0.5
3 0.4 1.2 3.7 5.4
4 0.0 0.0 0.0 0.0
5 0.0 0.0 0.0 0.5
6 0.0 0.0 0.0 0.5
7 0.0 0.0 0.0 3.2
8 0.0 0.0 0.0 1.6
9 0.0 0.0 0.0 0.2
10 0.0 0.0 0.0 0.4
11 0.0 0.0 0.0 0.1
12 0.0 0.0 0.0 0.0
13 0.0 0.0 0.0 0.6
14 0.0 0.0 0.0 3.8
15 0.0 0.0 0.0 5.9
16 0.4 1.2 5.8 15.4
17 0.6 0.2 32.1 43.2
18 0.0 0.0 0.0 4.1
19 2.8 3.1 47.2 69.11
20 0.0 0.0 2.4 2.4

平均エラー 0.21 0.29 4.56 7.85
失敗した 0 0 3 5
>
>
>
> すべてのシードの平均（±var）（10回の実行）

タスクID
10K 1K
train single train joint train single train joint ? 列車シングルトレインジョイントトレインシングルトレインジョイント

1 0.0 ア 0.0 0.0 ア 0.0 0.2 ア 0.3 0.1 ア 0.2
2 0.2 ア 0.4 1.7 ア 2.6 3.2 ア 4.1 4.3 ア 11.6
3 1.8 ア 1.8 4.6 ア 7.3 9.1 ア 12.7 14.3 ア 18.1
4 0.1 ア 0.1 0.2 ア 0.1 0.3 ア 0.3 0.4 ア 0.6
5 0.2 ア 0.3 0.8 ア 0.5 1.1 ア 1.3 4.3 ア 5.6
6 0.1 ア 0.2 0.1 ア 0.2 1.2 ア 2.1 0.8 ア 0.4
7 0.3 ア 0.5 1.1 ア 1.5 0.0 ア 0.0 4.1 ア 2.9
8 0.3 ア 0.2 0.5 ア 1.1 0.1 ア 0.2 3.9 ア 4.2
9 0.0 ア 0.0 0.0 ア 0.0 0.1 ア 0.1 0.3 ア 0.3
10 0.1 ア 0.2 0.5 ア 0.4 0.7 ア 0.8 1.3 ア 1.6
11 0.0 ア 0.0 0.1 ア 0.1 0.4 ア 0.8 0.3 ア 0.9
12 0.2 ア 0.1 0.4 ア 0.4 0.6 ア 0.9 0.3 ア 0.4
13 0.2 ア 0.5 0.3 ア 0.4 0.8 ア 0.9 1.1 ア 0.9
14 1.8 ア 2.6 1.3 ア 1.6 0.1 ア 0.2 4.7 ア 5.2
15 2.1 ア 3.4 1.6 ア 2.8 0.3 ア 0.5 10.3 ア 8.6
16 1.9 ア 2.2 0.9 ア 1.3 9.1 ア 8.1 34.1 ア 22.8
17 1.6 ア 0.8 1.4 ア 3.4 44.7 ア 16.6 51.1 ア 12.3
18 0.3 ア 0.4 0.7 ア 1.4 2.3 ア 3.6 12.8 ア 9.0
19 3.4 ア 4.0 6.1 ア 7.3 50.2 ア 8.4 73.1 ア 23.9
20 0.0 ア 0.0 0.0 ア 0.0 3.2 ア 2.5 2.6 ア 2.8

平均 0.73 ア 0.89 1.12 ア 1.62 6.39 ア 3.22 11.21 ア 6.62
>
>
>
> 付録C bAbI 注意の視覚化
>
> Different color bars on the left side indicate attention weights based on different heads (4 heads in total).
>
> いくつかの例として、bAbIタスクの注意分布の視覚化を示します。
> ? ry 質問のすべての事実に関するさまざまな頭に基づいて、 ry 。
> 注意の重みの視覚化は、ストーリーと質問との中に於ての事実全てに亘っての様々な各先頭 ( ? 訳注 : 各位置 ) に基づいて，さまざまな時間ステップにわたって行われます。
> ? ry は、異なるヘッド（ ry のヘッド）に基づく注意の重み ry 。
> 左側の異なるカラーバーわ，異なる先頭（合計4つの先頭）に基づいた注意それらの重みを示します。
>
> ? ry 1の例 ry に1つの裏付け ry 事実 ry
> タスク1 からの数例:(解決するために裏付けとなる事実 1 つが必要）
> Story : ? 物語：
> ジョンは廊下に行った。
> ? ry はトイレに旅した。
> メアリーわバスルームに出掛けた。
> ? ry はトイレに ry 。
> ダニエルわバスルームに戻りました。
> ジョンは寝室に移動しました
> クエリ：
> メアリーはどこ？
> モデルの出力：
> バスルーム
>
>
1234 John travelled to the hallway.
1234 Mary journeyed to the bathroom.
12 Daniel went back to the bathroom.
1234 John moved to the bedroom
1234 Where is Mary? Where is Mary?
>
> （a）ステップ1
>
>
> （b）ステップ2
>
>
> （c）ステップ3
>
>
> （d）ステップ4
>
>
> 図5：「メアリーはどこですか？」という質問をエンコードするときの注意分布の視覚化。
>
>
>
> ? ry 2の例：（解決する2 ry
> タスク2 からの一例：（解決する為にわ 2つの裏付けとなる事実が必要）
> ストーリー：
> サンドラは廊下に旅しました。
> ? ry はトイレに ry 。
> メアリーわバスルームに行きました。
> メアリーはそこでリンゴを取りました。
> メアリーはリンゴを落としました。
> クエリ：
> りんごはどこですか？
> モデルの出力：
> ? 浴室
> バスルーム
>
>
1234 Sandra journeyed to the hallway.
1234 Mary went to the bathroom.
1234 Mary took the apple there.
12 4 Mary dropped the apple.
234 Where is the apple? Where is the apple?
>
> （a）ステップ1
>
>
> （b）ステップ2
>
>
> （c）ステップ3
>
>
> （d）ステップ4
>
>
> 図6：「リンゴはどこですか？」という質問をエンコードする際の注意分布の視覚化。
>
>
>
> ? ry 2の例 ry
> タスク2 からの一例：（解決する2つの裏付けとなる事実が必要）
> ストーリー：
> ジョンは廊下に行きました。
> ? ry はトイレに ry 。
> ジョンわバスルームに戻りました。
> ジョンはそこで牛乳をつかみました。
> サンドラはオフィスに戻りました。
> サンドラは台所に行きました。
> サンドラはそこでリンゴを手に入れました。
> サンドラはリンゴをそこに落としました。
> ジョンはミルクを落としました。
> クエリ：
> 牛乳はどこですか？
> モデルの出力：
> ? 浴室
> バスルーム
>
>
4 John went to the hallway.
4 John went back to the bathroom.
1234 John grabbed the milk there.
Sandra went back to the office.
Sandra journeyed to the kitchen.
123 Sandra got the apple there.
123 Sandra dropped the apple there.
123 John dropped the milk.
1234 Where is the milk? Where is the milk?
>
> （a）ステップ1
>
>
> （b）ステップ2
>
>
> （c）ステップ3
>
>
> （d）ステップ4
>
>
> 図7：「牛乳はどこですか？」という質問をエンコードする際の注意分布の視覚化。
>
>
>
> ? ry 3の例 ry
> タスク3 からの一例:(解決するには3つの裏付けとなる事実が必要）
> ストーリー：
> メアリーは牛乳を手に入れました。
> ジョンは寝室に移動しました。
> ダニエルはオフィスに行きました。
> ジョンはそこでリンゴをつかんだ。
> ? ry はサッカーを ry 。
> ジョンわフットボールを手に入れました。
> ジョンは庭に行きました。
> メアリーは牛乳を残しました。
> ? ry はサッカーを去った。
> ジョンわフットボールを残しました。
> ? ry は庭に引っ越し ry 。
> ダニエルわ庭ゑ移動しました。
> ? ry はサッカーを ry 。
> ダニエルわフットボールをつかんだ。
> メアリーは廊下に移動しました。
> メアリーは台所に行った。
> ジョンはそこにリンゴを置いた。
> ジョンはリンゴを拾いました。
> サンドラは廊下に移動しました。
> ? ry にサッカーを ry 。
> ダニエルはそこにフットボールを残しました。
> ? ry はサッカーをしました。
> ダニエルわフットボールを得ました。
> ジョンは台所に行った。
> ? ry はサッカーを ry 。
> ダニエルわフットボールを落とした。
> ジョンはリンゴを落とした。
> ジョンはリンゴをつかんだ。
> ジョンはオフィスに行った。
> サンドラは寝室に戻った。
> サンドラはミルクを取りました。
> ジョンはトイレに行きました。
> ジョンはオフィスに行きました。
> サンドラは牛乳を残しました。
> メアリーは寝室に行った。
> ? ry はオフィスに引っ越し ry 。
> メアリーわオフィスゑ移動した。
> ジョンは廊下に行った。
> サンドラは庭に移動しました。
> メアリーはキッチンに移動しました。
> ? ry はサッカーをしました。
> ダニエルわフットボールを得ました。
> メアリーは寝室に行きました。
> メアリーはそこで牛乳をつかんだ。
> メアリーは牛乳を捨てた。
> ジョンは庭に行きました。
> ジョンはそこでリンゴを捨てた。
> クエリ：
> ? トイレの前にリンゴは ry ？
> バスルームにあった以前にリンゴわどこにありましたか？
> モデルの出力：
> オフィス
>
>
>
Mary got the milk.
John moved to the bedroom.
Daniel journeyed to the office.
1234 John grabbed the apple there.
John got the football.
John journeyed to the garden.
Mary left the milk.
John left the football.
Daniel moved to the garden.
Daniel grabbed the football.
Mary moved to the hallway.
Mary went to the kitchen.
John put down the apple there.
1 3 John picked up the apple.
Sandra moved to the hallway.
Daniel left the football there.
Daniel took the football.
John travelled to the kitchen.
Daniel dropped the football.
4 John dropped the apple.
1 4 John grabbed the apple.
234 John went to the office.
Sandra went back to the bedroom.
Sandra took the milk.
1234 John journeyed to the bathroom.
John travelled to the office.
Sandra left the milk.
4 Mary went to the bedroom.
Mary moved to the office.
34 John travelled to the hallway.
Sandra moved to the garden.
Mary moved to the kitchen.
Daniel took the football.
Mary journeyed to the bedroom.
Mary grabbed the milk there.
Mary discarded the milk.
John went to the garden.
123 John discarded the apple there.
1234 Where was the apple before the bathroom? Where was the apple before the bathroom?
>
> （a）ステップ1
>
>
> （b）ステップ2
>
>
> （c）ステップ3
>
>
> （d）ステップ4
>
>
> ? ry 「トイレの前にリンゴは ry 。
> 図8：「バスルームにあった以前にリンゴわどこにありましたか？」という質問をエンコードしたときの注意分布の視覚化。
>
>
>
> LaTeXML [ロゴ]によって生成
> 私たちが作っている新しいツールについて知りたいですか？
> 随時更新される場合は、メーリングリストに登録してください。
> 申し込む
>
> LaTeXMLの助けを借りて、Andreas JanssonとBen Firshmanによって構築されました。
> GitHubに貢献してください。
> ? ry より提供。
> YLDのご厚意によりスポンサードされました。
>
>
>
> v3-14
>
> 付録C。動的停止 ( 原文 : DYNAMIC HALTING.) を伴うUT。
>
> ? ry では、 ry 。
> TensorFlowでわ我々わ，ACT（Graves、2016）に基づいて動的停止を次のように実装します。
> ? ry 、確率、剰余、その時点までの更新数、前の状態 ry 化）、および0と1の間のスカラーしきい値（aハイパーパラメータ）。
> 動的停止を使用するUTの各ステップでは，停止確率，余り ( 原文 :remainders , ここでわ各位置に残っている単なる減算差分 ? ) と，その時点までの更新回数と勿論，スカラーしきい値（単一のハイパーパラメータ）を 0と1の間とする限りに於ての前回の状態（すべてゼロとして初期化）と，ろ我々わ与えた。
> ? 次に、 ry 。
> 我々わ次に，各ポジションの新しい状態を計算し、各ポジションの状態に基づいて、ポジションごとの新しい停止確率を計算します。
> 次に、UTは、しきい値を超えたいくつかの位置で停止することを決定し、モデルがすべての位置で停止するか、事前定義された最大ステップ数に達するまで、他の位置の状態を更新します。
>
>
1 # この述語 ( 原文 : predicate ) がFALSEの場合、Whileループは停止します
2 # つまり、すべて（（確率<しきい値）＆（カウンター<max_steps））は偽です
3 def should_continue ( u0 , u1 , halting_probability , u2 , n_updates , u3 ) :
4 return tf.reduce_any ( # tf.reduce_anyを返します（
5 tf.logical_and (
6 tf.less ( halting_probability , threshold ) ,
7 tf.less ( n_updates , max_steps ) ) )
8 # 上記の述語がfalseになるまでwhileループの反復を実行します
9 ( _ , _ , _ , remainder , n_updates , new_state ) = tf.while_loop (
10 should_continue , ut_with_dynamic_halting , ( state ,
11 step , halting_probability , remainders , n_updates , previous_state ) )
>
> リスト1：動的停止を伴うUT
>
>
> 以下に、各ステップの計算を示します。
>
1 def ut_with_dynamic_halting ( state , step , halting_probability ,
2 remainders , n_updates , previous_state ) : ? 剰余 ,
3 # この状態を実行する確率ベースを計算します ? 状態 ry
4 p = common_layers.dense ( state , 1 , activation = tf.nn.sigmoid , # ry （状態、1、アクティベーション= tf.nn.sigmoid、
5 use_bias = True )
6 # まだ停止していない各入力の為のマスク ? ry していない入力のマスク
7 still_running = tf.cast (
8 tf.less ( halting_probability , 1.0) , tf.float32 )
9 # このステップで停止した各入力のマスク ? ry した入力
10 new_halted = tf.cast (
11 tf.greater ( halting_probability + p * still_running , threshold ) ,
12 tf.float32 ) * still_running
13 # 停止しておらず、このステップを停止しなかった各入力のマスク ? ry しなかった入力 ry
14 still_running = tf.cast (
15 tf.less_equal ( halting_probability + p * still_running ,
16 threshold ) , tf.float32 ) * still_running # しきい値）、
17 # このステップの各停止確率を、 ? ry の停止確率 ry
18 # まだ停止していない各入力の停止確率に追加します ? ry いない入力 ry
19 halting_probability += p * still_running
20 # このステップで停止した各入力の剰余を計算します ? 停止した入力 ry
21 remainders += new_halted * ( 1 - halting_probability )
22 # このステップで停止した各入力に余りを追加します ? ry した入力に剰余を
23 halting_probability += new_halted * remainders ? ry *剰余
24 # まだ実行中のすべての入力のn_updatesをインクリメントします
25 n_updates += still_running + new_halted
26 # 新しい状態と出力に適用される重みを計算します：
27 # 0 入力がすでに停止している場合、
28 # pは、入力がまだ停止していない場合、、
29 # このステップを停止したときの残り。
30 update_weights = tf.expand_dims ( p * still_running +
31 new_halted * remainders , -1) ? ry *剰余、 ry
32 # この状態に変容を適用します ? 状態に変換を ry
33 transformed_state = transition_function ( self_attention ( state ) )
34 # 変容された状態と前回の状態とを停止されていない各入力の為に ( に付いて ? ) 補間します ? 停止されていない入力の変換された状態と以前の状態を補間 ry
35 new_state = (( transformed_state * update_weights ) +
36 ( previous_state * (1 - update_weights ) ) )
37 step += 1 # ステップ+ = 1
38 return ( transformed_state , step , halting_probability ,
39 remainders , n_updates , new_state ) ? 剰余、 ry
>
> リスト2：動的停止を伴うUTの各ステップでの計算
>
>
>
> v3-15
> D.2 主語-動詞の一致 ( 原文 : AGREEMENT )
>
> 主語と動詞の一致は、英語の文の主語と動詞の間の数の一致を予測するタスクです。
>
> このタスクの成功は、モデルが構文構造を近似することを学習できることを示す強力な指標であるため、Linzen et al。（2016）によってさまざまなモデルが自然言語の階層構造をキャプチャする能力を評価するためのプロキシとして提案されました。
>
> ? ry タスクでモデル ry 。
> このタスクでのモデルをトレーニングするために、Linzenら（2016）によって2つの実験セットアップが提案されました：1）言語モデリングの目的でのトレーニング、つまり次の単語の予測、および2）二項分類としてのトレーニング、つまり文に与えられた動詞の数の予測。
> この論文では、言語モデリングの目的を使用します。つまり、モデルに暗黙の監視を提供し、動詞の誤った形式と比較した正しい形式の動詞のランク付けの精度に基づいて評価します。
>
> ? ry とは反対の数の1 ry 名詞が ry 。
> このタスクでは、さまざまなレベルの難易度を持たせるために、「合意アトラクタ ( 原文 : agreement attractors ) 」が使用されます。つまり、モデルを混乱させる目的で、主語とわ反数である所の1つ以上の介在名詞達 ( 原文 : ntervening nouns ) が使用されます。
> ? ry 構文主語の頭 ry 。
> この場合、モデルは、特定の動詞に対応する構文主語 ( 統語的主語 ) の先頭を正しく識別し、その動詞の正しい形式を予測するために、介在するアトラクターを無視する必要があります。
> サブジェクトと対応する動詞が太字 ( 訳注: この訳でわ大文字 ) で示され、合意アトラクタに下線 ( 訳注 : この訳でわ先頭大文字 ) が引かれている、このタスクのいくつかの例を次に示します。
>
>
アトラクタなし： the BOY SMAILES. 少年は微笑みます。
1つのアトラクタ： the NUMBER of Men IS not clear. 男性の数は明確ではありません。
2つのアトラクタ： the RAITO of Men to Women IS not clear. 男性と女性の比率は明確ではありません。
3つのアトラクタ： the RAITO of Men to Women and Children IS not clear. 男性と女性および子供との比率は明確ではありません。
>
>
>
> v3-16
> D.4 実行するための学習 ( 原文 : LEARNING TO EXECUTE ) （LTE）。 ( 訳注: 汎用プログラム )
>
> ? ry 示す一連のタスクであり、 ry 。
> LTEは、コンピュータープログラムの実行を学習するモデルの能力を示すタスクを含むセットであり，Zaremba＆Sutskever（2015）によって提案されました。
> ? ry ます。1 ry 、ifステートメント、変数割り当て、演算 ry 性などを理解 ry および2 ry リバース）。
> これらのタスクには、次の2つのサブセットが含まれます : 1）数値演算，ifステートメント，可変な引数，演算の構成性，など，を理解するためのモデルの能力を査定する為に設計されたプログラム評価タスク（プログラム、制御、および加算）、および更にわ、勿論 2）記憶タスク（コピー、ダブル、リバース）も。
>
> プログラム評価タスクの難易度は、その長さとネストによってパラメータ化されます。
> ? ry は、プログラムに表示される整数の桁数であり ry に組み合わせ ry です。。
> 長さパラメーターわ，プログラムに現れる整数の桁数 ( 原文 : digits ) であり（したがって、整数は[1、長さ]から均一に選択されます）、ネストパラメーターは、操作を相互に我々が組合わせることができる回数です。
> ネストの値が高いほど、解析ツリーが深くなります。
> たとえば、長さ= 4、ネスト= 3で生成されるプログラムを次に示します。
>
Input: # 入力：
j=8584 ? ：
for x in range(8): ? range（8）のxに対して
j+=920
b=(1500+j)
print((b+7567))
Target: # ターゲット：
25011

> 祝任天堂すいっち有機 EL モデル

--
YAMAGUTIseisei ( str_h__namae = { :sei => "山口" , :mei => "青星" } )
http://hello.to/seisei/ mailto:seisei@.68..net

祝任天堂すいっち有機 EL モデル

0 new messages