深層学習でリアルタイム軌道上画像識別を実現

要点

• 民生品を使った安価な超小型衛星用のセンサ群を開発
• 画期的な新規手法で人工衛星の姿勢制御や画像識別をめざす
• 日本発の超小型衛星搭載品供給により民間宇宙産業の市場拡大期待

概要

東京工業大学 理学院 物理学系の谷津陽一助教と工学院 機械系の松永三郎教授、東京大学の下川辺隆史准教授らの研究グループは、宇宙航空研究開発機構（JAXA）の革新的衛星技術実証プログラム^[用語1]の初の実証機会となる革新的衛星技術実証1号機の小型実証衛星1号機（RAPIS-1）に搭載される 深層学習（ディープ・ラーニング）^[用語2] を応用した地球センサおよびスタートラッカー実験装置 「Deep Learning Attitude Sensor（DLAS）」を開発した。この人工衛星は、2019年1月17日にJAXAのロケット・イプシロンロケット4号機に搭載され、鹿児島県のJAXA内之浦宇宙空間観測所から打ち上げ予定だ。

DLASは、安価で高性能な民生品を使った低コストのスタートラッカーの宇宙動作実証と、深層学習を用いた世界初のリアルタイム軌道上衛星画像認識実験、さらにその技術を応用した、地形パターン認識による衛星の三軸姿勢計測技術の宇宙実証を行う。発展目覚ましい超小型人工衛星を使った新たな宇宙産業分野において、日本発の技術をアピールし、衛星搭載部品の市場拡大を目指す。

研究成果

人工衛星が、電力・温度などの機能維持や観測を行う際に必要となるのが姿勢センサである。本研究では、地面のない宇宙において、現状で一番高精度に姿勢を決定できる、恒星を基準点とした姿勢計（スタートラッカー）と、低精度ながら常に衛星の眼下に広がる地球の画像から姿勢推定を行う地球センサを、東工大理学院の河合研究室と工学院の松永研究室、および東京大学の下川辺研究室が合同で開発を行った（図1-1、1-2）。

• 
• 
• 

図1-1. DLAS外観 制御ボックス（左）、カメラユニット（中央）、基板（右）

この衛星搭載実験コンポーネント「DLAS」の主要ミッションは大きく3つ。1つ目が安価で高性能な民生品を使った超小型衛星向けの低コストのスタートラッカーの宇宙動作実証だ。今回、軌道上で様々な条件で星像を撮影し、センサシステムの較正を行うとともに、新規に開発されたアルゴリズムによる姿勢決定実験、さらに1年間にわたる長期動作試験を計画している（図2左）。2つ目が深層学習を用いた軌道上リアルタイム画像認識実験である。まず、スタートラッカーに組み込んだ2つの小型可視光カメラで地球を撮影し、独自開発した高速・軽量な画像識別器で800万画素の画像をおよそ4秒で処理し、緑地／砂漠／海洋／雲／宇宙など植生や土地利用を9カテゴリに識別する。深層学習を用いた宇宙でのリアルタイムの画像認識としては世界初の挑戦となる（図3）。また、軌道上では学習データとして1,000枚以上の画像を撮影して地上に転送し、衛星画像応用実験に用いる。3つ目は、この画像識別技術を応用して、衛星軌道から雲間に隠れた陸地形状を識別し、あらかじめオンボードコンピュータに搭載されている地図情報と比較することで3軸姿勢を推定するという、全く新しい概念の姿勢計測の技術実証を行う（図3右）。

DLASのスタートラッカーは、マシンビジョン用の市販カメラとマイコンを組み合わせたもの。視野18˚×11˚でおよそ7等級までの星を検出し、その配列パターンを識別することで、星1つ1つを識別する。これは人間が星座を見て星を探したり、方向を推測できるのと同じ原理だ。本研究では、従来から使われている4つの星の組をそれらの離角（天体同士の角度）の組み合わせで識別する「ピラミッド法」をさらに改良し、宇宙線や惑星・小惑星などによる擬星、さらに感度低下による星の見落としなどの不慮の事態にも対応できる識別アルゴリズムを独自に開発した。方向が分からない状態で観測を開始した場合、およそ800ミリ秒以内に姿勢を計算できる。地上較正実験の結果、姿勢決定精度はおよそ10秒角（68%信頼区間）を達成している。

一方のDLASの地球カメラは、携帯用の超小型カメラであり、スタートラッカーのバッフルにそれぞれ2個ずつ取り付けられている。これに組み合わせる画像識別器は、限られた演算速度でも高い精度を達成できる様独自に開発された。この識別器では取得画像を16×16ピクセルに区切り、その微小領域ごとの輝度情報（ヒストグラム）を入力として、2層のニューラルネットワークで被写体の確率推定を行う。この識別器の学習（アルゴリズムの最適化）には、国際宇宙ステーション（ISS）で撮影された4K動画から画像を生成して用いている。また、地球カメラを用いた姿勢推定では、衛星に搭載されたGPSからの現在位置情報も利用する。上空500 kmから地上を見渡した場合、視野に入る地形は衛星からおよそ半径2,700 kmの円内に制限されるため、地形パターンマッチングのための演算量を格段に減らすことができる。

これらDLASの開発は、JAXAのフライトスケジュールから2年間という宇宙開発の中では非常に厳しい制約の中で完了しなければならなかった。開発方針は「民生品利用による開発工数削減」であるが、近年の高性能デバイスは微細なプロセスで作られているため放射線に弱く、すべての搭載予定部品に対しガンマ線や陽子線を照射し、放射線耐性を確認してから設計を開始した。通常、宇宙機のための新規開発は、要素試作（ブレッドボードモデル）、エンジニアリングモデル（EM）、フライトモデル（FM）の3ステップで進められるが、今回の開発では要素試作にて衛星側との電気・通信インターフェースを確定したのち、すぐにFMの設計・製造を行い、残りの期間をソフトウェア開発に注力した。この様な設計思想、マネジメント手法は、過去の大学衛星開発での経験をもとに入念に検討されたものであり、将来の超小型衛星開発にもそのまま応用できる。

DLASは、2018年4月にハードウェアの開発を完了し、JAXAが開発する革新的衛星実証衛星1号機の小型実証衛星1号機（RAPIS-1）（図4）に組み込まれた。およそ半年間に及ぶシステム環境試験や運用リハーサルを経て、2019年 1月17日に鹿児島県のJAXA内之浦宇宙空間観測所からイプシロンロケット4号機によって打ち上げられ、高度500 kmの太陽同期軌道に投入される。DLASの運用は、RAPIS-1自体のチェックアウト（初期機能確認）完了後に予定されており、初期動作確認ののち、およそ1ヵ月にわたり各センサシステムの較正を実施し、その後1年をかけて運用を行う。

なお、RAPIS-1の衛星・管制システムの開発、および衛星運用は、東大や東工大で超小型衛星の開発に携わったメンバーが立ち上げた宇宙ベンチャー・株式会社アクセルスペースがJAXAから受注している。これは、従来大手メーカーが主導してきた日本の宇宙開発にとってはきわめて大きな転換点であり、15年前に「手のひらサイズの人工衛星」からスタートした大学発の超小型衛星が日本の宇宙産業に革新をもたらした記念となるフライトオペレーションだ。

背景

2003年に東工大と東大がそれぞれ開発した世界初のキューブサット^[用語3]CUTE-I、XI-Ⅳが打ち上げられてから15年が経過した。当初、学生の教育目的で始まった超小型衛星は2010年以降は民間宇宙事業にも活発に利用されるようになり、現在では年間打ち上げ個数200機以上、全世界で1,000億円規模の新しい宇宙産業を形成するに至っている。東工大の河合研究室と松永研究室の研究グループは、工学技術実証衛星CUTE-I以降、超小型衛星の宇宙科学観測を目指して、これまでに3機の超小型観測衛星（Cute-1.7+APD、Cute-1.7+APD 2号機、TSUBAME）の開発・打ち上げ・運用を行い、世界の超小型衛星開発を牽引してきた（図5）。

研究の経緯

近年、衛星・地上全体を結ぶ通信ネットワークと計算機技術の発展により、突然現れては消えてしまう短時間天文現象を対象にした「時間領域天文学」という新たな発見領域が切り拓かれつつある。この象徴となるターゲットが2017年8月に発見された重力波現象であり、重力波望遠鏡の位置速報に呼応した全世界の電波・赤外線・可視光望遠鏡、観測衛星、ニュートリノ検出器が一斉にターゲットの観測を行い、当該電磁波対応天体が発見された。東工大の谷津助教の研究チームは、未だに観測例のほとんどない紫外線で100平方度の超広視野をモニターし、重力波源などの短時間天体現象の初期活動や、全く知られていない天体現象の発見を目指して研究を行っている。

紫外線は地上では観測できないため衛星での観測が必要だが、微弱な星を鮮明に写し撮るには衛星に高い姿勢安定度が要求される。また、衛星通信速度の制限により、すべての画像データを瞬時に地上へ転送することは困難で、前述の様な地上望遠鏡と連携した密な観測を実現するためには、衛星内で画像解析し、ターゲット天体の正確な位置や明るさなど解析結果のみを送信するなどの工夫が必要になる。このような高度な観測ミッションを実現するためには、高精度なスタートラッカーや衛星に搭載できる高機能なオンボードコンピュータ、それを用いた自動画像解析技術の獲得が必要となっていた。

宇宙望遠鏡での天体観測には、宇宙放射線からのノイズ除去、星像の検出、星の配列パターンマッチング、ノイズの混入を想定した高精度な姿勢演算などのデータ処理プログラムが必要となるが、これらはそのまま人工衛星の姿勢センサであるスタートラッカーにも活用できる。残念なことに日本国内には超小型衛星用の姿勢系サプライヤが不足しているという問題があり、搭載コンポーネント開発の事業化を念頭に、今回の研究・開発を行うに至った。

一方、地上画像認識実験は、もともとは地上での天候識別実験から着想を得たものである。現在、東工大の河合研究室では重力波現象や、ガンマ線バーストなどを観測するために山梨県と岡山県に口径50 cmのロボット望遠鏡を設置し観測を行っているが、天候が不安定なため観測が中断されることも多く、観測効率向上させる目的で深層学習による雲識別器の研究を行っていた。東工大情報理工学院の篠田浩一教授、井上中順助教と協力して開発した雲識別器は、最初の試作段階でもきわめて高い精度を達成したため、衛星軌道上での即時画像識別に応用できないかと考え、本研究で活用することになった。

また、これまでAIによる衛星画像の解析といえば、地上のデータサーバーに蓄積された大量の画像を、スーパーコンピュータで入念に解析するのが一般的であった。衛星軌道上の特殊な空間におけるリアルタイムの画像認識は、超小型衛星というプラットフォームの価値や運用のあり方を大きく変える可能性をもつ汎用技術である。例えば、防衛、災害監視、デブリ捕獲のための物体認識など、すばやく決断しなければ価値の下がってしまう情報は宇宙観測分野では極めて多い。これらを人間による確認なしで検知して自律的な衛星運用を実現することも、本研究の目的だ。

今後の展開

主に3点を紹介する。

現在、研究グループでは、DLASで獲得した衛星姿勢計測技術やオンボード計算機による高度な画像処理技術を継承し、世界初の超広視野紫外線サーベイ観測を目指した観測衛星の開発を行っている。NASAジェット推進研究所とカリフォルニア工科大の協力を得て、小口径望遠鏡でも高い検出感度を実現する、超高感度の裏面照射紫外線CMOSセンサを搭載予定だ。一方で、データ処理系、光学系、衛星バスシステムは東工大が担当する。

装置開発と並行して、東工大、甲南大学、東北大学、東京大学、カリフォルニア工科大学、青山学院大学などを中心として観測戦略の議論が進められており、2022年の打ち上げを目指して研究開発を進めている。（図6）

DLASの研究・開発では、スタートラッカーの設計手法、製造技術、試験技術、地上較正実験、星マッチング・アルゴリズム、組み込みソフトウェアなど、実機開発を通じた様々な知見が得られている。これらは積極的に事業化が推奨させており、東工大発ベンチャーである『株式会社 天の技』が宇宙機搭載装置の製造・販売の事業化を進めている。同社では、商用版のスタートラッカーの開発資金として新エネルギー・産業技術総合開発機構（NEDO）からの助成金を獲得し、さらに民間のベンチャーキャピタルである、みらい創造機構とDarma Tech Labs株式会社からのシード資金調達（5,000万円）を完了させた。DLASの開発ノウハウやフライトデータを活かし、安価でありながら信頼性の高い衛星搭載品の早期市場供給を目指す。

また、特に民間宇宙事業者からの需要が高いキューブサット用のスタートラッカーの開発も検討中だ。革新的衛星技術実証プログラムでは、実証2号機への搭載も決定しており、現時点では、2020年ごろの受注販売開始を目指している。

従来の宇宙機器・システム設計は、高い信頼性を確保するために地上よりも10～20年遅れの計算機技術を用いているが、短いサイクルで多くを軌道投入できる超小型衛星では、DLASのように最先端のIoT技術や計算機科学を取り入れることが許容されつつある。超小型衛星の唯一の欠点であるペイロードサイズ（サイズ・質量・電源容量）という限界を打ち破り、高度な宇宙利用を実現するには、計算機科学や伸展・展開等の可変構造の組み合わせが必要と予見される。

東工大の松永教授らは、スマートな宇宙システムの開発拠点形成を推進。ここでは、DLASの知見を応用した機械学習利用姿勢・観測センサ、軽量高剛性伸展収納ブーム・アレイ、高速通信用展開アンテナ等の衛星搭載機器や、可変形状機能により迅速変更と高指向安定を両立する新しい姿勢制御方法を実証する超小型衛星「ひばり」の開発などを行い、軌道上観測データ・処理技術の共有や、宇宙環境を模擬したコバルト60照射室などの試験運用施設などの共同利用等のサービスを提供する。また、これらを通して産学連携モデルの創出・産学ネットワーク形成や若手研究者等の育成を行い、ユーザーによる新規事業の創出・育成支援を行う。

この構想は、文部科学省の宇宙航空科学技術推進委託費「新宇宙産業を創出するスマート宇宙機器・システムの研究開発拠点」（平成30年8月31日開始、平成32年度末終了予定）に採用されている。主管実施機関は、東京工業大学（松永三郎（代表）、古谷寛、谷津陽一、林﨑規託）、共同参画機関は、日本大学（宮崎康行）、テクノソルバ（中村和行）、サカセ・アドテック（渡邊秋人）、天の技（工藤裕）が主体。その他、様々な大学、研究機関、企業からなる多くの研究協力者（随時参加者募集）から技術支援や将来動向を踏まえたフィードバックを受けている。（図7）

研究支援等

本研究は、公益財団法人・精密測定技術振興財団、公益財団法人・三菱財団より研究助成を受けた。また、本研究の一部はJSPSの科研費（941864）の助成を受けた。

本実験装置の搭載オンボードコンピュータの開発は、株式会社フィックスターズより計算機モジュールの提供、ストレージに関する技術情報の提供を受けた。また、本実験装置に搭載された全ての半導体素子の放射線環境試験は、東京工業大学コバルト照射実験施設の共同利用、公益財団法人若狭湾エネルギー研究センターとの共同研究で実施した。

• プレスリリース 深層学習でリアルタイム軌道上画像識別を実現 ―超小型衛星用センサの宇宙での実証実験開始へ―
• 大学発超小型人工衛星「TSUBAME」打ち上げ成功・運用開始│東工大ニュース
• 東工大の学生が開発した超小型人工衛星"TSUBAME"宇宙へ向けて旅立つ│東工大ニュース
• "近所"で爆発した宇宙のモンスター －観測史上最大級のガンマ線バーストを日本のグループが宇宙と地上から観測－│東工大ニュース
• ロシアのロケットで超小型衛星を打ち上げ ブラックホール生成やガンマ線放射機構を探る│東工大ニュース
• 平成26年度東工大挑戦的研究賞 受賞者決定│東工大ニュース
• 松永研究室
• 研究者詳細情報（STAR Search） - 谷津陽一 Yoichi Yatsu
• 研究者詳細情報（STAR Search） - 松永三郎 Saburo Matunaga
• 理学院 物理学系
• 工学院 機械系
• 革新的技術実証1号機搭載実験 深層学習を応用した革新的姿勢センサの開発
• 新宇宙産業を創出するスマート宇宙機器・システムの研究開発拠点
• Amanogi｜株式会社 天の技
• 小型実証衛星1号機｜JAXA｜研究開発部門
• 研究成果一覧